Enviar búsqueda
Cargar
Prml14 5
•
1 recomendación
•
2,586 vistas
正志 坪坂
Seguir
Denunciar
Compartir
Denunciar
Compartir
1 de 26
Descargar ahora
Descargar para leer sin conexión
Recomendados
PRML 第14章
PRML 第14章
Akira Miyazawa
PRML輪読#14
PRML輪読#14
matsuolab
PRML Chapter 14
PRML Chapter 14
Masahito Ohue
PRML輪読#11
PRML輪読#11
matsuolab
PRML輪読#1
PRML輪読#1
matsuolab
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
ノンパラベイズ入門の入門
ノンパラベイズ入門の入門
Shuyo Nakatani
研究室内PRML勉強会 11章2-4節
研究室内PRML勉強会 11章2-4節
Koji Matsuda
Recomendados
PRML 第14章
PRML 第14章
Akira Miyazawa
PRML輪読#14
PRML輪読#14
matsuolab
PRML Chapter 14
PRML Chapter 14
Masahito Ohue
PRML輪読#11
PRML輪読#11
matsuolab
PRML輪読#1
PRML輪読#1
matsuolab
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
ノンパラベイズ入門の入門
ノンパラベイズ入門の入門
Shuyo Nakatani
研究室内PRML勉強会 11章2-4節
研究室内PRML勉強会 11章2-4節
Koji Matsuda
PRML輪読#3
PRML輪読#3
matsuolab
正準相関分析
正準相関分析
Akisato Kimura
負の二項分布について
負の二項分布について
Hiroshi Shimizu
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
logics-of-blue
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
Takeshi Sakaki
PRML輪読#5
PRML輪読#5
matsuolab
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
PRML輪読#12
PRML輪読#12
matsuolab
PRML11章
PRML11章
Takashi Tamura
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
PRML 5.3-5.4
PRML 5.3-5.4
正志 坪坂
PRML輪読#2
PRML輪読#2
matsuolab
クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式
Hiroshi Nakagawa
[DL輪読会]Deep Learning 第2章 線形代数
[DL輪読会]Deep Learning 第2章 線形代数
Deep Learning JP
PRML輪読#13
PRML輪読#13
matsuolab
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
PRML輪読#8
PRML輪読#8
matsuolab
Recsys2018 unbiased
Recsys2018 unbiased
正志 坪坂
WSDM2018Study
WSDM2018Study
正志 坪坂
Más contenido relacionado
La actualidad más candente
PRML輪読#3
PRML輪読#3
matsuolab
正準相関分析
正準相関分析
Akisato Kimura
負の二項分布について
負の二項分布について
Hiroshi Shimizu
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
logics-of-blue
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
Takeshi Sakaki
PRML輪読#5
PRML輪読#5
matsuolab
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
PRML輪読#12
PRML輪読#12
matsuolab
PRML11章
PRML11章
Takashi Tamura
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
PRML 5.3-5.4
PRML 5.3-5.4
正志 坪坂
PRML輪読#2
PRML輪読#2
matsuolab
クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式
Hiroshi Nakagawa
[DL輪読会]Deep Learning 第2章 線形代数
[DL輪読会]Deep Learning 第2章 線形代数
Deep Learning JP
PRML輪読#13
PRML輪読#13
matsuolab
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
PRML輪読#8
PRML輪読#8
matsuolab
La actualidad más candente
(20)
PRML輪読#3
PRML輪読#3
正準相関分析
正準相関分析
負の二項分布について
負の二項分布について
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
PRML輪読#5
PRML輪読#5
深層生成モデルと世界モデル
深層生成モデルと世界モデル
PRML輪読#12
PRML輪読#12
PRML11章
PRML11章
変分ベイズ法の説明
変分ベイズ法の説明
EMアルゴリズム
EMアルゴリズム
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
変分推論と Normalizing Flow
変分推論と Normalizing Flow
PRML 5.3-5.4
PRML 5.3-5.4
PRML輪読#2
PRML輪読#2
クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式
[DL輪読会]Deep Learning 第2章 線形代数
[DL輪読会]Deep Learning 第2章 線形代数
PRML輪読#13
PRML輪読#13
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
PRML輪読#8
PRML輪読#8
Más de 正志 坪坂
Recsys2018 unbiased
Recsys2018 unbiased
正志 坪坂
WSDM2018Study
WSDM2018Study
正志 坪坂
Recsys2016勉強会
Recsys2016勉強会
正志 坪坂
KDD 2016勉強会 Deep crossing
KDD 2016勉強会 Deep crossing
正志 坪坂
Deeplearning輪読会
Deeplearning輪読会
正志 坪坂
WSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor model
正志 坪坂
Deeplearning勉強会20160220
Deeplearning勉強会20160220
正志 坪坂
OnlineMatching勉強会第一回
OnlineMatching勉強会第一回
正志 坪坂
Recsys2015
Recsys2015
正志 坪坂
KDD 2015読み会
KDD 2015読み会
正志 坪坂
Recsys2014 recruit
Recsys2014 recruit
正志 坪坂
EMNLP2014_reading
EMNLP2014_reading
正志 坪坂
Tokyowebmining ctr-predict
Tokyowebmining ctr-predict
正志 坪坂
KDD2014_study
KDD2014_study
正志 坪坂
Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計
正志 坪坂
Contexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMining
正志 坪坂
Introduction to contexual bandit
Introduction to contexual bandit
正志 坪坂
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング
正志 坪坂
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
正志 坪坂
Tokyowebmining2012
Tokyowebmining2012
正志 坪坂
Más de 正志 坪坂
(20)
Recsys2018 unbiased
Recsys2018 unbiased
WSDM2018Study
WSDM2018Study
Recsys2016勉強会
Recsys2016勉強会
KDD 2016勉強会 Deep crossing
KDD 2016勉強会 Deep crossing
Deeplearning輪読会
Deeplearning輪読会
WSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor model
Deeplearning勉強会20160220
Deeplearning勉強会20160220
OnlineMatching勉強会第一回
OnlineMatching勉強会第一回
Recsys2015
Recsys2015
KDD 2015読み会
KDD 2015読み会
Recsys2014 recruit
Recsys2014 recruit
EMNLP2014_reading
EMNLP2014_reading
Tokyowebmining ctr-predict
Tokyowebmining ctr-predict
KDD2014_study
KDD2014_study
Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計
Contexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMining
Introduction to contexual bandit
Introduction to contexual bandit
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
Tokyowebmining2012
Tokyowebmining2012
Prml14 5
1.
PRML読書会(最終回) 14.5 条件付き混合モデル
坪坂 正志 Mail: m.tsubosaka@gmail.com Blog : d.hatena.ne.jp/tsubosaka
2.
発表内容 14.5.1 線形回帰モデルの混合
9.2節の混合モデルを条件付きガウス分布に拡張し たモデル 14.5.2 ロジスティックモデルの混合 4.3節のロジスティック回帰モデルを混合分布に拡 張したモデル 14.5.3 混合エキスパートモデル 混合係数が条件付きで表されるモデル
3.
混合線形回帰モデル それぞれが重みパラメータ������������ で支配される������個の
線形回帰モデルを考える 目標変数としては一次元の場合に限って考える 複数の出力への拡張(演習14.12)
4.
分布について 混合分布 (混合係数を������������
とする) 観測集合 : *������������ , ������������ + パラメータ集合 ������: ������ = ������������ , ������ = ������������ , ������ 対数尤度関数 (14.35)
5.
混合ガウス分布(9章)との比較 混合線形回帰モデル 混合ガウスモデル(一次元の場合)
6.
推論アルゴリズム (14.35)式の尤度関数を最大化するためにEMアルゴ
リズムを用いる 二値潜在変数の集合������ = *������������ +を導入
7.
Eステップ ������(������|������, ������old
)を計算する 各データ点������に対するクラス������の事後確率すなわち 負担率をもとめる
8.
Mステップ パラメータをQ関数について最適化 ������������������
を固定しつつ、パラメータ������ = ������������ , ������ = ������������ , ������を最適化する
9.
������������ , ������に関する最適化
制約条件 ������ ������������ = 1のもとでラグランジュ未定乗 数法を使うと Q関数から������に依存する項のみ取り出すと ������について微分して0とおけば
10.
������������ についての最適化 Q関数から������������
に依存する項のみ取り出すと ������������ についての微分を0とおくと
11.
������������ についての最適化(行列表記) 行列表記すると
ここで������������ = diag(������������������ )は������ × ������の対角行列 ������������ について解くと これは式(4.99)のロジスティック回帰の更新式と 同じ形 またK=1のときに線形回帰の推定式と一致する
12.
データ例 左から初期値、30反復目、50反復目の計算結果 下はデータについての負担率
13.
問題点 多峰性の分布のため、データが存在しないところ
領域にも大きな確率値をもつことがある 混合係数も������の関数とすることにより解決できる 混合密度ネットワーク(5.6節) 階層的混合エキスパートモデル(14.5.3節) この部分
14.
混合ロジスティック回帰モデル 混合ロジスティック回帰モデル
ロジスティック回帰モデル(4.3)の混合モデルバー ジョン 条件付き分布 尤度関数 (14.46)
15.
推論アルゴリズム 線形回帰モデルと同様に二値潜在変数������������������ を導入
して、EMアルゴリズムを用いて尤度関数の最大 化を行う 完全データの尤度関数
16.
Eステップ 負担率を計算
14.5.1とほぼ同じ
17.
Mステップ Q関数に関する最大化 ������������
に関する最適化 いつもの式
18.
������������ についての最適化 ������������
についての勾配を計算 データ点に重み������������������ がついてるだけで、4.3.2の式 (4.91)と同じ形 ロジスティック回帰のときと同様に反復再重み付 け最小二乗(IRLS)アルゴリズムを利用して解くこ とができる
19.
データ例 左は2クラス混合モデル、右は単一のロジス ティック回帰モデル
20.
混合エキスパートモデル 混合係数それ自身も入力変数の関数としたモデル 入力������
エキスパート������������ (������|������) 入力������ エキスパート������������ (������|������) ゲート関数 出力t ������(������) … 入力������ エキスパート������������ (������|������)
21.
ゲート関数 ������������ (������)は確率値であるため、制約条件として
0 ≤ ������������ ������ ≤ 1, ������ ������������ ������ = 1を満たす必要がある これは例えば線形ソフトマックスモデルで表現で きる モデルパラメータの推論は反復再重み付け最小二 乗法を用いたEMアルゴリズムによりできる (Jordan and Jacobs, 1994)
22.
階層的混合エキスパートモデル 混合エキスパートモデルを混合分布にしたモデル 混合係数のモデルが線形分類モデル(ex.
ソフトマック スモデル)であることにより、フラットな混合分布と は異なるモデルとなっている(演習14.17) 入力 混合エキスパートモデル 入力 混合エキスパートモデル ゲート関数 出力 … 入力 混合エキスパートモデル
23.
階層的混合エキスパートモデル EMアルゴリズムにより効率よく最尤推定ができ
る 変分推論法によるベイズ的な扱いが与えられてい る(Bishop and Svensen 2003) 決定木の確率的バージョンとみなすことができる 葉ノードに相当する部分がエキスパートで入力に応 じて各エキスパートの寄与率が決まる
24.
(Jordan and Jacobs
1994)の図
25.
混合密度ネットワークとの比較 階層的混合エキスパートモデル
EMアルゴリズムによる最適化においてMステップの 最適化が凸最適化になる 混合密度ネットワーク 構成要素の密度と混合係数をニューラルネットワー クの隠れユニットで共有できる 入力空間の分割が非線形にもなり得る
26.
Fin
Descargar ahora