Submit Search
Upload
【Zansa】第12回勉強会 -PRMLからベイズの世界へ
•
5 likes
•
8,470 views
Z
Zansa
Follow
Zansa第12回勉強会の資料 「PRMLからベイズの世界へ」
Read less
Read more
Education
Slideshow view
Report
Share
Slideshow view
Report
Share
1 of 22
Recommended
【Zansa】第17回 ブートストラップ法入門
【Zansa】第17回 ブートストラップ法入門
Zansa
幾何を使った統計のはなし
幾何を使った統計のはなし
Toru Imai
クラシックな機械学習の入門 9. モデル推定
クラシックな機械学習の入門 9. モデル推定
Hiroshi Nakagawa
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
数式を綺麗にプログラミングするコツ #spro2013
数式を綺麗にプログラミングするコツ #spro2013
Shuyo Nakatani
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
Rによるベイジアンネットワーク入門
Rによるベイジアンネットワーク入門
Okamoto Laboratory, The University of Electro-Communications
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
貴之 八木
Recommended
【Zansa】第17回 ブートストラップ法入門
【Zansa】第17回 ブートストラップ法入門
Zansa
幾何を使った統計のはなし
幾何を使った統計のはなし
Toru Imai
クラシックな機械学習の入門 9. モデル推定
クラシックな機械学習の入門 9. モデル推定
Hiroshi Nakagawa
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
数式を綺麗にプログラミングするコツ #spro2013
数式を綺麗にプログラミングするコツ #spro2013
Shuyo Nakatani
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
Rによるベイジアンネットワーク入門
Rによるベイジアンネットワーク入門
Okamoto Laboratory, The University of Electro-Communications
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
貴之 八木
いいからベイズ推定してみる
いいからベイズ推定してみる
Makoto Hirakawa
Oshasta em
Oshasta em
Naotaka Yamada
PRML 8.4-8.4.3
PRML 8.4-8.4.3
KunihiroTakeoka
クラシックな機械学習入門 1 導入
クラシックな機械学習入門 1 導入
Hiroshi Nakagawa
基礎からのベイズ統計学 3章(3.1~3.3)
基礎からのベイズ統計学 3章(3.1~3.3)
TeranishiKeisuke
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
Akihiro Nitta
MLaPP 5章 「ベイズ統計学」
MLaPP 5章 「ベイズ統計学」
moterech
クラシックな機械学習の入門 2.ベイズ統計に基づく推論
クラシックな機械学習の入門 2.ベイズ統計に基づく推論
Hiroshi Nakagawa
PRML2.1 2.2
PRML2.1 2.2
Takuto Kimura
8.4 グラフィカルモデルによる推論
8.4 グラフィカルモデルによる推論
sleepy_yoshi
Prml2.1 2.2,2.4-2.5
Prml2.1 2.2,2.4-2.5
Takuto Kimura
第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場
Daisuke Yoneoka
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Taku Yoshioka
PRML 2.3.1-2.3.2
PRML 2.3.1-2.3.2
KunihiroTakeoka
Prml 2.3
Prml 2.3
Yuuki Saitoh
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
経済数学II 「第9章 最適化(Optimization)」
経済数学II 「第9章 最適化(Optimization)」
Wataru Shito
自然科学の統計学2.2 slideshare
自然科学の統計学2.2 slideshare
wada, kazumi
Zansa アト テクノロシ-ー業界の分析という仕事について http://zansa.info/materials-11.html
Zansa アト テクノロシ-ー業界の分析という仕事について http://zansa.info/materials-11.html
Zansa
Zansa第12回資料 「ソーシャルゲームでは、データがユーザーを理解する!」
Zansa第12回資料 「ソーシャルゲームでは、データがユーザーを理解する!」
Shota Kubo
More Related Content
What's hot
いいからベイズ推定してみる
いいからベイズ推定してみる
Makoto Hirakawa
Oshasta em
Oshasta em
Naotaka Yamada
PRML 8.4-8.4.3
PRML 8.4-8.4.3
KunihiroTakeoka
クラシックな機械学習入門 1 導入
クラシックな機械学習入門 1 導入
Hiroshi Nakagawa
基礎からのベイズ統計学 3章(3.1~3.3)
基礎からのベイズ統計学 3章(3.1~3.3)
TeranishiKeisuke
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
Akihiro Nitta
MLaPP 5章 「ベイズ統計学」
MLaPP 5章 「ベイズ統計学」
moterech
クラシックな機械学習の入門 2.ベイズ統計に基づく推論
クラシックな機械学習の入門 2.ベイズ統計に基づく推論
Hiroshi Nakagawa
PRML2.1 2.2
PRML2.1 2.2
Takuto Kimura
8.4 グラフィカルモデルによる推論
8.4 グラフィカルモデルによる推論
sleepy_yoshi
Prml2.1 2.2,2.4-2.5
Prml2.1 2.2,2.4-2.5
Takuto Kimura
第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場
Daisuke Yoneoka
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Taku Yoshioka
PRML 2.3.1-2.3.2
PRML 2.3.1-2.3.2
KunihiroTakeoka
Prml 2.3
Prml 2.3
Yuuki Saitoh
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
経済数学II 「第9章 最適化(Optimization)」
経済数学II 「第9章 最適化(Optimization)」
Wataru Shito
自然科学の統計学2.2 slideshare
自然科学の統計学2.2 slideshare
wada, kazumi
What's hot
(20)
いいからベイズ推定してみる
いいからベイズ推定してみる
Oshasta em
Oshasta em
PRML 8.4-8.4.3
PRML 8.4-8.4.3
クラシックな機械学習入門 1 導入
クラシックな機械学習入門 1 導入
基礎からのベイズ統計学 3章(3.1~3.3)
基礎からのベイズ統計学 3章(3.1~3.3)
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
MLaPP 5章 「ベイズ統計学」
MLaPP 5章 「ベイズ統計学」
クラシックな機械学習の入門 2.ベイズ統計に基づく推論
クラシックな機械学習の入門 2.ベイズ統計に基づく推論
PRML2.1 2.2
PRML2.1 2.2
8.4 グラフィカルモデルによる推論
8.4 グラフィカルモデルによる推論
Prml2.1 2.2,2.4-2.5
Prml2.1 2.2,2.4-2.5
第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
PRML 2.3.1-2.3.2
PRML 2.3.1-2.3.2
Prml 2.3
Prml 2.3
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
経済数学II 「第9章 最適化(Optimization)」
経済数学II 「第9章 最適化(Optimization)」
自然科学の統計学2.2 slideshare
自然科学の統計学2.2 slideshare
Viewers also liked
Zansa アト テクノロシ-ー業界の分析という仕事について http://zansa.info/materials-11.html
Zansa アト テクノロシ-ー業界の分析という仕事について http://zansa.info/materials-11.html
Zansa
Zansa第12回資料 「ソーシャルゲームでは、データがユーザーを理解する!」
Zansa第12回資料 「ソーシャルゲームでは、データがユーザーを理解する!」
Shota Kubo
再発事象の解析をやってみる
再発事象の解析をやってみる
Atsushi Hayakawa
121218 zansa13 for web
121218 zansa13 for web
Zansa
Zansa0802
Zansa0802
Yoshifumi Seki
ビジネスの現場のデータ分析における理想と現実
ビジネスの現場のデータ分析における理想と現実
Takashi J OZAKI
社会の意見のダイナミクスを物理モデルとして考えてみる
社会の意見のダイナミクスを物理モデルとして考えてみる
takeshi0406
PythonによるDeep Learningの実装
PythonによるDeep Learningの実装
Shinya Akiba
補足資料 財務3表の基礎知識
補足資料 財務3表の基礎知識
horihorio
統計と会計 - Zansa#19
統計と会計 - Zansa#19
horihorio
PRML ベイズロジスティック回帰
PRML ベイズロジスティック回帰
hagino 3000
グレブナー基底とその応用
グレブナー基底とその応用
rashiro466
独立成分分析 ICA
独立成分分析 ICA
Daisuke Yoneoka
(道具としての)データサイエンティストのつかい方
(道具としての)データサイエンティストのつかい方
Shohei Hido
tokyor29th
tokyor29th
Mikiya Tanizawa
第17回コンピュータビジョン勉強会@関東
第17回コンピュータビジョン勉強会@関東
ukyoda
春期インターンシップについて(レキサス)
春期インターンシップについて(レキサス)
lexuesHR
ベイズ推定でパラメータリスクを捉える&優れたサンプラーとしてのMCMC
ベイズ推定でパラメータリスクを捉える&優れたサンプラーとしてのMCMC
基晴 出井
ベイズ基本0425
ベイズ基本0425
asato kuno
社内勉強会-ナイーブベイジアンフィルタの実装
社内勉強会-ナイーブベイジアンフィルタの実装
Kenta Onishi
Viewers also liked
(20)
Zansa アト テクノロシ-ー業界の分析という仕事について http://zansa.info/materials-11.html
Zansa アト テクノロシ-ー業界の分析という仕事について http://zansa.info/materials-11.html
Zansa第12回資料 「ソーシャルゲームでは、データがユーザーを理解する!」
Zansa第12回資料 「ソーシャルゲームでは、データがユーザーを理解する!」
再発事象の解析をやってみる
再発事象の解析をやってみる
121218 zansa13 for web
121218 zansa13 for web
Zansa0802
Zansa0802
ビジネスの現場のデータ分析における理想と現実
ビジネスの現場のデータ分析における理想と現実
社会の意見のダイナミクスを物理モデルとして考えてみる
社会の意見のダイナミクスを物理モデルとして考えてみる
PythonによるDeep Learningの実装
PythonによるDeep Learningの実装
補足資料 財務3表の基礎知識
補足資料 財務3表の基礎知識
統計と会計 - Zansa#19
統計と会計 - Zansa#19
PRML ベイズロジスティック回帰
PRML ベイズロジスティック回帰
グレブナー基底とその応用
グレブナー基底とその応用
独立成分分析 ICA
独立成分分析 ICA
(道具としての)データサイエンティストのつかい方
(道具としての)データサイエンティストのつかい方
tokyor29th
tokyor29th
第17回コンピュータビジョン勉強会@関東
第17回コンピュータビジョン勉強会@関東
春期インターンシップについて(レキサス)
春期インターンシップについて(レキサス)
ベイズ推定でパラメータリスクを捉える&優れたサンプラーとしてのMCMC
ベイズ推定でパラメータリスクを捉える&優れたサンプラーとしてのMCMC
ベイズ基本0425
ベイズ基本0425
社内勉強会-ナイーブベイジアンフィルタの実装
社内勉強会-ナイーブベイジアンフィルタの実装
Similar to 【Zansa】第12回勉強会 -PRMLからベイズの世界へ
双対性
双対性
Yoichi Iwata
第5回Zansa勉強会
第5回Zansa勉強会
Zansa
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
Kensuke Otsuki
行列計算アルゴリズム
行列計算アルゴリズム
Takuo Tachibana
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
Kenichi Hironaka
データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度
Seiichi Uchida
Deep learning入門
Deep learning入門
magoroku Yamamoto
Dive into XGBoost.pdf
Dive into XGBoost.pdf
Yuuji Hiramatsu
第8回スキル養成講座講義資料.pdf
第8回スキル養成講座講義資料.pdf
keiodig
これならわかる最適化数学8章_動的計画法
これならわかる最適化数学8章_動的計画法
kenyanonaka
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
sleipnir002
データ解析7 主成分分析の基礎
データ解析7 主成分分析の基礎
Hirotaka Hachiya
人工知能2018 強化学習の応用
人工知能2018 強化学習の応用
Hirotaka Hachiya
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
場の量子論
場の量子論
M M
[DSO]勉強会_データサイエンス講義_Chapter5
[DSO]勉強会_データサイエンス講義_Chapter5
tatsuyasakaeeda
データサイエンス概論第一=1-3 平均と分散
データサイエンス概論第一=1-3 平均と分散
Seiichi Uchida
Computing for Isogeny Kernel Problem by Groebner Basis
Computing for Isogeny Kernel Problem by Groebner Basis
Yasu Math
論文紹介 Semi-supervised Learning with Deep Generative Models
論文紹介 Semi-supervised Learning with Deep Generative Models
Seiya Tokui
Similar to 【Zansa】第12回勉強会 -PRMLからベイズの世界へ
(20)
双対性
双対性
第5回Zansa勉強会
第5回Zansa勉強会
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
行列計算アルゴリズム
行列計算アルゴリズム
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度
Deep learning入門
Deep learning入門
Dive into XGBoost.pdf
Dive into XGBoost.pdf
第8回スキル養成講座講義資料.pdf
第8回スキル養成講座講義資料.pdf
これならわかる最適化数学8章_動的計画法
これならわかる最適化数学8章_動的計画法
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
データ解析7 主成分分析の基礎
データ解析7 主成分分析の基礎
人工知能2018 強化学習の応用
人工知能2018 強化学習の応用
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
場の量子論
場の量子論
[DSO]勉強会_データサイエンス講義_Chapter5
[DSO]勉強会_データサイエンス講義_Chapter5
データサイエンス概論第一=1-3 平均と分散
データサイエンス概論第一=1-3 平均と分散
Computing for Isogeny Kernel Problem by Groebner Basis
Computing for Isogeny Kernel Problem by Groebner Basis
論文紹介 Semi-supervised Learning with Deep Generative Models
論文紹介 Semi-supervised Learning with Deep Generative Models
More from Zansa
【Zansa】物理学はWebデータ分析に使えるか
【Zansa】物理学はWebデータ分析に使えるか
Zansa
第8回Zansa 俺の人生ランダムウォーク
第8回Zansa 俺の人生ランダムウォーク
Zansa
【Zansa】 人工社会-複雑系とマルチエージェントシミュレーションの紹介-
【Zansa】 人工社会-複雑系とマルチエージェントシミュレーションの紹介-
Zansa
ベイズ入門
ベイズ入門
Zansa
Zansa第4回勉強会 重回帰分析
Zansa第4回勉強会 重回帰分析
Zansa
Text classification zansa
Text classification zansa
Zansa
Zansa第二回11 28 発表資料 植木
Zansa第二回11 28 発表資料 植木
Zansa
Zansa0130presentation
Zansa0130presentation
Zansa
More from Zansa
(8)
【Zansa】物理学はWebデータ分析に使えるか
【Zansa】物理学はWebデータ分析に使えるか
第8回Zansa 俺の人生ランダムウォーク
第8回Zansa 俺の人生ランダムウォーク
【Zansa】 人工社会-複雑系とマルチエージェントシミュレーションの紹介-
【Zansa】 人工社会-複雑系とマルチエージェントシミュレーションの紹介-
ベイズ入門
ベイズ入門
Zansa第4回勉強会 重回帰分析
Zansa第4回勉強会 重回帰分析
Text classification zansa
Text classification zansa
Zansa第二回11 28 発表資料 植木
Zansa第二回11 28 発表資料 植木
Zansa0130presentation
Zansa0130presentation
Recently uploaded
ゲーム理論 BASIC 演習105 -n人囚人のジレンマモデル- #ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習105 -n人囚人のジレンマモデル- #ゲーム理論 #gametheory #数学
ssusere0a682
The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024
koheioishi1
TokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentation
YukiTerazawa
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ssusere0a682
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
Tokyo Institute of Technology
UniProject Workshop Make a Discord Bot with JavaScript
UniProject Workshop Make a Discord Bot with JavaScript
yuitoakatsukijp
Recently uploaded
(6)
ゲーム理論 BASIC 演習105 -n人囚人のジレンマモデル- #ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習105 -n人囚人のジレンマモデル- #ゲーム理論 #gametheory #数学
The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024
TokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentation
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
UniProject Workshop Make a Discord Bot with JavaScript
UniProject Workshop Make a Discord Bot with JavaScript
【Zansa】第12回勉強会 -PRMLからベイズの世界へ
1.
PRMLからベイズの世界へ 慶應義塾大学 M2 植木 大地
2.
自己紹介 植木 大地 慶応義塾大学大学院
M2 twitter:@PlantEarth 専攻:(柔らかい)理論統計学か計算機統計 研究:Principal Pointsの推定 最近の興味:電気回路
3.
Principal Points
一言で言うと,分布を仮定した上でのk-means法 k-means法:クラスタリング法の一つ. Definition - 𝒚 𝑗 ∈ 𝑹 𝑝 (1 ≤ 𝑗 ≤ 𝑘) をある𝑘個の点の組とする. このと き𝒙 ∈ 𝑹 𝑝 に対する最小距離を以下のように書く. 1/2 𝑑 𝒙 𝒚1 , 𝒚2 , … , 𝒚 𝑘 = min 𝒙− 𝒚𝑗 ′ 𝒙− 𝒚𝑗 1≤𝑗≤𝑘 p次元のあるベクトル𝑿 に対するk-principal points 𝝃 𝑗 (1 ≤ 𝑗 ≤ 𝑘) の組は,以下のようなk個の点の組 {𝝃1 , 𝝃2 , … , 𝝃 𝑘 }で定義される. 𝐸[𝑑 2 𝑿 𝝃1 , 𝝃2 , … , 𝝃 𝑘 ] = min 𝑝 𝐸[𝑑 2 𝑿 𝒚1 , 𝒚2 , … , 𝒚 𝑘 ] 𝑦 𝑗 ∈𝑅 ,1≤𝑗≤𝑘
4.
いきなりですが… あなたは頻度主義者ですか? それとも,ベイジアンですか?
僕は俄然ベイジアンです.
5.
統計学の宗派
頻度主義者 必ず真の値はある. それにしか興味はない. 統計学者 VS ベイジアン 大体値がわかればいいや. (パラメータに分布を仮定する) 頻度主義者「ベイジアン、お前雑すぎるだろ^ω^#」 ベイジアン「いい結果が得られればいいんだよm9(^Д^)」 実際にはそこまで明確に分かれているわけでもないようです. リッジ回帰パラメーターの推定がベイズ推定量と同値になるとか, 頻度主義でも怪しいことをし始めると同じことになったりします.
6.
では, 統計的学習と機械学習の差は
なんでしょうか?
7.
統計的学習と機械学習
頻度主義者に基づいた, 統計的学習 少し数学的な手法 重回帰,判別分析,主成分分析,数量化Ⅲ類… ヒューリスティックな方法, 機械学習 悪く言えば適当 k-means法,SVM,ニューラルネットワーク… 統計的学習「機会学習、お前雑すぎるだろ^ω^#」 機械学習「いい結果が得られればいいんだよm9(^Д^)」
8.
ある見方からすれば…
頻度主義的統計的学習 統計的学習 ベイズ的統計学習 ベイズ的機械学習 機械学習 その他機械学習 統計的機械学習なる言い方をされている方々もいるので, 見方が統一されているわけではありません. cf:http://www.nii.ac.jp/userdata/karuizawa/h23/111104_3rdlecueda.pdf
9.
少しベイズの定理の復習
10.
ベイズの定理 普通に書くと,
𝑃 𝑏 𝑎 𝑝(𝑎) 𝑝 𝑎 𝑏 = 𝑃(𝑏) データが与えられた時のパラメータを求めるとき風に書くと, 𝑃(𝐷|𝑥)𝑝(𝑥) 𝑃 𝑥 𝐷 = 𝑃(𝐷) 忘れたら, 𝑃 𝑎, 𝑏 = 𝑝 𝑎 𝑏 𝑝 𝑏 = 𝑝 𝑏 𝑎 𝑝(𝑎) から作ればOK
11.
ベイズの定理の考え方 今知りたい情報(1)に対して,何か情報(2)が得られ た時に知りたい情報を更新してやろう,という考え 方 (1):回帰などのパラメータ,確率変数,なんでも (2):データ,パラメータの分布,なんでも
12.
𝑃(𝐷|𝑥)𝑝(𝑥) ベイズの定理右辺の分母(
の𝑃(𝐷)の部分)の 𝑃(𝐷) 値を求めるのは,実は超大変. 求めるのを回避する方法は幾つかあって, • 事前分布を共役事前分布にする • ちょっと複雑な分布になると無理…(ex. 混合ガウス分布 • マルコフ連鎖モンテカルロ法(MCMC)を使う • なんでもいける神様! 今回は関係ありません
13.
今日は, “ベイズの考え方を入れた統計的学習”
を少し見てみます.
14.
と,その前にPRMLの紹介
15.
PRML 英語:Pattern Recognition And Machine
Learning 日本語:パターン認識と機械学習 英語版はネットに落ちてます.
16.
PRML 勉強会
月1 隔週
17.
ベイズの考え方を用いた線形回帰
18.
線形回帰といえば
𝑻 𝑦 𝒙, 𝒘 = 𝑤0 + 𝑤1 𝑥1 + 𝑤2 𝑥2 + ⋯ = 𝒘 𝒙 𝒙:データ, 𝒘:パラメータ というモデルの下,データX(−1) = 𝒙 𝑖 , 𝑦 𝑖 , 1 ≤ 𝑖 ≤ 𝑁が 与えられたとき, 𝒘を求めたい. 最小二乗法的考え方で求めれば, 𝒘= 𝑋 𝑇 𝑋 −1 𝑋 𝑇 𝒚 で求まる.なお,最小二乗法は最尤法の一つ.
19.
モデル
𝑀−1 𝑀−1 𝑦 𝒙, 𝒘 = 𝑤0 + 𝑤𝑗 𝜙 𝑗 𝒙 = 𝑤𝑗 𝜙 𝑗 𝒙 𝜙0 = 1 𝑗=1 𝑗=0 −1 𝑡~𝑁 𝑦 𝒙, 𝒘 , 𝛽 という,一次線形モデル. 𝒙:データ,𝜙 𝑗 :基底関数, 𝒘:回帰係数, 𝛽:精度 今,𝑤 𝑗 にそれぞれ以下のような事前分布を考える. 𝑝 𝒘 = 𝑁(𝒘|𝒎 𝟎 , 𝑆0 ) 𝒎 𝟎 : 𝒘の期待値,𝑆0 :分散共分散行列 データ𝒕が得られた時 逐次学習しようと思うと 𝒕を用いて𝑝(𝒘)を更新することを考える. 時間𝑁 + 1において𝑡 𝑁+1 が得られた時の更新 𝑝 𝒘 𝑡 = 𝑁 𝒘 𝒎 𝑵, 𝑆 𝑁 を考えると, −1 𝒎 𝑵 = 𝑆 𝑁 (𝑆0 𝒎 𝟎 + 𝛽Φ 𝑇 𝒕) 𝑝 𝒘 𝒕 𝑁+1 , 𝒙 𝑁+1 , 𝒎 𝑁 , 𝑆 𝑁 = 𝑁 𝒘 𝒎 𝑁+1 , 𝑆 𝑁+1 𝑆 −1 = 𝑆0 + 𝛽Φ 𝑇 Φ 𝑁 −1 𝒎 𝑵+𝟏 = 𝑆 𝑁+1 (𝑆 𝑁 −1 𝒎 𝑵 + 𝛽𝚽 𝑁+1 𝒕 𝑵+𝟏 ) 𝜙0 𝑥1 ⋯ 𝜙 𝑀−1 (𝑥1 ) 𝑆 −1 = 𝑆 −1 + 𝛽Φ 𝑁+1 𝑡 𝑁+1 𝑁+1 𝑁 Φ= ⋮ ⋱ ⋮ 𝜙0 (𝑥 𝑁 ) ⋯ 𝜙 𝑀−1 (𝑥 𝑁 ) なお,𝒎0 = 𝟎, 𝑆0 = 𝛼 −1 𝐼と置く.
20.
逐次学習の例
真のモデル:𝑦 = −0.3 + 0.5𝑥 データ ~𝑁 𝑦 𝑥, 0.2 , 𝑥~𝑈(−1,1) 段々と,事後分布の山が鋭く なっていることがわかる. 一々大量データを回帰し直さ なくても逐次的に計算できる ようになった!
21.
分布が得られた後 分布が得られても点推定しているわけでもないので, 値が得られているわけでもない. MAP推定 期待値で推定
etc
22.
今回はベイズ推定が逐次推定のように使えることが わかった. その他にも(きっと)いろいろな使い方があるは ず!DeepLearning周りの基礎知識も得られるし,み なさんPRML読みましょう!