Enviar búsqueda
Cargar
PRML 2.3
•
0 recomendaciones
•
3,423 vistas
Yuto Suzuki
Seguir
PRMLの2.3章ガウス分布に関してのスライドです。
Leer menos
Leer más
Datos y análisis
Denunciar
Compartir
Denunciar
Compartir
1 de 31
Descargar ahora
Descargar para leer sin conexión
Recomendados
Prml 2.3
Prml 2.3
Yuuki Saitoh
PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半
Ohsawa Goodfellow
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
Beta distribution and Dirichlet distribution (ベータ分布とディリクレ分布)
Beta distribution and Dirichlet distribution (ベータ分布とディリクレ分布)
Taro Tezuka
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
PRML 1.6 情報理論
PRML 1.6 情報理論
sleepy_yoshi
相互相関関数の最大化と時間差推定
相互相関関数の最大化と時間差推定
KoueiYamaoka
PRML読書会#4資料+補足
PRML読書会#4資料+補足
Hiromasa Ohashi
Recomendados
Prml 2.3
Prml 2.3
Yuuki Saitoh
PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半
Ohsawa Goodfellow
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
Beta distribution and Dirichlet distribution (ベータ分布とディリクレ分布)
Beta distribution and Dirichlet distribution (ベータ分布とディリクレ分布)
Taro Tezuka
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
PRML 1.6 情報理論
PRML 1.6 情報理論
sleepy_yoshi
相互相関関数の最大化と時間差推定
相互相関関数の最大化と時間差推定
KoueiYamaoka
PRML読書会#4資料+補足
PRML読書会#4資料+補足
Hiromasa Ohashi
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2
Hiroyuki Kato
Information-Theoretic Metric Learning
Information-Theoretic Metric Learning
Koji Matsuda
PRML読書会#2,#3資料
PRML読書会#2,#3資料
Hiromasa Ohashi
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
Hiroshi Shimizu
PRML2.1 2.2
PRML2.1 2.2
Takuto Kimura
マルコフ連鎖モンテカルロ法
マルコフ連鎖モンテカルロ法
Masafumi Enomoto
PRML輪読#2
PRML輪読#2
matsuolab
大阪PRML読書会#1資料
大阪PRML読書会#1資料
Hiromasa Ohashi
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
Kai Sasaki
PRML Chapter 14
PRML Chapter 14
Masahito Ohue
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
Shushi Namba
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
Deformable Part Modelとその発展
Deformable Part Modelとその発展
Takao Yamanaka
階層的クラスタリング入門の入門
階層的クラスタリング入門の入門
Mas Kot
PRML輪読#3
PRML輪読#3
matsuolab
MCMCとともだちになろう【※Docswellにも同じものを上げています】
MCMCとともだちになろう【※Docswellにも同じものを上げています】
Hiroyuki Muto
5xx解消への道のり
5xx解消への道のり
Yuto Suzuki
MySQLのインデックス入門
MySQLのインデックス入門
Yuto Suzuki
Más contenido relacionado
La actualidad más candente
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2
Hiroyuki Kato
Information-Theoretic Metric Learning
Information-Theoretic Metric Learning
Koji Matsuda
PRML読書会#2,#3資料
PRML読書会#2,#3資料
Hiromasa Ohashi
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
Hiroshi Shimizu
PRML2.1 2.2
PRML2.1 2.2
Takuto Kimura
マルコフ連鎖モンテカルロ法
マルコフ連鎖モンテカルロ法
Masafumi Enomoto
PRML輪読#2
PRML輪読#2
matsuolab
大阪PRML読書会#1資料
大阪PRML読書会#1資料
Hiromasa Ohashi
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
Kai Sasaki
PRML Chapter 14
PRML Chapter 14
Masahito Ohue
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
Shushi Namba
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
Deformable Part Modelとその発展
Deformable Part Modelとその発展
Takao Yamanaka
階層的クラスタリング入門の入門
階層的クラスタリング入門の入門
Mas Kot
PRML輪読#3
PRML輪読#3
matsuolab
MCMCとともだちになろう【※Docswellにも同じものを上げています】
MCMCとともだちになろう【※Docswellにも同じものを上げています】
Hiroyuki Muto
La actualidad más candente
(20)
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2
Information-Theoretic Metric Learning
Information-Theoretic Metric Learning
PRML読書会#2,#3資料
PRML読書会#2,#3資料
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
PRML2.1 2.2
PRML2.1 2.2
マルコフ連鎖モンテカルロ法
マルコフ連鎖モンテカルロ法
PRML輪読#2
PRML輪読#2
大阪PRML読書会#1資料
大阪PRML読書会#1資料
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ統計入門
ベイズ統計入門
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
EMアルゴリズム
EMアルゴリズム
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
PRML Chapter 14
PRML Chapter 14
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Deformable Part Modelとその発展
Deformable Part Modelとその発展
階層的クラスタリング入門の入門
階層的クラスタリング入門の入門
PRML輪読#3
PRML輪読#3
MCMCとともだちになろう【※Docswellにも同じものを上げています】
MCMCとともだちになろう【※Docswellにも同じものを上げています】
Más de Yuto Suzuki
5xx解消への道のり
5xx解消への道のり
Yuto Suzuki
MySQLのインデックス入門
MySQLのインデックス入門
Yuto Suzuki
Ad vol.2
Ad vol.2
Yuto Suzuki
広告勉強会
広告勉強会
Yuto Suzuki
Mastering Bitcoin ~network~
Mastering Bitcoin ~network~
Yuto Suzuki
Aerospike基本のき
Aerospike基本のき
Yuto Suzuki
いまさらAkkaStream
いまさらAkkaStream
Yuto Suzuki
Introduction of View Through Tracking
Introduction of View Through Tracking
Yuto Suzuki
エンジニアのためのマーケティング
エンジニアのためのマーケティング
Yuto Suzuki
How to Build a Team
How to Build a Team
Yuto Suzuki
プロダクトにおけるScala
プロダクトにおけるScala
Yuto Suzuki
Do you like scala
Do you like scala
Yuto Suzuki
Re invent
Re invent
Yuto Suzuki
Slackから始めるChatOps
Slackから始めるChatOps
Yuto Suzuki
大学の時の研究の話
大学の時の研究の話
Yuto Suzuki
F.O.Xを支える技術
F.O.Xを支える技術
Yuto Suzuki
Scala戦士を増やせ
Scala戦士を増やせ
Yuto Suzuki
Recommend scala
Recommend scala
Yuto Suzuki
スクラムに学ぶ開発の回し方
スクラムに学ぶ開発の回し方
Yuto Suzuki
Breezeで始めるデータ分析
Breezeで始めるデータ分析
Yuto Suzuki
Más de Yuto Suzuki
(20)
5xx解消への道のり
5xx解消への道のり
MySQLのインデックス入門
MySQLのインデックス入門
Ad vol.2
Ad vol.2
広告勉強会
広告勉強会
Mastering Bitcoin ~network~
Mastering Bitcoin ~network~
Aerospike基本のき
Aerospike基本のき
いまさらAkkaStream
いまさらAkkaStream
Introduction of View Through Tracking
Introduction of View Through Tracking
エンジニアのためのマーケティング
エンジニアのためのマーケティング
How to Build a Team
How to Build a Team
プロダクトにおけるScala
プロダクトにおけるScala
Do you like scala
Do you like scala
Re invent
Re invent
Slackから始めるChatOps
Slackから始めるChatOps
大学の時の研究の話
大学の時の研究の話
F.O.Xを支える技術
F.O.Xを支える技術
Scala戦士を増やせ
Scala戦士を増やせ
Recommend scala
Recommend scala
スクラムに学ぶ開発の回し方
スクラムに学ぶ開発の回し方
Breezeで始めるデータ分析
Breezeで始めるデータ分析
PRML 2.3
1.
PRML勉強会 鈴木雄登
2.
だれ? • 氏名:鈴木雄登 @moc_yuto • facebook:
yutosuzu • 大学院で自然言語処理を研究 • 現職:CyberZの開発エンジニア
3.
アジェンダ • ガウス分布の特徴 • ガウス分布と最尤推定 •
ガウス分布とベイズ推論 • 混合ガウス分布
4.
ガウス分布の特徴 • 正規分布とも呼ばれる • 単峰形(極大値が1つ)
確率密度関数
5.
ガウス分布が使われる場面 • 変数が1つの時のエントロピーを最大化する分布 • 確率変数の和における変数の数が増えるにしたがっ て近づく分布はガウス分布(中心極限定理) •
ガウス分布を用いたマルコフ確率場 • 時系列データのモデル化に用いられる線形動的シス テム
6.
1変数のガウス分布 平均 分散 変数:スカラー値x パラメータ:平均と分散
7.
1変数のガウス分布 xに依存している部分 この2次形式部分が定数 =ガウス分布の密度が一定 (ユークリッド距離という)
8.
多変量ガウス分布 平均ベクトル 共分散行列
9.
多変量ガウス分布 xに依存している部分 この2次形式部分が定数 =ガウス分布の密度が一定 (マハラノビス距離という)
10.
分散と精度 • 分散の逆数は精度 • 共分散行列の逆数は精度行列
11.
2次形式の特徴 固有ベクトルを用いると ただし、yは次のように定義 x-μが定数の面は 楕円体になる 平行移動回転
12.
ガウス分布における制限 • パラメータの総数はDに対して2乗に増加し、計算が困難 • 共分散行列Σには、D(D+1)/2個の自由パラメータ •
μにはD個の独立パラメータ • 対応策:共分散行列を対角化 独立パラメータが2Dに 一般のもの 対角行列 単位行列に比例
13.
ガウス分布における制限その2 • 単峰性(極大値が1つ) • パラメータが多すぎて、柔軟すぎる •
適切に表現できる分布の範囲が制限され過ぎ • 対応策:潜在変数を導入する(ガウス混合分布など)
14.
条件付きガウス分布 • 同時分布がガウス分布なら条件付き分布もガウス分 布 • 平方完成を使うことで、導出可能
15.
周辺分布(復習) XY 0 1
P(X) 0 1/4 1/4 1/2 1 0 1/2 1/2 P(Y) 1/4 3/4
16.
周辺ガウス分布 • 同時分布がガウス分布 周辺分布もガウス分布 p(xa,xb)の等高線
赤線は断面図 p(xa)は横からみたもの
17.
ガウス分布に対するベイズ • ベイズの定理を求める p(x)とp(y¦x)が既知のとき、p(y)とp(x¦y)を求めたい 2次形式を用いると、 上の式から変形してp(y)とp(x¦y)を求めることができる。
18.
ガウス分布の最尤推定 • ガウス分布の最尤推定も偏微分を行えば、求められる 求める パラメータ 観測値
19.
逐次推定 一括処理できないくらいデータ集合が大きい時に利用 更新時の修正分 Nが増えるに連れ 影響は小さくなる
20.
ガウス分布によるベイズ推論 • ガウス分布を用いると、以下を求めることができる • 分散が既知の場合の平均の推定 •
平均が既知の場合の分散の推定 • 分散、平均ともに未知の場合の推定
21.
分散が既知、平均の推定 尤度関数が以下であったとき、 であるので事前分布p(μ)にガウス分布を選べば と推定できる 共役事前分布に!
22.
考察 • 事後分布の平均=事前分布の平均∼最尤推定解の平均 • N=0
事前分布の平均 • N→ 最尤推定解の平均 平均が0の事前分布
23.
平均が既知、分散の推定 • 便利なので分散を精度でもって計算 • 精度は分散の逆数 •
共役事前分布はガンマ分布があてはまる
24.
平均、分散ともに未知 • 事前分布:ガウス―ガンマ分布 • ガウス分布とガンマ分布の積だが、パラメータは依存してい る
25.
スチューデントのt分布 • 平均は同じだが、精度が異なるようなガウス分布を 無限個足しあわせたもの • ガウス分布より分布の「すそ」が長い→ロバスト! •
外れ値に強い • 実運用では、このようなすその重い分布を使うと外れ 値に強いのでおすすめとのこと。
26.
周期関数 • 周期になっている変数を扱う際、原点の選択で平均 の値が変わってしまう。そこで極座標を使おうよと いう話。 θ1 θ2
27.
混合ガウス分布 通常のガウス分布 混合ガウス分布 混合分布:ガウス分布のような基本的な分布を線形結合
28.
混合ガウス分布 ガウス分布 個別に平均と共分散の パラメータを持つ 混合係数
29.
混合ガウス分布 ガウス分布 個別に平均と共分散の パラメータを持つ 混合係数 xで積分
30.
混合ガウス分布のパラメータ推定 • 単純には解けない!! • みんな大好きEMアルゴリズムで!!!!
31.
おわり
Descargar ahora