Más contenido relacionado
La actualidad más candente (20)
Similar a prml_titech_9.0-9.2 (20)
prml_titech_9.0-9.2
- 13. K-meansのいろいろ
Online版
𝜇 𝑘
𝑛𝑒𝑤
= 𝜇 𝑘
𝑜𝑙𝑑
+ 𝜂 𝑛 𝑥 𝑛 − 𝜇 𝑘
𝑜𝑙𝑑
𝜂: 学習率パラメータ
𝜂は𝑛に対して単調減少
K-medoids
𝐽~ =
𝑛=1
𝑁
𝑘=1
𝐾
𝑟𝑛𝑘 𝜈(𝑥 𝑛, 𝜇 𝑘)
ユークリッド距離の二乗の代わりに非類似度𝜈を用
いる
13
- 21. 混合ガウス分布の定式化
負担率𝛾(responsibility)
分布𝑁(𝑥; 𝜇 𝑘, Σk)が𝒙を説明する度合い
𝛾 𝒛 = 𝑝 𝒛 𝒙
=
𝑝 𝒙 𝒛 𝑝 𝒛
𝒛 𝑝 𝒙 𝒛 𝑝(𝒛)
=
𝑘=1
𝐾
𝜋 𝑘
𝑧 𝑘
𝑁 𝒙; 𝝁 𝑘, Σ 𝑘
𝑧 𝑘
𝒛 𝑘=1
𝐾
𝜋 𝑘
𝑧 𝑘
𝑁 𝒙; 𝝁 𝑘, Σ 𝑘
𝑧 𝑘
𝛾 𝑧 𝑘 = 1 =
𝜋 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘
𝑘=1
𝐾
𝜋 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘
21
- 23. 平均の最尤推定𝝁 𝑘𝑀𝐿
0 =
𝜕𝐿
𝜕𝝁 𝒌
=
𝜕
𝜕𝝁 𝑘
𝑛=1
𝑁
ln
𝑗=1
𝐾
𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗
=
𝑛=1
𝑁 𝜋 𝑘
𝜕
𝜕𝜇 𝑘
𝑁 𝒙; 𝝁 𝑗, Σ𝑗
ln 𝑗=1
𝐾
𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗
=
𝑛=1
𝑁
𝜋 𝑘 𝑁 𝒙; 𝝁 𝑗, Σ𝑗
ln 𝑗=1
𝐾
𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗
Σ−1(𝒙 𝑛 − 𝝁 𝑘)
=
𝑛=1
𝑁
𝛾 𝑧 𝑛𝑘 Σ−1
(𝒙 𝑛 − 𝝁 𝒌)
パラメータの推定 23
負担率
𝜇 𝑘𝑀𝐿 =
1
𝑁𝑘
𝑛=1
𝑁
𝛾 𝑧 𝑛𝑘 𝒙 𝑛
𝑁𝑘 = 𝑛=1
𝑁
𝛾(𝑧 𝑛𝑘)
- 24. パラメータの推定
0 =
𝜕𝐿
𝜕Σ 𝒌
=
𝜕
𝜕Σ 𝑘
𝑛=1
𝑁
ln
𝑗=1
𝐾
𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗
=
𝑛=1
𝑁 𝜋 𝑘
𝜕
𝜕Σ 𝑘
𝑁 𝒙; 𝝁 𝑗, Σ𝑗
𝑗=1
𝐾
𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗
=
𝑛=1
𝑁
𝜋 𝑘 𝑁 𝒙; 𝝁 𝑗, Σ𝑗
𝑗=1
𝐾
𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗
𝑁
2
Σ−1
𝒙 𝑛 − 𝝁 𝑘 𝒙 𝑛 − 𝝁 𝑘
𝑇
Σ−1
− Σ−1
=
𝑁
2
𝑛=1
𝑁
𝛾(𝑧 𝑛𝑘) Σ−1
𝒙 𝑛 − 𝝁 𝑘 𝒙 𝑛 − 𝝁 𝑘
𝑇
Σ−1
− Σ−1
24
分散共分散行列の最尤推定ΣkML
Σ 𝑘𝑀𝐿 =
1
𝑁𝑘
𝑛=1
𝑁
𝛾 𝑧 𝑛𝑘 𝒙 𝑛 − 𝝁 𝑘 𝒙 𝑛 − 𝝁 𝑘
𝑇
𝑁𝑘 = 𝑛=1
𝑁
𝛾(𝑧 𝑛𝑘)
- 25. パラメータの推定
混合比𝜋 𝑘の推定
L = ln 𝑝(𝑋; 𝝅, 𝝁, Σ) + 𝜆
𝑘=1
𝐾
𝜋 𝑘 − 1
0 =
𝜕𝐿
𝜕𝜋
=
𝑛=1
𝑁
𝑁 𝒙; 𝝁 𝑗, Σ𝑗
𝑗=1
𝐾
𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗
+ 𝜆
両辺に𝜋 𝑘をかけて𝑘について和をとり制約条件を適用
𝜆 = −𝑁
𝜋 𝑘 =
𝑁𝑘
𝑁
𝑁𝑘 =
𝑛=1
𝑁
𝛾(𝑧 𝑛𝑘)
25
𝜋 𝑘 =
𝑁𝑘
𝑁
𝑁𝑘 =
𝑛=1
𝑁
𝛾(𝑧 𝑛𝑘)