KL情報量の説明

1. KL情報量

2. エントロピー
• N個の物体をi番目の瓶にni個入れる方法は
𝑊 =
𝑁!
𝑖 𝑛𝑖!
通りとなる。
• エントロピーHは、これのログを取ったもので定義されるので、
𝐻 =
1
𝑁
ln 𝑊 =
1
𝑁
ln 𝑁! −
1
𝑁
𝑖
ln 𝑛𝑖!
スターリングの公式(ln 𝑁! = 𝑁 ln 𝑁 − 𝑁)より
𝐻 = −
𝑖
𝑛𝑖
𝑁
ln
𝑛𝑖
𝑁
= −
𝑖
𝑝𝑖 ln 𝑝𝑖
• 変数が連続な場合は以下のように書ける
𝐻(𝑥) = − 𝑝 𝑥 ln 𝑝 𝑥 𝑑𝑥

3. KL情報量
• データを発生させた真の分布を𝑝 𝑥 、データから推定される統
計モデルを𝑞(𝑥|𝜃)とする
• エントロピーの差は以下のようになる
𝐼 = − 𝑝 𝑥 ln 𝑞 𝑥|𝜃 𝑑𝑥 − (− 𝑝 𝑥 ln 𝑝 𝑥 𝑑𝑥)
変形したものをKL情報量と言う
𝐾𝐿(𝑝| 𝑞 = − 𝑝 𝑥 ln
𝑞 𝑥|𝜃
𝑝 𝑥
𝑑𝑥 = −𝐸 𝑝[ln
𝑞 𝑥|𝜃
𝑝 𝑥
]

4. KL情報量の性質
• 以下の性質を持つため、KL情報量が小さいほど、真の確率分布
𝑝 𝑥 が𝑞(𝑥|𝜃)に近くなる
𝐾𝐿(𝑞| 𝑝 ≥ 0 𝐾𝐿(𝑞| 𝑝 = 0 ⟺ 𝑝(𝑥) = 𝑞 𝑥 𝜃

5. 対数尤度と平均対数尤度
• データを発生させた真の分布を𝑝 𝑥 、データから推定される統
計モデルを𝑞(𝑥|𝜃)とする
• 𝐸[ln 𝑝 𝑥 ] = 𝑝 𝑥 ln 𝑝 𝑥 𝑑𝑥で、推定量にかかわらず一定。こ
れを平均対数尤度という。
• 平均対数尤度の推定量は、𝐸 𝑝 ln 𝑞 𝑥|𝜃 = 𝑝 𝑥 ln 𝑞 𝑥|𝜃 𝑑𝑥

6. 情報量基準1
• 離散分布で、𝑝 𝑥 =
1
𝑛
とすると、𝐸 𝑝 ln 𝑞 𝑥|𝜃 =
1
𝑛 𝑖
𝑛
ln 𝑞(𝑥𝑖|𝜃)
• 最大対数尤度は、最尤推定値の対数尤度。以下で表される
𝑙 𝜃 =
𝑖
𝑛
ln 𝑞(𝑥𝑖| 𝜃(𝒙)) = ln 𝑞(𝒙| 𝜃 𝒙 )
• 以上より、平均対数尤度の推定量が𝐸 𝑝 ln 𝑞 𝑥|𝜃 =
𝑙 𝜃
𝑛
• モデルに使用したデータを使用して平均対数尤度を推定してい
るので、推定のバイアスが生じる。これは、以下の通り。
ln 𝑞 𝒙 𝜃 𝒙 −
1
𝑛
𝐸 𝑝 ln 𝑞 𝒚| 𝜃(𝒚)

7. 情報量基準2
• バイアスの期待値は以下の通り
bias p = 𝐸 𝑝 ln 𝑞 𝒙 𝜃 𝒙 −
1
𝑛
𝐸 𝑝 ln 𝑞 𝒚| 𝜃(𝒚)
• よって、以下を用いることで、偏りのない推定量を求めること
ができる。
𝐼𝐶 = 𝐸 𝑝 ln 𝑞 𝑥|𝜃 =
𝑙 𝜃
𝑛
− 𝑏𝑖𝑎𝑠(𝑝)
• ICを情報量基準という。

8. 交差エントロピー
• 情報理論では、 𝑝 𝑥 ln 𝑞 𝑥|𝜃 𝑑𝑥を交差エントロピーと呼ぶ