85. 例題
• 箱の中に赤玉と白玉が合計 n 個入っていて,
そのうち赤玉は m 個である.
• 箱の中を見ずに玉を一個取り出したときに赤
玉が出る確率 P赤 と,白玉が出る確率 P白 を
求め,それぞれの場合の情報量 I赤 と I白 を求
めよ.
• さらに,箱のエントロピー H 箱 を求めよ.
38
86. 答
m
P赤 =
n
m n−m
P白 = 1 − P赤 = 1 − =
n n
1 n
I赤 = log2 = log2 = log2 n − log2 m [shannon]
P赤 m
1 n
I白 = log2 = log2 = log2 n − log2 (n − m)
P白 n−m
[shannon]
39
87. 答 (つづき)
H箱 = P赤 I赤 + P白 I白
m
= (log2 n − log2 m)
n
n−m
+ (log2 n − log2 (n − m))
n
m
= log2 n − log2 (n − m) − [log2 m − log2 (n − m)]
n
[shannon]
40
88. H箱 は P赤 の関数である
m
H箱 = log2 n − log2 (n − m) − [log2 m − log2 (n − m)]
n
n m m
= log2 − log2
n−m n n−m
1 P赤
= log2 − P赤 log2
P白 P白
1 P赤
= log2 − P赤 log2
1 − P赤 1 − P赤
41
89. 演習問題
• 次の関数 H(P) が P = 1/2 で最大値を示
すことを証明しなさい.
1 P
H(P ) = log2 − P log2
1−P 1−P
※ グラフを描いても証明にはならないので
注意すること
42