情報幾何学の基礎6章です。(https://www.amazon.co.jp//dp/4434208810) 統計力学の概要説明と教科書の式展開をより詳しく書いています。

1. 6章 統計 物理学 へ の応用
6.1 最大エントロピー 原理
r
最大 エントロピー原理 ・
最小自由 エネルギ原理を
情報幾何 定式化 から
導出 する、
@ 統計 力学概観
今、
n 個 の 同種の 原子から 成孫を考える 、
運動 量 は rmた 、
加 は、 阿 順 に は速度) なので、
この系は 、
(かるい ま げ で はない かい た が 、
-
Pan ,
Pan 、
En) で
書ける

2. この 体系 において、
徳久 小領域 は以下の よう になる
dた dx.dhdzihpadp.dz、
一
dpzn
この 体積を 微小領域の 状態の 数と 見なし
がいで 、
さらに
"
微小な基本領域 をし とおく 。
この 時 、番目 の 微小領域の
状態 数 9 j は
gja 興
L。
今 、
体系に 14 個 の 代表 点がある 状況を考える、
5 番目の 微小領域 に 入る 代表点の 個数 を心と
する
N
こる Nj こ Const

3. j い が1番目 の
倪文小領域 に Nj 個 の 代表点を おく 時 の
分配の
方法 は 、
全ての 微小領域を 同等 に 扱う と 、
IN CM 、
- . -
Nj
-
) =
バ恭が 9 代では
9バー (*1
MM-
M -
) が 最大 に なる 分配 方法が、 最も 出現
しやすい 状態 で あるので、 これを 求める
エネルギー について 、
全体で E とすると 、
領域j ごとに
い
た Ej Nj に 045 た
(1で は、
領域 の 自体の エネルギー/
スターリングの 公式 ( N ! こ げど) より
いい
な 慥が
"
ES log んは
約 1。

4. よって 、
最大化 問題
hf 比
,
EN) = ルにconst
2 回は E 2 const
ラグランジュ の 未定乗数法より、
に GW
-
メ ( N -
約一
(E -
2 日; Ni )
高= log (
) 十 一
人 一
Ej = 0
が 幾 ュ いは や 別 は がり
ぐ」 第2 giexpl-I.SEj ) 一
世)
さらに 絆こ ない外 で 別 く」 E を
言いな

5. 微視的 状態は 、
位置と
運動 量で
定義されていた
そこで 、
e したので ー
たり 、 やこ ( PaPa ,
仏 、
-
En)
また 、
離散状態 で考えて いた が 連続状態で考える と 、
di de 、
日の
日 は、 か
な エネルギー 毎の 状態 数の 確率分布 は 、
九 日に も選ん
で %に
この 時 、 内部 エネルギ はン以下の
通り (系の エネルギー なので
U -
5 日 (たか ど
な ば %に
壮
( つまり、
動き 平
抄

6. @ エントロピー の
導出 、
余談 参考 に した教科書では
i) 分配 関数の定義
で の 川 で5 で 呦
響、
mnhne
先の 式 から
、
U -
前。
けど 日 "
dy
Z -5 ピロ 呦 壮 、
と なく 、
この Zを分配 関数 という
i) 圧力 と 分配 関数の 関係 m
な 山 に ピストンが ある系を考える
出馬!※ ピストン
・
t.rs#oし ピストン は 九軸 に 直交) に 、
ピストンが 分子 j に 及ぼす か の ポテンシャルを に しない
分子 の 位置 ポテンシャルを 正し を たま (どの 、
一
-
Zn) とする、
この 時 全体の 位置 ポラン シモ に は 、
または 科 にしな ー
い

7. 9.点と思ば籤管前照龍蜊 噺 は位置 い
2TEYIEK.ir縊 ぽ ば 側 は作)
は孿義さ れる
)よって 口は 、 P ) は ハミルトニアン 。
-
圧力 は、
ピストン と系 の 力 の つり合い である。
今 、
ポテンシャルより ピストン が 粒子 に押さ れる 力 を拍 とする、
fcx に 表 に し がり 「前 までの f とは 無関係
よって 、
粒子 全体 が ピストンに 加える か は 、
Stamp CARO、
川江
-
ID =
sets 区 に セルに
さらに 日 ( q 、 阪 KH t まい な ん ばん ) より

8. ④
だ
と
中 に 川畑はいば 私しなーー
ん に
といった2
S eat All側+41 が 行くとが物 岻
の
址
exp いしまはな にしない 川 dq二
rdf~z~zssexpl.SC蚍 は 約な 川) de
=
お ま、
log Seal -
0 1 蚍は 私が
川dq
さ 2.mx -4 について 、 物理的 に は、 分子間 力 で あり 、
以下 の 国 の よう に なっ2いると する
wm
w
で器 と
が
この 日
を し
、
私は お前 t.gl/%daT0dat/ewuy には
御K -
S

9. S-
) と して 良いので、
たかが 主、
log Set に任
ここ で、
がん に した んが た 時川 知 瞬 より
p が 前例 で 袽
da 豳een
さらに 前 log Je -
水曜の 二 0 より たた は 理想気体の
場合、 内部 エネルギー と
pa また log 2 は 川 運動 エネルギー の 関係
さらに より
蠡騎 。
.it/en/P2kT前 kg 礼下り

10. ※ エントロピー の
導出
熱 エネルギー 第一
法則より
dad Utpd4
に一言 lgzlp.li/EtUakThogz1たり
さらに d (知生 、
気が1
,
定 がより ds 滯
よ、 2 、
知 興 雄ヶ断 脚
- d した Hkdi 年 傾け、 好 KdV訛り (
T.lt/adlt1td1klgZCT.lD

11. 以上から
に し tklgZCT.IN
さらに 、 ヘルムホルツ の 自由 エネルギー より
に U -
TS -
kilogZH.LY
最大エントロピー原理 、
について、
伴 ) より 、
lgm-EN.is 幾 -
Nfgj た
が
強いがお
こ N で
約
、
でる はな ぼ )
いい よ な のでか
gie.mil?tNNNMUtNgzisCNの
整合性は無祝け

12. つまり 、
S -
Ng W なので、
凶 の 最大 化で 得 た f (明 tnnne
l は 呦金
は、
エントロピー を
最大化 する 。 また たばこ 叭興
Mts 別れ
を
カノニカル 分布 という 。 又 、
Sightを ボルツマンの 原理という、
⑥
最小 自由 エネルギ原理 に ついて
い蠑
に U -
TS で 嬰 が W こ
G 行い
よって W の 最大化 は 、
12
の
最小 イ と
し 統計 力学 根元観 終了)

13. 〈 情報幾何学 から 見 た 最大エントロピー 原理 7
指数型 分布 族を考える
に 1 で 行いー け い た0 でん こ
じ 」
で) を通る と する-
、
この 時 Lilian と して いる
Poeexp ( CasoHM -
ポリ
020 で
eip 1 制
弐 ( UEA )P。
ルに
紙
よっ て
ey ( CMに 1 H CM o
これより 、
Po い 2
EYE OHM -
れい ど)
ヌ、 これは S の が、
自己 平行 部分 多様体で 1 6 .
1) は
が 測地 線

14. 定理 5.6 、
1 より 、 各 と に 対して
た {qesi Eq EHJ こと)
と かな
測地 線は交部が直交 する。
また、
9 とん の ダイバー ションス を考えた 時 、
定理428 の 一般化された
Pythagoras の 定理より 、
DMT) t
Tale) の
Play
Del Pont D ( po.IN この しん は
これ と D ( か よ)2 0 .
と DMX) 2 0 より
min
D ( いん) -
DM Pat .
y D 19 代に D 豳 川

15. お 2 .
log min が1911
川澄響 継物 瀏
qe た
aargmiuhgn-scyyargma.de)
私 た 私
たいこと に
Scq)
に は GM kg たい ( これは確率分布と のShannon 圸叱り
WGN
これより、 確率 変数に い -_- H いい の 期待値が 一定 、 つまり
EqEHJ 2 に という 条件 の 下で、
Shannon エントロピー Scp を
最大に する 確率 分布 と は、
拘束条件 が 定める が一
配桁
部分 多様体たて 様分布 から 下ろした が、
垂線の 足尾 である
ことを たい味 し て いる

16. さらに 書き直す と
箱箱 y
た
P。
1 など
「似たた haltingnonsense
カノニカル分布
( Be, log 2(な 中 と これを分配 関数という
)
今 HM を ハミルトニアンと思うと 、
H の期待 値 が一定 という
条件 下 で エントロピー を最大に する分布 が 力に力 に分布 で ある
という 、 最大 エントロピー原理が 再現 される
〈 情報幾何 学 から 見た最小 エネルギ原理)
し 6.1) の 両辺に 対 数 を とっ て
、 Po に関する 期待値をとると
も 問 lg 間 = 一
郎。 OHM) -
EN が)
E) y (0 に SiPo) -
0 年。
[H] 16.31

17. S の 任意 の 確率分布 r と なに が 分知 の 間 の KL・
ダイバーは次 は
D ( Np。 1
もない19 器 と いい
Granny poly
2
- S は) など) [-
0 Ha) _
た が
ユ、 には なば +4101 ti
=
一
に いかな [HJ t ftp.) -
0 年。
[HJ
)
これより、
①
{ MID は 俗に 0 に
は純が な物 が かなが叮
と の 時 は P。
さらに は 既知 で 3 0 を仮定 する 以下 の よう に Fm を定義する、
この
時 @ 金は) に は [HI -
かい ( 6.
5)
P. a
望
には)

18. に は) は Helmholtzの 自由 エネルギー なので、 を 既知 と する と 、
なに か に分布 は Helmholtz の 自由 エネルギーを5 上で
最小化
する 確率 分布 で ある 、
〈 情報幾何 学 から 見た分配関数と Helmholtzの 自由 エネルギー>
S の が一
アイン 座標系 を 0k10! ー
がり と して 、
が、
自己 平行 部分多様体である 測地線 た が、
( どー じ) -
13 ,
0 .
-
0) と 書けるよう な座標系をとる
Legendre 変換の 関係式より
4101別 」
と気 など ( かな は 4 は制
など し た に B ,
0卬が ー どた) 20 ,
で は 2 日 [片]2 - は 川
さらに 、
1 1 32
より 41 て け -
S Cry

19. 1 6 .
5) -
1 6 .
6 ) と分配 関数の 定義より 、
4 1 0 1
別 では1 0 % は mg
何 はい は 川
⇐) が、 2101の り っ
ー! 側ながい た こと
にけが で
別
Hermh。 1た の 自由 エネルギーと分配 関数の 関係式 を導出 した
し補 捉)
最大化 エントロピー 原理は 、 束縛条件つき 最大化 問題 。
これが、
最小エネルギー原理 ( 束縛条件なし の 最小化 問題)
に 変換 出来たの は、
ダイバー が 以 の 定住 性 があった ため 、

20. 6.2 平均 場 近化と
4 次元な
。 モデルの 定式化 )
ハミルトニアン が、
以下 で書かれる 、
N- スピンで
ng リングを考える
人に H は 別に だ約8 -
」 は、 ( SEN,
HI )
( 3 H = 3 Hood N ) と する 。
つまり Ntに 1 )この 時 カノニカル 分布 は
ど で いた e HH -
ましん か (
6.710は 送温度 で は、
丁) は分配 関数の 対数 )
との 時 、
確率 分布 9は、
幾何学的 に は14 個 の スピンの 確率分布
全体から なる には 1 1 次元 統計多様体広上の 1点 となる、

21. 〈 近似 の 定式化 >
N 個 の スピン全体 を 隣り 合う に 個 の スピン を 1 クラスタ と
見なし た m 個 の クラスタ に 分解 に 近仙人 を行う、
つまり、
N ン mxh.tn 22
第 入 番 国 の クラスター の 第 i 番目 の スピン S 11代幻 に 水- m
) は、
元々 の リングにおける 第 3 スピン53 と する 。 つまり、 インデックスを以下 で対応づける
321 い ) nti
各 クラスター が i.i.cl と 仮定 した うえで、 N スピン 状態である
か に 力 に 分布 9 を 最も 良く近似 する に スピン 状態 を
見つける こと が、 近似が、 どの よう な 分布 か を
考察 する の が この
節 の 問題

22. < n スピン系 の 定式化 )
に
スピン系の 任意 の 確率分布 を指数分布 族で 以下 の よう に書ける
が い
階
eiiTSi.SiiSa-tC0D@1IYptepL05it0Ii.tOなに か幻
記号 を 簡略 化 する ため 以下 を導入
で、
など
に Si、
Su -
Sie ,
ただIe
Ie 」 でい
がい に も、
く じぇい くじ
なり
この 時
p た に exp 10%-4011 ( a は 縮約 記法
1

23. 各 クラスタ は iid なので、 系全体 は以下 の
通り
P. に
蚍53に 群の 10 など で し 6.9
)
Po の 全体 の 集合 Mn は、
0210缸を座標系 とする劭 はり 次元
部分 多様体 と 見なせる、
以下 、 民 を クラスター状態と よふ
。
〈 近代人 問題 の 解 )
クラスタ 状態 Po EM n で 力 に力 に分布 と を近似 する
問題 を数学的 に 定式化 する。
KL・
ダイバー シ以を考えればよい .
D Roll G) =
曜 は 楽) の は ルノー に し
幻
な D (Pollo) を 最小 化 すれば よい ので、 Th を
最小化 すれば よい 。
この 解 を Pa と おく 。

24. 一般化 Pythagoras の 定理 4.28 より 、
Pa は、
9から
部分 多様体 Mn へ 下ろした かな 射影 を 求める 問題となる 。
なお、
部分 多様体 Mn は 7 は
自己 平行 で は ない ので
( かな 自己 平行 で はある) 近仏人点 は 必ずしも 1つ で はない
、
〈 Duq) を 最小化 する 点 も の 性質 >
超
影品性 など と州 の 関数 " 呦
てっきり
を 最小化 する 点を も と する 、
この とき 、
どこ だ ! どこ も い
ない が た h
も
い
た が
"
こ
ー =
が
い
た 町
で
きた鬱鬱た
がある 又
.at/eee

25. 〈 証明>
ペン= 0 5 で-
YM ( M . → 川 とおく と
、
1 」
紙でも ない
ことで
ここ で
toda log [と (05
判
wieder E。
[ど」なる中心に
seeasどりな生 に 、
曜 はal町 沿い で い た。
[ど] 2 0 (6 .
1 2
)
よって 確率 分布 方実尾 の Fisher計量 9 地制 は、
9abi 二
命。
[( da log Re ) はblog Pie)]
コロ
poly da ピノ ( こがが
なれでん ぺ と み で は 独立 なので 、
- に
はピル みどり] +
重 目
。
はでり は町

26. ( 6. H を 用いる と、
9 s
ニ
鯉 はじ) はばり)
- mm 。 [など) は。
じ)
また 、
0k10 りの 双対座標系 に した) は 、
定理5.5、
2より 、
以下 で
定義される
で いう。
はでたん たり
これより
tal
し
た S が_
てa
し 6.13)
さて 、
D ( pollo) を 最小 化 する ので 、
da D ( pollo ) を考える、
ta D Rolle ) 2 taspo Ug Po -
log を 1
9312
品
ので は Prolog 9) +
劇で はa hadalgae)
にも とれ 109920 より
二
品名 は行か ( log Raya)

27. よって 、
ダイバー ジシン スが 凸 関数で ある ことから、
da D ( poll G ) 2 0 と なる Pa で Due) を最小化 する 、
よっ て 以下 で
最小値 を 取る、
名は11昵 ・
舐) は19 % が 0 (t a EI ) し6.14 )
補題
点 い
た影
斌と 同値 である
.EE/↳
で一
億蕊籤:::豔とした1rem

28. 〈補題 にら の 証明 )
となり
log どん が
総は、
一
礼付)
で
純 総"
樾では蜊ドが吸引 )
ここ に上つき 添字 入れ1 は M を 法 と に考える 。 従って、
1 6-
9 ) より 、
紘一 は馮はば -
h ) から 嘿 ( ぼ町 ) 5で、 m
が当然な品が
陽 瑫0が
)
- m では ましh 、
J )
に
純心 が 誠が弘 がけ た )

29. ただし、
に 純どー んだが訛
で は"
が 5で。→
+
ただな ことが信じが
これより 、
(6.
14
) は山人 下の よう に 書ける
Eftp.te) は卯媚幽じ が鄂 で別・
峭
い瑫 じなど、
誠、など) はドルが弘明 に
は町 2 0
分 に雌 じり したんがり] 2 日 階然別
さらに 異なる クラスタ に属する 確率 変数 は 独立なので、
MM で 師。 [ 4"
竹 ニ 曜 に 町 瓯 [tal叮 = 0

30. お ひ
の
縞。
どので 打線に 剛 は側はバツ
右辺と 左辺をそれぞれ展開 する、
1 6、
川 を 用いると 、
心 5)
は辺 に
摧 昂。
[ はい べ t ていっ ) はい だなてい ) はではで
ツ
クラスタ の 独立性 より 、
巧 鮓の
地がない) はどりた。
はい がな幻
+ にいいで は なっ た。 。 1はいっ じなていっ ) など別 )
また 気 に かでは 名目はどう 20 .
Be [ da で
"
thus ] 2
Eastに は バカ では 9 wb

31. これら より、
1右辺) が 19 ask.stga.us なっ た J 9ab が
次 は 左辺を計算する
熱線。
[鈍どー
ん) はでは蜊 たが
+ 紙0性
の はanthy の が
が
"
(おばは ) の が
、
垢
で はで は ない ので]
※9 いっ ばい tY9ai.ms ( ど 吐
の
「
新9が
どな
品9sat gab が

32. よって.
( 6-
K) は 以下 の よう になる
gab た Jgば
、
さらに 、
計量 g は 正定値 なので 逆行列 が取れる よって
が こ
jya a
この 補題 が 1 6 州 を 満たす e で は 、
0
な んは ない し た ん は
たびたびに 、 - _ - こ だたん く☆
)
で
"
こ で
"
2
-
- . -
」 で
十川
汀 、
その他 は 全2 0
となる。 残り は どこ だ) を 示せ ば よい。
( これ を示す と も し
た ん は 日が LSI が 導出 される
)

33. 補
など)
以外は の 通り と する、
以下の 連立方程式 を考える、
とETEfで
た んは その
o
zhtJR.US/js0なら ば、 唯一 解 は どこ 0
まっさきには明 )
が ー じならば ー
いけ ば なり たが
座標変換 ( じり どり いし いた ( じー じ、 0など) を 行う
高 41 0は 飛訓が 新しい
えい たが 意 新しい 一新し か より、
Xa -25 t 16.15)

34. さらに 、 4 1 6 ) は 0 に関して狭義凸 なので、
器 > 0
よって、
装 は 単調 増加 、
故に 各 な おいし 飛こ 0 を 満たす X は 1つ で あり、 420
し て 0
い た 0 川
、