1. Gaussian Processes for Machine LearningのExercise 3.10.5の答え
正田備也＠長崎大学
平成 24 年 4 月 17 日
先ず、式 (3.56) で
σ2
−i = (σ−2
i − ˜σ−2
i )−1
(1)
と定義された σ2
−i が、見かけに反して ˜σ2
i に依存しないことを示したい。
式 (3.53) より
Σ = (K−1
+ ˜Σ−1
)−1
(2)
よって
Σ−1
= K−1
+ ˜Σ−1
(3)
ここで、Appendix A の式 (A.12) の ˜P = P−1
+ P−1
QMRP−1
という等式を、A = Σ、P = Σii = σ2
i と設
定して用いると、
(Σ−1
)ii = σ−2
i + σ−2
i QMRσ−2
i (4)
を得る（Σii = σ2
i であることは式 (3.55) のすぐ下に書いてある）。ところで、式 (3) より
(Σ−1
)ii = (K−1
)ii + (˜Σ−1
)ii (5)
が言えるが、˜Σ は ˜σ2
i を第 ii 成分とする対角行列である（式 (3.52) のすぐ下の行を見よ。）から、(˜Σ−1
)ii = ˜σ−2
i
である。よって、式 (4) と式 (5) を組み合わせて
σ−2
i + σ−2
i QMRσ−2
i = (K−1
)ii + ˜σ−2
i (6)
よって
σ−2
i − ˜σ−2
i = (K−1
)ii − σ−2
i QMRσ−2
i (7)
が得られ、式 (1) は次のように書きなおせることが分かる。
σ2
−i = ((K−1
)ii − σ−2
i QMRσ−2
i )−1
(8)
この式の右辺を見ると、K または Σ に依存する量で、˜σ2
i には依存していない。
次に、式 (3.56) で
µ−i = σ2
−i(σ−2
i µi − ˜σ−2
i ˜µi) (9)
と定義された µ−i が、見かけに反して ˜µi にも ˜σ2
i にも依存しないことを示す。
先に、σ2
−i が ˜µi にも ˜σ2
i にも依存しないことは示した。また、σ−2
i µi は明らかに ˜µi にも ˜σ2
i にも依存しな
い。よって、残る ˜σ−2
i ˜µi が ˜µi にも ˜σ2
i にも依存しないことを示せばよい。
式 (3.53) にある µ = Σ˜Σ−1 ˜µ より、Σ−1
µ = ˜Σ−1 ˜µ が成り立つ。両辺の第 i 成分にのみ注目すれば、右辺
は ˜σ−2
i ˜µi である。ところで左辺は ˜µi にも ˜σ2
i にも依存しない。よって右辺の ˜σ−2
i ˜µi も、見かけに反して ˜µi
にも ˜σ2
i にも依存しない。
1