コスト関数の 勾配，ヘッセ行列，ヤコビ行列 についてのおさらい

1. 𝒈, 𝐻, 𝐽のおさらい(3次元で分かりやすく)
𝒙 =
𝑥1
𝑥2
𝑥3
,
𝐸 𝒙 =
1
2
𝑒1
2
𝒙 + 𝑒2
2
𝒙 + 𝑒3
2
𝒙
のとき，
𝒆 𝒙 =
𝑒1 𝒙
𝑒2 𝒙
𝑒3 𝒙
とする．
𝒈 = ∇𝐸 𝒙 =
𝜕𝐸
𝜕𝒙
=
𝜕𝐸 𝒙
𝜕𝑥1
𝜕𝐸 𝒙
𝜕𝑥2
𝜕𝐸 𝒙
𝜕𝑥3
=
𝜕𝑒1(𝒙)
𝜕𝑥1
𝑒1(𝒙) +
𝜕𝑒2(𝒙)
𝜕𝑥1
𝑒2(𝒙) +
𝜕𝑒3 𝒙
𝜕𝑥1
𝑒3(𝒙)
𝜕𝑒1(𝒙)
𝜕𝑥2
𝑒1(𝒙) +
𝜕𝑒2(𝒙)
𝜕𝑥2
𝑒2(𝒙) +
𝜕𝑒3 𝒙
𝜕𝑥2
𝑒3(𝒙)
𝜕𝑒1(𝒙)
𝜕𝑥3
𝑒1(𝒙) +
𝜕𝑒2(𝒙)
𝜕𝑥3
𝑒2(𝒙) +
𝜕𝑒3 𝒙
𝜕𝑥3
𝑒3(𝒙)

2. 𝒈, 𝐻, 𝐽のおさらい(3次元で分かりやすく)
𝐻 =
𝑑2
𝐸 𝒙
𝑑𝒙2
=
𝜕𝒈
𝜕𝒙
=
𝜕2
𝐸 𝒙
𝜕𝑥1
2
𝜕2
𝐸 𝒙
𝜕𝑥1 𝜕𝑥2
𝜕2
𝐸 𝒙
𝜕𝑥1 𝜕𝑥3
𝜕2
𝐸 𝒙
𝜕𝑥2 𝜕𝑥1
𝜕2
𝐸 𝒙
𝜕𝑥2 𝜕𝑥2
𝜕2
𝐸 𝒙
𝜕𝑥2 𝜕𝑥3
𝜕2
𝐸 𝒙
𝜕𝑥3 𝜕𝑥1
𝜕2
𝐸 𝒙
𝜕𝑥3 𝜕𝑥2
𝜕2
𝐸 𝒙
𝜕𝑥3 𝜕𝑥3
=
𝜕2
𝑒1 𝒙
𝜕𝑥1
2 𝑒1 𝒙 +
𝜕𝑒1 𝒙
𝜕𝑥1
𝟐
+
𝜕2
𝑒2 𝒙
𝜕𝑥1
2 𝑒2 𝒙 +
𝜕𝑒2 𝒙
𝜕𝑥1
𝟐
+
𝜕2
𝑒3 𝒙
𝜕𝑥1
2 𝑒3 𝒙 +
𝜕𝑒3 𝒙
𝜕𝑥1
𝟐
… …
… … …
… … … 3×3
↑
(１，１)成分だけ表示

3. 𝒈, 𝐻, 𝐽のおさらい(3次元で分かりやすく)
𝐽 =
𝜕𝑒1 𝒙
𝜕𝑥1
𝜕𝑒1 𝒙
𝜕𝑥2
𝜕𝑒1 𝒙
𝜕𝑥3
𝜕𝑒2 𝒙
𝜕𝑥1
𝜕𝑒2 𝒙
𝜕𝑥2
𝜕𝑒2 𝒙
𝜕𝑥3
𝜕𝑒3 𝒙
𝜕𝑥1
𝜕𝑒3 𝒙
𝜕𝑥2
𝜕𝑒3 𝒙
𝜕𝑥3
𝐽 𝑇
𝐽 =
𝜕𝑒1 𝒙
𝜕𝑥1
𝜕𝑒2 𝒙
𝜕𝑥1
𝜕𝑒3 𝒙
𝜕𝑥1
𝜕𝑒1 𝒙
𝜕𝑥2
𝜕𝑒2 𝒙
𝜕𝑥2
𝜕𝑒3 𝒙
𝜕𝑥2
𝜕𝑒1 𝒙
𝜕𝑥3
𝜕𝑒2 𝒙
𝜕𝑥3
𝜕𝑒3 𝒙
𝜕𝑥3
𝜕𝑒1 𝒙
𝜕𝑥1
𝜕𝑒1 𝒙
𝜕𝑥2
𝜕𝑒1 𝒙
𝜕𝑥3
𝜕𝑒2 𝒙
𝜕𝑥1
𝜕𝑒2 𝒙
𝜕𝑥2
𝜕𝑒2 𝒙
𝜕𝑥3
𝜕𝑒3 𝒙
𝜕𝑥1
𝜕𝑒3 𝒙
𝜕𝑥2
𝜕𝑒3 𝒙
𝜕𝑥3
=
𝜕𝑒1 𝒙
𝜕𝑥1
2
+
𝜕𝑒2 𝒙
𝜕𝑥1
2
+
𝜕𝑒3 𝒙
𝜕𝑥1
2
… …
… … …
… … …
よって， ||𝒆 𝒙 ||が小さいときや𝒆 𝒙 の二階微分の大きさが小さいときに𝐻 ≈ 𝐽T
𝐽のよい近似ができる．

4. 𝒈, 𝐻, 𝐽のおさらい(3次元で分かりやすく)
ちなみに − 𝒈 = −𝐽 𝑇
𝒆(𝒙)は，
𝒈 =
𝜕𝐸 𝒙
𝜕𝑥1
𝜕𝐸 𝒙
𝜕𝑥2
𝜕𝐸 𝒙
𝜕𝑥3
=
𝜕𝑒1(𝒙)
𝜕𝑥1
𝑒1(𝒙) +
𝜕𝑒2(𝒙)
𝜕𝑥1
𝑒2(𝒙) +
𝜕𝑒3 𝒙
𝜕𝑥1
𝑒3(𝒙)
𝜕𝑒1(𝒙)
𝜕𝑥2
𝑒1(𝒙) +
𝜕𝑒2(𝒙)
𝜕𝑥2
𝑒2(𝒙) +
𝜕𝑒3 𝒙
𝜕𝑥2
𝑒3(𝒙)
𝜕𝑒1(𝒙)
𝜕𝑥3
𝑒1(𝒙) +
𝜕𝑒2(𝒙)
𝜕𝑥3
𝑒2(𝒙) +
𝜕𝑒3 𝒙
𝜕𝑥3
𝑒3(𝒙)
𝐽 𝑇
𝒆 𝒙 =
𝜕𝑒1 𝒙
𝜕𝑥1
𝜕𝑒2 𝒙
𝜕𝑥1
𝜕𝑒3 𝒙
𝜕𝑥1
𝜕𝑒1 𝒙
𝜕𝑥2
𝜕𝑒2 𝒙
𝜕𝑥2
𝜕𝑒3 𝒙
𝜕𝑥2
𝜕𝑒1 𝒙
𝜕𝑥3
𝜕𝑒2 𝒙
𝜕𝑥3
𝜕𝑒3 𝒙
𝜕𝑥3
𝑒1 𝒙
𝑒2 𝒙
𝑒3 𝒙
=
𝜕𝑒1(𝒙)
𝜕𝑥1
𝑒1(𝒙) +
𝜕𝑒2(𝒙)
𝜕𝑥1
𝑒2(𝒙) +
𝜕𝑒3 𝒙
𝜕𝑥1
𝑒3(𝒙)
𝜕𝑒1(𝒙)
𝜕𝑥2
𝑒1(𝒙) +
𝜕𝑒2(𝒙)
𝜕𝑥2
𝑒2(𝒙) +
𝜕𝑒3 𝒙
𝜕𝑥2
𝑒3(𝒙)
𝜕𝑒1(𝒙)
𝜕𝑥3
𝑒1(𝒙) +
𝜕𝑒2(𝒙)
𝜕𝑥3
𝑒2(𝒙) +
𝜕𝑒3 𝒙
𝜕𝑥3
𝑒3(𝒙)
から成りたつことがいえる．
これは𝐸 𝒙 =
1
2
σ𝑖 𝑒𝑖
2
(𝒙) 場合に成り立つ．