1. PRML 復々習レーン
4.3.6 正準連結関数
@urapon_1
2012/9/23

2. 誤差関数の微分
ガウス分布の対数尤度関数の勾配
N
∇ ln p (t∣w , β)=β∑ n=1 {t n−w ϕ( x n )}ϕ( x n )
T T
(3.13)
ロジスティック回帰誤差関数の勾配
N
∇ E (w)=∑n=1 ( y n −t n)ϕn (4.91)
多クラスロジスティック回帰誤差関数の勾配
N
∇ w E (w 1,. .. ,w K )=∑ n=1 ( y nj −t nj )ϕn
j
(4.109)
→ 誤差と特徴ベクトルϕn の積

3. 正準連結関数
正準連結関数 (canonical link function) として知られている
関数を活性化関数に選び、指数型分布族の中から目的変数に
対する条件付き確率分布を選択する。
誤差と特徴ベクトル ϕn の積の形式で誤差関数の勾配を表現できる

4. 目的変数 t の分布
目的変数 t の分布が指数型分布族であると仮定する
1 t
p (t∣η , s)= h
s s ()
g ( η)exp
ηt
s { } (4.118)
t
上式と (2.195) 式より、 g (η)∫ { ( ) ( )} ( )
h
t
s
exp η
t
s
d
t
s
=1 となり、 =x
s
と置き直して、 (2.226) と同様の導出をすると、
d
y≡E (t∣η)=−s ln g (η) (4.119)
dη

5. 対数尤度関数
パラメータ η の対数尤度関数
N N
ln p (t∣η , s)=∑n=1 ln p(t n∣η , s)=∑n=1
{
ln g (ηn)+
s }
ηn t n
+Const
(4.121)
→ これを w について微分する

6. w について微分すると
N
∇ w ln p (t∣η, s)=∑n=1
{ d
d ηn
ln g (ηn)+
}
t n d ηn dy n
s d y n da n
∇ an
N 1 d ηn dy n
=∑n=1 {t n− y n} ∇ an
s d y n da n
N 1
=∑ n=1 {t n− y n } ψ' ( y n ) f ' (a n )ϕn (4.122)
s
ただし、
d
y n=−s ln g (ηn) (4.119)
d ηn
ηn=ψn( y )
y n= f (a n)
a n=w T ϕn

7. 連結関数の選択による簡略化
(4.123) 式で与えられるような連結関数を用いれば、
(4.122) 式は簡略化される。
−1
f ( y )=ψ( y) (4.123)
簡略化された誤差関数の勾配は
1 N
∇ E (w)= ∑n=1 ( y n−t n )ϕn (4.124)
s
→ 誤差 y n−t n と特徴ベクトルϕ n の積