1. 第7章 疎な解を持つカーネルマシン
@urapon_1

2. カーネル関数の制限
k ( xn , xm)カーネル関数 の制限として、すべての訓練データ対 xn , xm
について計算しなければならない。
→第7章では疎な解を持ち、訓練データ一部を計算することで、
新しい入力の予測が出来るアルゴリズムを見ていく(SVM,RVM)

3. SVMの特徴
●
目的関数は凸関数のため、大域的最適解が求まる。
●
ラグランジュの未定乗数法を用いたマージン最大化
●
識別関数の一種であるため、出力の事後確率は得られない。
→RVMでは推定可能

4. 7.1 最大マージン分類器

5. 線形モデルの2値分類問題
分類関数
を用いて、2値分類問題を解く
x1, x2, ..., xN
y(x)=w
T
ϕ( x)+b
訓練データを
目標値を t1,t2,... ,tN (tn∈{−1,1})
tn y( xn)>0
とすると
が成立する。
(7.1)

6. マージン
分類境界と、訓練データとの最短距離
∣y( x)∣
∣w∣

7. マージンの最大化問題
t1,t2,... ,tN (tn∈{−1,1}) tn y( xn)>0と から、分類境界と点の距離は
∣y( xn)∣
∣w∣
=
tn y( xn)
∣w∣
=
tn(w
T
ϕ( xn)+b)
∣w∣
であらわされる。
→求めたいのは、マージンを最大化する w ,b なので最適化問題は
arg maxw ,b {
1
w
minn[tn(w
T
ϕ( xn)+b)]}
となる
(7.2)
(7.3)

8. 正規形への変形
tn(w
T
ϕ(xn)+b)=1
境界に最も近い点を
とする。
このスケールの下ではすべてのデータについて下記制約式が成立する
tn(w
T
ϕ(xn)+b)⩾1 n=1,2,... , N
(7.4)
(7.5)

9. 最大化問題の帰着先
1
∣w∣
正規形への変形によって、最大化問題は を最大化する問題に帰着する
arg minw , b
1
2
∣w∣2
よって
を、制約条件下で最小化すればよい。
(7.6)

10. ラグランジュ関数
an⩾0各制約式ごとに、ラグランジュ乗数 を導入すると、ラグランジェ関数
が、得られる。
(7.7)L(w ,b ,a)=
1
2
∣w∣2
−∑
n=1
N
an {tn(wT
ϕ(xn)+b)−1}

11. ここで、 より、
̃L(a)=∑
n=1
N
an−
1
2
∑
n=1
N
∑
m=1
N
an am tntm k ( xn , xm)
∂ L
∂w
=0,
∂ L
∂ b
=0
w=∑
n=1
N
antn ϕ( xn)
0=∑
n=1
N
an tn
を代入すると、下記の双対表現が得られる。
aこれを について最大化すればよい。
(7.8)
(7.9)
(7.10)

12. 新しいデータの分類
y(x)=∑
n=1
N
antn k ( x , xn)+b
w=∑
n=1
N
antn ϕ( xn) を用いると、分類関数は下記のように表現される。
KKT条件により
an⩾0
tn y( xn)−1⩾0
an {tn y( xn)−1}=0
が成立する。
an≠0 の箇所をサポートベクトルと呼ぶ。
(7.13)
(7.14)
(7.15)
(7.16)

13. バイアスパラメータ
a二次計画問題を解き、 が求まると、次にバイアスパラメータを求めることが出来る。
tn
(∑
m∈S
am tm k (xn , xm)+b
)=1
Sここで、 はサポートベクトルの添え字からなる集合
上式を、解くと(平均化)
b=
1
N S
∑
n∈S (tn−∑
m∈S
amtm k ( xn , xm )
)
NSここで、 はサポートベクトルの総数
(7.17)
(7.18)