SVM (support vector machines）についての概要

1. SVMってなに？
@smzkng
2014/09/09

2. SVM(Support Vector Machine)とはなにか
• 2クラスの分類を行うための機械学習の手法
• マージン最大化
→ 未学習データに対する高い汎化性能
• カーネルトリック
→ 非線形の問題にも対応

3. 2クラス分類
• 2クラスを分類する識別面
• 識別面は無数に存在
• どの識別面が良いか？
• 良い識別面とは？
• 未知のデータに対する識別
誤差が最小
マージン最大化

4. マージン最大化
学習データの中で最も他クラス
と近い位置にいるもの（サポー
トベクタ）を基準として、その
ユークリッド距離が最大になる
ように識別面を決める
サポートベクタ
マージン最大化

5. マージン最大化
• クラスAとクラスBを分離する
ような線形識別関数を考える
!
f(xi) = !0xi + b
• サンプルは と
の信号に分類
f(xi) = 0
f(xi) = 1
y f(xi) = 1 i = 1 yi = 1
yi =
(
1 (f(xi) ! 0)
−1 (f(xi) 0)

6. マージン最大化
• サポートベクターから識別面に下
ろした垂線の距離
!
• これを最大化する
• この時、以下の制約条件を設ける
f(xi) = 0
f(xi) = 1
f(xi) = 1
d = |!0xi + b|
k!k
=
1
k!k
1
k!k
1
k!k
1
k!k
yi(!0xi + b) 1

7. マージン最大化
ここまでのまとめ
マージン の最大化のために
制約条件： のもとで
目的関数： を最小化する
!
!
1
k!k
yi(!0xi + b) 1
1/k!k
k!k2
2
制約のもとでの最適化問題→ラグランジュ未定乗数法
ををに変換しているのは計算上の都合
k!k k!k2/2

8. マージン最大化
次のようなラグランジュ関数を定義する
L(!, b, ) =
1
2k!k2 −
Xn
iyi((!0xi + b) − 1)
!
上の式を と について偏微分すると以下の結果を得る
!
1
k!k
i
Xn
i
iyi = 0
! =
Xn
!
i
この結果をラグランジュ関数に代入すると以下の式が導かれる
iyixi
!
L() =
Xn
i
i
1
2
Xn
i,j
ijyiyjxi0xj

9. マージン最大化
を最大化する問題へ
!
制約条件は以下
!
!
!
1
k!k
L() =
Xn
i
i
1
2
Xn
i,j
ijyiyjxi0xj
i 0,
Xn
i
iyi = 0
最適な ! と b
を求める問題が、
最適な
を求める問題に帰着

10. マージン最大化
さっきの最適化問題を解いて、最適な を求めた後に最適なパラメー
タを求める。
!
!
ただし、
!
1
k!k
⇤
!⇤ =
Xn
i
⇤i
yixi
b⇤ = !⇤0xs ys
xs
ys
：任意のサポートベクター
：対応する教師信号
!
ここまでが、クラスが完全に線形分離可能で、マージン最大化を完
全に満たすような場合のみに適用可能なハードマージンSVM

11. ソフトマージンSVM
サンプルを綺麗に分離出来ない場合がある
?
?
?

12. ソフトマージンSVM
制約条件を緩めて対応する
• マージンが最大でなくても許容
• 分離に失敗するケースがあっても許容

13. ソフトマージンSVM
1
2k!k2 + C
Xn
目的関数： ⇠i
i
制約条件： yi(!0xi + b) ! 1 − ⇠i, ⇠i ! 0
上の目的関数と２つの制約条件のもと、ハードマージンSVMのときと
同様にラグランジュ未定乗数法で解く。最終的にハードマージンSVM
のときと同じ式を導くことができる。
L() =
Xn
i
i
1
2
Xn
i,j
ijyiyjxi0xj
違いは制約条件
0  i  C,
Xn
i
iyi = 0
間違った領域に入っている
データに対するペナルティ

14. ソフトマージンSVM
• スラック変数とペナルティ
• 制約条件の緩み具合を、スラック変数 ⇠
として表現
• 制約条件の厳しさを、ペナルティ C
で表現
• C
が小さい
→制約条件を緩めても良い＝ ⇠i
の値は大きくなる
• C
が大きい
→制約条件を厳しくする＝ ⇠の値は小さくなる
i

15. ソフトマージンSVM
ソフトマージンSVMでは線形分
離不可能な場合でも柔軟に対応
できるが、必ずしも良い分類器
になるとは限らない
→ 識別面自体は線形なため

16. 非線形SVM
非線形写像で高次空間へ移してから線形判別を行う
(x)
(x)
(x)
1(x)
1(x)
1(x)
x
x
x

17. 非線形SVM
• 目的関数
• 写像先の空間では線形判別を行うため、マージン最大化の考え
方はハードマージンSVMと同じ
• 制約条件も目的関数も、写像先の (x)
に変えるだけ
• 最終的に
L(!) =
Xl
i
!i
1
2
Xl
i,j
!i!jyiyji(x)j(x)
ここだけ変わる

18. 非線形SVM
• さっきの目的関数からわかるように、式には写像空間での ( )の内積
が含まれるため、計算コストが高い。
• この内積を のみから計算できたら・・・
x (x)
x
• 内積計算を別の関数（カーネル関数）に置き換えることで高次元ベクト
ル演算を避けられる。→ カーネルトリック
• このような性質を持つカーネル関数がいくつか存在する。
• 線形カーネル、多項式カーネル、RBFカーネル、シグモイドカーネル

19. さまざまなカーネル
• 線形カーネル
• 多項式カーネル
• RBFカーネル
• シグモイドカーネル
K(xi0xj) = xi0xj
K(xi0xj) = (!xi0xj + )d
K(xi0xj) = exp(−kxi − xjk2)
K(xi0xj) = tanh(!(xi0xj) )

20. まとめ
• SVMの概要
• マージン最大化の概念
• 線形SVM
• ソフトマージンSVM
• スラック変数とペナルティ
• 非線形SVM
• カーネルトリック
• さまざまなカーネルの紹介

21. おわり