Más contenido relacionado La actualidad más candente (20) Similar a Large-Scale Object Classification Using Label Relation Graphs (20) Más de Takuya Minagawa (19) Large-Scale Object Classification Using Label Relation Graphs2. 自己紹介
2
テクニカル・ソリューション・アーキテクト
皆川卓也(みながわたくや)
フリーエンジニア(ビジョン&ITラボ)
「コンピュータビジョン勉強会@関東」主催
博士(工学)
略歴:
1999-2003年
日本HP(後にアジレント・テクノロジーへ分社)にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事
2004-2009年
コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事
2007-2010年
慶應義塾大学大学院後期博士課程にて、コンピュータビジョンを専攻
単位取得退学後、博士号取得(2014年)
2009年-現在
フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事 3. 紹介する研究
“Large-Scale Object Classification Using Label Relation Graphs”
JiaDeng*1,2, JNanDing*2, YangqingJia*2, Andrea Frome*2, Kevin Murphy*2, SamyBengio*2, Yuan Li*2, HartmutNeven*2, and HartwigAdam*2
*1 University of Michigan
*2 Google
Best Paper Award 8. Hierarchy and Exclusion(HEX) Graph
ノードは単語(ラベル)
「犬(Dog)」に対する「ハスキー(Husky)」や「子犬 (Puppy)」など包含関係を表す場合は有向エッジ
「犬(Dog)」と「猫(Cat)」など排他的な関係を表す場合は 無効エッジ
エッジの存在しない箇所は両方のラベルを取り得る 9. Hierarchy and Exclusion(HEX) Graph
定義1:
HEX Graph:푮=푽,푬ℎ,푬푒
ノード(単語ラベル):푽=푣1,⋯,푣푛
有向エッジ(包含関係):푬ℎ⊆푽×푽
無向エッジ(排他関係):푬푒⊆푽×푽
ただし푮ℎ=푽,푬ℎは有向非循環グラフ、푮푒=푽,푬푒は 自己ループのない無向グラフ 10. Hierarchy and Exclusion(HEX) Graph
定義2:
HEX Graph푮=푽,푬ℎ,푬푒の푽の状態퐲∈0,1풏が以下 を満たす時、푮は正しい(legal)
푦푖,푦푗=1,1⟹푣푖,푣푗∉푬푒
(푦푖,푦푗)=(0,1)⟹(푣푖,푣푗)∉푬ℎ
Dog
Cat
Husky
Puppy 11. Hierarchy and Exclusion(HEX) Graph
定義2:
HEX Graph푮=푽,푬ℎ,푬푒の푽の状態퐲∈0,1풏が以下 を満たす時、푮は正しい(legal)
푦푖,푦푗=1,1⟹푣푖,푣푗∉푬푒
(푦푖,푦푗)=(0,1)⟹(푣푖,푣푗)∉푬ℎ
Dog
Cat
Husky
Puppy
1
1
「犬」かつ「猫」の状態はありえない 12. Hierarchy and Exclusion(HEX) Graph
定義2:
HEX Graph푮=푽,푬ℎ,푬푒の푽の状態퐲∈0,1풏が以下 を満たす時、푮は正しい(legal)
푦푖,푦푗=1,1⟹푣푖,푣푗∉푬푒
(푦푖,푦푗)=(0,1)⟹(푣푖,푣푗)∉푬ℎ
Dog
Cat
Husky
Puppy
0
1
「ハスキー」なのに「犬」ではない状態はありえない 13. Hierarchy and Exclusion(HEX) Graph
定義3:
HEX Graph푮=푽,푬ℎ,푬푒の任意のラベル풗풊∈푽が2つ の状態y푖∈0,1を取り得る時、푮は一貫している (consistent)
0
0
1
0
0しか取れない
(consistentではない) 14. Hierarchy and Exclusion(HEX) Graph
定理1:
HEX Graph푮=푽,푬ℎ,푬푒の任意のラベル풗풊∈푽と すると、푬푒∩ 훼풗풊× 훼풗풊≠ퟎの時においてのみ、푮は 一貫している(consistent)。ただし 훼풗풊はノード풗풊とその 先祖ノード。
あるノードとその先祖ノードを排他リンクで結んだら consistentではない 15. HEXグラフによる識別モデル
푃풚푥 = 푖 푒푓푖푥;풘[푦푖=1] (푣푖,푣푗)∈푬ℎ (푦푖,푦푗)≠(0,1) (푣푖,푣푗)∈푬푒 (푦푖,푦푗)≠(1,1)
(1)
Dog
Cat
Husky
Puppy
条件付き確率場(CRF) 16. HEXグラフによる識別モデル
푃풚푥 = 푖 푒푓푖푥;풘[푦푖=1] (푣푖,푣푗)∈푬ℎ (푦푖,푦푗)≠(0,1) (푣푖,푣푗)∈푬푒 (푦푖,푦푗)≠(1,1)
ある入力画像푥のラベルが状態풚を とる(正規化してない)確率
(1)
状態の例:
풚=0,1,0,1
Dog
Cat
Husky
Puppy
条件付き確率場(CRF)
Cat
Dog
Husky
Puppy 17. HEXグラフによる識別モデル
푃풚푥 = 푖 푒푓푖푥;풘[푦푖=1] (푣푖,푣푗)∈푬ℎ (푦푖,푦푗)≠(0,1) (푣푖,푣푗)∈푬푒 (푦푖,푦푗)≠(1,1)
(1)
Dog
Cat
Husky
Puppy
条件付き確率場(CRF)
ラベルiの画像識別器
(ex. DeepCNN)
i番目のラベルが1になる (正規化されていない)確率
識別器のパラメータ 18. HEXグラフによる識別モデル
푃풚푥 = 푖 푒푓푖푥;풘[푦푖=1] (푣푖,푣푗)∈푬ℎ (푦푖,푦푗)≠(0,1) (푣푖,푣푗)∈푬푒 (푦푖,푦푗)≠(1,1)
(1)
Dog
Cat
Husky
Puppy
条件付き確率場(CRF)
このケースが含まれる풚は 0になる
0
1 19. HEXグラフによる識別モデル
푃풚푥 = 푖 푒푓푖푥;풘[푦푖=1] (푣푖,푣푗)∈푬ℎ (푦푖,푦푗)≠(0,1) (푣푖,푣푗)∈푬푒 (푦푖,푦푗)≠(1,1)
(1)
Dog
Cat
Husky
Puppy
条件付き確率場(CRF)
このケースが含まれる풚は 0になる
1
1 20. HEXグラフによる識別モデル
푃풚푥 = 푖 푒푓푖푥;풘[푦푖=1] (푣푖,푣푗)∈푬ℎ (푦푖,푦푗)≠(0,1) (푣푖,푣푗)∈푬푒 (푦푖,푦푗)≠(1,1)
(1)
Dog
Cat
Husky
Puppy
条件付き確率場(CRF)
1
0
0
1
例:풚=0,1,0,1
푃풚푥 =exp푓푑표푔푥;풘+푓푝푢푝푝푦푥;풘 21. 例1:排他リンクだけの場合
푃풚푥 = 푖 푒푓푖푥;풘[푦푖=1] (푣푖,푣푗)∈푬ℎ (푦푖,푦푗)≠(0,1) (푣푖,푣푗)∈푬푒 (푦푖,푦푗)≠(1,1)
条件付き確率場(CRF)
푃풚푥= 11+ 푗푒푓푗 푖 푒푓푖푥;풘[푦푖=1]
Softmax関数 22. 例2:リンクがない場合
푃풚푥 = 푖 푒푓푖푥;풘[푦푖=1] (푣푖,푣푗)∈푬ℎ (푦푖,푦푗)≠(0,1) (푣푖,푣푗)∈푬푒 (푦푖,푦푗)≠(1,1)
条件付き確率場(CRF)
푃풚푥= 푖 11+푒−푓푖푥;풘[푦푖=1]
Logistic関数 の積 30. HEXグラフの変形
定義4:
HEX Graph푮と푮′の状態퐲,퐲′∈0,1풏が取り得る状態空 間をそれぞれ푺푮、푺푮′とした場合、푺푮=푺푮′の時푮と푮′は等 価(equivalent)
等価なHEXグラフ 31. HEXグラフの変形
定義5:
HEX Graph푮=푽,푬ℎ,푬푒が与えられた時、有向 /無向エッジe∈푽×푽が以下のいずれかの条件を満たす 場合、eは冗長(redundant)であるとする
푮′=푽,푬ℎ∖{푒},푬푒と푮′′=푽,푬ℎ∪{푒},푬푒が共に푮 と等価
푮′=푽,푬ℎ,푬푒∖{푒}と푮′′=푽,푬ℎ,푬푒∪{푒}が共に푮 と等価
要は、足しても引いても状態空間に影響しないエッジは冗長 41. A
B
F
B
E
D
C
G
F
B
C
F
HEX Graphの推論:まとめ
A
B
E
D
C
G
F
A
B
E
D
C
G
F
A
B
E
D
C
G
F
A
B
F
B
E
D
C
G
F
B
C
F
2.Build Junction Tree(offline) 42. 実験
実験環境
Deep Neural Networkを用いて、ラベルのスコア풇(푥;풘)を算 出
パラメータ풘は誤差逆伝播法で(2)式より学習
グラフの構築、状態空間の算出、ジャンクションツリーの構築 などはオフラインで行った 45. 実験2:Zero-Shot Recognition
物体と属性間の関係性をHEX Graphで学習できるか確 認するのが目的
Animal with Attributes (AWA)データセットを使用
50種類の動物
85種類の属性
40種類の動物で属性について学習させ、残り10種類の 動物に対して認識試験を行った
HEXグラフで各動物の属性を関連付け
動物の種の間は排他リンク
属性は包含リンク
正しくない属性(ex.「シマウマ」は「魚を食べる」)は排他リンク