Graph Convolutional Networks for Classification with a Structured LebalSpace 論文読み会資料

1. Graph Convolutional Networks for Classification
with a Structured Lebal Space
2017/10/27
AI開発部論文読み会
上総 虎智

2. 0.Infomation
Author:Meihao Chen, Zhuoru Lin, and Kyunghyun Cho
Abstruct
-多値分類問題においてクラス間の関係性を無視することが多い
-ラベル間の明確なグラフ構造を活用したGraph Convolutional
Networkを提案
-Document classification と Object recognitionで実験して、モ
デル構造無視のモデルよりも結果良かったよ

3. 1.Introduction
• ラベル同士は相互に独立であることが仮定として用いられることが多い
→文書分類などは複数のラベルが付与される可能性がある
• Top-K 位までの予測は評価されることがあまりない
→”hasky”, は“dog”とか”mammal”と分類されるかもしれない、どっち
も正解ではないが、”dog”だと分類された方が精度が良いと言えるのでは
• グラフ構造上の情報は分類器がラベル同士の関係性を考慮するのに活用
できるのでは？
• しかし、これまでの研究は、下記2点が欠点
-限られた構造のグラフしか取り扱えていない
-条件付き確率場とかマルコフ確率場を仮定しているが、学習や予測
に複雑な計算が必要
• GCNsでクラス間の関係性情報を活用して分類精度あげますよ
• 提案されたモデル構造はcontext-dependent graph representation
learningからくる分類問題へ対処

4. http://www.inference.vc/how-powerful-are-graph-convolutions-review-of-kipf-welling-2016-2/
2.Related Work
Graph Convolutional Networks

5. 2.Related Work
グラフ ラプラシアンを活用しGraph Fourier 変換する。
変換後の信号と何かの要素積を得る
(“何か”とはConv層のFilterみたいな何か？)
逆 Graph Fourier 変換
畳み込み後グラフを得る
Graph Fourier 変換を活用したGraph Conv
Graph Conv
https://arxiv.org/pdf/1609.02907.pdf
SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS など

6. 2.Related Work
https://arxiv.org/pdf/1609.02907.pdf
SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
IntuitiveなGraph Conv
１
２ ３
1, 1, 1
1, 1, 0
1, 0, 1
隣接行列 各ノードの特徴ベクトル
+
重み付け＆線形和

7. 3.Model
• ラベル毎にpairwiseな関係性が見て取れる場合、スコア関数は下記のよ
うに定義される
• 提案手法は式(5)に示されるスコア関数をNNで近似して置き換える

8. 3.Model
(6) (10)
• 単純なNNではラベル間の関係性を考慮できないので、下記のような
graph convolutional 構造をもったGCNsを提案する

9. • Data collection and preprocessing：WordNetから”Canina(犬)”の
subtreeにある項目をクローリング。各ノードで最低140枚の画像を
Flickerから取得。140枚以下しか集まらなかったものは切り捨て
• Label graph construction：隣接行列はWordNetのCanine subgraph
• Input Representation：ResNet-34、fine-tuningなし
Object Recognition on Canina Image Dataset
• Data collection and preprocessing：Webページ、ホワイトペーパー、
新聞記事、ブログなどから収集。人間がコンテンツに対するラベルを付与。
• Label graph construction：ラベルに対してのTF-IDFによるベクトルを
pairwiseでコサイン類似度を計算し、隣接行列を作成
• Input Representation：CBoWで埋め込み。
Document classification
4.Experiments Overview

10. GCN with Tied weighted Decoder(GCNTD)と比較検証するために下記の
モデルが使われた
• MLP:GCN層の代わりに多層パーセプトロン
• MLP-CRF:MLP層の最上層にIsingモデルを使ったもの
• GCNTD-fc/id:隣接行列の代わりに、グラフ構造がFullConnectedなも
のや、単位行列なものを活用したモデル
Baseline
Evaluation
分類における精度だけでなく、グラフ構造に一貫性、妥当性があるかも評
価された
4.Experiments Overview

11. Object Recognition on Canina Image Dataset
• ラベルの構造を考慮したGCNTFと
MLP-CRFがgraph-theoric指標にて
outperform
• 一方で、Acc/Prec/RecではMLPが良
い精度
• 今後、グラフ構造がもっと複雑であっ
たり、相関性が高いデータセットで実
験することをFuture workとしたい
5.Results and Discussion

12. Document classification
• GCNTDがMLPn(nはn-gramの次数)よりも全体的によい成果をだしている
• GCN-fcはaccuracyで最高値であり、ラベルが全結合されているというの
は文書構造を学習するのに良かったのでは
• Top-k予測において、Prec/RecがMLPよりGCNTDの方が良く、次数が増
えていくに従って効果が漸増していることが見て取れる(Figure 2)
5.Results and Discussion

13. • ラベル間の構造情報を伝播するためにgraph convolution layerを追加した
• 提案手法は精度向上やグラフ理論にまつわる指標において、グラフ構造を
無視した既往の手法に対して良い結果を残した
• 提案手法は他の分類問題に応用できるんじゃないか
• ラベルに関する外部知識を考慮した分類器への応用も考えられる
6.Conclusion

14. • Semi-Supervised Classification with Graph Convolutional Networks
https://arxiv.org/abs/1609.02907
• Convolutional Neural Networks on Graphs with Fast Localized Spectral
Filtering
https://arxiv.org/abs/1606.09375
• How powerful are Graph Convolutions? (review of Kipf & Welling,
2016)
http://www.inference.vc/how-powerful-are-graph-convolutions-
review-of-kipf-welling-2016-2/
• GRAPH CONVOLUTIONAL NETWORKS
https://tkipf.github.io/graph-convolutional-networks/
7.参考文献