Más contenido relacionado
La actualidad más candente (16)
Similar a Deep Collective Classification in Heterogeneous Information Networks (6)
Deep Collective Classification in Heterogeneous Information Networks
- 2. 書誌情報＆選定理由
• タイトル：Deep Collective Classification in Heterogeneous Information
Networks
• カンファレンス：www2018
• 選定理由
– Heterogeneous Networkの扱い方への興味
• Homogeneous Networkは、他の種類の情報を捨てている
• 個別に解いている問題も、背後にネットワークを仮定出来得る
– Graph Convolution勉強してみたかった
- 3. 概要
• 目的：Heterogeneous Information Networkにおけるcollective classification
– ネットワークの背後にある階層的なrelational featureをうまく捉えたい
• GraphInceptionアルゴリズムを提案
– meta pathを用いたMulti-channel Networkの構築
– graph convolutionの適用
– graph inception moduleの提案
- 4. collective classification
• 相互に繋がったインスタンスの集合（要はネットワーク）において
– オブジェクトのラベルと属性の相関
– オブジェクトのラベルと隣接オブジェクトの属性（ラベル含む）の相関
– オブジェクトのラベルと隣接オブジェクトの未知ラベルの相関
の3タイプの情報を組み合わせて行う分類
• 例）Webページのトピック分類
– 従来の機械学習界隈のやり方
• Webページの情報（テキストなど）を特徴量として、各ページ独立に分類
– Webページ同士はリンクで繋がっており、それらのトピックには相関
– collective classificationは、この相関もうまく考慮することを目指す
• 論文データ、email network、social networkなど多くの応用先
- 5. 背景
• collective classificationにおける先行研究
– 近隣ノードの集計による、特徴量の作りこみ
• 一方、deep learningにより、多くの分野でend-to-endで自動的に特徴量を学習
– 画像・NLP・音声など
– 近年のdeep learningは、主にcontent featureに焦点を当てている
• 画像内の視覚的特徴など
– collective classificationにおけるrelational featureの抽出にはまだ用いられていない
• Heterogeneous Information Networks (HINs) におけるdeep learningを用いた
collective classificationに焦点を当てる
- 6. HINsにおけるcollective classificationの難しさ
1. Deep Relational Feature
– HINsは、簡単なものから複雑なものまで、階層的な異なるタイプの相関を持つ
– DBLPネットワーク（書誌情報ネットワーク）を考える
• リンクは、authoredBy・publishedInの関係から成る
– HINsのインスタンス間の複雑で不明瞭な関係
⇒ deep relational learning modelでインスタンス間の階層的な深い依存関係を抽出
共著関係（simple relationship）
- 明示的に抽出可能
師弟関係（hidden relationship）
- 共著関係から推測
同僚関係（complex relationship）
- 師弟関係から推測
- 7. HINsにおけるcollective classificationの難しさ
2. Mixed Complexity in Relational Features
– relational featureの複雑さは多様
• シンプルなモデルはシンプルな関係しかとらえられない
• deepなモデルは複雑な関係はとらえられるが、シンプルな関係について過学習
– 自動で色々な複雑さ度合に対応できるモデルが理想
3. Heterogeneous Dependencies
– HINsは様々な種類のノード、リンクを含む
⇒ 直接的にdeep learning modelを適用するのが難しい
– ex) graph convolution network(GCN)
• 各ノードが同じconvolution kernelを共有する前提なので、 HINsではうまくいかない
- 9. Multi-channel Network Translation
• HINsには多様なノードがあり、そのまま畳み込むのは難しい
⇒ meta pathを利用して、multi-channel networkに変換する
• meta path
– 異なるタイプのオブジェクトを繋げてできる系列
– 各meta pathが、ノード間の独自の関係を表す
• 各種類のmeta pathごとに、meta pathの始点と
終点を繋ぎhomogeneous networkを構築し、
multi-channel networkとする
共著関係
同じ会議に投稿
各channelは、meta pathの違いに
より違う意味・関係性を表す
- 10. Graph Convolution
• Graphにも、画像の様にconvolutionを適用したい
– 問題点
• 注目ノードと周辺ノードの関係が、画像と違って注目ノードごとに不定形
– graph convolutionはこの問題点を解決し、graphの特徴をうまく抽出する
• 主に２タイプに分類される
– graph fourier変換を利用した構成
• ループや多重エッジをもたない重み付き無向グラフを対象
• 理論由来
• 今回の論文はこっち
– より直接的な構成
• 有向グラフや多重エッジ、ループなどのより複雑な構造も導入できる
• 理論由来でない
- 11. Convolution Theorem
• Convolution Theorem
– 畳み込み演算はフーリエ係数では要素積となる
• 畳み込みの手順
– グラフ上の信号（各ノードの特徴ベクトル）に対してGraph Fourier変換
– 変換先で、フィルターと要素積
– 要素石に結果に対して逆Graph Fourier変換
- 12. Graph Fourier変換
• グラフ上の信号に対して定義される
– Fourier変換：波形信号を周波数成分ごとに成分分解
– Graph Fourir変換：グラフ上の信号を”ゆるやかな信号”や”急峻な信号”へ成分分解
• グラフ上の信号のsmoothness
– これを最小化する信号は定数信号（ とする）
• 帰納的に
から、正規直交基底 を求める
各ノード上の信号（特徴量）が１
次元の場合
- 13. Graph Fourier変換
• Graph Laplacian L = 次数行列D - 隣接行列A と定義
• Graph Laplacianを用いれば、smoothnessは以下で表される
– この時、 はLの固有ベクトル
- 19. Graph Inception Module
• 前スライドの式でも、畳み込み演算は定義できていたが、
– complex relationshipを捉える
– 色々な複雑さ度合に対応
するために、Inception moduleを応用する
• サイズ1, 2の2つのカーネルを各層に配置
- 20. GraphInception Algorithm
• Multi-channel Network Construction
– meta pathから複数のhomogeneous networkを構築
• 訓練時
– a
• 推論時
– Iterative Inference
– あるノードについて推論し、その結果を次のノードの推論に用いることを繰り返す
GCNの出力
relational feature
local feature
- 25. まとめ
• Heterogeneous Information Networkからdeep relational featuresを学習する
graph convolutionベースのモデルの提案
– collective classificationに焦点
• graph inception moduleを提案
– 複雑な依存関係も単純な依存関係も捉えたい
• 実験により、GraphInceptionアルゴリズムの、HINsにおける
deep relational featuresの学習への効果を示した
