自身の研究分野に関連しますが，ちょっと外れたので供養です．

1. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
Connecting Embedding for
Knowledge Graph Entity Typing [1]
2020/08/28
1
[1] Zhao, Yu, Anxiang Zhang, Ruobing Xie, Kang Liu, and Xiaojie Wang. "Connecting
Embeddings for Knowledge Graph Entity Typing.“, ACL, pp. 6419—6428, 2020.

2. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
2
Abstract
概要
Local な情報と global な情報を組み合わせ，Knowledge Graph に
おける entity type の予測・補完を試みる
特色
local 情報（embedding）に加えて，global 情報（KG）の考慮による
entity と entity type の同時埋め込み
結果
５割近い精度での entity type の補完に成功

3. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
3
背景
Knowledge Graph (KG)
ある entity がもつ特徴や関係を記述したもの
e.g.) Freebase, YAGO, Google Knowledge Graph
type: /people/person, …, etc
triple(Barak Obama, born_in, Honorulu)
Question answering, semantic parsing など応用先は数多く存在
Honorulu
book
born in
write

4. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
4
目的
例えば，artist なのに people のタグがないものが10%近く存在
大抵の場合，KG は完全ではない
課題
⇒ どのように正確で網羅性の高い KG を構築するか
entity typing = entity の穴埋めはその一環
Artist であるものの
人ではない？？
※例外はあるが多すぎる

5. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
5
アイデア
Mechanism 1
Entity type は embedding 空間上の近傍の entities から求まる
利点：People などの属性が欠損しても対応できる
前提：正確な embedding 手法
Mechanism 2
Entity type は KG において triple がもつ関係から求まる
利点：階層（周辺？）構造が置き換わっても，関係は継続

6. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
6
アイデアの適用例
Barak Obama の entity type: /people/person を埋める
triple(Barak Obama, born_in, Honorulu) を取得する
1. 𝑯𝒐𝒏𝒐𝒍𝒖𝒍𝒖 − 𝑩𝒂𝒓𝒂𝒌_𝑶𝒃𝒂𝒎𝒂
=/𝒍𝒐𝒄𝒂𝒕𝒊𝒐𝒏/𝒍𝒐𝒄𝒂𝒕𝒊𝒐𝒏 −/𝒑𝒆𝒓𝒔𝒐𝒏/𝒑𝒆𝒓𝒔𝒐𝒏(= 𝒃𝒐𝒓𝒏_𝒊𝒏)
2. triple(/people/person, born_in, /location/location) を類推
3. Barak Obama’s type = /people/person
◆単一の関係だけでなく，
複数の関係が使用可能
◆Embedding の学習精度が重要

7. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
7
手法概要
２構造の embedding 学習手法とフレームワークの提案
1. Embedding の学習
✓ E2T: 𝑴 ∙ 𝒆 ≈ 𝒕
entity から entity type へのマッピング 𝑴 の学習
✓ TRT: 𝒕𝑒′ − 𝒓 ≈ 𝒕𝑒
triple がもつ relation を考慮した embedding の学習
2. Entity type Prediction
3. Optimization

8. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
8
学習手法の比較１
従来手法： type の学習を E2T に頼り切っている
提案手法： E2T だけでなく，triple からも type を学習可能
Global triple = type embedding を直接学習することが最大の違い

9. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
9
学習手法の比較２
従来手法： entity を埋め込んだ後に，type を学習
提案手法： entity と type を同期（syn）して学習
Global triple = type embedding を直接学習することが最大の違い

10. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
10
Embedding の学習
✓ E2T: entity から entity type へのマッピング 𝑴 の学習
𝑆𝑒2𝑡 𝑒, 𝑡 = 𝑴 ∙ 𝒆 − 𝒕 2
2
※𝑒, 𝑡 の次元数はそれぞれ異なっても良い
✓ TRT: triple がもつ relation を考慮した embedding の学習
𝑆𝑡𝑟𝑡 𝑡𝑒, 𝑟, 𝑡𝑒′ = 𝒕𝑡𝑒
+ 𝒓° − 𝒕𝑡𝑒′ 2
2
Entity local 情報，type global 情報（クラスタの中心）
異なるベクトル空間 同じ relation でも役割が異なる
𝑆 𝑒, 𝑟, 𝑒′ = 𝒆 + 𝒓∗ − 𝒆′ 2
2

11. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
11
Entity Type Prediction
◆ E2T の場合
ෝ
𝑡𝑒 = 𝑎𝑟𝑔𝑚𝑖𝑛𝑡∈𝜏 𝑆𝑒2𝑡(𝑒, 𝑡) 𝜏: alltypes
◆ E2T+TRT の場合
ෝ
𝑡𝑒 = 𝑎𝑟𝑔𝑚𝑖𝑛𝑡∈𝜏 𝑆𝑒2𝑡+𝑡𝑟𝑡(𝑒, 𝑡)
𝑆𝑒2𝑡+𝑡𝑟𝑡 𝑒, 𝑡𝑒 = 𝜆𝑆𝑒2𝑡 𝑒, 𝑡𝑒 +
1 − 𝜆 {
1
𝑃
σ𝑡𝑒′∈𝑃 𝑆𝑡𝑟𝑡 𝑡𝑒, 𝑟, 𝑡𝑒′ +
1
𝑄
σ𝑡𝑒′∈𝑄 𝑆𝑡𝑟𝑡 𝑡𝑒′, 𝑟, 𝑡𝑒 }
𝜆: ハイパーパラメータ，𝑃, 𝑄: triple の候補
学習手法それぞれに対し，異なる予測関数を用意

12. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
12
Optimization
最適化は3つの目的関数の複合系
𝑂𝑝𝑡𝑖𝑚𝑖𝑧𝑎𝑡𝑖𝑜𝑛 𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛 = 𝐽1 + 𝐽2 + 𝐽3
𝐽1 = σ𝒟 σ𝒟𝑛𝑜𝑖𝑠𝑒
Υ1 + 𝑆 𝑒, 𝑟, 𝑒′ − 𝑆(𝑒𝑛𝑜𝑖𝑠𝑒, 𝑟, 𝑒𝑛𝑜𝑖𝑠𝑒
′
)
𝐽2 = σℋ σℋ𝑛𝑜𝑖𝑠𝑒
Υ2 + 𝑆𝑒2𝑡 𝑒, 𝑡𝑒 − 𝑆(𝑒𝑛𝑜𝑖𝑠𝑒, 𝑡𝑒𝑛𝑜𝑖𝑠𝑒
)
𝐽3 = σ𝒵 σ𝒵𝑛𝑜𝑖𝑠𝑒
Υ3 + 𝑆𝑡𝑟𝑡 𝑡𝑒, 𝑟, 𝑡𝑒′
′ − 𝑆𝑡𝑟𝑡 𝑡𝑒𝑛𝑜𝑖𝑠𝑒
, 𝑟, 𝑡𝑒𝑛𝑜𝑖𝑠𝑒
′
′
Υ1はハイパーパラメータ
𝒟, ℋ, 𝒵 はサンプル集合で，取得できる組み合わせ数が大きく異なる
+ 存在しない組み合わせをノイズとして作成

13. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
13
実験設定
データセット： FB15k と YAGO43k
kET: Entity type の追加．TRT: TRT のフォーマットへの対応
実験前： valid を用いてパラメータチューニング
lr, margin, dimension pair, 𝜆
TRT は多くの組み合わせを
有している．重複あり？
𝒟
ℋ
𝒵 ※クラスタの中心と言いつつ
TRT では組み合わせが増加

14. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
14
Entity type Predition
ある entity に対して，不足している entity type を予測
※disc. ・・・ full の10%
両データセットにおいて精度の上昇を確認
◆ E2T のみでも上昇幅はかなり大きい
◆ TRT の学習に使用するデータの数は少なくても良い

15. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
15
Entity type classification
問題を簡単化した２値分類タスク
ある entity がその entity type をもつかどうか
AUC で見ても最も高い精度を獲得し，適合率・再現率共に高い

16. 1. 導入 2. 関連研究 3. 提案手法 4. 実験 5. まとめ
16
まとめ
２構造の embedding 学習手法とフレームワークの提案
I. E2T: 𝑴 ∙ 𝒆 ≈ 𝒕
entity から entity type へのマッピング 𝑴 の学習
II. TRT: 𝒕𝑒′ − 𝒓 ≈ 𝒕𝑒
triple がもつ relation を考慮した embedding の学習
⇒ 高い精度で entity の穴埋めに成功
感想：
◆embedding とルールベースなどの補完方法とを比べると，精度の高い場面と
悪い場面がありそう．単に周辺情報から予測した場合との比較が気になる
◆話自体はシンプルで面白い．そもそも TRT と呼ばれるような type relation type
の関係は直接学習すべきに思う