講演者: 林克彦 先生 (NTTコミュニケーション科学基礎研究所) 概要: 情報検索, 自然言語処理, バイオインフォマティクスなどの分野では知識グラフの構築が活発に行われてきた. 知識グラフでは知識をドメイン内の概念と概念の間の関係で記述し, それをグラフとして表現する. 例えば, 語彙間の関係を記述した WordNet や Freebase は知識グラフの代表的な例であり, 情報抽出, 質問応答などへの応用が期待されている. このような知識グラフは一般に大規模であるが, 本来登録されているべき知識の多くが欠落しているなど不完全であることが知られている. そのため, 近年では関係データ学習/リンク予測法を拡張することで, このような欠落を自動的に補完する技術が研究されてきた. 知識グラフの関係データ学習は一般に3次隣接テンソルの低ランク近似 (埋め込み) の問題として解かれるが, 知識グラフ特有の問題から CP 分解などの単純なテンソル分解では上手くモデル化できないことがわかってきている. ここでは知識グラフ特有の問題について整理し, その問題を克服するために提案されたいくつかの手法についてまとめる.

3. G = ( , )
=
⊆ × R× −→ = ( , , )
R
+

6. +
+

8. →
≈
∗ , || − ||
, ≈

9. , , =
( , , ) ∈
( , , ) ̸∈
⇒ , , ≈ ( , , ;Θ)

10. ( , , ;Θ) Θ
⟨ , , ⟩ , , ∈ R
+ ⟨ , , ⟩ , , ∈ R
, ∈ R ∈ R ×
( ⋆ ) , , ∈ R
+ (⟨ , , ⟩) , , ∈ C
, ∈ R +
∈ R( + )×( + )
−|| , − , || , ∈ R , , , ∈ R ×
+ −||( + )− || , , ∈ R
−||( − )+ −( − )|| , , , ∈ R
+ −|| + − || , ∈ R ∈ R ∈ R ×
( ) , ∈ R ∈ R ∈ R ×
+ (
⎡
⎣
⎤
⎦) , , ∈ R ∈ R ∈ R ×
(
[ ... ]
+ + )
, ∈ R , ∈ R
∈ R × [ ... ]
∈ R × ×
⇒

11. , , Θ
( |Θ) =
| |
∏
=
| |
∏
=
|R|
∏
=
( , , |σ( ( , , ;Θ)))
∗ σ( ) = + (− )
∗ ( | ) =
=
− =
ˆΘ =
Θ
{− ( |Θ)}
=
Θ
− ∑
( , , )
, , σ( ( , , ;Θ))
+( − , , ) ( −σ( ( , , ;Θ)))

12. ( , , ) ∈ ∀ ∈ ( , , ) ̸∈

13. ( , , ;Θ)

14. +
( , , ) (?, , ) ( , ,?)
=
| |
| |
∑
=
@ ≤
( , , ) ∈

16. ( , , ) ∈
( , , ;Θ) =
Θ = { }∀ ∈R ∪{ }
| |
| |
≈
| |
| |

17. ∈ R| |×
∈ R ×
| |
| |
≈
| |
| |
⇒

18. ⊗ R ×R → R ×
= [ , , ] = [ , , ]
= ( ⊗ )
= [ , , ,
, , ,
, , ]
( ) ⇒
( , , ) = = ( ⊗ )
⇒

20. ∈ R × ∈ R ×
∈ R × = = =
=

21. +
| |
| |
≈
| |
| |
=
( )
( , , ) = = = ⟨ , , ⟩
∗ = ( )

22. = , =
( , , ) = ( , , )
⇒ +

24. ∗ : R ×R → R
= ∗
= + +
= + +
= + +
∗ = ∗
( )
∗ = F−
(F( )⊙F( ))

25. ⋆ : R ×R → R
= ⋆
= + +
= + +
= + +
⋆ ̸= ⋆
( )
⋆ = F−
(F( )⊙F( ))

26. , ∈ , ∈ R
∈ R ∈ R
( , , ) = ( ⋆ )
( ) ( )
( , , ) ̸= ( , , )

27. ∈ C × ∗
= ∗
∗
=
=
= − = −
∗
=
∗
= −
⇒

28. ∈ C × ∈ C ×
∈ C × ∗
= ∗
= = ∗
=
∗

29. +
+
∈ R × = ( ∗
)
∈ C × ∈ C ×
=
⎛
⎜
⎝
, + , ··· , + ,
, + , ··· , + ,
⎞
⎟
⎠ ∈ C ×
′
=
⎛
⎜
⎝
, , ··· , ,
, , ··· , ,
⎞
⎟
⎠ ∈ R ×

30. +
=
⎛
⎜
⎝
, + , ···
··· , + ,
⎞
⎟
⎠ ∈ C ×
′′
=
⎛
⎜
⎜
⎜
⎜
⎜
⎝
, − , ···
, , ···
··· , − ,
··· , ,
⎞
⎟
⎟
⎟
⎟
⎟
⎠
∈ R ×
( ∗
) = ′ ′′ ′

31. +
| |
| |
≈
| |
| |
= ′
′′ ′
( )
.( , , ) = ′ ′′ ′
= ′ ′′ ′
= ( ) = (⟨ , , ⟩)

32. ω = F( ) ψ = F( ) ψ = F( )
( , , ) = ( ⋆ )
= ω (ψ ⊙ψ )
α ←→ α F( )
+ ←→ F( )+F( )
∗ ←→ F( )⊙F( )
⋆ ←→ F( )⊙F( )
· = F( )·F( )
( , , ) = .( , , )

33. −
∈ R( + )×( + ) = +
×
=
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
, − , ··· ···
, , ··· ···
··· , − , ···
··· , , ···
··· ···
··· ···
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠

34. | |
| |
≈
| |
| |
=
+
,+
+
+
( , , ) = ( , , )+ .( , , )

36. ( ) ✓
( ) ✗
( ) ✓
( ) ✓
( ) ✓ + = +

37. , ,...
= ∀ ,
∀ ∈ R

38. 0.4
0.5
0.6
0.7
0.8
0.9
1
ANALOGY ComplEx HolE DistMult RESCAL TransE
MRR
Hits at 3
Hits at 5
⇒

40. +
( , )∧ ( , ) ⇒ ( , )
= ,
X Y
S = { : X ∩ X ̸= /0}
O = { : Y ∩ Y ̸= /0}
S O ,...,
≈ ≈ ≈
( , ... )

41. =: / / /.../
=: { }
/ =: { : ∃ ∈ ,( , , ) ∈ }
=:
/ =: T ( )
( , ) = M( , )
⇒ T M

42. T ( ) =
M( , ) =
( / / /.../ , ) = ...
T ( ) = +
M( , ) = −|| − ||
( / / /.../ , ) = −|| + +···+ − ||

43. ( , , )
(?, , ) (?, , )
(?, , ) ( , ,?)
( , ,?) ( , ,?)
( , ) = ( ) ( )
∈ { , } ∈ { , }
∈ R × ∈ R ×

46. +
+

47. +

49. +
+

52. +
¨

53. +
+

54. +