The document discusses analyzing how topics are viewed contrastingly in different languages and regions. It proposes using Neo4j to manage relationships between vast amounts of data when classifying information. Specific examples analyzed include how the "Arctic sea route" is perceived differently in countries like Japan, Russia, America and China, and the related concepts that appear for the topic in English, Russian and Chinese.

1. LOGLY,Inc. © Copyright, All Rights Reserved
ログリー技術部 大久保悟
Neo4jが可能にする
ニュースを異なる言語
異なる地域で対照的に捉える技術
〜レコメンド開発研究の現場から〜
ver.1.0

2. LOGLY,Inc. © Copyright, All Rights Reserved.
2
資源輸送で注目される「北極海航路」を
異なる国や地域で対照的に捉える

3. LOGLY,Inc. © Copyright, All Rights Reserved.
3
「情報を対照的に捉える」とは？
興味の対象
関連情報
関連情報
関連情報
レコメンドやフェイクニュースの検知に使える

4. LOGLY,Inc. © Copyright, All Rights Reserved.
4
「興味の対象」を異なる国や地域で対照的に捉える
興味の対象 関連情報
関連情報
関連情報
興味の対象
関連情報
関連情報
興味の対象
関連情報
関連情報
興味の対象 関連情報
関連情報
関連情報
関連情報
日本
ロシア
アメリカ
中国
周辺情報の違いを比較する

5. LOGLY,Inc. © Copyright, All Rights Reserved.
5
Word2vecなどを使うと
人間と機械の概念の違いが問題に！
ライオン シマウマ トカゲ
哺乳類 爬虫類
動物
ライオン シマウマ トカゲ
動物園 ペット
動物
人間 機械
なのに上手に修正する手段がない

6. LOGLY,Inc. © Copyright, All Rights Reserved.
6
w(t-2)
w(t-1)
w(t+1)
w(t+2)
W(t) W(t)
w(t-2)
w(t-1)
w(t+1)
w(t+2)
CBOW SKIP-Gram
文章の分類の制御には膨大な
リレーションの管理が必要！
そこで登場、Neo4j

7. LOGLY,Inc. © Copyright, All Rights Reserved.
7
Neo4jの驚異的なAdobe社の成功例
MongoDBの125台のクラスター
Casandraに移行して48台のクラスターへ
Neo4jに移行して3台のクラスターへ
Neo4jで少ないディスク容量、高い利用率、高い機能性

8. LOGLY,Inc. © Copyright, All Rights Reserved.
8
Neo4jの特徴
• 数千万、数億レコードでも高速
• 多段Joinもインデックスが劣化せずに超高速
• 高速な全文検索
• UTF-8ネイティブ
• Java実装で高速な並列処理

9. LOGLY,Inc. © Copyright, All Rights Reserved.
平行概念
9
対象
上位概念、平行概念を設定
膨大な言葉の統計を管理
対象の周辺に現れる言葉を観測
分析手法のイメージ
関連
情報
関連
情報
関連
情報
ターゲット概念 平行概念
平行概念

10. LOGLY,Inc. © Copyright, All Rights Reserved.
10
「北極海航路」の属する概念と平行概念を作成

11. LOGLY,Inc. © Copyright, All Rights Reserved.
11
概念に「概念の種」をセットする

12. LOGLY,Inc. © Copyright, All Rights Reserved.
12
平行概念に概念の種をセットする

13. LOGLY,Inc. © Copyright, All Rights Reserved.
13
クロールさせた後
学習させて概念木を組ませる

14. LOGLY,Inc. © Copyright, All Rights Reserved.
14
ターゲット
概念の骨格ができたイメージ
ターゲット概念 平行概念
平行概念 平行概念

15. LOGLY,Inc. © Copyright, All Rights Reserved.
15
ターゲット周辺の概念を調べる
MARPOL 原子力 砕氷船 ムルマンスク

16. LOGLY,Inc. © Copyright, All Rights Reserved.
16
「北極海航路」の関連情報
北極海航路 ムルマンスク
MARPOL
原子力
砕氷船

17. LOGLY,Inc. © Copyright, All Rights Reserved.
17
「ムルマンスク」を調べると
北極海航路の重要な都市で、パイプラインの出力場所らしいことが分かる
北極海航路と「原子力」を調べると
北極海航路では原子力砕氷船や洋上原子力発電所が重要だと分かる。
MARPOLについて調べると
MARPOLはタンカーがひっくり返った場合に、海洋生物が死滅することを
防ぐための条約であることが分かる。

18. LOGLY,Inc. © Copyright, All Rights Reserved.
18
英語のターゲットの関連情報

19. LOGLY,Inc. © Copyright, All Rights Reserved.
19
ロシア語のターゲットの関連情報

20. LOGLY,Inc. © Copyright, All Rights Reserved.
20
中国語のターゲットの関連情報1

21. LOGLY,Inc. © Copyright, All Rights Reserved.
21
中国語のターゲットの関連情報2

22. LOGLY,Inc. © Copyright, All Rights Reserved.
22
中国語で「北極海航路」を調べると
連雲港と言う場所が重要な拠点であり
北極海航路はアイスシルクロードと呼ばれていることが分かる
北極海航路の開発は、一帯一路の国家プロジェクトの一環である
ことが分かる。

23. LOGLY,Inc. © Copyright, All Rights Reserved.
23
「北極海航路」を異なる地域や言語で比べた結果
北極海航路 ムルマン
スク
原子力
環境保護
Arctic sea
route
Russia
Arctic
Проход Северного
Ледовитого
океана
грузовой
北冰洋通道 俄罗斯
冰丝路
連雲港
一帯一路
日本
ロシア
アメリカ
中国
中国は「北極海航路」で進んでいるっぽい