Classifying Temporal Relations by Bidirectional LSTM over Dependency Paths

1. Classifying Temporal Relations by
Bidirectional LSTM over Dependency Paths
長岡技術科学大学 自然言語処理研究室
修士1年 西山 浩気
1
Fei Cheng and Yusuke Miyao, Proceedings of the 55th Annual Meeting of the
Association for Computational Linguistics (Short Papers), pages 1–6 Vancouver,
Canada, July 30 - August 4, 2017

2.  時間的な関係を分類する研究
 多くの方法で外部知識に依存している
 知識を特徴として加えるだけでは不十分
 関係抽出の最先端の手法
 従属パスに沿った Bidirectional LSTM (Bi-LSTM)
 人手で注釈を付けられた情報を使用することなく、
従来と同等の性能を実現
1. 概要
2

3.  時間情報を利用したタスク
✓質問応答 (QA)
✓情報抽出 (IE)
 時間情報を付与したコーパス
✓TimeBank1[Pustejovsky et al., ‘03]
2.1 時間情報抽出タスクの応用例 はじめに
3

4.  時間的関係を持つ事象あるいは表現を識別
 時間的関係を以下の3つに分類
1. DURING (Event - Event)
• There was no hint of trouble in the last conversation between
controllers and TWA pilot Steven Snyder.
2. INCLUDES (Event - Time)
• In Washington today, the Federal Aviation Administration
released air traffic control tapes.
3. BEFORE (Event - Document)
• The U.S. Navy has 27 ships in the maritime barricade of Iraq.
2.2 時間情報抽出タスクについて はじめに
4

5.  [Marcu and Echihabi ‘02]
 単語ベースの対を特徴量に加える
 [Laokulrat et al., ‘13; Chambers et al., ‘14; Mani et al, ’06;
D’Souza and Ng, 2013]
 Word Net[Miller ‘95]
 Verb Ocean [Chklovski and Pantel, ‘04]
などの語彙・構文情報
これらの知識資源を高精度に獲得することは困難
2.3 従来手法 はじめに
5

6.  関係抽出タスク
 [Bunescu and Mooney, ‘05]
• 依存関係グラフを作成
• 2つのエンティティ間の最短移動パス(SDP)
 [Plank and Moschitti, ‘13]
• 構文木で構文と意味情報を抽出
 [Socher et al., ‘11, Xu et al., ‘15a,b] state-of-the-art
• 依存関係経路上にニューラルネットワークを構築
2.4 関連研究 はじめに
6

7.  時間的関係分類タスク
 [Laokulrat et al., ’13;Chamber et al., ‘14]
• WordNetのsynsetから語彙的な特徴を利用
 [Mani et al., ’06; D’Souza and Ng., ‘13]
• VerbOceanで動詞間の意味的関係を利用
 どちらの研究においてもTimeML2コーパスを利用
✓ 本研究では 単語, 品詞, 依存性解析情報のみを使用
2.4 関連研究 はじめに
7

8.  依存関係パス(SDP)を時間的分類タスクに導入
3.1 Cross-sentence Dependency Paths 提案手法
8
TimeBankコーパス
Stanford CoreNLP4
を利用して関係を抽出

9.  Bi-LSTMをを用いて時間的関係クラスを分類
 word2Vec [Mikolov et al., ‘13a,b]を利用して
200次元の単語ベクトルを入力
3.2 Temporal Relation Classifires 提案手法
9

10. Baseline
 単語, 品詞を入力して、依存関係の情報無しに推定するモデル
Mirza [Mirza and Tonelli, ’16]
 低次元の単語ベクトル + WordNetなどの意味情報を表すベクトル
CAEVO
 人手で付与されたルールを利用
4.1 提案手法の性能評価 実験
10

11. ✓ システム全体では提案手法が最も優れる
✓ E-D, E-TにおいてはCAEVOが優れる
 提案手法は人手で付与された規則は利用していない
外部資源・人手での規則付与無しに
2つの最先端手法と同程度の性能を実現
4.2 提案手法の性能評価 実験
11

12.  従属経路ベースのニューラルネットワークを
関係分類に利用
 Bi-LSTMを用いて順/逆方向の情報を学習
 外部リソースを使用せずに2つの最先端システム
と同程度の性能を達成
まとめ
12