言語処理学会第24回年次大会(NLP2018)へ参加した際に、 興味を持った文献と、その他所感の記録用のスライド

1. 言語処理学会第24回年次大会(NLP2018) 参加報告
長岡技術科学大学 自然言語処理研究室
修士1年 西山 浩気

2. 1. 興味深かった発表
✓ 未知語・低頻度語処理
✓ ベクトル表現獲得手法
✓ 自動評価手法の提案
2. 所感
2
1. 目次

3. ニューラル対話モデルにおける品詞に基づく
低頻度後処理[原口, 村田]
ニューラル機械翻訳における低頻度語処理[今仁, 村上]
日英ニューラル機械翻訳における
未知語への対応[伊部ら]
3
2. 1 未知語・低頻度語処理 興味深かった発表

4. ニューラル対話モデルにおける品詞に基づく
低頻度後処理[原口, 村田]
 従来手法
 低頻度語をUNK(ヌルトークン)化
 低頻度語を高頻度語へ置換する Copyable Model
✓ 結果として精度は向上しなかった
✓ 今後は出力の多様性評価と新しい置換モデルの構築
4
2. 1 未知語・低頻度語処理 興味深かった発表
残ったUNKを少数のグループへ分類し, 反応を細分化

5. ニューラル機械翻訳における低頻度語処理[今仁, 村上]
 低頻度語を高頻度語へ
置換するための手法
 原言語から最も近い単語
をattentionで探し,
対象言語へ辞書で置換
 語彙無制限の学習に比べ
翻訳精度を向上させ,
さらに計算時間を短縮
5
2. 1 未知語・低頻度語処理 興味深かった発表

6. 文献情報の多様な要素を考慮した
ベクトル表現獲得[米田ら]
LSTMを用いた文の分散表現の獲得手法に関する
一考察[福田ら]
深層コード学習による単語分散表現の圧縮[朱, 中山]
6
2. 2 ベクトル表現 興味深かった発表

7. 文献情報の多様な要素を考慮した
ベクトル表現獲得[米田ら]
 LINE(Large-scale Information Network Embedding)
TransE でグラフ構造の要素
をベクトル化
 文書間の関係性を表す
ベクトルとして妥当な結果
を獲得
 評価が難しいため,
実際にデモを見せていたのが印象的
7
2. 2 ベクトル表現 興味深かった発表

8. LSTMを用いた文の分散表現の獲得手法に関する
一考察[福田ら]
 単純なLSTMのEncoder-Decoderモデル
 類似度の高い文は取得できなかった
今後はより文脈を捉えることのできるモデル構築
8
2. 2 ベクトル表現 興味深かった発表

9.  深層コード学習による単語分散表現の圧縮[朱, 中山]
 現在は20万語を表すために約1億のパラメータが必要
 モデルの性能を下げずにベクトルの次元削減が目的
 単語の分散表現を部分的に共有させる
 例えば
✓ manとkingの性別は同じ
✓ dogとdogsの表す生物は同じ
精度低下なく感情分析・機械翻訳で約95%の圧縮
9
2. 2 ベクトル表現 興味深かった発表

10.  汎用的な文の分散表現を用いた
文単位の機械翻訳自動評価[嶋中ら]
 Structured Common Subsequences for Automatic
Machine Translation Evaluation[丁ら]
 抽出型オラクルを利用した要約の自動評価[平尾ら]
✓ ニューラルネットワークが導入されたことで,
単純なn-gramの一致で測れない評価が必要?
10
2. 3 自動評価手法の提案 興味深かった発表

11.  汎用的な文の分散表現を用いた
文単位の機械翻訳自動評価[嶋中ら]
 NMTが主流になりBLEU等に代わる評価手法が必要
 文のベクトルを事前学習しておき,
翻訳文 と 参照文 から翻訳の評価値 を推定する
 少ない絶対評価のデータから,
絶対評価との非常に高い相関が得られた
11
2. 3 自動評価手法の提案 興味深かった発表

12.  参加者が1000人規模に
 スポンサー企業の参加も増加・スポンサーイブニング
 企業から更に注目されている学会！
 精度を詰める研究
未知語処理
ベクトル表現 (どのようにベクトルを作るか)
精度95% から 96%にあげるような研究が印象に残った
 企業と提携した研究(特に対話分野)
大量のデータを持つ企業と提携したより深い研究
12
所感