Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

Fast abstractive summarization with reinforce selected sentence rewriting

3.123 visualizaciones

Publicado el

ACL2018読み会 - Fast abstractive summarization with reinforce selected sentence rewriting

Publicado en: Tecnología
  • Sé el primero en comentar

Fast abstractive summarization with reinforce selected sentence rewriting

  1. 1. Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting 0 三浦 泰嗣 電通国際情報サービス (ISID)
  2. 2. 自己紹介 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 1 • 三浦 泰嗣(Miura Yasuhide) • 電通国際情報サービス 開発技術部 新領域研究Gr • Twitter/GitHub: ymym3412 • 自然言語処理万事屋として生きる日々 ※株式会社アラヤさんとマグロを数えている会社です
  3. 3. こんなことやってます COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 2 ACLの全論文サマリ 気軽にContribution! GitHub: ymym3412/acl-papers
  4. 4. 【宣伝】 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 3
  5. 5. 本編 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 4
  6. 6. まとめ COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 5 • 文書要約を行うDeep Learningモデル • 文章から文の抽出を行い、それを書き直す形で要約を生成する 「Extract-Then-Rewrite」手法 • Maximum-Likelihood TrainingとA2Cによる強化学習を組み合わせた学 習手法 • CNN/Daily Mail DatasetなどでPointer Generator, Reinforced Model を抑えてState-of-the-Art
  7. 7. 文書要約(Document Summarization) COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 6 • 文書中から重要な情報を拾ってきてまとめあげたい • Extractive(抽出型)とAbstractive(生成型)のアプローチが存在する ※Google AI Blogより https://ai.googleblog.com/2016/08/text-summarization-with-tensorflow.html
  8. 8. 抽出型要約(Extractive Summarization) COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 7 • 原文中の表現を使って要約を生成する • 長い歴史 • 近年はニューラルネットを使った手法も [Erkan and Radev, 2004)] [Nallapati et al. 2017]
  9. 9. 生成型要約(Abstractive Summarization) COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 8 • 原文中の表現以外も使って要約を生成する • 大雑把に言うとExtractive以外 • 近年のDeep Learningブームで盛んに研究されている • 今回のテーマ [See et al., 2017)][Nallapati+ 2016] [Paulus et al., 2018)]
  10. 10. 近年のDLベースの生成型要約モデル COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 9 • Attention Based Summarization[Rush et al. 2015] • Attention + ニューラル言語モデル • Seq2Seq + Attention[Nallapati et al. 2016] • Seq2Seq + Attention • Pointer Generator[See et al. 2017] • Copy Mechanism + Coverage Mechanism • Reinforced Model[Paulus et al. 2018] • Intra Attention + Reinforcement Learning
  11. 11. Deep Learningベーステキスト生成につきまとう課題 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 10 1. Repetition • Decode時に同じ単語を繰り返してしまう 2. Out-of-Vocabulary(OOV) • 学習データに存在しない単語をDecodeできない 3. Non-differentiable • 微分不可能な処理を挟むと学習できない
  12. 12. Repetition COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 11 RNNで長いテキストを生成する際に、既に出力した単語(あるいはフレー ズ)を再度生成してしまう問題 対策: Coverage MechanismやIntra-Attention 同じフレーズが生成されてしまっている! Coverage Mechanism 時刻t’の Attention分布 同じ単語を選ぶ (次元iの値が大きくなる)と covloss↑ Intra-Attention DecoderにもAttentionをかけContext Vectorを得る
  13. 13. Out-of-Vocabulary(OOV) COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 12 学習データにない単語やUNKトークンに置き換えられた低頻度語を、Test 時にDecodeできない問題 対策: Copy Mechanism[Merity et al. 2016][Gu et al. 2016] (Decode時に入力単語をCopyして生成) ⇒以前Qiitaに記事を書いたので詳しくはこちら: Seq2Seq+Attentionのその先へ https://qiita.com/ymym3412/items/c84e6254de89c9952c55 低頻度語は学習データ内でUNKに置き換えられ てしまうため、Decodeできない
  14. 14. Non-differentiable COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 13 損失関数の計算に微分不可能な処理を挟むと、Back Propagationによる学 習を行えない ⇒微分不可能な処理とは? 対策: 強化学習[Chen et al. 2017]やMinimum Risk Training[Cheng et al. 2016] 例1: KB対話 例2: 評価指標の直接最適化
  15. 15. 提案手法 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 14
  16. 16. 提案モデルの概要 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 15 • 生成型要約モデル(抽出型要約もできるよ!) • Extract-Then-Rewriteの方式で要約を生成する • ExtractとAbstractに分けるアプローチは最近見る • A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss[Hsu et al. 2018] ACL2018 • Generating Wikipedia by Summarizing Long Sequences[Liu et al. 2018] ICLR2018 • 抽出を行うExtractorとRewriteを行うAbstractor
  17. 17. Extract-Then-Rewrite? COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 16 • 人間が要約を作るときの流れを参考に • 文章の重要な箇所にあたりをつけてから、それらをまとめて要約を作る • 文章中の重要な文を抽出し、それを書き直すことで生成型要約を作る Extract Rewrite
  18. 18. Extract COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 17 • Extractorモデルが担当 • Temporal Convolution Model[Kim, 2014]で文を特徴ベクトルに変換 • Bi-LSTMで文脈を考慮した文の表現に変換 • Pointer Network[Vinyals et al. 2015]で入力にAttentionをかけて文を抽出
  19. 19. Rewrite COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 18 • Abstractorモデルが担当 • Extractorが抽出した文を受け取り要約を作る • Seq2Seqモデル + Attention • Copy Mechanismを使うことで未知語を回避(OOVの緩和) たぶん構造は これに近い 親の顔より見た Seq2Seq + Attention Copy Mechanism
  20. 20. Training COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 19 • Maximum-Likelihood TrainingとReinforcement Learningの2段階 • 最初からE2EだとExtractorが貧弱なうちはAbstractorの学習が滞る • Maximum-Likelihood TrainingはExtractor, Abstractorそれぞれを MLEを使って教師あり学習 • ⇒教師ラベルは? • ⇒⇒proxy target label[Nallapati et al. 2017] 生成型要約の t番目の文 文書の i番目の文
  21. 21. Training COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 20 • Extractorによる文の選択処理が微分不可 • 評価指標ROUGEを報酬とした強化学習でモデル全体の学習を行う • ただしRLの学習ではAbstractorのパラメータはfix • REINFORCE[Williams, 1992]は勾配の分散が大きいためA2Cを採用する • AgentはExtractor • 報酬はGround truth summaryとのROUGE-LF1 • CriticとしてPointer NetのDecoder • 出力は状態価値関数
  22. 22. (ちょっと復習)強化学習 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 21 • エージェントが文を抽出(行動 at)し、それをAbstractorがRewriteし、GT summaryとの ROUGEから報酬Rtを得る • 環境(文書)からt-1に抽出した文を状態st(論文中ではct)として観測する • 方策 = Extractor ※ゼロから始める強化学習より https://www.slideshare.net/pfi/nlp2018-introduction-of-deep-reinforcement-learning
  23. 23. REINFORCEアルゴリズムによる方策勾配法 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 22 • 方策: Extractorのパラメータ更新式 • 行動価値関数Q(c,j)を即時報酬Rtで近似するのがREINFORCE • 今回は初めからQ(c,j)を報酬の期待値として定義してしまっている • しかしREINFORCEは勾配の分散が大きい t-1に抽出した文がctで tに抽出した文がjtのときのROUGE値の期待 値 Extractorがjtを抽出したときの対数尤度
  24. 24. A2CアルゴリズムによるExtractorの学習 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 23 • REINFORCEでは勾配の計算時にベースラインを導入できる • ベースラインとして学習可能なCriticを使い勾配の分散を小さくする • Criticは状態がcのときの報酬を推定する • Advantage関数を用いると、最終的な勾配は以下の式になる Advantage学習では、 行動価値関数Qの更新に 数step先の報酬も考慮する ※ はCriticの予想した値
  25. 25. 提案モデルと課題への対策 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 24 1. Repetition • ⇒Extractorが重複を排除して抽出。またBeam Search時にN-gram重複を避けるように Reranking 2. Out-of-Vocabulary(OOV) • ⇒AbstractorへのCopy Mechanismの導入 3. Non-differentiable • ⇒Extractorでの抽出の微分不可能性について、強化学習の導入で対応
  26. 26. 実験 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 25
  27. 27. CNN/Daily Mail Datasetでの実験 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 26 • Extractive/Abstractive 両セッティングで実験 • 両セッティングでState-of-the-Art
  28. 28. Pointer-GeneratorとのABテストのAbstractiveness COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 27 • Pointer-Generatorとの人手でのABテスト • Relevanceで差はついたが、Readabilityは大差なし • 出来上がる要約のAbstractivenessの計測 • 2~4gramの範囲で大きな改善 • とはいえ単語の刈り取りをすれば2-gram~は上昇する(はず)
  29. 29. 計算時間の比較 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 28 • Abstractorによる要約生成は複数の抽出文に依存していないため、抽出 した文から要約を生成する部分を並列化可能! • こんな感じに並列化できる(右図) • 最大で24倍の高速化に成功
  30. 30. まとめ COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 29 • 生成型要約を行うExtract-Then-Rewriteモデルの提案 • 近年の潮流をよく押さえている • 微分不可能な抽出処理に対してA2Cによる強化学習を導入 • 生成された要約を見ると「Rewrite」というより「Compress」 • 論文中でもcompressと述べられている • Abstractorに改良の余地? • Extract-Then-Abstractモデルは今後の生成型要約手法のトレンドにな るかもしれない
  31. 31. 参考文献 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 30 • Text summarization with TensorFlow: https://ai.googleblog.com/2016/08/text-summarization-with-tensorflow.html • Gunes Erkan, Dragomir R. Radev. 2004: LexRank: Graph-based Lexical Centrality as Salience in Text Summarization : https://www.aaai.org/Papers/JAIR/Vol22/JAIR-2214.pdf • Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. 2017: SummaRuNNer: A Recurrent Neural Network based Sequence Model for Extractive Summarization of Documents: https://arxiv.org/pdf/1611.04230.pdf • Romain Paulus, Caiming Xiong, and Richard Socher. 2018: A Deep Reinforced Model for Abstractive Summarization: https://arxiv.org/abs/1705.04304 • Abigail See, Peter J. Liu, and Christopher D. Manning. 2017: Get To The Point: Summarization with Pointer-Generator Networks: https://arxiv.org/abs/1704.04368 • Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, C¸ aglar Gulc¸ehre, and Bing Xiang. 2016: Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond: https://arxiv.org/abs/1602.06023 • Alexander M. Rush, Sumit Chopra, and Jason Weston. 2015: A Neural Attention Model for Abstractive Sentence Summarization: https://arxiv.org/abs/1509.00685 • Seq2Seq+Attentionのその先へ: https://qiita.com/ymym3412/items/c84e6254de89c9952c55 • Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. 2016: Pointer Sentinel Mixture Models: https://arxiv.org/abs/1609.07843 • Jiatao Gu, Zhengdong Lu, Hang Li, and Victor OK Li. 2016: Incorporating Copying Mechanism in Sequence-to-Sequence Learning: https://arxiv.org/abs/1603.06393
  32. 32. 参考文献 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 31 • Shiqi Shen, Yong Cheng, Zhongjun He, Wei He, Hua Wu, Maosong Sun, Yang Liu. 2015: Minimum Risk Training for Neural Machine Translation: https://arxiv.org/abs/1512.02433 • 大自然言語時代のための、文章要約: https://qiita.com/icoxfog417/items/d06651db10e27220c819 • Wan-Ting Hsu, Chieh-Kai Lin, Ming-Ying Lee, Kerui Min, Jing Tang, Min Sun. 2018:A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss: https://arxiv.org/abs/1805.06266v1 • Peter J. Liu, Mohammad Saleh, Etienne Pot, Ben Goodrich, Ryan Sepassi, Lukasz Kaiser, Noam Shazeer. 2018:Generating Wikipedia by Summarizing Long Sequences: https://arxiv.org/abs/1801.10198 • Yoon Kim. 2014: Convolutional Neural Networks for Sentence Classification: https://arxiv.org/abs/1408.5882 • Oriol Vinyals, Meire Fortunato, and Navdeep Jaitly. 2015: Pointer Networks: https://arxiv.org/abs/1506.03134 • ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning: https://www.slideshare.net/pfi/nlp2018- introduction-of-deep-reinforcement-learning • Ronald J. Williams. 1992: Simple statistical gradientfollowing algorithms for connectionist reinforcement learning: http://www- anw.cs.umass.edu/~barto/courses/cs687/williams92simple.pdf • Sequence Level Training with Recurrent Neural Networks (関東CV勉強会 強化学習論文読み会): https://www.slideshare.net/YoshitakaUshiku/sequence-level-training-with-recurrent-neural-networks-cv • これからの強化学習: http://www.morikita.co.jp/books/book/3034 • つくりながら学ぶ!深層強化学習 PyTorchによる実践プログラミング: https://book.mynavi.jp/manatee/books/detail/id=91985 • Yen-Chun Chen, Mohit Bansal: Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting: https://arxiv.org/abs/1805.11080v1
  33. 33. APPENDIX COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 32
  34. 34. モデルによる要約 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 33

×