Recomendados
Recomendados
Más contenido relacionado
Último
Último (9)
Destacado
Destacado (20)
Maskgan better text generation via filling in the ____
- 1. MASKGAN: Better Text Generation via Filling in the ______ William Fedus, Ian Goodfellow, Andrew M. Dai
- 2. 自己紹介 Twitter/Github: ymym3412 都内のIT企業で自然言語処理の研究開発 nlpaper.challenge主催
- 3. 【宣伝】nlpaper.challengeとは？ 自然言語処理の学会「ACL」論文を完全読破する取り組み Twitter: @NlpaperChalleng cvpaper.challengeの親戚 NLPとCVの交流のための勉強会を開催中！ 勉強会で会場を提供してくださる企業様を募集中です！
- 5. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は
- 6. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が
- 7. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が 好きです
- 8. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が 好きです <SOS> I
- 9. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が 好きです <SOS> I I like
- 10. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が 好きです <SOS> I I like like dogs
- 11. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が 好きです <SOS> I I like like dogs dogs <EOS>
- 12. Exposure bias 私は 犬が 好きです <SOS> I I train like planes dogs <EOS> • 学習時: Teacher forcing • Decoderへの入力はground truth label Cross-Entropyを計算
- 13. Exposure bias • 推論時: Free Running • Decoderへの入力はt-1のDecoderの出力 私は 犬が 好きです <SOS> I I like like dogs dogs <EOS> 学習時と推論時の差がExposure biasを引き起こす！
- 14. Exposure biasの対策その1 Scheduled Sampling [Bengio+, 2015] ground truth labelを使うかself-generated tokenを使うかを確率的に決める 少しずつprevious tokenが選ばれるようにしていくことで 学習時と推論時のギャップを埋める
- 15. Exposure biasの対策その2 Professor Forcing [Lamb+, 2016] Teacher Forcing時の隠れ層と Free running時の隠れ層のとを 識別するDiscriminatorを用意し Teacher ForcingとFree Running の差がなくなるように学習
- 16. Text生成のGAN: SeqGAN[Yu+, 2016] テキスト生成のGと真贋を見極めるD + 強化学習 単語1つ1つの尤度最大化ではなく文としての最適化 単語毎のMLEでは文全体の整合性は取れない MCサーチ + 方策勾配法でGを学習
- 17. SeqGANの派生 MaliGAN[Che+, 2017] 真贋判定という2値分類の問題を緩和 報酬をリスケーリング RankGAN[Lin+, 2017] こちらも2値分類の問題を緩和 2値分類ではなくランキング問題として解く LeakGAN[Guo+, 2017] Mode collapseによる短いテキスト生成を回避 Dの情報をGにLeakしてテキスト生成をガイドする
- 18. MASKGANの構成 I live __ Tokyo I live live Tokyo <EOS>Tokyo I live in Tokyo D1 D2 D3 D4 Generator Discriminator Critic I live Tokyo I live Tokyo V1 V2 V3 V4 I live Tokyo I live Tokyo
- 20. Generator 本来の文章をランダムにマスクした文章を生成し、マスク部分を復元する ように学習させる マスク部分に適切な語を復元することでDiscriminatorを騙せる I live __ Tokyo I live live Tokyo <EOS>Tokyo
- 21. Discriminator GeneratorのDecoderが生成した文章の妥当性をチェックする Gの生成文の真贋判定ではなく、正しいContextとの比較を行う I live in Tokyo D1 D2 D3 D4 I live Tokyo I live Tokyo in rtは時刻tの報酬 正しい単語でfillしないと、 Generatorは高い報酬を受け取れない
- 22. Generator/Discriminatorの学習 Discriminatorはいつも通り真贋判定のLoss Generatorがサンプリング処理を挟むため微分不可能→強化学習 Actor-Critic法を使って学習する ※ɤは割引率 ※VはCriticの出力 勾配の分散を抑えるためのベースラインを モデルで推定するのがActor-Critic法
- 23. Critic Generatorが得る勾配の分散を抑えるためのベースラインを推定する V1 V2 V3 V4 I live Tokyo I live Tokyo
- 25. 実験 Pen Tree Bank(PTB)とIMDBでConditional/Unconditionalのテ キスト生成実験 MaskGANとMLEで学習したMaskMLEの比較 生成されたテキストの定性比較、Perplexityの比較、人手での評価、 mode collapseの解析を実施
- 26. PTB/IMDB PTB Conditional PTB Unconditional IMDB Conditional IMDB Unconditional IMDB Perplexity MaskGANではDiscriminatorの対数尤度を Generatorの報酬として受け取っている=Perplexity を直接最適化していると言える？ とすればPerplexityの改善はある意味当然
- 27. Mode collapse Generatorが勾配を得やすい確率分布上の特定の1点にはまってしまう ことで生成されるデータの多様性が失われる現象 ユニークなn-gramを測ることでmode collapseを確認する Quadgramsの低下が確認できmode collapseが起きている？
- 29. まとめ Seq2Seqの抱えるExposure biasの問題をin-fillingタスク+強化学 習による系列最適化で解決 評価方法が定性評価に強く依存している。SeqGANからどんな発展が あったかが明確には述べられていない Blank(___)を完全なランダムではなく連続してblankとすると学習の質 が改善されることが確認されており、句といった単位でblankにすることで 構文なども考慮した学習ができるのではないか
- 30. 参考文献 William Fedus, Ian Goodfellow and Andrew M. Dai; MaskGAN: Better Text Generation via Filling in the______, https://arxiv.org/abs/1801.07736 Ilya Sutskever, Oriol Vinyals, Quoc V. Le, Sequence to Sequence Learning with Neural Networks, https://arxiv.org/abs/1409.3215 Minh-Thang Luong, Hieu Pham, Christopher D. Manning, Effective Approaches to Attention-based Neural Machine Translation, https://arxiv.org/abs/1508.04025 Ramesh Nallapati, Bowen Zhou, Cicero Nogueira dos santos, Caglar Gulcehre, Bing Xiang, Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond, https://arxiv.org/abs/1602.06023 Samy Bengio, Oriol Vinyals, Navdeep Jaitly, Noam Shazeer , Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks, https://arxiv.org/abs/1506.03099 Samuel R Bowman, Luke Vilnis, Oriol Vinyals, Andrew M Dai, Rafal Jozefowicz, and Samy Bengio; Generating sentences from a continuous space, https://arxiv.org/abs/1511.06349 Lantao Yu† , Weinan Zhang†∗, Jun Wang‡ , Yong Yu†, SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient, https://arxiv.org/pdf/1609.05473.pdf Alex Lamb, Anirudh Goyal, Ying Zhang, Saizheng Zhang, Aaron Courville, and Yoshua Bengio. Professor forcing: A new algorithm for training recurrent networks, https://arxiv.org/pdf/1801.07736.pdf Tong Che * 1 Yanran Li * 2 Ruixiang Zhang * 3 R Devon Hjelm 1 4 Wenjie Li 2 Yangqiu Song 3 Yoshua Bengio 1, Maximum-Likelihood Augmented Discrete Generative Adversarial Networks, https://arxiv.org/pdf/1702.07983.pdf Kevin Lin, Dianqi Li, Xiaodong He, Zhengyou Zhang, and Ming-Ting Sun. Adversarial ranking for language generation, https://arxiv.org/pdf/1705.11001.pdf Jiaxian Guo† , Sidi Lu† , Han Cai† , Weinan Zhang†∗, Yong Yu† , Jun Wang‡, Long Text Generation via Adversarial Training with Leaked Information, https://arxiv.org/pdf/1709.08624.pdf Sidi Lu1 , Yaoming Zhu1 , Weinan Zhang1 , Jun Wang2 , Yong Yu1, Neural Text Generation: Past, Present and Beyond, https://arxiv.org/pdf/1803.07133.pdf Github: https://github.com/tensorflow/models/tree/master/research/maskgan