[DLHacks]Topic‑Aware Neu ral KeyphraseGenerationforSocial Media Language
•
2 recomendaciones•1,001 vistas
2019/08/05 Deep Learning JP: http://deeplearning.jp/hacks/
Recomendados
Recomendados
Más contenido relacionado
Similar a [DLHacks]Topic‑Aware Neu ral KeyphraseGenerationforSocial Media Language
Similar a [DLHacks]Topic‑Aware Neu ral KeyphraseGenerationforSocial Media Language (20)
Más de Deep Learning JP
Más de Deep Learning JP (20)
[DLHacks]Topic‑Aware Neu ral KeyphraseGenerationforSocial Media Language
- 2. 論文 ‑ 2
- 10. トピックモデル 文書集合で話題となっているトピックを、同じ文書で現れやすい語彙と して抽出する手法の総称 LatentDirichletAllocation(LDA) 一つの文書に複数のトピックを持つと仮定し、文章が生成される過程を モデル化 θ :文書d に対するTopic分布 z :文書中の単語w に対するトピック割当 α , β :ハイパーパラメータ θd zn wn ∼ Dir α , for d ∈ D( 0) ∼ Multi θ , for n ∈ 1, N( d) [ d] ∼ Multi β , for n ∈ 1, N( zn ) [ d] d n n 0 zn ‑ 10
- 13. データ collection C = x ,x , ...,x のそれぞれの文章xから、 BoWベクトルx ∈R ,(V は語彙数) 系列ベクトルx を作成 { 1 2 ∣C∣} bow V seq ‑ 13
- 15. NeuralTopicModel BoWEncoder μ = f f x , log σ = f f x f (⋅) はReLUのFC層 μ ( e ( bow)) σ ( e ( bow)) ∗ ‑ 15
- 16. NeuralTopicModel BoWDecoder 以下のステップでx を再構成 潜在トピック変数zをサンプルz ∼ N μ, σ 混合トピックを計算θ = softmax f (z) Foreachwordw ∈ x : w ∼ softmax f (θ) bow ( 2 ) ( θ ) ( ϕ ) ‑ 16
- 17. SequenceEncoder w ∈x (i = 1, 2, ..., ∣x∣) からEmbeddingvectorν を計算 Bi‑GRUで各時刻でのhiddenstateを計算 h = f ν ,h hiddenstateをまとめてメモリバンクMを作成 M = h ,h , … ,h i seq i i biGRU ( i i−1) ⟨ 1 2 ∣x∣⟩ ‑ 17
- 18. Topic‑AwareSequenceDecoder 混合トピックθと前ステップの出力u を入力として、Unidirectional GRUで逐次デコード s = f u ; θ ,s j j GRU ([ j ] j−1) ‑ 18
- 19. Topic‑AwareSequenceDecoder 注意重みを計算し、メモリバンクMを集約 α = , c = α hij exp f h ,s , θ∑i =1′ ∣x∣ ( α ( i′ j )) exp f h ,s , θ( α ( i j )) j i=1 ∑ ∣x∣ ij i ‑ 19
- 20. Topic‑AwareSequenceDecoder c とs から単語を生成 p = softmax W s ;c +b j j gen ( gen[ j j] gen) ‑ 20
- 21. Topic‑AwareSequenceDecoder 重みをつけて入力データ中の単語分布を合成し、最終的な出力を計 算(Copy機構) λ = sigmoid W u ;s ;c ; θ +b p = λ ⋅ p + 1 − λ ⋅ α j ( λ[ j j j ] λ) j j gen ( j) i=1 ∑ ∣x∣ ij ‑ 21
- 22. 目的関数 NTMのLoss L = D (p(z)∥q(z∣x)) −E [p(x∣z)] キーフレーズ生成のLoss L = − log Pr y ∣x , θ 最終的なLoss L =L + γ ⋅L NTM KL q(z∣x) KG n=1 ∑ N ( ( n n n)) NTM KG ‑ 22
- 23. 実験 ‑ 23
- 27. 実装 ‑ 27
- 33. ‑ 33
- 34. 追記 NTMの目的関数のp(z), q(z∣x) が逆ではないか。 確認したところ、参考文献では全て L = D (q(z∣x)∥p(z)) −E [p(x∣z)] と、なっていて、今回の論文のみが逆になっていました。逆になってい る理由はわかりませんでした。 NTM KL q(z∣x) ‑ 34
- 35. ‑ 35