SlideShare una empresa de Scribd logo
1 de 8
Descargar para leer sin conexión
[論文紹介]
Skip-Thought Vectors
Kiros et al., 2015
首都大学東京
システムデザイン研究科 システムデザイン専攻 情報科学域
小町研究室 修士1年
嶋中 宏希
単語分散表現
 自然言語処理分野において、Word2Vec [Mikolov et al., 2013] の登場は
大きな衝撃であった
 Word2Vec のおかげで単語を分散表現で示すことが可能となり、単語の
意味を考慮した処理をすることが可能になったのである
 Word2Vec の Skip-gram というモデルではある文において、ある単語か
らその前後の単語を予測するように学習を行うことにより分散表現の
学習を行う
 Skip-gramは「同じ文脈に出現する単語は同じ意味を持つ」という分布
仮説 [Harris, 1945] に基いている
2018/7/8 1
文分散表現
 Word2Vec の登場により単語単位での意味を考慮した処理は可能になっ
たが文単位には利用できなかった
 単語分散表現の和や平均を文分散表現として扱う方法もあるがこの方
法だと語順を考慮できないという問題がある
 他にもあるラベル付きのデータを用いて文分散表現を学習するという
手法も存在したが、その手法だと学習したデータに依存してしまい、
汎用性が劣ってしまうという問題が生じた
 そこで提案されたのが『 Skip-Thought Vectors 』である
2018/7/8 2
Skip-Thought Vectors [Kiros et al., 2015]
 この論文では語順を考慮した汎用性の高い文単位の分散表現の学習法
を提案している
 ではどのようにしてそのような文分散表現の学習を可能にしたのか
 語順・・・文分散表現の学習に RNN (リカレントニューラルネットワーク)
を用いることにより語順の考慮を可能にした
 汎用性・・・汎用性が劣ってしまうのを防ぐためにラベルの存在しない
データを用いて学習を行った
 ラベルの存在しないデータを用いてどのように学習を行ったのか
 単語分散表現の学習にも用いられた分布仮説を文レベルに応用して前後の
文を予測するようにして学習を行った
 Word2Vec と同様にラベルのないデータから仮のラベルのようなものを設
定し学習を行うことによりデータにあまり依存しない分散表現の学習を可
能にしたのである
2018/7/8 3
Skip-Thought(モデル)
 Skip-Thought は本コーパスのような連続した文の間に意味がある(一
文一文で完結した文の集まりではない)コーパスを用いて学習するエ
ンコーダデコーダモデルである
 ある𝑠𝑖 番目の文をエンコードして分散表現とし、その分散表現から
𝑠𝑖−1番目と𝑠𝑖+1番目の文を再構成するように学習する
 このように学習を行うことにより語順を考慮した汎用性の高い文分散
表現の学習を可能にした
2018/7/8 4
図1: Skip-Thought の概要図
まとめ
 この論文で文レベルへの分布仮説の応用が可能であることが示された
 この論文を発端として、連続した文の集まりであるコーパス(本コー
パス)を用いた文分散表現の研究が盛んになり、Skip-Thoght よりも汎
用性が高く学習時間が短い Quick-Thought [Logeswaran et al., 2018]
が提案されたりしている
 汎用的な文分散表現は、類似文検索、分類問題、機械翻訳自動評価な
ど様々なタスクで活躍している
 今現在も文分散表現の研究が盛んに行われており、この論文における
発見は非常に有用なものであったと考えられる
2018/7/8 5
感想
 語順を考慮した汎用性の高い文分散表現の学習法の原点であり、単語
単位での分布仮説というのはなんとなく想像はできるがまさかその考
えを文レベルに応用するというのは自分の中では大きな衝撃であった
 この考えに基づく文分散表現の学習法というのはこの論文以降多く提
案されており非常に大きな貢献であると感じた
 文分散表現の学習においてのみ言えることではなく、実は今までラベ
ルなしのデータと思い込んでいたものが仮のラベルを設定することで
実は学習に非常に有用なデータであるかもしれないという考えを与え
てくれた
2018/7/8 6
参考文献
 Distributed Representations of Words and Phrases and their
Compositionality [Mikolov et al., NIPS 2013]
 Skip-Thought Vectors [Kiros et al., arXiv 2015]
 AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE
REPRESENTATIONS [Logeswaran et al., ICLR 2018]
 スライド内の図は Skip-Thought Vectors [Kiros et al., arXiv 2015] の論
文より引用
2018/7/8 7

Más contenido relacionado

La actualidad más candente

トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?hoxo_m
 
[論文読み]Effective Approaches to Attention-based Neural Machine Translation
[論文読み]Effective Approaches to Attention-based Neural Machine Translation[論文読み]Effective Approaches to Attention-based Neural Machine Translation
[論文読み]Effective Approaches to Attention-based Neural Machine Translationhirono kawashima
 
fastTextの実装を見てみた
fastTextの実装を見てみたfastTextの実装を見てみた
fastTextの実装を見てみたYoshihiko Shiraki
 
G社のNMT論文を読んでみた
G社のNMT論文を読んでみたG社のNMT論文を読んでみた
G社のNMT論文を読んでみたToshiaki Nakazawa
 
統計的係り受け解析入門
統計的係り受け解析入門統計的係り受け解析入門
統計的係り受け解析入門Yuya Unno
 
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Keigo Nishida
 
画像キャプションの自動生成
画像キャプションの自動生成画像キャプションの自動生成
画像キャプションの自動生成Yoshitaka Ushiku
 
最適輸送入門
最適輸送入門最適輸送入門
最適輸送入門joisino
 
全力解説!Transformer
全力解説!Transformer全力解説!Transformer
全力解説!TransformerArithmer Inc.
 
【DL輪読会】大量API・ツールの扱いに特化したLLM
【DL輪読会】大量API・ツールの扱いに特化したLLM【DL輪読会】大量API・ツールの扱いに特化したLLM
【DL輪読会】大量API・ツールの扱いに特化したLLMDeep Learning JP
 
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてTransformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてSho Takase
 
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked AutoencodersDeep Learning JP
 
先端技術とメディア表現1 #FTMA15
先端技術とメディア表現1 #FTMA15先端技術とメディア表現1 #FTMA15
先端技術とメディア表現1 #FTMA15Yoichi Ochiai
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情Yuta Kikuchi
 
5分で分かる自己組織化マップ
5分で分かる自己組織化マップ5分で分かる自己組織化マップ
5分で分かる自己組織化マップDaisuke Takai
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted WindowsDeep Learning JP
 
PlaySQLAlchemy: SQLAlchemy入門
PlaySQLAlchemy: SQLAlchemy入門PlaySQLAlchemy: SQLAlchemy入門
PlaySQLAlchemy: SQLAlchemy入門泰 増田
 
【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...
【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...
【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...Deep Learning JP
 

La actualidad más candente (20)

トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
 
数式からみるWord2Vec
数式からみるWord2Vec数式からみるWord2Vec
数式からみるWord2Vec
 
[論文読み]Effective Approaches to Attention-based Neural Machine Translation
[論文読み]Effective Approaches to Attention-based Neural Machine Translation[論文読み]Effective Approaches to Attention-based Neural Machine Translation
[論文読み]Effective Approaches to Attention-based Neural Machine Translation
 
fastTextの実装を見てみた
fastTextの実装を見てみたfastTextの実装を見てみた
fastTextの実装を見てみた
 
G社のNMT論文を読んでみた
G社のNMT論文を読んでみたG社のNMT論文を読んでみた
G社のNMT論文を読んでみた
 
統計的係り受け解析入門
統計的係り受け解析入門統計的係り受け解析入門
統計的係り受け解析入門
 
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
 
画像キャプションの自動生成
画像キャプションの自動生成画像キャプションの自動生成
画像キャプションの自動生成
 
最適輸送入門
最適輸送入門最適輸送入門
最適輸送入門
 
全力解説!Transformer
全力解説!Transformer全力解説!Transformer
全力解説!Transformer
 
【DL輪読会】大量API・ツールの扱いに特化したLLM
【DL輪読会】大量API・ツールの扱いに特化したLLM【DL輪読会】大量API・ツールの扱いに特化したLLM
【DL輪読会】大量API・ツールの扱いに特化したLLM
 
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてTransformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
 
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
 
先端技術とメディア表現1 #FTMA15
先端技術とメディア表現1 #FTMA15先端技術とメディア表現1 #FTMA15
先端技術とメディア表現1 #FTMA15
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
 
5分で分かる自己組織化マップ
5分で分かる自己組織化マップ5分で分かる自己組織化マップ
5分で分かる自己組織化マップ
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
 
PlaySQLAlchemy: SQLAlchemy入門
PlaySQLAlchemy: SQLAlchemy入門PlaySQLAlchemy: SQLAlchemy入門
PlaySQLAlchemy: SQLAlchemy入門
 
Marp Tutorial
Marp TutorialMarp Tutorial
Marp Tutorial
 
【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...
【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...
【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...
 

Más de Hiroki Shimanaka

[Tutorial] Sentence Representation
[Tutorial] Sentence Representation[Tutorial] Sentence Representation
[Tutorial] Sentence RepresentationHiroki Shimanaka
 
[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation
[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation
[論文紹介] Reference Bias in Monolingual Machine Translation EvaluationHiroki Shimanaka
 
[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...
[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...
[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...Hiroki Shimanaka
 
[Paper Reading] Unsupervised Learning of Sentence Embeddings using Compositi...
[Paper Reading]  Unsupervised Learning of Sentence Embeddings using Compositi...[Paper Reading]  Unsupervised Learning of Sentence Embeddings using Compositi...
[Paper Reading] Unsupervised Learning of Sentence Embeddings using Compositi...Hiroki Shimanaka
 
[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...
[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...
[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...Hiroki Shimanaka
 
[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.
[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.
[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.Hiroki Shimanaka
 
[論文紹介] Are BLEU and Meaning Representation in Opposition?
[論文紹介] Are BLEU and Meaning Representation in Opposition?[論文紹介] Are BLEU and Meaning Representation in Opposition?
[論文紹介] Are BLEU and Meaning Representation in Opposition?Hiroki Shimanaka
 
[Paper Reading] Supervised Learning of Universal Sentence Representations fro...
[Paper Reading] Supervised Learning of Universal Sentence Representations fro...[Paper Reading] Supervised Learning of Universal Sentence Representations fro...
[Paper Reading] Supervised Learning of Universal Sentence Representations fro...Hiroki Shimanaka
 

Más de Hiroki Shimanaka (8)

[Tutorial] Sentence Representation
[Tutorial] Sentence Representation[Tutorial] Sentence Representation
[Tutorial] Sentence Representation
 
[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation
[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation
[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation
 
[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...
[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...
[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...
 
[Paper Reading] Unsupervised Learning of Sentence Embeddings using Compositi...
[Paper Reading]  Unsupervised Learning of Sentence Embeddings using Compositi...[Paper Reading]  Unsupervised Learning of Sentence Embeddings using Compositi...
[Paper Reading] Unsupervised Learning of Sentence Embeddings using Compositi...
 
[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...
[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...
[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...
 
[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.
[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.
[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.
 
[論文紹介] Are BLEU and Meaning Representation in Opposition?
[論文紹介] Are BLEU and Meaning Representation in Opposition?[論文紹介] Are BLEU and Meaning Representation in Opposition?
[論文紹介] Are BLEU and Meaning Representation in Opposition?
 
[Paper Reading] Supervised Learning of Universal Sentence Representations fro...
[Paper Reading] Supervised Learning of Universal Sentence Representations fro...[Paper Reading] Supervised Learning of Universal Sentence Representations fro...
[Paper Reading] Supervised Learning of Universal Sentence Representations fro...
 

[論文紹介] Skip-Thought Vectors