Más contenido relacionado
La actualidad más candente (20)
Similar a Word2vecの理論背景 (20)
Word2vecの理論背景
- 2. 自己紹介
• データ分析と統計モデル構築15年
– 学習データ以外の運用データでも予測が当たることに驚く
• 統計数理研究所の機械学習ゼミに6年間在籍
– 殆どの統計モデルを構築
判別木 SVM ベイジアンネット DeepLearning等
• ロボット技術習得のため産業技術大学院に入学
– 知覚・機械学習・制御理論の統合が必要で発展途上の技術
• 経験的には米国の機械学習の論文を読み、できれば
実装するのが一番近道と思っている
– NIPS ICML論文読会したい(隔週開催)
• 教師あり学習のXGBOOSTの性能に驚いている
- 8. PMI情報量
• (he has) (are the) 等のよく出てくる結びつきは意味がない。
(beer wine) (oil economy)の結びつきは意味がある
• 頻繁に出てこない単語でよく見るペアに意味がある
• PMI情報量は頻繁に出ないが、よく見るペアを表す
word2vecはPMI情報量(単語の内積)で回帰してvectorを求めている。
教師データ softmax関数
- 17. ③word2vecの加法推論
• vec(king) - vec(man) + vec(woman) → vec(queen)
vec(king) - vec(qeen) = vec(man) - vec(woman)
)|(
)|(
log
)|(
)|(
log
),(
)(
)(
),(
log
),(
)(
)(
),(
log
),(
)()(
)()(
),(
log
),(
)()(
)()(
),(
log
)()(
),(
log
)()(
),(
log
)()(
),(
log
)()(
),(
log
)()(
),(
log
)(2.2
womanxp
manxp
queenxp
kingxp
womanxp
womanp
manp
manxp
queenxp
queenp
kingp
kingxp
womanxp
womanpxp
manpxp
manxp
queenxp
queenpxp
kingpxp
kingxp
manpxp
womanxp
manpxp
manxp
queenpxp
queenxp
kingpxp
kingxp
d
kingx
kingpxp
kingxp
b
womanxmanxqueenxkingx
x
womanmanqueenking
womanqueenmanking
t
tttt
これを用いると
より定理
を掛けて任意
加法則はこれを示す
証明