自然言語処理 Word2vec
•Descargar como PPTX, PDF•
24 recomendaciones•12,142 vistas
word2vecについての概要説明
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Más de naoto moriyama
Último
Último (8)
自然言語処理 Word2vec
- 3. word2vec a1 a2 a3 a4 a5 Continuous Bag–of–Words 周囲の単語から中心の単語を予測する Skip-Gram 中心の単語から周囲の単語を予測する • 2014年にGoogleより発表され、性能の高さから瞬く間に世界中に広がった • 文中で連続する5つの単語（シーケンス）をベースに、2つのアルゴリズムで実装 ベースは2つのアルゴリズムで構成 ・・・ ・・・ 3
- 4. word2vec-注目すべきデータ構造 • 右図は２００次元のベクトルを特別に２次 元にプロットしたもの • 「中国＋北京」のベクトルが「ロシア＋モ スクワ」及びその他の国＋首都のベクトル とかなり近い • その他、「王様ー男＋女＝女王」といった 演算ができる • つまり、ベクトル化さえすれば、広い範囲 の処理が可能に！ • 前述の処理により、単語を任意の次元ベクトルに変換（100〜200次元くらい） （多次元空間に、単語を埋め込む） • 単語ベクトル同士で、ベクトル演算が可能（足し引き） 4
- 5. word2vec-注目すべきデータ構造 • 右図は２００次元のベクトルを特別に２次 元にプロットしたもの • 「中国＋北京」のベクトルが「ロシア＋モ スクワ」及びその他の国＋首都のベクトル とかなり近い • その他、「王様ー男＋女＝女王」といった 演算ができる • つまり、ベクトル化さえすれば、広い範囲 の処理が可能に！ • 前述の処理により、単語を任意の次元ベクトルに変換（100〜200次元くらい） （多次元空間に、単語を埋め込む） • 単語ベクトル同士で、ベクトル演算が可能（足し引き） 5
- 6. 〜基礎知識〜 6 • 文章を構成する複数の単語にそれぞれIDをつけて計算 • 無秩序なID付では、計算を逆に妨げる（※） • 後述のBOWと呼ばれる方法で”意味を持たない“ID付を行う
- 7. Bug-Of-Words（BOW) ※ここからベクトル（線形代数）の話が入ります ① 予め、処理する単語の総ユニーク数を算出 ② ①の数字を次元としたゼロベクトル配列を用意 ③ 各単語の出現順に、その単語が位置が１となるベクトルを付与 パソコン インターネット プログラミング エンジニア UNIX CPU ②6次元のゼロベクトル[0, 0, 0, 0, 0, 0] ①6次元 ⇒ [1, 0, 0, 0, 0, 0] ⇒ [0, 1, 0, 0, 0, 0] ⇒ [0, 0, 1, 0, 0, 0] ⇒ [0, 0, 0, 1, 0, 0] ⇒ [0, 0, 0, 0, 1, 0] ⇒ [0, 0, 0, 0, 0, 1] ※これの何がうれしいか • 各ベクトルの値が違うにもかかわらず、 • すべて互いの距離が等しい（ノルム距離）！！ • つまり、独自性を保ちつつ、無駄な相対関係を 持たない • 機械学習で自然言語以外でもよく使われる ③ 7 例）
- 8. 次にすることは？ 8 • 前述のBOWを日本語に対して行うと、日本語の単語が約25万(広辞苑)の ため各単語がそれぞれ25万次元のベクトル配列となる ⇒意味を持たない • 一方、BOWはのベクトルは、1つのが[1]でそれ以外はすべて[0] ⇒これを圧縮したい ⇒⇒でも、中途半端な方法では、計算を妨げるベクトルになってしまう • 以降、continuous Bog-of-Wordsと呼ばれるアルゴリズムを用いて、 意味のある、かつ短いベクトルにする方法を考える
- 10. 超訳ニューラルネットワーク 入力層 隠れ層 出力層 複数の情報を元に、“見解“を得る • どの要素がそれくらいの重要度を占めるか • それぞれの要素同士の相関関係はどんなものか • そもそも与えられた情報で、見解が得られるのか これらを自動で計算してくれるパワフル なフレームワーク ※本質的な部分をかなり省略しています。 詳細は別途説明 10
- 12. Continuous Bag–of–Words 1つの単語から、前後2つの単語を予測する 12 a-2 a-1 a a+1 a+2 注目単語 これらを予測 ニューラルネットワークを 用いて学習させる
- 15. 基礎に振り返ると • word2vecの学習がうまくいくのは、単語が文章内にて、意味に沿っ て連続的に並んでいるから • 逆に、一定の規則を持ちながら、連続的に並んでいるものであれば 学習できる 例）ウェブページを単語に擬え、ページ遷移を連続性に擬えれば各ページをベク トル化できる⇒リクルートがこれを使ってレコメンドエンジンを実装した • 現在、この仕組みを利用して、様々なものをベクトル化することが 流行っている 例）doc2vec, item2vec, image2vecなどなど。※ただし性能が低い・・・ 15
- 16. appendix • 高度な数学知識が必要なため、学習の際に使用されるネガティブサン プリング、階層的ソフトマックスのアルゴリズム説明は割愛した • 中間層の次元数選択は、学習データの量に応じて変化するため、 ベストな数値を選定するロジックは確立されていない ■よくある勘違い • word2vecはリカレントニューラルネットワークではない • 近い動作として、オートエンコーダがあるが、中身は違う 16