Evaluating Visual Representations for Topic Understanding and Their Effects on Manually Generated Topic Labels
•Descargar como PPTX, PDF•
1 recomendación•557 vistas
This is a presentation material used in https://sites.google.com/view/snlp-jp/home/2017.
Recomendados
Más contenido relacionado
Similar a Evaluating Visual Representations for Topic Understanding and Their Effects on Manually Generated Topic Labels
Similar a Evaluating Visual Representations for Topic Understanding and Their Effects on Manually Generated Topic Labels (16)
Más de Akihiro Kameda
Último
Último (10)
Evaluating Visual Representations for Topic Understanding and Their Effects on Manually Generated Topic Labels
- 1. Evaluating Visual Representations for Topic Understanding and Their Effects on Manually Generated Topic Labels Author: Expositor: KAMEDA Akihiro (東南アジア地域研究研究所, Kyoto University)
- 2. Summary • 確率的トピックモデルは要約や分析で有用だけど、トピックの理 解って難しくない？（ここで確率的トピックモデル＝ＬＤＡ） • ４種類の可視化＋自動付与のラベルをユーザの認知実験を使って比 較したよ。 • シンプルな方が分かりやすく、複雑なのは広い理解に繋がる。 • fw:自動付与はダメだったけど、今回のデータセットで改善可？
- 3. 自己紹介 論文紹介 • KAMEDA Akihiro 京大の東南アジア地域研究研究所 • 情報学的分析の解釈が課題 • LDAはDH(Digital Humanities) とかでもよく使われてる • どう理解可能にするか、 どう解釈するかは課題
- 4. Summary • 確率的トピックモデルは要約や分析で有用だけど、トピックの理 解って難しくない？（ここで確率的トピックモデル＝ＬＤＡ） • ４種類の可視化＋自動付与のラベルをユーザの認知実験を使って比 較したよ。 • シンプルな方が分かりやすく、複雑なのは広い理解に繋がる。 • fw:自動付与はダメだったけど、今回のデータセットで改善可？
- 8. 実験設定 • トピックモデル Mallet実装のLDA、ハイパーパラメータ固定 • トピック数50 • “off the shelf” • データはNY Times 7156記事(2007年～) • 自動ラベル:WikipediaをLuceneで上位20語で検索して50記事 を得る • それらをtf-idfのベクトルで表す、そのベクトル平均に最も近い記事を centroid として選びその記事名をラベルにする（Lau et al. 2011) • Mechanical Turk で 600HITS×$0.30+750HITS×$0.50=6万円 ちょい（実験計画法的な工夫もあって削減してる see 3.4, 3.5)
- 9. 比較対象
- 10. 結果と考察
- 11. 複雑だと 時間がかかる
- 19. この指標で↓自信の自己申告を分析
- 20. • 自己申告の自信と Topic Coherence は相関 • 一貫したトピックは自信もってラ ベリングできる • Coherenceの有用性の傍証にも • ラベル所要時間は有意ではなかった • 諦めも早いから？
- 22. ユーザ評価(2) • Coherence 4分割のbest, worst についてのユーザ評価 • アルゴリズムが躍進 • With Bars は ダメトピックに強い • メリハリが分かるから？ • 他変わらず
- 23. 分析 • 短い方が良いと評価されがち • もちろんワードリスト上位の方がラベルに使われやすい • 合成語を挙げるにはネットワークが良い • 上位語がラベルに 好まれるという 既存研究の検証 • 上位語率1割 • うち6割は WordNetにある • ネットワークが 上位語ラベルを誘発しやすい
- 24. • 自動ラベルは長くて意味が狭くて常に最低評価 • 例： • Topic 14—{health, drug, medical, research, conditions} • × health care in the united states • 〇 health • Topic 48—{league, team, baseball, players, contract} • × major league baseball on fox • 〇 baseball • WordNet の汎用化には限界 • {san, los, angels, terms, francisco}→ California • {open, second, final, won, williams}→tennis • ネットワークは近接性情報が理解促進 • 数が少ないとトピックを誤解する、（特にワードクラウドの）近接性が誤解を生む Cont. 分析 (in discussion)
- 25. まとめ • ユーザ付与のラベルの質は４つであまり変わらず • トレードオフ、効率重視ならシンプル vs 広さなら複雑 • ワードリストはラベリング効率の面だけでなく、検索タスクでも有能（既存 研究） • 自動ラベリング研究への貢献： • 自動ラベルの使いどころの示唆→一貫性の高いトピックにのみつける • 訓練データの提供 https://github.com/alisonmsmith/Papers/tree/master/TopicRepresentati ons • Future Work • トピックではなく、トピックモデル全体の理解については未着手 • 理解の広さを測るタスクの設計 • 個人的疑問：ゆっくり考えるからラベルが広くなるのか、可視化手法そのも のの良さなのか