Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

Evaluating non expert_annotations_for_natural_language_tasks

129 visualizaciones

Publicado el

Cheap and Fast - But is it Good?
Evaluating non-expert annotations for natural language tasks

Publicado en: Datos y análisis
  • ⇒ www.HelpWriting.net ⇐ is a good website if you’re looking to get your essay written for you. You can also request things like research papers or dissertations. It’s really convenient and helpful.
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí
  • If we are speaking about saving time and money this site ⇒ www.WritePaper.info ⇐ is going to be the best option!! I personally used lots of times and remain highly satisfied.
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí
  • DOWNLOAD THAT BOOKS/FILE INTO AVAILABLE FORMAT - (Unlimited) ......................................................................................................................... ......................................................................................................................... Download FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes Christian, Classics, Comics, Contemporary, Cookbooks, Art, Biography, Business, Chick Lit, Children's, Manga, Memoir, Music, Science, Science Fiction, Self Help, History, Horror, Humor And Comedy, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance,
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí
  • (Unlimited)....ACCESS WEBSITE Over for All Ebooks ................ accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M }
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí
  • If you want to download or read this book, copy link or url below in the New tab ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } .........................................................................................................................
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí
  • Sé el primero en recomendar esto

Evaluating non expert_annotations_for_natural_language_tasks

  1. 1. Cheap and Fast — But is it Good? Evaluating Non-Expert Annotations for Natural Language Tasks 長岡技術科学大学 自然言語処理研究室 修士1年 西山 浩気 Rion Snow, Brendan O’Connor, Daniel Jurafsky, Andrew Y.Ng, Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pages 254–263, Honolulu, October 2008.
  2. 2.  アノテートされた言語資源の構築手法  大規模で高品質なデータを集めるため  クラウドソーシングを利用した言語資源の構築  5つのタスクにおいて効果的に 非専門家がラベリングするための技術を示す  通常の費用のほんの一部で、 多くのラベリング作業を効果的に設計・実施ができる 1. 概要 2
  3. 3.  TreeBank[Marcus et al., ‘93]  PropBank[Palmer et al., ‘05]  TimeBank[Pustejovsky et al., ‘93]  SemCor[Miller et al., ‘93]  高品質・大規模なデータセットを作るためには  専門家の時間  コスト がかかる  膨大なデータを用意するために、 一部は非専門家に頼る場合もある 2.1 言語資源 はじめに 3 言語資源
  4. 4.  多くの言語処理のパフォーマンスは データセットの量と品質に影響される[Banko and Brill., ‘01]  専門家のみでのアノテートにはコストがかかる  そこで、AMT(Amazon Mechanical Turk) を用いて非専門家にアノテートをさせる 2.2 非専門家によるアノテート はじめに 4 クラウドソーシングサイト
  5. 5. この論文では 非専門家によるアノテートが自然言語処理において 信頼できる正解ラベルを付与できるかを検証、 品質向上のための手法を提案 5つのタスクで専門家と比較 1. Affect Recognition 2. Word Similarity 3. Recognizing Textual Entailment 4. Event Temporal Ordering 5. Word Sense Disambiguation 3.1 非専門家によるアノテート 実験設定 5
  6. 6.  タスクをシンプルにするために  複数選択肢の応答  固定範囲内の数値入力  1つのデータに割り振る人数によって、 どのように品質が向上するのかを検証するために 1つのデータごとに10人がラベル付け 6 3.2 タスクデザイン 実験設定
  7. 7.  あるテキストに対して、 感情を[0,100]で表現するタスク[Strapparava and Mihalcea, ‘07]  例: ✓ Outcry at N Korea ‘nuclear test’ (Anger, 30),(Disgust,30),(Fear,30),(Joy,0), (Sadness,20),(Surprise,40),(Valence,-50).  SemEval から 100サンプル取得 7 4.1 Affective Text Analysis 実験設定
  8. 8.  評価 : Inter-annotator agreement(ITA)  アノテータ間でどの程度合意がとれるか 1人の専門家と10人の非専門家で比較 8 4.1 Affective Text Analysis 実験設定
  9. 9. “Fear”を除く全てのラベルで 専門家レベルのITAを達成  平均して4人程度の非専門家のアノテートが必要 9 4.1 Affective Text Analysis 実験設定
  10. 10.  単語のペアの類似度を[0,10]で表すタスク  例: ✓ {boy, lad} : 非常に似ている ✓ {noon, string} : 無関係  30の単語ペアを準備  作業時間はわずか11分程度 10 4.2 Word Similarity 実験設定
  11. 11.  非専門家によるアノテート数を増やしたときの 正解ラベルとの相関を計算 11 4.2 Word Similarity 品質評価
  12. 12.  専門家[Miller and Charles, ‘91] の相関 : 0.958 (緑の点線)  10人の非専門家によるアノテートにより、 正解ラベルとの相関は 0.952 を達成 12 4.2 Word Similarity 品質評価
  13. 13.  ある文1から文2が推論できるかを 2値で判断するタスク[Dagan et al., ‘06]  例 ✓ 文1 : “Oil prices drop” ✓ 文2-1 : “Crude Oil Prices Slump” True  PASCAL RTE-1 データセットから 800文 13 4.3 Recognizing Textual Entailment 実験設定
  14. 14.  専門家による正解率 : 91~96%  非専門家によるアノテートの結果の多数決  10人の非専門家の平均 : 89.7 % 14 4.3 Recognizing Textual Entailment 品質評価
  15. 15.  ある2つのイベント(ここでは動詞)のどちらが 先に起きるかを2値で判断するタスク[Pustejovsky et al., ‘03]  例: ✓ “It just blew up in the air, and then we saw two fireballs go down to the water, and there was a big small, ah, smoke, from ah, coming up from that”. ✓ イベント1 : go/coming → goが先 ✓ イベント2 : blew/saw → blewが先  TimeBank に含まれる 462の動詞が対象 15 4.4 Event Annotation 実験設定
  16. 16. 16 4.4 Event Annotation 品質評価  専門家の正解率(動詞以外のイベントも含む) : 0.77  非専門家の正解率(動詞のみ) 10人の多数決において 0.94 比較はできないが単純作業において高精度
  17. 17.  文中のある単語の語義を選択するタスク  例 ✓ 単語 : “president” ✓ 文 : “Robert E. Lyons III...was appointed president and chief operating officer...” ✓ 語義1 : 企業,法人,大学の執行役員 ✓ 語義2 : 国家元首 ✓ 語義3 : アメリカの大統領  SemEval WSD Lexical Sample task[Pradhan et al., ‘07] から”president”の例文177文を取得 17 4.5 Word Sense Disambiguation 実験設定
  18. 18. 18 4.5 Word Sense Disambiguation 品質評価  専門家の正解率 : 0.98  非専門家4人以上の多数決による正解率 : 0.994
  19. 19. 19 5.1 非専門家の信頼性 個々の非専門家の信頼度は様々 正確な人、そうでない人もいる 始めは正確でも、作業が長引くと 正確でなくなる場合もある
  20. 20.  考えられる3つの対策 1. より多くの非専門家にアノテートを依頼する 2. 報酬を高め、信頼性の低い非専門家を除外する 3. 個々の非専門家の信頼性と偏見をモデル化し、 重要度を修正する 少量の正解データを元に注釈を修正  論文中ではカテゴリのあるデータに対しての 例を挙げているが、数値データにも対応 20 5.1 信頼性を高めるための試み 非専門家の信頼性
  21. 21. ✓ ある例題 i に対して, 2値 {Y,N}のカテゴリ分類 ✓ W人の非専門家が分類したカテゴリ{𝑦𝑖1,…, 𝑦𝑖𝑊}  正解ラベルが𝑥𝑖のとき、 非専門家の分類が{𝑦𝑖1,…, 𝑦𝑖𝑊}となる確率 21 5.2 カテゴリデータのバイアス補正 非専門家の信頼性
  22. 22.  正解データが振られていない未知のデータにおける 非専門家のラベルの信頼性を測る  計算結果を、ある非専門家Wの信頼性とする  多数決を行う際に一人1票ではなく、信頼性の和で比較 22 5.2 カテゴリデータのバイアス補正 非専門家の信頼性
  23. 23.  RTE(Recognizing Textual Entailment)と Event Annotation を例として実験  バイアス導入前と後で比較 23 5.3 バイアス導入の例 非専門家の信頼性
  24. 24.  RTE : 平均精度 +4.0 %  Event Annotation : ゲイン向上 + 3.4 %  少人数の非専門家で高精度を実現 24 5.3 バイアス導入の例 非専門家の信頼性
  25. 25.  様々な自然言語処理アノテーションタスクに AMTを使うことの有効性を実証  5つのタスクにおいて 専門家のアノテートに近づけるためには 1項目あたり小数の非専門家が必要であることを確認  個々の非専門家ごとにバイアスを設定することで、 大幅な精度改善 25 まとめ

×