4. All-Words
The English All-Words Task
Benjamin Snyder and Martha Palmer
In Senseval-3: Third International Workshop on the
Evaluation of Systems for the Semantic Analysis of Text, pp.
41-43. 2004.
2015/02/02 文献紹介 4
6. Test Corpus
• Wall Street Journal と Brown Corpus から得られた約
5,000語の内容語を対象
• 作業者2人によるアノテーション後,別の作業者による
確認・修正
– WordNet中に適切な項目がある場合は複合語も可
– 複数語義に割当てることも可(できるだけ避ける)
– 「WordNet中に無い」も可
• 最終的に2,211語
2015/02/02 文献紹介 6
7. Lexical Sample
The Senseval-3 English lexical sample task
Rada Mihalcea, Timothy Chklovski and Adam Kilgarriff
In Senseval-3: Third International Workshop on the
Evaluation of Systems for the Semantic Analysis of Text, pp.
25-28. 2004.
2015/02/02 文献紹介 7
8. コーパスの構築
• British National Corpus, Penn Treebank corpus, Los
Angeles Times collection から抽出された文を利用
• 語義目録は WordNet 1.7.1 のものを利用
– ただし動詞は Wordsmyth のものを利用
• SENSEVAL2において動詞に対する性能が低かった
ため
• 語義の粒度が細かすぎたためと思われる
• 対象語は57語(名詞20語,動詞32語,形容詞5語)
2015/02/02 文献紹介 8
10. Multilingual WSD
SemEval-2013 Task 12: Multilingual Word Sense
Disambiguation
Roberto Navigli, David Jurgens and Daniele Vannella
In Proc. of SemEval 2013, pp. 222-231.
2013.
2015/02/02 文献紹介 10
16. Cross-lingual WSD
SemEval-2013 Task 10: Cross-lingual Word Sense
Disambiguation
Els Lefever and Véronique Hoste
In Proc. of SemEval 2013, pp. 158-166.
2013.
2015/02/02 文献紹介 16