https://www.youtube.com/watch?v=NAsgAbMujXo

1. DIY Chinese
Segmentation
ML/DM Monday
2013/04/08
Rues (rueshyna)

2. 中文

3. 中文
詞性 (pos)

4. 中文
詞性 (pos)
NER

5. 中文
詞性 (pos)
NER
剖析樹(parsed tree)

6. 不討論
X
中文
詞性 (pos)
NER
剖析樹(parsed tree)

7. 中文 vs 英文
議題?

8. the cardinals met in private
to home in on candidates

9. the cardinals met in private
to home in on candidates

10. cardinal
the cardinals met in private
to home in on candidates

11. cardinal meet
the cardinals met in private
to home in on candidates

12. cardinal meet
the cardinals met in private
to home in on candidates
candidate

13. 今天天氣真好

14. 今天 天氣 真 好

15. 今天 天氣 真 好

16. 今天 天氣 真 好

17. 今天 天氣 真 好

18. 今天 天氣 真 好

19. 今天天氣真好

20. 美味的早餐

21. 美味的 早餐
美味 的 早餐

22. 美味的 早餐
營養美味的早餐
?

23. 美味 的 早餐
營養 美味 的 早餐

24. 美味 的 早餐
營養 美味 的 早餐

25. 美味 的 早餐
營養 美味 的 早餐
nutrition? nutritious?

26. 中文斷詞 異

27. 美國學校

28. 美國 學校
美國學校

29. 美國 學校
美國學校
美 國學 校

30. 美國 學校
美國學校
美 國學 校
養生魚片

31. 美國 學校
美國學校
美 國學 校
養生 魚片
養生魚片
養 生魚片

32. X
美國 學校
美國學校
美 國學 校
養生 魚片
養生魚片
養 生魚片

33. X
美國 學校
美國學校
美 國學 校
養生 魚片
養生魚片
養 生魚片
4/25 Taipei.py

34. DIY

35. 收集詞彙

36. 是
做辭典 年
今年
中華
民國
中華民國
........

37. 今年是中華民國102年
原句

38. 今年 是 中華民國 102 年
理想斷詞結果

39. 今年是
中華民國
102年

40. 今年是
中華 民國
102年

41. 長詞優先

42. Supervised Learning

43. • Python loso (Plurk)
• LingPipe
• MMSEG(Tsai)
• Stanford Word Segmenter
• Sample Chinese - trained module
• Translation Chinese - DIY module
• ...

44. 繁體中文 簡體中文

45. 繁體中文 簡體中文
麵包 面包

46. Unsupervised Learning

47. • Pattree
• Lee-Feng Chien, "PAT-Tree-Based Adaptive Keyphrase
Extraction for Intelligent Chinese Information Retrieval,"
Information Processing and Management, volume 35,
number 4, pages 501-521, 1999, Elsevier Press

48. Online Service

49. • CKIP中文斷詞與剖析系統

50. Supervised
Learning

51. Unsupervised
Learning
Supervised
Learning

52. Unsupervised
Learning
Supervised
Learning
辭典

53. Unsupervised
Learning
Supervised
Learning
辭典

54. Thanks!!