採購開竅資料挑戰賽 成果報告 #4 https://dsp.im/smart-contracting-data-challenge/

1. OK Tasigle!
佛羅倫斯到底哪裡買＋NLP職工
劉明機、吳信輝、賴昆祺
2017-01-14

2. 隊員背景說明
• 劉明機：成大工科博士，成大工科研究員，
運用自然語言處理自動化教育平台
• 吳信輝：美國聖路易大學生物資訊博士，
科技部海洋學門資料庫資訊技術研究員，
運用自然語言處理科學文獻分析
• 賴昆祺：政大資科博士，台灣地理資訊中
心技術處處長，自然語言情緒分析

3. OK Tasigle採購問答聊天機器人開發
• 本聊天機器人(OK Tasigle)的目標，是希望藉由
聊天機器人的界面，有效地將使用者的問題導
引到相關的法規條目、已經有的答案知識庫
(相似問答)與相似的過往標案中。如果使用者
不滿意OK Tasigle的回答，如不滿意法規、答案
與招標公告，OK Tasigle也會將問題經由email
傳送到領域專家手中，由真實的領域專家協助
使用者提供相關法規、答案與合適的標案，同
時回饋到OK Tasigle的知識庫中。
•

4. 背景說明
• 採購法規複雜，採購人員需要建立足夠的背景知識
與經驗才能將採購程序處理完善。初接採購業務之
承辦人員，常常因為其採購程序經驗不足，進而請
教採購相關部門或是中央採購機關尋求其咨詢服務，
然而其詢問的問題，有相當比例的問題皆屬過往重
複性問題，耗費人力，如能建立一套有效之知識管
理機制，並以適當的、互動式的界面協助被咨詢之
業務承辦人員，將有效增加整個機關與政府的行政
效率，並給予詢問之客觀與有效的答案。
•

5. 資料集名稱
• 採購法法規114條、採購討論區共8924則、
過去標案資訊67908案。作為建立知識庫的
基礎。

6. 分析與演算法
• 步驟1. 現有知識庫中之詞語頻率分佈分析
– 作為自然語言處理中，詞庫與斷詞的參考基礎。
– http://www.oc.ntu.edu.tw/ok_tasigle/170114-
term_frequency_count_from_10947_sents.xls => 10947條句子
• 步驟2. 關鍵字分析與擷取
– 問題範例：「採購兼有工程、財物、勞務性質，如何認定其
採購歸屬？ 」⇒ 可以將本問題節取出關鍵字：「採購歸
屬」。
• 步驟3. 人工標註分類
– 採購法：總則、招標、決標、履約管理、驗收、爭議處理、
罰則、附則 => 太多分類
– 縮減分類：分成 =>
壹、總則，貳、招標
參、決標，肆、履約管理
伍、驗收，陸、附則

7. 分析與演算法
• 步驟4. 類似字 => 字詞向量(問答 標案描述)
• 步驟5. 句子分類測試 => 運用機器學習中之
支持向量機(Support Vector Machine)
• 步驟6. 系統實作
– 1) Web問句表單部分
– 2) Facebook 聊天機器人

8. 實作 (規劃)
• 後端知識庫與概念連結完成後，開始實作前端的聊
天機器人部分，聊天機器人將建立一套固定的聊天
情境機制，有效導引問題提問人的問題走向。
– 以webform當介面
• 知識庫的累積機制，當問題無法被有效回答的時候，
機器人將會將問題轉向實際的領域專家尋求協助，
領域專家將可以透過email收到問題，並經由回信
(email)的程序將新知識反饋回聊天機器人知識庫中。
• 以OK tasigle 名義直接回覆討論區

9. 實作 (目前成果)
• 1. Web問句表單部分
• 2. Facebook 聊天機器人

10. 實作 (目前成果)

11. 實作 (目前成果)
• 輸入的問句:商號名稱不變,負責人變
知識庫中的問句:
• 變更廠商負責人 您好有件工程採購開標最低標以低於底價7成保留決標後最低標廠商函文變更負責人廠商
名稱未變更最低標廠商提出說明後機關決標於該廠商有關工程契約之負責人應是變更前還是變更後需要注
意那些事項 RE變更廠商負責人 先看是不是獨資前面有討論過 未決標前變更新決標後變更舊除特別註明契
約決標時生效當時是誰就是誰
• 相似度0.362328650926
輸入的問句:商號名稱不變,負責人變
• 知識庫中的問句:
• 未達公告金額工地主任得否兼任勞安人員 一依職業安全衛生管理辦理第3條第一類事業之事業單位勞工人
數在100人以上者所置管理人員應為專職 二勞工安全衛生專任人員於施工時應在工地執行職務 請問從一勞
工人數若未達100人所置管理人員不一定需為專職 請問既無專職勞工安全衛生管理人員是否就無所謂勞工
安全衛生專任人員 請問既無勞工安全衛生專任人員工地負責人or工地主任是不是就可以兼任勞安人員感恩
RE未達公告金額工地主任得否兼任勞安人員 勞自法第4條規定事業單位僱用勞工人數未滿三十人者其應置
之勞工安全衛生業務主管得由事業經營負責人或其代理人工地主任擔任 RE未達公告金額工地主任得否兼任
勞安人員 一契約施工期間廠商應指派適當之代表人為工地負責人代表廠商駐在工地 二勞工安全衛生專任人
員於施工時應在工地執行職務 三勞自法第4條規定事業單位僱用勞工人數未滿三十人者其應置之勞工安全
衛生業務主管得由事業經營負責人或其代理人工地主任擔任 另請教堂大我的案子金額不到20萬廠商為電器
裝配業非屬營造業小廠商 廠商的施工計畫書中由負責人擔任工地主任應為工地負責人並由負責人擔任勞安
人員 依前述狀況負責人於施工時是否需要全程在場廠商表示實務上負責人頂多去現場看一下負責人還要其
他事要忙無法全程在場 RE未達公告金額工地主任得否兼任勞安人員 他不是專任人員
• 相似度0.342675280654

12. 臉書聊天機器人

13. 討論區分析

14. 討論區人氣下滑中

15. 發問次數減少

16. 發問次數 綜合>工程>勞務>財務

17. 半夜還有人發問

18. 承辦人員習慣早上回覆

19. 回答速度

20. 回答速度約一天(只有一篇回文)

21. 可否找到FAQ來回答新的問題?

22. FAQ只能回答5.5%問題
(相似的問題<=1.1)

23. 可否找到過去回文來回答新的問
題?

24. 用過去回文，能回答21%問題
(相似的問題<=1.1)

25. •DEMO

26. 問題
• 分類部分：
– 大分類實用性不高，必須建立階層性分類
– 大分類問題太廣 => 字詞矩陣為稀疏矩陣的問題
• 句子相似度部分：
– 相同或是類似的問題太多

27. TO DO LIST
• 找出概念架構的兩個方法：
– 1. Top-Down: 分類 => 階層化，ex: 招標裡的勞務
採購
• 缺點：需要人工標註
• Solution：利用聊天機器人與專家的回饋逐步累積
– 2. Bottom-Up: 利用句子相似度的概念，逐漸往
上集群
• 目前需要時間逐步建立

28. TO DO LIST
• 聊天機器人的設計架構
– 聊天路徑導引
– 更人性化?