[COSCUP 2022]看圖說故事AI機器人
•
0 recomendaciones•228 vistas
主題：看圖說故事AI機器人 時間：2022/07/30 13:00-13:30 地點：台科大 研揚大樓 TR410 活動：COSCUP 2022開源人年會的Open Source Chatbot議程軌
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Similar a [COSCUP 2022]看圖說故事AI機器人
Similar a [COSCUP 2022]看圖說故事AI機器人 (20)
Más de 佳新 陳
Más de 佳新 陳 (19)
[COSCUP 2022]看圖說故事AI機器人
- 2. 2
- 8. 8
- 11. 聊天機器⼈的崛起 11
- 17. 2016年3⽉ 聊天機器⼈的崛起 2016年4⽉ LINE提供 LINE BOT API 試⽤帳號 Microsoft提出 「對話即平台」 （Conversation as a Platform） Facebook宣布 將旗下的 Messenger 平台化 17
- 18. 2016年3⽉ 聊天機器⼈的崛起 2016年4⽉ LINE提供 LINE BOT API 試⽤帳號 現在 Microsoft提出 「對話即平台」 （Conversation as a Platform） Facebook宣布 將旗下的 Messenger 平台化 時⾄今⽇， 經過多年的 蓬勃發展， 聊天機器⼈ 的應⽤可謂 遍地開花 18
- 22. LINE BOT SDK • Java • PHP • Go • Perl • Ruby • Python • Node.js • …… 22 來源：https://developers.line.biz/en/docs/messaging-api/line-bot-sdk/#messaging-api-sdks
- 30. 預期結果（正確） 30
- 31. 預期結果（稍微失誤） 31
- 32. 程式運作流程 （稍後分解說明） 1. 上傳照片（看圖） 2. 暫存圖片 3. 呼叫影像分析API（說） 4. 回覆結果（故事） 32 LINE聊天機器⼈ 1 2 3 4
- 33. 描述包含⼈類可讀語⾔的影像 33 來源：https://docs.microsoft.com/zh-tw/azure/cognitive-services/computer-vision/concept-describing-images 「 a black and white photo of a city 」
- 35. 呼叫影像分析 API • https://docs.microsoft.com/zh-tw/azure/cognitive-services/ computer-vision/how-to/call-analyze-image?tabs=rest • 參數 1. Ocp-Apim-Subscription-Key（⾦鑰） 2. 端點及參數（visualFeatures、details） 3. url（圖片網址） 35
- 36. 操作Azure (1/2)： 登入帳號，建立ComputerVision資源 36 選⽤F0免費訂價層， 每分鐘最多呼叫 20 次， 每個⽉最多呼叫 5,000 次。
- 38. 實作看圖說故事機器⼈ (1/4) 上傳照片（看圖） • switch ($event[‘type’][‘message’][‘type’]) • case ‘image’ • case ‘text’ • case ‘sticker’ • case ‘video’ • case ‘audio’ • case ‘location’ • …… 38
- 39. 實作看圖說故事機器⼈ (2/4) 暫存圖片 1. 呼叫Get Content API，讀取image訊息的內容 • GET https://api-data.line.me/v2/bot/message/{messageId}/ content 2. PHP存檔函式 • 先file_get_contents()讀取image內容 • 再file_put_contents()寫檔，可⽤messageId當檔名 39
- 40. 實作看圖說故事機器⼈ (3/4) 呼叫影像分析API（說） • curl -H “Ocp-Apim- Subscription-Key:{⾦鑰}” -H "Content-Type: application/ json" “{端點}/vision/v3.2/ analyze? visualFeatures=Categories,D escription&details=Landmark s” -d “{”url”:"{圖片網址}"}" • PHP的curl函式 • curl_init(), curl_setopt(), curl_exec(), curl_getinfo(), curl_close() 40
- 41. 實作看圖說故事機器⼈ (4/4) 回覆結果（故事） • $client->replyMessage([ 'replyToken' => $event['replyToken'], 'messages' => [ [ 'type' => 'text', 'text' => '🤖 我覺得這張照片看起來像是……' ], [ 'type' => 'text', 'text' => json_decode($response)->description->captions[0]->text ], [ 'type' => 'text', 'text' => '🖼 歡迎再次上傳照片，讓我看圖說故事給你聽吧。' ] ] ]); 41
- 47. 未來⼯作 • 中⽂化 • language=zh參數 • 呼叫翻譯API • ⽤講的 • 呼叫語⾳API 47
- 48. Q & A 48
- 49. ⾃備問與答，避免尬聊 (1/2) 😅 1. 電腦視覺API的收費⽅式？ ➡ F0免費是每分鐘20次呼叫，每個⽉5,000次呼叫，S1等級是 每1,000次呼叫收費NTD$11~30。 2. 其他微軟Azure認知服務（Cognitive Services）還有哪些？ • 語⾳（語⾳轉換⽂字/⽂字轉換語⾳/語⾳翻譯/說話者辨識） • 語⾔（情緒分析/問題解答/語⾔理解/翻譯⼯具） • 辨識（電腦視覺/⼈臉識別/⾃訂視覺） 49
- 50. ⾃備問與答，避免尬聊 (2/2) 😅 3. Chatbot聊天機器⼈的學習資源？ ➡ 最推薦，臉書「Chatbot Developers Taiwan」社團！ 👍 4. Azure認知服務的學習資源？ ➡ 最推薦，臉書「AzureTaiwan User Group」社團！ 🤩 50