CSCL/CSPL 2014 專題討論場次 教育代理人面面｜觀具情感運算能力之教育代理人 Affective Learning Companion Affective Computing Avatar 學習系統的常駐介面 ATS的伴讀家教Agent 文字+表情+生理訊號 電子書上的代理人 簡化的情緒表情符號 情緒代理人記錄您的微笑 擁有情緒的代理人 學習代理人的困境

1. CSPLCSPL 專題討論場次專題討論場次
教育代理人面面觀教育代理人面面觀
具情感運算能力之教育代理人具情感運算能力之教育代理人
林豪鏘．國立臺南大學林豪鏘．國立臺南大學
數位藝術與互動設計實驗室數位藝術與互動設計實驗室
Koong LIN,Koong LIN, National University of TainanNational University of Tainan

2. OutlineOutline
 Affective Learning Companion
 Affective Computing
 Avatar 學習系統的常駐介面
 ATS 的伴讀家教 Agent
 文字 + 表情 + 生理訊號
 電子書上的代理人
 簡化的情緒表情符號
 情緒代理人記 的微笑錄您
 擁有情緒的代理人
 學習代理人的困境
共 72 頁 2

3. 共 72 頁
我是鏘鏘我是鏘鏘 林豪鏘林豪鏘
 國立清華大學資訊科學博士 , 1997
 國立臺南大學．數位學習科技系．教授．系主任
 台灣科技藝術教育協會．副理事長
 台灣科技藝術學會．副秘書長
 中華民國數位 容學會．常務理事內
 中華民國視覺藝術協會．理事
 中華民國資訊管理學會．理事
 ISAC 中華民國大專校院資訊服務協會．理事
 資訊安全管理主導稽核員． ISMS (ISO 27001) LA
 數位藝術與互動設計實驗室主持人 現代詩人．藝術觀點總編輯
 藝術所 ( 美術系 ) ．所長．資訊長
 網路行銷叢書作者
 棒球評論網路作家
 網站流行音樂業餘樂評
 人工智慧社群網站創站站長 (Since 1995)
 台北數位藝術獎評審．網路藝術組召集人
 國際新媒體藝術節．策展人
 Boom ！快速與凝結新媒體的交互作用，關渡美術館．參展藝術家
 藝術家博覽會－「藝．極棒」多媒體藝術展．參展藝術家
DDLab
3

4. Affective
Learning Companion
共 72 頁 4

5. GCCCE 2013
Global Chinese Conference on Computers in Education
第十七屆全球華人電腦教育應用大會
工作坊主題：情感運算與學習同伴工作坊主題：情感運算與學習同伴
 大會時間：
2013 年 5 月 27 日（日）至 5 月 31 日（四
）
 地點：中國北京
 工作坊時間： 2013 年 5 月 28 日
共 72 頁 5

6. 工作坊主題 涵內
 在 Web2.0 時代，情緒智慧 (Emotional Intelligence) 已成為學習
與教育領域愈來愈重要的議題。透過情緒的偵測與判斷，我們更能
掌握學習者的學習與情緒 態。在相關議題中，情感運算狀
(Affective Computing) 經由文字、表情、聲調、生理訊號等線索
，可以有效識別使用者的情緒。這樣的技術，經常運用在機器人
(Robotics) 的情緒 生與情緒表達上，並可以扮演智慧型數位家產
教 (Intelligent e-Tutor) 與代理人 (Agent) 的角色，透過學習同
伴 (Learning Companion) 的功能，達到情感學習 (Affective
Learning) ，協助使用者在學習等方面的改善。常見的實施平台，
是運用人工智慧技術設計的智慧型家教系統 (ITS; Intelligent
Tutoring System) ，進而情感式家教系統 (ATS; Affective
Tutoring System) 。此外，計算語言學 (Computational
Linguistics) 與自然語言處理 (Natural Language Processing)
同時也提供了情感運算裏情緒識別的重要線索。本工作坊相關理念
可參考情感運算鼻祖 Picard 大師對 Affective Learning
Companion 的詮釋：
 http://affect.media.mit.edu/projectpages/lc
共 72 頁 6

7. Affective
Computing
共 72 頁 7

8. 共 72 頁
情感運算情感運算
Affective ComputingAffective Computing
 定義：
 透過各種感應器
 取得由情緒、情感所引起的表情及生理變化信號
 針對這些訊號進行識別
 理解人的情感
 做出適當的回應
 新興學術 域：領
 如何感知情緒
 建 適當的立 情緒模型
 將情緒適 地以各種方式切 表達
 或在網 上路 傳遞
 生理 & 心理
 感情 & 情緒
INPUT:
•表情
•語音
•文字
•生理資訊
•肢體感應器
•聲調
8

9. 共 72 頁
Picard, MITPicard, MIT
Levels of Machine EmotionsLevels of Machine Emotions
 To recognize emotions
 To express emotions
 To have emotions
 Emotional Intelligence
Affective Computing, Affective Design, Emotion RecognitionAffective Computing, Affective Design, Emotion Recognition
9

10. Avatar
學習系統的常駐介面
共 72 頁 10

11. 共 72 頁 11
Conceptual ModelConceptual Model
Affective
Interface
Inputted
Text
Learner
Tutoring
System
Ontology-Based Emotion
Inference Engine
Agents
Module
Semantic
Analyzer
Digital Arts
Database
Agent
Response

12. 共 72 頁 12
Figure 3: Capture of old agent
(Chinese Translation: Student, please pay attention)

13. 共 72 頁 13
偽春菜偽春菜 in Linuxin Linux
 IT'S NOT WORKING at very first.
 SBBG has to hack it and ask for help
from the author...
 Result: The 偽春菜 runs even
SMOOTHER in Linux.
 Thanks to Xcomposite & pyGTK+

14. 共 72 頁 14
AvatarAvatar 回饋回饋

15. 共 72 頁 15
恨恨怒怒
悲悲
驚驚 喜喜

16. 共 72 頁 16

17. Affective Tutoring System
ATS 的伴讀家教 Agent
共 72 頁 17

18. 共 72 頁
文字情緒辨識｜方法論文字情緒辨識｜方法論
 Computational Intelligence
 SVM
 LIBSVM
 CRF, KNN, HMM, ANN
 Symbolic AI
 Ontology
 OMCSnet  最完整
 (Logic Inference, LISP-Like)
 OCC Model  情緒
 HowNet  情緒 + 中文
 NLP Understanding
 Parser + Semantic Roles (Theta Grid)
18
情緒關鍵字 Emotion Keyword
情緒辭典 Emotion Lexicon

19. ATS:ATS: Affective Turoring SystemAffective Turoring System
課程區塊 課程選單
情感代理人玩
偶
情緒文字輸入
框
共 72 頁 19

20. 文字 + 表情
Text + Facial Expression
共 72 頁 20

21. 表情情緒｜方法論表情情緒｜方法論
Facial ExpressionFacial Expression
 DEASM (Detected Emotion based on
Active Shape Model)
 Active Shape Model Library
(ASMLibrary 5.0) SDK
 Ammar (2010) 提出的演算法
 由 webcam 取得即時影像資訊後，對 一每
個 frame 作主動形 模型的匹配，再取得狀
演算法所需的特 點座標，最後透過臉部情徵
緒辨識演算法辨識使用者情緒。此部分將作
為系統回饋回饋代理人的參考資料。
共 72 頁 21

22. 從從 frameframe 取特 點座標擷 徵取特 點座標擷 徵
值值
共 72 頁 22

23. 臉部情緒辨識 表演算法查臉部情緒辨識 表演算法查
23
 Ammar 等人提出的
六個臉部
情緒特 點徵
距離 Di 定義
Di 定義示意圖共 72 頁

24. D1 D2 D3 D4 D5 D6
Joy ＝ ＝ ↑ ↑ ＝ ↓
Sadness ↓ ↑ ＝ ＝ ↓ ＝
Anger ↑ ↓ ＝ ↑or↓ ＝ ＝
Fear ? ↑ ＝ ＝ ↑ ＝
Disgust ＝ ＝ ↑ ↑ ＝ ＝
Surprise ↑ ↑ ＝ ↑ ＝ ＝
共 72 頁 24

25. 第二代第二代 ATSATS 系統介面系統介面
25
動畫代理
人
數位藝術課程
內容
OMCSNetKai 處理對
話框
語意情緒推論
結果
課程選
擇紐
DEASM 結果狀
態條Demo 共 72 頁

26. 【表情辨識方法二】【表情辨識方法二】 Pattern RecognitionPattern Recognition
面部情緒辨識面部情緒辨識
1) 收集訓練之樣本（開心、生氣、難過、驚訝、害怕
、厭惡）
26
2) 正負樣本分類
3) 訓 分類器練
4) 用訓 好的分類器進 目標檢測利 練 行
訓練情緒：生氣 正樣本 負樣本
共 72 頁

27. 代理人設計代理人設計
 情緒回饋
27
挫折 害怕厭惡 疑惑
開心 生氣 難過 驚訝
共 72 頁

28. 第三代第三代 ATSATS 系統操作介面系統操作介面
28
系統介面配置圖共 72 頁

29. 電子書上的代理人
共 72 頁 29

30. 第四代第四代 ATS +ATS + 電子書電子書
共 72 頁 30

31. 文字 + 表情 + 生理訊號
( 眼波 + 膚電 )
共 72 頁 31

32. 第五代第五代
情感式學習系統－系統介面情感式學習系統－系統介面
共 72 頁 32

33. 實驗設備、環境實驗設備、環境
共 72 頁 33
網路攝影機
Affectiva Q sensor
NeuroSky
MindWave
音訊輸出裝置

34. 情感式學習系統－互動代理人情感式學習系統－互動代理人
(8/9)(8/9)
共 72 頁 34

35. 35
系統設定位置
情緒辨識狀態
臉部辨識區
課程呈現位置
互動代理人
代理人回饋
文字輸入區
共 72 頁
學習者介面學習者介面

36. 36
C. 互動代理人回饋模組
第一列由左而右分別為：喜悅、害怕、厭惡
第二列由左而右分別為：難過、驚訝、憤怒
共 72 頁

37. 簡化的情緒表情符號
Emoticon
共 72 頁 37

38. 共 72 頁 38

39. 教材區 互動區
臉部辨識區
互動對話
顯示區
使用者
文字輸入區
使用者
情緒回饋按鈕
背景音樂選擇
教材播放區
教材內容說明
課程地圖
共 72 頁 39

40. 情緒代理人
記 的微笑錄您
共 72 頁 40

41. 微笑天使微笑天使
共 72 頁 41

42. 可即時回饋玩家自己的臉色可即時回饋玩家自己的臉色
共 72 頁 42

43. 能不影響工作進行能不影響工作進行
共 72 頁 43

44. 微笑學習＋遊戲＋音樂播放微笑學習＋遊戲＋音樂播放
共 72 頁 44

45. 擁有情緒的代理人
Agents Who Have Emotions
共 72 頁 45

46. 共 72 頁
Picard, MITPicard, MIT
Levels of Machine EmotionsLevels of Machine Emotions
 To recognize emotions
 To express emotions
 To have emotions
 Emotional Intelligence
Affective Computing, Affective Design, Emotion RecognitionAffective Computing, Affective Design, Emotion Recognition
46

47. 何謂機器擁有情緒何謂機器擁有情緒
 Rosalind Picard ：
一個機器擁有：
 情緒行為
 快速的、主觀的情緒
 由認知 生情緒產
 情緒經驗
 身心相互影響
則可稱之為「擁有情緒」
共 72 頁 47

48. 市面擁有情緒的機器市面擁有情緒的機器
 討論：市面上 些硬體、軟體、應用，哪
能稱之為「擁有情緒的機器」？
 SIRI 算 ？ 算 ？嗎 掰噗 嗎
共 72 頁 48

49. 使機器擁有情緒的時機使機器擁有情緒的時機
 多數情況 ( 包含生活、需求等 )
 沒有最佳解的結構
 沒有唯一的正確答案
 允許錯誤的選擇
 不允許長時間運算
 求解的過程成本過高
 使用者高興就好
 如：決定 餐吃什麼、晚 app 自動 生的動態產 UI 、
隨者情緒撥放歌曲的音樂撥放器、資源有限的資料探
勘。
共 72 頁 49

50. 使機器擁有情緒的時機使機器擁有情緒的時機
 討論：在 看過的動畫 通或電影中，你 卡 你
最喜歡 一個「機器擁有情緒的例子」？哪
 討論：在 的生活中，若機器擁有情緒，你
能 助 什麼？幫 你
 人工智慧、瓦力、霹靂五號
 Star Trek, Data, Spock
 NCIS, 馬蓋先 + 老皮
共 72 頁 50

51. Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (1)(1)
 一個 App 中的 agent
A. 擁有自己的情緒。
B. 能導正主人的情緒。
C. 能與其他 agent 交流。
共 72 頁 51
IA; Intelligent Agent

52. Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (2)(2)
 A. agent 擁有自己的情緒：
 當手機記憶體、儲存空間飽和時，
agent 向主人表達自己不滿的情緒。
 當手機 GPS 被偵測出「不常移動」的 況時，狀
agent 向主人要求帶它出去運動。
 當手機電量將要用盡時， agent 跟主人 它肚子餓說
了。
 當手機連接氣象資訊，發現將要下雨時，
agent 告訴主人自己有被淋濕的危險。
 agent 從網路中取得具有情緒 涵的文章、資源，內
並分享給主人。
共 72 頁 52

53. Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (3)(3)
 B. 能導正主人的情緒：
 當主人情緒輕微低落時， agent 能開啟 youtube
等網路資源，分享喜 轉移注意，或開悅 啟 Google
街景服務，讓主人看看世界美麗的地方。
 當主人情緒嚴重負面時， agent 能傾聽主人訴苦。
 當主人在訴苦時，
agent 能利用心理諮商的方式導正主人。
 當主人情緒持續低落時， agent 開始關注主人行為
，若主人可能出現危險，則 agent 主動向相關單位
提出協助要求。
 當主人情緒被成功導正時， agent 紀 導正的方法錄
與結構，以 強增 agent 的情緒導正能力。
共 72 頁 53

54. Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (4)(4)
 C. agent 能與其他 agent 交流：
 主人的朋友，就是 agent 的朋友；
朋友的 agent ，就是 agent 的朋友。
 agent 會要求主人帶它與其他 agent 交友。
 agent 會向其他 agent 學習屬於機器的情緒邏輯。
 若主人情緒低落時， agent 會請朋友來關心主人。
 若朋友情緒低落時， agent 會請主人去關心朋友。
共 72 頁 54

55. 概念圖概念圖
共 72 頁 55

56. 系統示意圖系統示意圖
共 72 頁 56

57. 共 72 頁 57
Limbic PerceptionLimbic Perception
 Limbic system 邊 系統緣
 紅色部分為大腦的邊 系統。緣
 邊 系統乃一術語指包含海馬體及杏仁緣
體在 ，支援多種功能例如內 情緒情緒、行為
及長期記憶的大腦結構。這種被描述為
邊 系統的腦部結構與嗅覺結構相近。緣
 術語「 limbic 」源自拉丁文
「 limbus 」，意指「邊界」或「邊 」緣
。

58. 共 72 頁 58
Cortex vs. LimbicCortex vs. Limbic
 大腦有兩個半球，外層是很薄有皺紋的灰色組織
，叫作大腦皮質 (Cerebral cortex)
 Cortex: 腦皮層 , P7
 Cortex 則是直接處理感官的訊號，
生產 正確的感覺
 Limbic 和情緒有關
例如：聞到臭味時會 生厭惡的感覺產
 Limbic system 還會跟記憶有關聯
 例如聞到花香，
會想起某次旅行，
而且有愉快的感覺

59. 共 72 頁 59
Cortex
Lmbic
Brainstem

60. 共 72 頁 60
Primary vs Secondary EmotionPrimary vs Secondary Emotion
 There are certain features of stimuli that
we respond to emotionally first, and that
activate a corresponding cognitive state
secondarily.
 Primary emotion
 Limbic
 Innate
 Secondary emotion
 Arise later when systematic connections are
identified btwn primary emotions & cate. of
obj. & situations
 Secondary emotions still activate limbic
struc
 but some cortices are also involved.

61. Emotion SynthesisEmotion Synthesis
Affective Computing
Building Affective ComputingBuilding Affective Computing

62. 共 72 頁 62
「情緒」 、 「動機」、「行為」「情緒」 、 「動機」、「行為」
 「情緒」會影響「動機」、
繼而影響「行為」
 當敵對角色出現時，
 可能會觸發「恐懼」情緒
 並導致角色有心跳加快、
體 下降的行為模擬。溫

63. 共 72 頁 63
情緒模組間之影響情緒模組間之影響
 各種情緒模組之間，
對彼此各有一些正負向影響
 「喜 」的情緒，悅
會讓角色向出現「微笑」的行為。
 「喜 」的情緒，悅
可能抑制「沮喪」的情緒發生的機率。

64. 共 72 頁 64
情緒合成情緒合成
 情緒門檻
 情緒超過門檻 才會觸發值
 情緒飽合
 根據情緒的訊號特性，
必須在其達到飽和時，
就停止情緒量的 加增
 情緒遞減
 我們也會設定情緒的自動遞減機制，
讓該情緒在若無新刺激的情況下，
情緒量會逐 遞減步

65. 共 72 頁 65
Concern LoopConcern Loop
 系統將設計若干個 “ Concern Loop” ，
 個每 Loop 都會隨時檢查
是否有新的情緒輸入
 可以觸發其學習機制
 當某個 Loop 經過較長時間未接受到輸入時，
 會主動驅動一個要求，
請使用者輸入新資訊，
並將入融入既有的資訊，
形成一些記憶案例 Case 的知識庫

66. 共 72 頁 66
多角色情緒社群關係多角色情緒社群關係
(Emotions in Social Relationships)(Emotions in Social Relationships)
 友好 (Friendship)
 彼此之間具有共同情緒評價方向
 敵對 (Animosity)
 彼此之間具有相反情緒評價方向
 同理心 (Empathy)
 暫時將自己的推理目標
改為對方的推理目標

67. 共 72 頁 67
情緒觸發三層次情緒觸發三層次
 迅速反應層次
 這對應到認知科學的 Fast Primary Emotion
 也對應到認知神經科學的大腦 Limbic System
 推理層次
 這對應到認知科學的 Secondary Emotion
 也對應到認知神經科學的大腦 Cortex 機制
 屬於一種 Cognitive Generated Emotion
 通常可透過
Planning 、 Evaluating 、 Reasoning 、 Inferen
ce 等動作來完成。
 自我監督層次
 決定如何更有效率地執行推理層次的任務
 並評估是否有效滿意達到的整目標
 可實現「情緒智慧」 (Emotion Intelligence)

68. 共 72 頁 68
Poker-Playing AgentsPoker-Playing Agents
with Facial Expressionwith Facial Expression
 People prefer: agent w f expr
 Koda’s wrok:
 illustrate how to syn emo in OCC
 10 emo expr for each agent

69. 共 72 頁 69
Emotions and MoodsEmotions and Moods
forfor Animated CharactersAnimated Characters
 Bates & Relly, 1994
 Make agent believablebelievable
 Oz Proj
 Syn chars
 Not look like real creature
 Powerfully influence audience as if real
 Disney Animation
 Thomas & Johnson

Important: each char has a clear emo state at all
times

70. 學習代理人的困境
共 72 頁 70

71. 困境困境
 陪伴 vs. 提高學習動機 vs. 協助學習 ?
 干擾 ?
 互動頻率 ?
 Feedback:
 學生的情緒 ?
 回應的情緒 ?
 代理人的情緒 ?
 如何回應 ?
共 72 頁 71

72. 共 72 頁 72