1. Affective ComputingAffective Computing
Augmented RealityAugmented Reality
Digital ArtsDigital Arts
淺談情感運算｜擴 實境｜數位藝術增淺談情感運算｜擴 實境｜數位藝術增
林豪鏘．國立臺南大學林豪鏘．國立臺南大學
數位藝術與互動設計實驗室數位藝術與互動設計實驗室
Koong LIN,Koong LIN, National University of TainanNational University of Tainan
數位 容內

2. 共 53 頁
大．綱大．綱
情感運算情感運算
 情緒線索情緒線索
 情感運算四層次情感運算四層次
 情感式家教系統情感式家教系統 (ATS)(ATS)
擴 實境增擴 實境增
 學習科技學習科技
 文創商品文創商品
 無標記行動化無標記行動化
數位藝術數位藝術
 互動擴境實境互動擴境實境
 情緒音樂情緒音樂
 表演藝術表演藝術 ++ 數位科技數位科技 ++ 視覺藝術視覺藝術
多多元．創意．新科技元．創意．新科技
07/04/13 2

3. 共 53 頁
Affective ComputingAffective Computing
情感運算情感運算
07/04/13 3

4. 共 53 頁
情緒感測與情感運算情緒感測與情感運算
Affective ComputingAffective Computing
 定義：
 透過各種感應器
 取得由情緒、情感所引起的表情及生理變化信號
 針對這些訊號進行識別
 理解人的情感
 做出適當的回應
 新興學術 域：領
 如何感知情緒
 建 適當的立 情緒模型
 將情緒適 地以各種方式切 表達
 或在網 上路 傳遞
 生理 & 心理
 感情 & 情緒
INPUT:
•表情
•語音
•文字
•生理資訊
•肢體感應器
•聲調
07/04/13 4

5. 共 53 頁
Affective ComputingAffective Computing 始祖始祖
 MIT 的 RosalindRosalind PicardPicard 教授
 裝在鍵盤、滑鼠或穿戴在身上的生理感應器
 取得心跳、汗溼、皮膚 度溫 等生理訊號
 經由數位訊號處理技術
 看似雜亂無章的生理訊號
 取關鍵性擷 參數
 融合心理學
 建構一套創新的統計分析方法
07/04/13 5

6. 共 53 頁
情緒辨識與情緒昇華情緒辨識與情緒昇華
INPUT
 語音
 聲調
 文字
 語意
 表情
OUTPUT
(Multimedia Feedback)
 多媒體推薦
 Avatar
 AR 擴 實境增
 數位藝術作品展現
 二維公仔
情緒
量化指標：準確率
質性分析：互動設計評
估
Emotion Transition
07/04/13 6

7. 共 53 頁
情緒互動影片情緒互動影片
3’45”3’45”
07/04/13 7

8. 共 53 頁
Levels of Machine EmotionsLevels of Machine Emotions
 To recognize emotions
 To express emotions
 To have emotions
 Emotional Intelligence
 Intention Estimations
Affective Computing, Affective Design, Emotion RecognitionAffective Computing, Affective Design, Emotion Recognition
07/04/13 8

9. ATS:ATS: Affective Turoring SystemAffective Turoring System
課程區塊 課程選單
情感代理人玩
偶
情緒文字輸入
框
共 53 頁07/04/13 9

10. 系統架構圖系統架構圖
10
使用者
使用者介面
情感辨識
emguCV 臉部情緒辨
識
emguCV 臉部情緒辨
識
語意情緒辨識語意情緒辨識
課程策略
教學策略模組教學策略模組
課程模組課程模組
助教代理人助教代理人
偵測臉部偵測臉部
輸入文字輸入文字
通知回饋通知回饋
顯示課程
內容
顯示課程
內容
07/04/13 共 53 頁

11. 共 53 頁
方法論方法論
 Computational Intelligence
 SVM
 LIBSVM
 CRF, KNN, HMM, ANN
 Symbolic AI
 Ontology
 OMCSnet  最完整
 (Logic Inference, LISP-Like)
 OCC Model  情緒
 HowNet  情緒 + 中文
 NLP Understanding
 Parser + Semantic Roles (Theta Grid)
07/04/13 11

12. 共 53 頁
Computation
 accident (CapableOf) ==> kill people
kill people (SubeventOf) ==> death
death (PropertyOf) ==> sad
 accident (CapableOf) ==> kill people
kill people (SubeventOf) ==> death
death (OftenNear) ==> person
person (PropertyOf) ==> angry
 "accident" emotions:
 happy: 0.642857,
 sad: 0.714286,
 angry: 0.642857,
07/04/13 12

13. 共 53 頁
Emotion CalculusEmotion Calculus
Based on OMCSnetBased on OMCSnet
Chinese Sentence
 Translator
 Tagger (or Parser)
 Keyword Filter (v, n, adv, adj)
 OMCSnet
 Computation
 Emotions
07/04/13 13

14. Facial ExpressionFacial Expression
 DEASM (Detected Emotion based on
Active Shape Model)
 Active Shape Model Library
(ASMLibrary 5.0) SDK
 Ammar (2010) 提出的演算法
 由 webcam 取得即時影像資訊後，對 一每
個 frame 作主動形 模型的匹配，再取得狀
演算法所需的特 點座標，最後透過臉部情徵
緒辨識演算法辨識使用者情緒。此部分將作
為系統回饋回饋代理人的參考資料。
共 53 頁07/04/13 14

15. 從從 frameframe 取特 點座標擷 徵取特 點座標擷 徵
值值
共 53 頁07/04/13 15

16. 臉部情緒辨識 表演算法查臉部情緒辨識 表演算法查
07/04/13 16
 Ammar 等人提出的
六個臉部
情緒特 點徵
距離 Di 定義
Di 定義示意圖共 53 頁

17. D1 D2 D3 D4 D5 D6
Joy ＝ ＝ ↑ ↑ ＝ ↓
Sadness ↓ ↑ ＝ ＝ ↓ ＝
Anger ↑ ↓ ＝ ↑or↓ ＝ ＝
Fear ? ↑ ＝ ＝ ↑ ＝
Disgust ＝ ＝ ↑ ↑ ＝ ＝
Surprise ↑ ↑ ＝ ↑ ＝ ＝
共 53 頁07/04/13 17

18. 系統介面系統介面
07/04/13 18
動畫代理
人
數位藝術課程
內容
OMCSNetKai 處理對
話框
語意情緒推論
結果
課程選
擇紐
DEASM 結果狀
態條Demo 共 53 頁

19. 面部情緒辨識面部情緒辨識
1) 收集訓練之樣本（開心、生氣、難過、驚訝、害怕、厭惡）
19
2) 正負樣本分類
3) 訓 分類器練
4) 用訓 好的分類器進 目標檢測利 練 行
訓練情緒：生氣 正樣本 負樣本
07/04/13 共 53 頁

20. 代理人設計代理人設計
 情緒回饋
20
挫折 害怕厭惡 疑惑
開心 生氣 難過 驚訝
07/04/13 共 53 頁

21. 系統操作介面系統操作介面
21
系統介面配置圖07/04/13 共 53 頁

22. 共 53 頁
Augmented RealityAugmented Reality
擴 實境增擴 實境增
07/04/13 22

23. 共 53 頁
 英語字彙魔法書互動機制
以英語字彙魔法書 Unit 1 字母 C 、 D 為例
07/04/13 23

24. 共 53 頁
 英語字彙圖 配對卡 互動機制
英語字彙卡配對
07/04/13 24

25. 共 53 頁
 Hsieh 與 Lee(2008) 將擴 實境圖 以排列組增 卡
合的概念，降低圖 設計的複雜度，利用擴卡 增
實境技術開發英語字彙學習輔助系統，提供新
的數位媒體給予學童不同的學習刺激。
07/04/13 25

26. 研究方法與設計研究方法與設計
 實驗過程 - 實驗組 AR 操作畫面
26共 53 頁07/04/13

27. 擴 實境系統設計增擴 實境系統設計增
27
 系統硬體
 系統軟體
 ARToolKit 、 3Ds Max
 圖 設計卡
07/04/13 共 53 頁

28. 實驗過程實驗過程
28
 控制組 - 傳統授課  實驗組 - 擴 實境授增
課
07/04/13 共 53 頁

29. 實驗組學生表現驗證實驗組學生表現驗證
29
 實驗前學生做圖
 實驗後學生做圖
07/04/13 共 53 頁

30. 資料蒐集
 三角交叉驗證法 (Triangulation Designs)
 問卷調 法查
 參與觀察法
 團體訪談法
研究方法與設計研究方法與設計
30共 53 頁07/04/13

31. 研究方法與設計研究方法與設計
 實驗過程 - 眼動分析
31共 53 頁07/04/13

32.  眼動熱圖
實驗結果與分析實驗結果與分析
32共 53 頁07/04/13

33. 共 53 頁07/04/13 33

34. 共 53 頁07/04/13 34

35. Markerless Mobile ARMarkerless Mobile AR - ARBOX- ARBOX
07/04/13 共 53 頁 35

36. 36
研究方法與設計研究方法與設計
 系統建置
使用者使用智慧型手機進
行的畫面
共 53 頁07/04/13

37. 存在性存在性
 與環境的互動
 將抽象觀念具像化
07/04/13 共 53 頁 37

38. 共 53 頁
Digital ArtsDigital Arts
數位藝術數位藝術
07/04/13 38

39. 詩、影像、數位．美學越界－林豪鏘個展 ( 意念 誌 )

40. 共 53 頁07/04/13 40

41. 共 53 頁
擴增實境示範
07/04/13 41

42. 共 53 頁07/04/13 42

43. 共 53 頁07/04/13 43

44. 共 53 頁07/04/13 44

45. 基於情感運算模擬人類情緒基於情感運算模擬人類情緒
之音樂創作機制之音樂創作機制
 本作品著重於 MAX/MSP 電腦程式自動
化情感音樂設計、玩家彈奏 MIDI 樂器的
情緒辨識裝置以及視覺化情境營造之間
的關係做研究並創作。
 希望達到的兩大目標：
 生結合視覺動態與聽覺曲調的藝術表現產
 在情感運算方面，使電腦理解人類情緒並以
音樂達到對應的情感互動
07/04/13 共 53 頁 45

46. 結合情感運算的音樂自動 生器程式圖產結合情感運算的音樂自動 生器程式圖產
07/04/13 共 53 頁 46

47. 音樂理論音樂理論
 一般而言，大調可表現出澎湃的感覺，
例如人類的「怒」情緒。
 小調則在營造悲傷
或詭異的氣氛上較明顯。
 舉例來說
 A 大調可以表現「怒」的情緒
 C 大調有喜 的感覺悅
 A 小調則可以呈現悲傷的情感
07/04/13 共 53 頁 47

48. 48
以「 Joy 」為例
07/04/13 共 53 頁

49. 4907/04/13 共 53 頁

50. 表演藝術表演藝術 ++ 數位科技數位科技 ++ 視覺藝視覺藝
術術
07/04/13 共 53 頁 50

51. 莎 荷舞涴 綠莎 荷舞涴 綠 -2--2- 越人歌越人歌
07/04/13 共 53 頁 51

52. 共 53 頁
結論結論
07/04/13 52
情感運算情感運算
 情緒線索情緒線索
 情感運算四層次情感運算四層次
 情感式家教系統情感式家教系統 (ATS)(ATS)
擴 實境增擴 實境增
 學習科技學習科技
 文創商品文創商品
 無標記行動化無標記行動化
數位藝術數位藝術
 互動擴境實境互動擴境實境
 情緒音樂情緒音樂
 表演藝術表演藝術 ++ 數位科技數位科技 ++ 視覺藝術視覺藝術

53. 共 53 頁07/04/13 53