行為編碼與序列分析，細節請看這篇：http://pulipuli.blogspot.tw/2015/06/introduction-of-behavior-coding-and.html

1. 2015/6/1
政治大學圖書資訊與檔案學研究所
數位圖書館與數位學習實驗室
陳勇汀
pudding@nccu.edu.tw
1

2. 淺談數位學習研究設計
2

3. Experimental Group
實驗組
Control Group
控制組
3
研究者
(教師)

4. 研究場域
依變項實驗組
控制組 依變項
依變項
依變項
自變項
實施策略
維持原樣
前測 後側
比較：統計分析
4

5. ?
行為的改變
認知的改變
5
實施教學策略

6. 序列分析介紹
Bakeman (1997)
6

7. 1. 介紹
2. 開發編碼表
(Coding Scheme)
3. 記錄行為序列
(behavioral sequences)
4. 評估觀察者一致性
(observer agreement)
5. 呈現觀察資料
6. 分析序列資料: 第1步
7. 分析事件序列
(event sequences)
8. 分析時間序列
(time sequences)
9. 分析跨分類事件
(cross-classified events)
10.結語
7
Bakeman, R., & Gottman, J. M. (1997). Observing interaction: an introduction to sequential analysis. Cambridge: University
Press.

8. Part 1. 使用與開發編碼表
Part 2. 行為觀察與記錄
Part 3. 觀察者內部一致性信度檢定
Part 4. 序列分析
8

9. Part 1.
9

10. ?
10
實施教學策略
認知分類
架構
知識建構
層次
問題解決
討論

11. 1949~1953年，布魯姆(Bloom)等人藉用生物學
的分類法觀念將教育目標分類。
1960年提出認知領域的教育目標分類表，將認知
領域的教學目標的類別，由最簡單到最複雜，由
具體到抽象，排成六個層次，依序為知識、理解、
應用、分析、綜合與評鑑，每一個較簡單的類別
都是想掌握下一個較複雜的類別的先決條件。
因應教育理論的演進，布魯姆教育分類法也在
2001年出刊修訂版，先依知識向度和認知歷程向
度形成一個二維矩陣後，再進行教育目標的分析。
Anderson, L. W., & Krathwohl, D. R. (2001). A taxonomy for learning, teaching, and assessing: a revision of Bloom’s taxonomy of
educational objectives. New York: Longman.
11

12. 12

13. 編碼 階段 操作
B1 Remember 記憶 從長期記憶中找尋相關知識。
B2
Understand 了
解
瞭解所需的知識；根據過去經驗串聯新的知識。
B3 Apply 應用 透過某些流程或應用來完成一件任務或解決問題。
B4 Analyze 分析
將知識拆解與分析其成分，並且指出部分成分與整體知
識之間的關聯。
B5 Evaluate 評鑑 根據準則與標準進行判斷或評鑑。
B6 Create 創作
將不同的要素合為一體，並且完成一個完整與有用的整
體。透過心智流程重組不同的要素，完成一個新的架構。
B7 Others 其他 與討論無關的主題
認知分類架構表(Revised Bloom’s Taxonomy)
13

14. Gunawardena, Lowe和Anderson等人，於1997年
提出互動分析模型(Interaction Analysis Model)，
簡稱IAM。
很多研究證明使用IAM這一套編碼系統能夠有效
地分析線上平台的討論內容，也增加了量化內容
分析研究的有效性，許多關於非同步線上討論平
台的研究，也都使用IAM為編碼方案
從1997年至今，IAM這一套內容分析工具已經成
為探討「線上討論內容深度和模式」的一個重要
依據。
Gunawardena, C. N., Lowe, C. A., & Anderson, T. (1997). Analysis of a Global Online Debate and the Development of an Interaction
Analysis Model for Examining Social Construction of Knowledge in Computer Conferencing. Journal of Educational Computing
Research, 17(4), 397-431.
14

15. 編碼 階段 操作
K1 資訊的分享/比較 陳述觀察或意見；陳述同意參與者
K2 發現與探索參與者之間的不一致
辨識不一致的意見；詢問與回答問
題以釐清不一致地情況
K3 協商意涵/共同建構知識
協商字辭的意涵；協商各種意見的
相關重要性
K4 驗證與修正已存在的經驗與知識
驗證提出的新知識、認知架構、個
人經驗與其他資源相對照
K5 同意/運用新建構的知識
總結一致的意見與陳述認知，以展
現新的知識建構
K6 其他 討論跟知識建構不相關的事情
互動分析模型(Interaction Analysis Model，IAM)
15

16. 為觀察成員在小組封閉式學習社群環境中合作學
習討論歷程，用Hou等人（2008）提出問題解決
討論行為序列分析編碼表，來了解合作學習討論
行為歷程之差異
該編碼係依據探討問題解決行為歷程相關研究
（Mayer, 1992; D'Zurilla & Goldfried, 1971），歸
納出研究共同之處，形成問題解決行為編碼表。
16
Hou, H.-T., Chang, K.-E., & Sung, Y.-T. (2008). Analysis of Problem-Solving-Based Online Asynchronous Discussion Pattern.
Educational Technology & Society, 11(1), 17-28.

17. 問題解決行為歷程序列分析編碼表
17
編碼 階段 運作
P1 定義問題 具體描繪問題或釐清問題的定義
P2 尋求解決方法
針對問題提供（詳細/簡略的）資訊
或解決方法
P3 分析與歸納
分析、比較與評論他人提出的意見、
解決方法以及資訊
P4 統整與結論
歸納先前的提議或意 見，並提出結
論
P5 其他 與主題無關的討論

18. Part 2.
18

19. 19
現場觀察與記錄
同步討論記錄
非同步討論記錄
學習歷程記錄
Morea

20. Morae
Recorder
Morae
Observer
Morae
Manager
20

21. xAPI定義了學習記錄儲存與追蹤的介面格式規範
學習者在學習平台(LMS)的學習經驗記錄(或其他
動作)能儲存在學習記錄資料庫(LRS)中，儲存在
LRS上的學習資料可以在不同LRS上流通。
21
LMS xAPI
LRS
學習
記錄
電子書櫃
教學活動
學習分析
學習記錄 數位學習服務
LMS xAPI
LMS xAPI

22. 22
老師要介入嗎？

23. 23
同步討論
非同步討論
時間
早
晚
個人資料
匿名處理

24. 編碼編號 學生編號 討論內容
1StuC 晚安
2StuB 喔！ 對於討論有啥方向嘛？
3StuC 沒方向
4StuB 喔！ 我正在研究 老師那兩邊文章
5StuC 有沒有規定題目要和數位學習有關呀
6StuB 應該是選各大方向來討論 然後大家在添加東西
7StuB 前瞻性議題~~好難
8StuB
前瞻研究議題，進行更深入的資料蒐集，並撰寫分組心得報
告，報告內容應包括(1)為什麼對於這個議題感興趣；(2)這
個議題對於數位學習的重要性；(3)目前這個議題的研究及發
展概況為何？；(4)這個研究議題未來可能的發展方向。共
9StuB 好個前瞻性！
10StuB 另外兩個人不理我們
11StuB 所以題目不一定要跟 數位學習有關摟
12StuB 只要我們有興趣的嘛？？？？
13StuC 其實雲端就算前瞻吧~~但資料少
14StuB 因為老師的兩個文章都是跟數位學習有關
24

25. 25
http://j.mp/20150620-coding

26. Part 3.
26

27. 27
編碼表 行為記錄
研究者分析
行為編碼修正
編碼表

28. 28
這應該是
P3編碼
這一定是
P2編碼

29. 29
評估者1
評估者2
總合
陽性 陰性
陽性 0.72 0.08 0.80
陰性 0.18 0.02 0.20
總合 0.90 0.10 1.00
符合百分比 =
0.72+0.02
1
= 0.74

30. Cohen's Kappa係數是對編碼者間在分類編碼上符
合性的一種統計方法。
Cohen排除了隨機編碼可能的偶然吻合，因此比
單純統計符合百分比還要有說服力。
Kappa係數介於-1~1之間：
30
Cohen, J. (1960). A coefficient of agreement for nominal scale. Educational and Psychological
Measurement, 20(1), 37–46. doi:10.1177/001316446002000104
Kappa係數 一致性程度
< 0.4 差
0.4 ~ 0.6 一般
0.6 ~ 0.8 好
> 0.8 極佳

31. 𝑘 =
𝑝11 + 𝑝00 − (𝑝1+ 𝑝+1 + 𝑝0+ 𝑝+0)
1 − (𝑝1+ 𝑝+1 + 𝑝0+ 𝑝+0)
評估者1
評估者2
總合
陽性 陰性
陽性 0.72 (p11) 0.08 (p10) 0.80 (p1+)
陰性 0.18 (p01) 0.02 (p00) 0.20 (p0+)
總合 0.90 (p+1) 0.10 (p+0) 1.00
31
觀測一致性：測量結果一致的百分比
期望一致性：測量結果預期相同的機率
兩位評估者獨立診斷比例分佈的假設舉例
唐万、胡俊、张晖、吴攀、贺华（2015）。Kappa 系数: 一种衡量评估者间一致性的常用方法。上海精神医学，27（1）。上網日期：2015年5月31日，檢自：
http://www.shanghaiarchivesofpsychiatry.org/cn/assets/215010cn.pdf

32. 32
http://j.mp/2015-kappa
輸入
結果

33. Part 4.
33

34. 觀察樣本中的
出現頻率
觀察樣本中的
期望機率
期望頻率
未達期望頻率到一定程度
沒有顯著性
超過期望頻率到一定程度
具有顯著性
比較
34

35. Code
事件編碼
轉換
線越粗，轉換越明顯
z-score
顯著程度
A B
C D
13.53
3.1
13.5
8
2.05 8.96
5.53
35

36. 滯後序列分析最早是由Sackett,G.P於1974年首次
提出。
1997年，Bakman和Gottman出版Observing
introduction的書中介紹在觀察研究過程中，如何
選擇每一個細節，每種不同類別的方法適合甚麼
樣的研究情境，也說明了研究結果應該使用何種
統計方法。
滯後序列分析法比其他研究方法更能推論整體線
上學習的整體序列模式，學習行為之間的順序關
係是否達到統計顯著性。
36

37. 整合行為編碼後再分為五個步驟進行：
1. 計算序列轉移次數矩陣
2. 計算序列移轉條件機率值
3. 計算序列移轉期望值
4. 計算Adjusted Residuals Table
5. 繪製行為序列移轉關聯圖(behavioral
transition graph)
37

38. ●N：觀察樣本的編碼次數 (10)
ABBCBBCAAC
●Ns：觀察樣本中，雙事件序列的次數 (9)
也就是兩兩成對的事件頻率，計算如下：
AB BB BC CB BB BC CA AA AC
●break：觀察樣本片段(1)
ABBCBBCAAC
38

39. A B C 編碼出現頻率
A 1 (A->A) 1 (A->B) 1 (A->C) 3
B 0 2 2 4
C 1 1 0 3*
從「列」往「欄」去看，例如第一列、第二欄是為「A」到「B」的轉換頻率
* 因為C位於觀察樣本片段尾端，所以頻率轉換會比實際頻率還要少1次
ABBCBBCAAC
39

40. A B C 頻率
A 1 1 1 3
B 0 2 2 4
C 1 1 0 3
我關心B->C的轉換
是否具備顯著性
40

41. ● Zero-order model：機率期望值設為每一種樣本出現的機
率皆相同，因此A B C出現機率各為1/3。
● p(BC)exp = 1/N * 1/N = 1/3 * 1/3 = 0.11
● 期望頻率f(BC)exp = p(BC)exp * Ns = 0.11 * 9 = 0.99
● 特性：
● 容易出現顯著，大部分論文採用的模型
● 說服力較低，但大部分論文都不會寫出來
41

42. ● First-order model：機率期望值依據觀察樣本來計算
1.f(B) = B出現的頻率 = 4
p(B) = f(B) / N = 4 / 10 = 0.4
2.f(C) = C出現的頻率 = 3
p(C) = f(C) / N = 3 / 10 = 0.3
3.p(BC)exp = p(B) * p(C) = 0.4 * 0.3 = 0.12
● 期望頻率f(BC)exp = p(BC)exp * Ns = 0.12 * 9 = 1.08
特性：
 說服力較高，能顯著的話盡量採用此模型
 較難出現顯著
42

43. 公式
意義
●x：欲觀察轉換序列的頻率
●N：雙序列事件的次數
●P：欲觀察轉換序列的機
率期望值
●Q：(1-P)
●超過1.96即達到顯著性(同
等於右尾檢定中p < 0.05)
43
NPQ
NPx
z



44. 44
10.94370143
855631520.97488460
0.92
0.9504
92.0
)12.01(12.09
08.12
))(1()(
)()(
expexp
exp







BCpBCpN
BCfBCf
z
s
obs
z-score

45. 45
http://j.mp/2010-sahttp://j.mp/2015-code-to-seq

46. GSEQ(Generalized Sequential Querier)是一套
電腦統計軟體。Roger Bakeman & Vicen Quera
在1992年的滯後序列分析中發展的相對應軟體，
用以計算觀察得到資料。
目前GSEQ已經發展到5.1版。除了介面簡化及功
能增加外，它的特色在於輸入文字型態的原始碼
後，就可以分析其順序關係，如：variety、
frequencies、rate、durations、
proportion(percentages)，資料的kappa值等等。
46
http://www2.gsu.edu/~psyrab/gseq/index.html

47. 深入探討序列分析
47

48. 1.如果鄰近編碼可以相同，則需要更多
樣本
ex: 允許B->B，則表示可以相同
2.編碼表中的編碼越多，則需要更多樣
本
3.你要觀察的序列越長，則需要更多樣
本
48

49. ●適用條件
o你想觀察每種編碼的轉換序列
o你不知道每種編碼轉換確切的機率期望值
 例如，我想看B->C的轉換，可是我不知道B->C
有多少機率會發生
 因此，在此方法中假定每種編碼轉換都是相等
機率
49

50. ●Ns = 最少需要的觀察樣本序列數
●m = kL 編碼可能的組合
●k = 編碼的種類
●L = 序列長度
舉例：
●如果我的編碼表包含ABC三種，我想觀察2編碼之間的轉換
且編碼轉換之間可以重複
●編碼之間的組合有m = 3^2 = 9
●因此(9*(9^2)) / (9-1) = 91.125
●結論：至少需要92個觀察樣本序列才能觀察出顯著性
50
1
9 2


m
m
Ns

51. ●Ns = 最少需要的觀察樣本序列數
●m = k(k-1)L-1 編碼可能的組合
●k = 編碼的種類
●L = 序列長度
舉例：
●如果我的編碼表包含ABC三種，我想觀察2編碼之間的轉換
且編碼轉換之間不能重複
●編碼之間的組合有m = 3 * (3-1) ^ (2-1) = 3 * 2 = 6
●因此(6*(6^2)) / (6-1) = 43.2
●結論：至少需要44個觀察樣本序列才能觀察出顯著性
51
1
9 2


m
m
Ns

52. 52
)1(
9
PP
Ns


• Ns = 最少需要的觀察樣本序列數
• P = 特定編碼轉換序列的期望值
舉例：
• 我想觀察B->C的轉換，而我知道該轉換發生的機率期望值為0.6
• 則Ns = 9 / (0.6 (1- 0.6)) = 37.5
• 結論：至少需要38個觀察樣本序列才能觀察出顯著性

53. 深入探討序列分析
53

54. ●如果
o例如用很長的時間觀察一隻動物的行為
o觀察資料的數量足以算出顯著性
●則
o可以對特定序列描述頻率與機率
54
A B
C D
完成序列結果分析

55. ●如果
o例如在短時間內觀察班級裡的每位學生的行為
o每個人的觀察資料都不足以計算顯著性
●則
o可以把資料混在一起，再用案例1的方式來處理
oStu1: ABBCBB / Stu2: BCBBAC
混合: ABBCBB BCBBAC (有2個片段)
o解釋的時候要格外小心
55

56. ●N = 12 編碼總次數
●Ns = 10 編碼序列次數
oAB BB BC CB BB BC CB BB BA AC
o注意中斷的B B不能納入計算
●2 breaks 片段數
ABBCBB BCBBAC
56

57. ●將學生分成實驗組跟控制組，施以不同的
實驗措施
o將各組的行為編碼之後混合，可以得到：
實驗組：ABBBCBB……
控制組：ACCBBCC……
o計算欲觀察之行為轉換序列的z分數
o比較兩組的z分數，用來支持兩組之間的行為轉
換具有差異。例如實驗組的A->B比控制組的A-
>B還要明顯。
57

58. 第一階段 第二階段
58

59. ●如果
o每個個體都長時間觀察，而研究者想要觀察不
同個體的變異性
●則
o計算不同個體的z-score並進行比較
得知該不同個體的轉換序列明顯程度
o但是這種比較不能看出顯著性，要搭配案例2的
作法
59

60. 60
B C
13.58
B C
8.93
0.53
各別分析男女不同性別的序列轉換，發現男性的序列轉換顯著程度高於女性。

61. 61
除了觀察序列行為的事件轉換之外，通常還會加
入各行為的比例描述來補充
A
17%
B
48%
C
16%
D
19%
事件編碼比例

62. ●現在要觀察許多嬰兒從「被動式注意」(Passive Joint attention
，簡稱P)到「主動式注意」(Object attention，簡稱O)的雙事件
序列。
●[方法2的應用] 觀察P->O是否顯著
o因為每個嬰兒發生P的機率很低，所以要綜合多個嬰兒的觀察資料
o結合多個嬰兒資料之後，計算P->O的z-score，得知有顯著性
62

63. ●[方法3的應用] 分辨Pi->O跟Pm->O哪種較為明顯
o接下來再細分P的類型：被動的夥伴是其他嬰兒，記做Pi、被動的
夥伴是母親，記做Pm
1.各別去計算Pi->O跟Pm->O的z分數，得知Pm->O的z-score較高
2.可以得知Pm->O的轉換序列較明顯
●[結合方法2跟方法3的結論] 因此
1.可以得知P->O有顯著性
2.其中Pm->O比Pi->O發生的情況更多
63

64. 64