http://id.nii.ac.jp/1001/00211364/ 情報処理学会 コンピュータと教育研究会 第160回研究発表会

1. 取捨選択操作の時間的な共起分析による
プログラミング・プロセスでの
迷いの検出
⼭⼝ 琢(フリー),松澤 芳昭(⻘⼭学院⼤学),
新美 礼彦(公⽴はこだて未来⼤学),
⼤場 みち⼦(公⽴はこだて未来⼤学)
v1 2021-06-05 発表当⽇
v1.1 2021-06-20
2021-06-05 山口琢, IPSJ CE160 1

2. アジェンダ
• 背景と課題
• 先⾏研究 #1
• これまでの取り組み: アプリと分析⼿法
(先⾏研究 #2の前提知識として)
• 先⾏研究 #2
• ⽬的
• アプローチ: 提案⼿法と検証⽅法
• 結果
• 考察・結論
• 終わりに: まとめ、今後の研究テーマ
2021-06-05 山口琢, IPSJ CE160 2

3. 背景と課題
• 論理的思考⼒への関⼼の⾼まり
• プログラミング学習の広がり
↓
• プログラミングのプロセスを測定・分析する
研究の増加
• 学⽣が「何かに迷っている」ことを検出でき
る研究が出てきた
課題
• 具体的に「何に迷っているか」を機械的に検
出するのが困難
2021-06-05 山口琢, IPSJ CE160 3

4. 先⾏研究 #1
2021-06-05 山口琢, IPSJ CE160 4

5. 「何かに迷っている」ことを検出できる研究
森永ら1, 2、Maharjanら3
• 正解との編集距離(レーベンシュタイン距離など)を
使って問題を解くプロセスを分析
• 正解との距離が遠ざかることがある
• 正解との距離が遠ざかるのは、何らかの試⾏錯誤をし
ている可能性を指摘
1. 森永 笑⼦ , 松本 慎平 , 村上 瑠⾹ , 林 雄介 , 平嶋 宗，カード操作⽅式によるプ
ログラミング学習⽀援システムでの学習過程の可視化⽅法の提案，⼈⼯知能学
会 先進的学習科学と⼯学研究会 85, 92-97, 2019-03-07
2. 森永 笑⼦, 松本 慎平, 林 雄介, 平嶋 宗, カード操作⽅式によるプログラミング学
習⽀援システムにおける学習者の活動に基づく学習課題の特徴分析, 電気学会
C部⾨ 情報システム研究会(CIS), 2019-11-10
3. Salil Maharjan and Amruth Kumar, Using Edit Distance Trails to Analyze Path
Solutions of Parsons Puzzles, Educational Data Mining 2020 (EDM 2020), 2020-07-10
2021-06-05 山口琢, IPSJ CE160 5

6. これまでの取り組み
2021-06-05 山口琢, IPSJ CE160 6

7. ジグソー・コードと操作の測定 1/3
並べ替えプログラミングのアプリケーション
2021-06-05 山口琢, IPSJ CE160 7
パズル問題「濃度判定プログラム」

8. ジグソー・コードと操作の測定 2/3
• 左側の枠から、適切なピースを選んで、右側の⻘で
囲まれた枠にドラッグ&ドロップで移動する。
• 枠内でも、ピースをドラッグ&ドロップで並べ替え
ることができる。
• これらの操作を繰り返して、ピースを右側の枠内に
適切な順序で並べてプログラムを「完成！」させる。
• 短冊型、
Parson’s Problem
と同様
2021-06-05 山口琢, IPSJ CE160 8

9. ジグソー・コードと操作の測定 3/3
• ユーザの並べ替え操作を測定
• 左右の枠の間のピースの移動操作、それぞれの
枠内でピースの移動操作について、操作対象の
ピースIDや操作時刻などを記録している。
2021-06-05 山口琢, IPSJ CE160 9

10. 操作の時間的な共起分析 1/2
• 操作過程のパターンを⾒つけるために、
操作対象となったピースの時間的な共起
⾏列で分析
• 共起⾏列は、あるピースを動かした次に
どのピースを動かしたかの回数を集計
• 続けて動かされる回数が多いとき、それ
ら2つのピース間には何か特別な関係があ
ると考える
2021-06-05 山口琢, IPSJ CE160 10

11. 操作の時間的な共起分析 2/2
• 「濃度判定プログラム」を
223⼈の学⽣が解いたとき
の、時間的な共起⾏列
• 図では、s3⾏の次にs4⾏を
動かした回数が全部で91回
あったことが分かる。
• 平均+標準偏差 < ⻩背景
平均+標準偏差*2 < ⾚背景
2021-06-05 山口琢, IPSJ CE160 11

12. 先⾏研究 #2
ジグソー・コードの分析
2021-06-05 山口琢, IPSJ CE160 12

13. 最後に操作したピースに迷いを推定
中村ら
• ジグソー・コードの操作ログを分析
• 最後に動かされることが多いピースは、
それらについて迷いが⽣じたためと推定
↑
• 迷いの対象であるピースを具体的に指摘
• 中村 陽太, ⼤場 みち⼦, ⼭⼝ 琢, 伊藤 恵,学習進度に対応するパズルを利⽤
したプログラミング思考過程の分析, 情報処理学会研究報告コンピュータと
教育(CE), 2019-CE-151(1), 2019-09-28
2021-06-05 山口琢, IPSJ CE160 13

14. ⾼い共起頻度から迷いを判定 1
• 藤井ら
• ジグソー・コードの操作ログを分析
• 特定の2つのピースの取捨選択という具体
的な迷いを指摘
• 藤井沙苗, 松澤芳昭,パズル型問題を利⽤したプログラミング初学者の理解
度と思考過程の分析, 情報処理学会 第83回 全国⼤会, 2021
2021-06-05 山口琢, IPSJ CE160 14

15. ⾼い共起頻度から迷いを判定 2
• 分離融合系学部の1年⽣約230名
• JavaScriptやタートルを使ってプログラミ
ングの初歩を学ぶ講義
• ジグソー・コードを使った⼩テスト
• 1度に2〜3問、合計13問を、新たに開発し
て出題
2021-06-05 山口琢, IPSJ CE160 15

16. ⾼い共起頻度から迷いを判定 3
• 時間的な共起⾏列に、
独⾃の⼯夫を加えて、
「解答者が類似する
ピースに迷って、続
けて動かしたための
共起」と藤井らが判
断したセルは、背景
を⾚く着⾊
• s4の次にs7を動かし
た共起頻度が24と⾼
く、これは迷いのた
めと判断されて⾚い
背景となっている。
2021-06-05 山口琢, IPSJ CE160 16

17. ⽬的
2021-06-05 山口琢, IPSJ CE160 17

18. ⽬的
• 取捨選択・並べ替え型のプログラミング・パズル
で、取捨選択の操作に限って時間的な共起分析を
⾏い、解答者の「取捨選択の迷い」を機械的に検
出できるか検証
• 実際に迷った組み合わせの数(割合、「迷い率」)
は少ないと予想して、提案⽅式による迷い検出の
適合率(precision, 精度)よりも再現率(recall)を重視
• 迷い率が実際に⼩さいことも確認
• すべての解答が済んでパズル操作が完了した段階
で分析する。
将来的には、正解者・不正解者という結果が出る
前の、テストの途中で迷いを推定し教師などに通
知することを⽬標
2021-06-05 山口琢, IPSJ CE160 18

19. アプローチ
提案⼿法と検証⽅法
2021-06-05 山口琢, IPSJ CE160 19

20. 提案⼿法: 取捨選択操作の共起分析 1/3
• 左の枠から右の枠へピースを選ぶ操作と、
右の枠から左の枠へピースを捨てる操作
とのみ、すなわち取捨選択操作のみにつ
いて共起を集計
• 順序を問わない
2021-06-05 山口琢, IPSJ CE160 20

21. 提案⼿法: 取捨選択操作の共起分析 2/3
2021-06-05 山口琢, IPSJ CE160 21
提案⼿法: 取捨選択操作のみ集計
従来の共起⾏列

22. 提案⼿法: 取捨選択操作の共起分析 3/3
従来⽅式の共起⾏列 提案⽅式の共起⾏列
• 同じデータを分析
• どちらを先に選んだか順
序を問わないので、右上
に集計される。
2021-06-05 山口琢, IPSJ CE160 22

23. 検証⽅法 1/2
• 前述の藤井らのデータを使⽤・分析
– 全ての問題に対して迷いの推定が卒業論⽂に
まとめられている
• 提案⼿法の提⽰する迷いの組み合わせと、
問題作成者および教師が推定した迷いの
組み合わせ(正解)とを照合
– 提案⼿法の適合率と再現率を計算
– 迷い率が⼩さいことを確認
2021-06-05 山口琢, IPSJ CE160 23

24. 検証⽅法 2/2
ただし…
• 取捨選択の共起分析にあたって、正解者・不
正解者を分けず全体を対象とする
– 将来的には、テストの途中で学⽣の迷いを推定す
ることを⽬指すから。テストの途中では正解者・
不正解者は確定しない
• ⼀⽅、問題作成者および教師による推定(正
解)は、正解者と不正解者で別々に共起⾏列
を作成し、共起頻度の⾼い組み合わせについ
て、それが迷いによるものか推定している。
2021-06-05 山口琢, IPSJ CE160 24

25. 結果
2021-06-05 山口琢, IPSJ CE160 25

26. 結果 1/3
• 提案⽅式による検出と正解の⽐較
• 「s4-s9」などは迷いの組み合わせを⽰し、「s4にするか
s9にするか迷った」ことを表す。
2021-06-05 山口琢, IPSJ CE160 26
表 1 結果
問題番号 卒論の問題名 提案方式による検出 正解
1-1 砂時計の容器を作るプログラム s4-s9, s5-s9 s4-s9
1-2 濃度判定プログラム s3-s10, s5-s12, s4-s7 s3-s10, s4-s7
1-3 整数入れ替えプログラム s3-s9, s7-s12, s5-s11, s8-s13 s3-s9, s7-s12
2-1 PCR 検査陽性率 s4-s13, s8-s14 s8-s14
2-2 ひまわりを描くプログラム s5-s8, s3-s10, s3-s11 なし
3-2 二乗を計算するプログラム s4-s8, s2-s9 s4-s8
3-3 九九出力プログラム s2-s5, s4-s8 s4-s8
4-1 ドーナツを描くプログラム s4-s9, s5-s11 s4-s9
4-2 閏年判定プログラム s3-s7 s3-s7
5-1 GO TO travel の料金判定プログラム s5-s8, s4-s7, s6-s8 s4-s7
5-2 GO TO travel の料金判定プログラム 2 s10-s12, s4-s11, s4-s14 s4-s11, s9-s13
表 2 結果 2

27. 結果 2/3
• TPはTrue Positiveで、提案⽅式の検出が正解だった数。
FP: False Positive、…
• ピース数は動かせるピースの数(n)
• 迷い候補数は、2つのピースの間でどちらを選ぶか迷
う場合の数に、ピース⾃⾝を選ぶかどうか迷う場合の
数を加えた数: nC2 + n
2021-06-05 山口琢, IPSJ CE160 27
表 1 結果
問題番号 卒論の問題名 提案方式による検出 正解
1-1 砂時計の容器を作るプログラム s4-s9, s5-s9 s4-s9
1-2 濃度判定プログラム s3-s10, s5-s12, s4-s7 s3-s10, s4-s7
1-3 整数入れ替えプログラム s3-s9, s7-s12, s5-s11, s8-s13 s3-s9, s7-s12
2-1 PCR 検査陽性率 s4-s13, s8-s14 s8-s14
2-2 ひまわりを描くプログラム s5-s8, s3-s10, s3-s11 なし
3-2 二乗を計算するプログラム s4-s8, s2-s9 s4-s8
3-3 九九出力プログラム s2-s5, s4-s8 s4-s8
4-1 ドーナツを描くプログラム s4-s9, s5-s11 s4-s9
4-2 閏年判定プログラム s3-s7 s3-s7
5-1 GO TO travel の料金判定プログラム s5-s8, s4-s7, s6-s8 s4-s7
5-2 GO TO travel の料金判定プログラム 2 s10-s12, s4-s11, s4-s14 s4-s11, s9-s13
表 2 結果 2
問題番号 卒論の問題名 TP FP FN TN ピース数 迷い候補数 迷い率
1-1 砂時計の容器を作るプログラム 1 1 0 64 11 66 0.02
1-2 濃度判定プログラム 2 1 0 52 10 55 0.04
1-3 整数入れ替えプログラム 2 2 0 74 12 78 0.03
2-1 PCR 検査陽性率 1 1 0 89 13 91 0.01
2-2 ひまわりを描くプログラム 0 3 0 42 9 45 0.00
3-2 二乗を計算するプログラム 1 1 0 53 10 55 0.02
3-3 九九出力プログラム 1 1 0 26 7 28 0.04
4-1 ドーナツを描くプログラム 1 1 0 43 9 45 0.02
4-2 閏年判定プログラム 1 0 0 27 7 28 0.04
5-1 GO TO travel の料金判定プログラム 1 2 0 25 7 28 0.04
5-2 GO TO travel の料金判定プログラム 2 1 2 1 75 12 78 0.01
5-1 GO TO travel の料金判
5-2 GO TO travel の料金判
表 3 適合率と再現率
適合率 44%
再現率 92%
迷い率 2%
迷い候補数 = nC2 + n, n : 動かせるピー
TN は迷い候補数から TP、FP、FN の
のである:
TN = 迷い候補数 - TP - FP - FN
迷い率は TP を迷い候補数で割ったもの
のあった全組み合わせから、実際に迷った組
表 2 から適合率と再現率を計算すると表
7. 考察
再現率が 92%となり、実際、表 1 では、
以外の問題で、提案方式による検出が正解

28. 結果 3/3
• 問題作成者および教師による判断に対して
提案⼿法の適合率が44%、再現率が92%と
なり、提案⼿法による提⽰が問題作成者お
よび教師による判断(正解)をほぼ含む結果
となった。
2021-06-05 山口琢, IPSJ CE160 28
表 1 結果
問題番号 卒論の問題名 提案方式による検出 正解
1-1 砂時計の容器を作るプログラム s4-s9, s5-s9 s4-s9
1-2 濃度判定プログラム s3-s10, s5-s12, s4-s7 s3-s10, s4-s7
1-3 整数入れ替えプログラム s3-s9, s7-s12, s5-s11, s8-s13 s3-s9, s7-s12
2-1 PCR 検査陽性率 s4-s13, s8-s14 s8-s14
2-2 ひまわりを描くプログラム s5-s8, s3-s10, s3-s11 なし
3-2 二乗を計算するプログラム s4-s8, s2-s9 s4-s8
3-3 九九出力プログラム s2-s5, s4-s8 s4-s8
4-1 ドーナツを描くプログラム s4-s9, s5-s11 s4-s9
4-2 閏年判定プログラム s3-s7 s3-s7
5-1 GO TO travel の料金判定プログラム s5-s8, s4-s7, s6-s8 s4-s7
5-2 GO TO travel の料金判定プログラム 2 s10-s12, s4-s11, s4-s14 s4-s11, s9-s13
表 2 結果 2
問題番号 卒論の問題名 TP FP FN TN ピース数 迷い候補数 迷い率
1-1 砂時計の容器を作るプログラム 1 1 0 64 11 66 0.02
1-2 濃度判定プログラム 2 1 0 52 10 55 0.04
1-3 整数入れ替えプログラム 2 2 0 74 12 78 0.03
2-1 PCR 検査陽性率 1 1 0 89 13 91 0.01
2-2 ひまわりを描くプログラム 0 3 0 42 9 45 0.00
3-2 二乗を計算するプログラム 1 1 0 53 10 55 0.02
3-3 九九出力プログラム 1 1 0 26 7 28 0.04
4-1 ドーナツを描くプログラム 1 1 0 43 9 45 0.02
4-2 閏年判定プログラム 1 0 0 27 7 28 0.04
5-1 GO TO travel の料金判定プログラム 1 2 0 25 7 28 0.04
5-2 GO TO travel の料金判定プログラム 2 1 2 1 75 12 78 0.01
5-1 GO TO travel の料金
5-2 GO TO travel の料金
表 3 適合率と再現率
適合率 44%
再現率 92%
迷い率 2%
迷い候補数 = nC2 + n, n : 動かせるピー
TN は迷い候補数から TP、FP、FN の
のである:
TN = 迷い候補数 - TP - FP - FN
迷い率は TP を迷い候補数で割ったもの
のあった全組み合わせから、実際に迷った
表 2 から適合率と再現率を計算すると表
7. 考察

29. 考察・結論
2021-06-05 山口琢, IPSJ CE160 29

30. 考察 1/3
• 再現率が92%となった。
実際、問題番号「5-2」以外の問題で、提
案⽅式による検出が正解を含んでいる。
2021-06-05 山口琢, IPSJ CE160 30
表 1 結果
問題番号 卒論の問題名 提案方式による検出 正解
1-1 砂時計の容器を作るプログラム s4-s9, s5-s9 s4-s9
1-2 濃度判定プログラム s3-s10, s5-s12, s4-s7 s3-s10, s4-s7
1-3 整数入れ替えプログラム s3-s9, s7-s12, s5-s11, s8-s13 s3-s9, s7-s12
2-1 PCR 検査陽性率 s4-s13, s8-s14 s8-s14
2-2 ひまわりを描くプログラム s5-s8, s3-s10, s3-s11 なし
3-2 二乗を計算するプログラム s4-s8, s2-s9 s4-s8
3-3 九九出力プログラム s2-s5, s4-s8 s4-s8
4-1 ドーナツを描くプログラム s4-s9, s5-s11 s4-s9
4-2 閏年判定プログラム s3-s7 s3-s7
5-1 GO TO travel の料金判定プログラム s5-s8, s4-s7, s6-s8 s4-s7
5-2 GO TO travel の料金判定プログラム 2 s10-s12, s4-s11, s4-s14 s4-s11, s9-s13
表 2 結果 2

31. 考察 2/3
• False Positiveにあたるものでも、パズルを具体的に検討
してみると、外れととも⾔い切れないものであった。
例
[s5] answer =Math.floor(answer);
[s12] answer =Math.floor(answer):
よく似ている。この両者の間で取捨選択の時間的な共起頻
度が⾼かったならば、両者のどちらを採⽤するか解答者が
迷ったという解釈は妥当であろう。
2021-06-05 山口琢, IPSJ CE160 31
表 1 結果
問題番号 卒論の問題名 提案方式による検出 正解
1-1 砂時計の容器を作るプログラム s4-s9, s5-s9 s4-s9
1-2 濃度判定プログラム s3-s10, s5-s12, s4-s7 s3-s10, s4-s7
1-3 整数入れ替えプログラム s3-s9, s7-s12, s5-s11, s8-s13 s3-s9, s7-s12
2-1 PCR 検査陽性率 s4-s13, s8-s14 s8-s14
2-2 ひまわりを描くプログラム s5-s8, s3-s10, s3-s11 なし
3-2 二乗を計算するプログラム s4-s8, s2-s9 s4-s8
3-3 九九出力プログラム s2-s5, s4-s8 s4-s8
4-1 ドーナツを描くプログラム s4-s9, s5-s11 s4-s9
4-2 閏年判定プログラム s3-s7 s3-s7
5-1 GO TO travel の料金判定プログラム s5-s8, s4-s7, s6-s8 s4-s7
5-2 GO TO travel の料金判定プログラム 2 s10-s12, s4-s11, s4-s14 s4-s11, s9-s13
表 2 結果 2

32. 考察 3/3
• 疑問
「正解とした迷い組み合わせは従来の時
間的な共起⾏列を出発点に推定したもの
であり、提案⼿法も時間的な共起関係に
基づくならば、この結果は⾃明なのでは
ないか？」
↑
• 従来⽅式と提案⽅式の共起⾏列は、カウ
ントしてる組み合わせが異なる。⾃明で
はない。
2021-06-05 山口琢, IPSJ CE160 32

33. 結論
• 取捨選択操作の時間的な共起は、問題作
成者および教師に対して、学習者の具体
的な迷いを提⽰する⼿法として有効であ
る。
2021-06-05 山口琢, IPSJ CE160 33

34. 終わりに
2021-06-05 山口琢, IPSJ CE160 34

35. まとめ
• 取捨選択操作に対する時間的な共起分析
によって、取捨選択・並べ替え⽅式のプ
ログラミング・パズルにおける、解答者
の迷いを具体的に検出できた。
• 提案⽅式の再現率は92%、問題群の迷い率
は2%であった。提案⽅式は、解答者の迷
いを具体的に検出する⽅式として有効で
ある。
2021-06-05 山口琢, IPSJ CE160 35

36. 今後の研究テーマ #1
• 本稿では事後的に迷いを検出
• 解答者たちが⼩テストを解いている最中
に、⼀定の時間が経過したところで
「続々と迷いつつある」ことを検出でき
るだろう。
• 解いてる途中で、問題作成者の狙い通り
に解答者たちが迷ったのか／迷わなかっ
たのかが判れば、⼩テスト後のコメント
を変える時間的な余裕が⽣まれる。
2021-06-05 山口琢, IPSJ CE160 36

37. 今後の研究テーマ #2
• 迷い組み合わせは、問題作成者が意図してパ
ズルに仕込んだものであった。
• そして、意図したとおりに、たった2%の迷
い候補に学⽣が迷った。
↓
• このことから、問題作成者と解答者との間に、
⼀定の共通理解があったと⾔えるのではない
か。
• 問題作成者の狙いがよく当たった、良い問題
だったと⾔えるのではないか。
• このような観点からの、提案⽅式による問題
(パズル)そのものの評価
2021-06-05 山口琢, IPSJ CE160 37

38. 今後の研究テーマ #3
• 本稿は:
– 学⽣の迷いについて中⽴
– 正解/不正解の観点から分析しなかった
2021-06-05 山口琢, IPSJ CE160 38

39. 今後の研究テーマ #3
• 正解者も不正解者も、どちらも同じ組み合わせ(s3-s10)について迷っ
ていたことが分かる。
• 解答者の⼈数が約230⼈であったことを考えると、これらの組み合
わせで迷わなかった解答者も、正解者/不正解のそれぞれにいたこと
も分かる。
• 「⼀定の共通理解」を踏まえると、このことは、正解/不正解とは別
の評価指標が解答プロセスに存在する可能性を⽰唆している。
2021-06-05 山口琢, IPSJ CE160 39
不正解者
正解者

40. 謝辞
• 藤井沙苗⽒には、ジグソー・コードのパ
ズル問題、実験データおよび卒業論⽂を
提供していただいた。
• 本研究はJSPS科研費20H01728の助成を受
けたものである．
2021-06-05 山口琢, IPSJ CE160 40

41. 以上
2021-06-05 山口琢, IPSJ CE160 41

42. 補⾜
2021-06-05 山口琢, IPSJ CE160 42

43. 位置づけ: 異なる対象に様々な指標
2021-06-05 山口琢, IPSJ CE160 43
作問
⼩テスト開始
⼩テスト中
⼩テスト終了
結果
講評・アドバイス
正解／不正解の
判定
プロセスの観察:
取捨選択操作／
迷いの検出
難易度の調整
選択肢の設計
従来⽅式: ⼈が検出
提案⽅式: 機械的検
出、客観性、速報性、
網羅性
選択肢間の編集距離に
よる問題の評価、など
正答率、など
指標
プロセス

44. 位置づけ: 作問者／教師への情報提供
2021-06-05 山口琢, IPSJ CE160 44
作問
⼩テスト開始
⼩テスト中
⼩テスト終了
結果
講評・アドバイス
正解／不正解の
判定
作り込んだ選択肢で、学⽣
が考えた/迷ったのか？
作問者／教師が知りたいこと
プロセス
プロセスの観察:
取捨選択操作／
迷いの検出
難易度の調整
選択肢の設計

45. 位置づけ
互いに関係はあっても異なる指標
• ある条件下で互いに相関があるとしても、
それぞれ別の指標
– 同じ問題を解いても集団によって正答率は異
なる、など
– ある条件下で、これら指標の相関を調べると
いう研究が複数ありえる。
• 取捨選択操作の評価もさまざま:
取捨選択して正解 ≠ 取捨選択せずに正解
2021-06-05 山口琢, IPSJ CE160 45

46. 「迷い率」2%は⼩さいのか？
2021-06-05 山口琢, IPSJ CE160 46
⽬盛りの違いに注意!!
拡⼤
• 共起⾏列の偏りは様々
• 提案⽅式での偏りは⼤きい
従来⽅式の共起⾏列
提案⽅式の共起⾏列