明海大学外国語学部FD研修会 講演資料 (2021.02.05) 　 具体的なデータ処理の方法については、拙著『Rによる教育データ分析入門』をご参照ください。 https://www.ohmsha.co.jp/book/9784274225918/ 　 （註）slideshareの仕様により、一部のフォントや強調がおかしくなっています。

1. 教育データマイニングによる
英語学習の実態把握
小林 雄一郎
（日本大学）
1

2. 自己紹介
• 小林 雄一郎（こばやし ゆういちろう）
– 日本大学 生産工学部 専任講師
– 博士（言語文化学）
– 関心領域
• コーパス言語学
• 自然言語処理
• 英文自動評価
• 教育データ分析
etc.
2

3. 本日のお話の流れ
• はじめに
• 初級編
– 記述統計、層別分析、可視化など
• 中級編
– 検定、相関、回帰など
• 上級編
– テキストマイニング、機械学習など
• デモ
– 層別分析、テキストマイニング（時間があれば）
• おわりに
3

4. 本日のお話の流れ
• はじめに
• 初級編
– 記述統計、層別分析、可視化など
• 中級編
– 検定、相関、回帰など
• 上級編
– テキストマイニング、機械学習など
• デモ
– 層別分析、テキストマイニング（時間があれば）
• おわりに
4

5. • データマイニング
– 統計学、パターン認識、人工知能などのデータ解析の技法
を大量のデータに網羅的に適用することで知識を取り出す
技術
– 明示されておらず、今まで知られていなかったが、役立つ
可能性があり、かつ、自明でない情報をデータから抽出す
ること
– 関連する用語
• KDD (knowledge-discovery
in databases)
• Data Science
• Big Data
• Machine Learning
etc.
はじめに
5
https://ja.wikipedia.org/wiki/データマイニング

6. • 教育データマイニング
– 学習者の成績や学習行動履歴をデータベース化
– 大量に蓄積されたデータを統計的に分析
– 教育に有益な情報を抽出
• 学習者の成績を予測（未受験のテストの点数の予測、卒業時
成績の予測、留学・退学の可能性の予測など）
• 様々な学習要因の関係をモデリング（アンケート結果などに
見られる学習動機・学習履歴と成績の関係、授業満足度との
関係、学習者プロフィール（入試形態・通学時間など）と成
績の関係など）
• より広範な学習行動履歴を分析（出席管理システム、e-
learningシステムのログイン情報など）
etc.
6

7. 7

8. 8

9. 本日のお話と関わる教育データ
• テストの成績
• アンケートの回答
• 英語のライティング・スピーキング
etc.
9

10. 本日のお話の流れ
• はじめに
• 初級編
– 記述統計、層別分析、可視化など
• 中級編
– 検定、相関、回帰など
• 上級編
– テキストマイニング、機械学習など
• デモ
– 層別分析、テキストマイニング（時間があれば）
• おわりに
10

11. 記述統計
• データの概要を把握するための手法
– 手許にあるデータを何らかに数値に要約
• データの「中心」を調べる
• データの「ばらつき」を調べる
• データの「中心」からの「ばらつき」具合を調べる
etc.
– グラフを用いた可視化
• データの「形」や「構造」を直感的に把握
11

12. • データの例
– 100人の学生の期末試験の結果
12
student score
S001 67
S002 31
S003 93
S004 74
S005 75
... ...
S100 22

13. データの「中心」
• データ分析の最初の一歩
– どんなに大量のデータであっても、データの特徴を1
つの数値で表現できれば、直感的に把握しやすい
• データの「中心」を表す指標
– 平均値（データの総和をデータの個数で割った値）
– 中央値（データを小さい順、もしくは大きい順に並
び替えて、真ん中の位置になる値）
– 最頻値（データ中に最も多く現れる値）
etc.
13

14. • 平均値と中央値の違いに関するよくある説明
– 外れ値（他のデータよりも極めて大きい、もしくは
小さい値）の影響を受けやすい
– たとえば、収入の分布においては、平均値はあまり
意味を持たず、中央値の使用が適している
– 単純化した例
• 年収100万、200万、300万、400万、500万の平均値は、300
万
• 年収100万、200万、300万、400万、500万の中央値は、300
万
• 年収100万、200万、300万、400万、5000万の平均値は、
1200万
• 年収100万、200万、300万、400万、5000万の中央値は、
300万 14

15. • 教育現場における「外れ値」の例
– 高め：語学の授業における帰国子女、留学生
– 低め：出席不良者、テスト欠席者（＝欠損値）
15
* データの可視化については、後述

16. データの「ばらつき」
• データの「中心」となる値の有効性を確認
– 全員が同一の点数であれば、平均点はデータの特徴
を（これ以上ないほど）よく表している
– 最低点と最高点の差が大きくなるほど、平均点が
データの特徴をよく表している度合いは下がる
• データの「ばらつき」を表す指標
– 分散・標準偏差（平均値に基づく指標）
– 5数要約（中央値に基づく指標）
etc.
16

17. • 分散
– 個々のデータが平均値からどれほど離れているか
（ばらついているか）を要約
• 標準偏差
– 分散の平方根（2乗されたデータの単位を元に戻す）
– 例：cm → cm2 → cm
17

18. • 5数要約
– データを小さい順に並び替えて、0%（＝最小値）、
25%（＝第1四分位数）、50%（＝中央値）、75%
（＝第3四分位数）、100%（＝最大値）の位置にな
る値をそれぞれ計算
– 数学的に「外れ値」を特定することも可能（「第3四
分位数＋（第3四分位数-第1四分位数）×1.5よりも大
きい値」、もしくは「第1四分位数−（第3四分位数-
第1四分位数）×1.5よりも小さい値」） 18

19. • 5数要約（と外れ値）の可視化
– 箱ひげ図
19
40
60
80
100
Final Exam

20. • 5数要約（と外れ値）の可視化
– 箱ひげ図
20
40
60
80
100
Final Exam
← （外れ値を除く）100%
← （外れ値を除く）75%
← （外れ値を除く）50%
← （外れ値を除く）25%
← （外れ値を除く）0%
← （数学的に求めた）外れ値

21. 「中心」からの「ばらつき」具合
• 学習者全員のばらつき（＝データの散布度）
– 分散・標準偏差は、全員の点数を1つの値に要約
– 5数要約は、全員の点数を5つの値に要約
↓
• 個々の学生のばらつき（＝平均からの距離）
– 標準得点
– 偏差値
etc.
21

22. • 標準得点
– 同じ100点満点のテストでも、「70点」という点数が
持つ意味は、そのテストの難しさによって変わる
（平均点が50点の場合、70点の場合、90点の場合な
ど）
– 異なるテストの結果を比較する場合には、そのテス
トの難しさ（平均）と点数のばらつき（標準偏差）
を考慮した標準得点で比較する必要がある
22

23. • 偏差値
– 入学試験などでよく用いられる指標（説明不要）
23

24. 層別分析
• データ分析の基本は、何かと何かを比べること
• 単一のデータだけから画期的な結論を導くのは困難
↓
• データを何らかの単位に分割して比較（層別分析）
– 学生Aと学生Bと学生C … の比較
– 集団Aと集団Bと集団C … の比較
– 過去と現在の比較（中間 vs 期末、昨年度 vs 今年度）
etc.
↓
• 利用可能な情報が多ければ、深い分析が可能
– 学部別・学科別
– 入学形式別
– 担当教員別
etc.
24

25. • データの例
– クラスや担当教員などの情報がついている成績
25
student class prof sex faculty score
S001 A P03 M F01 86
S002 A P03 F F01 96
S003 A P03 M F01 52
S004 A P03 F F01 72
S005 A P03 F F01 74
... ... ... ... ... ...
S790 S P09 F F08 86

26. 可視化
• 層別分析と可視化は相性がいい
– 大量の数値の羅列を見るのはつらい
（勿論、厳密な統計的比較をする場合は数値を使用）
• データ全体をまとめて可視化しても、得られる
情報はそれほど多くない（無意味ではない）
26
Final Exam
score
number
of
students
20 40 60 80 100
0
20
40
60
80
100

27. • データ全体の可視化が有効な場合
– 分布の「形」を把握（特に、直感が効かないデータ
の場合）
– データが正規分布しているかの確認（正規分布して
いるか否かは、統計手法の選択にも影響）
– たとえば、平均点がまったく同じであったとしても、
データの分布がまったく異なることはあり得る
– その分布の「形」如何によっては、指導法を変える
必要がある
27

28. • 分かりやすいように、少し極端な例
– 以下の4つのクラスの平均点は全て55点
28

29. 層別分析 ＋ 可視化
• ヒストグラム（学部別）
– 分布の「形」を比較するのに有効
– ただし、数が多くなると分かりにくくなる
29
score
Percent
of
Total
0
5
10
15
20
25
30
20 40 60 80 100
F01 F02
20 40 60 80 100
F03
F04 F05
0
5
10
15
20
25
30
F06
0
5
10
15
20
25
30
F07
20 40 60 80 100
F08 F09

30. • 箱ひげ図（クラス別）
– 成績の良し悪しが分かりやすい
– 必要に応じて、成績が高い順に並び替える
30
A B C D E F G H I J K L M N O P Q R S
0
20
40
60
80
100

31. • 平均値±標準偏差のプロット（クラス別）
– 平均値に基づく議論をしたい場合に有効
（箱ひげ図は、中央値に基づく可視化）
31
55
60
65
70
75
80
85
Final Exam
class
score
A B C D E F G H I J K L M N O P Q R S
n=28n=26n=27n=31n=34n=35n=37n=46n=40n=46n=52n=52n=46n=44n=45n=46n=46n=41n=46

32. 探索的データ分析
• Exploratory Data Analysis (EDA)
– 1960年代、統計学者J. W. Tukeyが提唱
– データ分析にあたって、いきなりモデルの当てはめ
や確率計算（検定など）をするのではなく、可視化
などで、データの性質をまず理解するのが重要
– 大規模なデータを分析する
データマイニングで再評価
されたアプローチ
32

33. 本日のお話の流れ
• はじめに
• 初級編
– 記述統計、層別分析、可視化など
• 中級編
– 検定、相関、回帰など
• 上級編
– テキストマイニング、機械学習など
• デモ
– 層別分析、テキストマイニング（時間があれば）
• おわりに
33

34. 推測統計
• 記述統計
– 手許にあるデータの性質に関心
↓
• 推測統計
– 手許にあるデータの背後にある、より大きなデータ
の性質に関心
– 手許のデータから得られた分析結果を（統計的に）
一般化できるか？
– つまり、手許のデータ分析結果は「たまたま」「偶
然に」「誤差の範囲で」得られたものではないもの
ではない、ということを確認したい
34

35. 検定
• t検定
– 2つのデータに対する平均値の差の分析
• クラスAとクラスBの平均点の差を調べて、その差が統計的
に意味のあるものか？（＝誤差の範囲ではないと言えるもの
か？）
• 同じ集団が受けた事前テストと事後テストの平均点の差を調
べて、その差が統計的に意味のあるものか？（＝誤差の範囲
ではないと言えるものか）
etc.
– 3つ以上のデータを比較したい場合は、別の検定
– 平均値以外の値を比較したい場合も、別の検定
35

36. • データの例
– 事前テスト事後テストの点数
36
student pre post
S001 78 95
S002 76 69
S003 79 72
S004 62 75
S005 56 70
… … …

37. • 可視化
– スパケティ・プロット（個別推移図）、箱ひげ図
37
test
score
50
60
70
80
90
pre post
点数の上がった学生が多い 事後テストの点数の方が高い

38. • 事前テストと事後テストの点数の差を統計的に
意味のある差とみなせるか？
– t検定（対応あり）を実行すると、誤差とみなせない
程度の差があることが分かる
38
Paired t-test
t = -4.9628, df = 29, p-value = 2.813e-05
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
-10.026024 -4.173976
sample estimates:
mean of the differences
-7.1
「なぜ」点数が上がったのかは、別途考察が必要

39. 相関
• 相関分析
– 複数の値がどの程度の強さで相互に関係しているか
を分析する手法
• 正の相関：（例）「気温」が上がると、「アイスクリームの
売上」が上がる
• 負の相関：（例）「気温」が下がると、「ホッカイロの売
上」が上がる
• 無相関：2つの値の変化に関連性が見られない
– 相関係数
• 相関の強さ（相互に関連している度合いの強さ）を表す数値
• -1から1までの値をとり、負の値は負の相関、正の値は正の
相関、0は無相関
• 複数の相関係数が存在（分析データに応じて、使い分ける）
39

40. – 相関係数を解釈する1つの目安（あくまで1つの目安）
• 0.0～0.2：ほとんど相関なし
• 0.2～0.4：弱い相関あり
• 0.4～0.7：比較的強い相関あり
• 0.7～1.0：強い相関あり 40

41. • データの例
– 中間テストと期末テストの点数（量的データ）
• mid: 中間テストの点数
• end: 期末テストの点数
41
student mid end
S001 86 99
S002 96 82
S003 52 77
S004 72 47
… … …

42. • Pearsonの積率相関係数（量的データに使用）
– 中間テストと期末テストの点数の相関は、0.62
– 比較的強い相関
42

43. • データの例
– アンケートの回答（質的データ）
• suki: 科目の好き嫌い
• manzoku: 授業の満足度
• rikai: 授業の理解度
43
student suki manzoku rikai
S001 5 5 5
S002 3 5 5
S003 5 2 3
S004 4 3 4
… … … …

44. 44
• Spearmanの順位相関係数（質的データに使用）
– 3つ以上の相関を求める場合は、相関行列（以下）の
形式で表示
suki manzoku rikai
suki 1.00
manzoku 0.18 1.00
rikai 0.50 0.52 1.00
• 好き – 満足度：0.18（ほとんど相関なし）
• 好き – 理解度：0.50（比較的強い相関あり）
• 満足度 – 理解度：0.52（比較的強い相関あり）

45. 回帰
• 回帰分析
– 原因となる値（説明変数、予測変数）と結果となる
値（目的変数、結果変数）との関係をモデリング
（数式化）する手法
– 手許のデータから作成した数式を用いて、未知の
データの値を予測
– 回帰分析の種類
• 線形回帰分析
• 非線形回帰分析
etc.
45

46. • 回帰式（線形単回帰分析）
– y = a + bx
• x が原因となる値、y が結果となる値
• a とb は、数学的に計算
46
20 30 40 50 60 70 80
20
40
60
80
中間試験
期末試験
切片 a
傾き b

47. • データの例
– 中間テストと期末テストの点数
• mid: 中間テストの点数
• end: 期末テストの点数
47
student mid end
S002 54 47
S003 73 65
S004 63 60
S005 44 62
S006 42 58
… … …
* S001は、
欠損データ

48. • 中間テストの点数から期末テストの点数を予測
– 線形単回帰分析
– end = 0.73 × mid + 14.51
– 期末テスト欠席者の点数の予測などに応用可能
48

49. • リーダビリティ
– 文章の読みやすさを測るための指標
– 英語圏で最も有名なものとしては、Flesch-Kincaid
Grade Level
– 分析対象のテキストをアメリカの何歳程度の子供が
理解できるかを推定
– 回帰分析（線形重回帰分析）の応用例
49

50. 本日のお話の流れ
• はじめに
• 初級編
– 記述統計、層別分析、可視化など
• 中級編
– 検定、相関、回帰など
• 上級編
– テキストマイニング、機械学習など
• デモ
– 層別分析、テキストマイニング（時間があれば）
• おわりに
50

51. テキストマイニング
• テキストマイニング
– テキスト（言語データ）を対象とするデータマイニ
ングの理論および技術の総称
– 大量のテキストを解析し、データの背後に潜む有益
な情報を探し出すことが目的
– 関連する用語
• Text Analytics
• Corpus Linguistics
• Natural Language
Processing
etc.
51

52. • データの例
– 授業評価アンケートの自由記述
• 100名分
• 授業の良かった点、悪かった点など
52
先生の熱意が感じられた点。
レポートのテーマが複数あるとよかったと思います。1つだけだと、どうして
も興味を持てない学生が出てきてしまいます。
締切まで余裕を持って、レポートのテーマをもう少し早く発表して頂きた
かったです。
いつもスライドのテンポが速いので、授業で使ったスライドをプリントとと
して配布してほしい。
レポートの書き方を丁寧に教えてもらえたのがよかった。卒論を書く際にも
役に立ちそう。
…

53. • 名詞の頻度集計（Top 20）
53

54. • 「教室」の用例検索（一部）
-------------------- 1 --------------------
授業 で 使っ て いる [ 教室 ] の WiFi が 弱く て
-------------------- 2 --------------------
。 試験 の とき に [ 教室 ]が 暑く て 、 問題
-------------------- 3 --------------------
て 、 うれしかっ た 。 [ 教室 ] の 時計 が いつも 数
-------------------- 4 --------------------
あり ませ ん 。 いつも [ 教室 ] が 寒い の は 、
-------------------- 5 --------------------
が いい と 思う 。 [ 教室 ] の 冷房 が 寒 すぎる
-------------------- 6 --------------------
に し て ほしい 。 [ 教室 ] が きれい で 、 涼しかっ
-------------------- 7 --------------------
に 入っ て から 、 [ 教室 ] が 暑く て つらかっ た
-------------------- 8 --------------------
弱め な の と 、 [ 教室 ] の 電源 が 少なめ な
54
教室のWi-Fi、温度、
電源などに問題があ
りそう

55. • 形容詞の頻度集計（Top 20）
55

56. • 「ほしい」の用例検索（一部）
-------------------- 1 --------------------
と として 配布 し て [ ほしい ] 。 レポート の 書き方 を
-------------------- 2 --------------------
速い ので 、 レジュメ が [ ほしい ] です 。 先生 の 話し方
-------------------- 3 --------------------
に も 質問 し て [ ほしい ] 。 試験 の とき に
-------------------- 4 --------------------
もっと 質問 を し て [ ほしい ] 。 特に なし 。 学生
-------------------- 5 --------------------
ので 、 どうにか し て [ ほしい ] 。 先生 の 話 が
-------------------- 6 --------------------
。 レジュメ に し て [ ほしい ] 。 教室 が きれい で
-------------------- 7 --------------------
で も 配布 し て [ ほしい ] です 。 授業 で 扱う
-------------------- 8 --------------------
座席 指定 を やめ て [ ほしい ] 。 その 日 の 気分
56
レジュメの配布、
学生への質問、
座席指定などに
関する要望

57. • 副詞の頻度集計（Top 20）
57

58. • 「もう少し」の用例検索（一部）
-------------------- 1 --------------------
、 レポート の テーマ を [ もう少し ] 早く 発表 し て 頂き
-------------------- 2 --------------------
締切 が 厳しい ので 、 [ もう少し ] 時間 を 長め にとって ほしかっ
-------------------- 3 --------------------
ほしかっ た 。 後期 は [ もう少し ] 余裕 を もっ た スケジュール
-------------------- 4 --------------------
回転 が 速い ので 、 [ もう少し ] ゆっくり だ と 理解 が
-------------------- 5 --------------------
た が 、 価格 が [ もう少し ] 安い と よかっ た です
-------------------- 6 --------------------
て つらかっ た です 。 [ もう少し ] 温度 を 下げ られ たら
-------------------- 7 --------------------
、 レポート の 字数 を [ もう少し ] 少なめ に し て 頂き
-------------------- 8 --------------------
字 が 小さい ので 、 [ もう少し ] 大きく 書い て 頂ける と
58
授業進度、板書などに
関する不満
「もっと」の用例
検索なども有効

59. 機械学習
• 機械学習
– 「訓練データ」もしくは「学習データ」と呼ばれる
データからの学習により自動で改善するコンピュー
ターアルゴリズムもしくはその研究領域
– 学習結果を用いて、何らかのタスクをこなす
– たとえば、過去のスパムメールを訓練データとして
用いて学習し、スパムフィルタリングというタスク
– 主なアルゴリズム
• 決定木
• ニューラルネットワーク
• ランダムフォレスト
etc.
59

60. • 決定木
– 機械学習のアルゴリズムの1つ
– 原因となる値（説明変数）と結果となる値（目的変
数）との関係を木構造で可視化
60

61. • データの例
– スパムフィルタリング
– メール（4601通）中の単語や記号の頻度を使用
61
make address all num3d our over remove internet order mail receive … type
0 0.64 0.64 0 0.32 0 0 0 0 0 0 … spam
0.21 0.28 0.5 0 0.14 0.28 0.21 0.07 0 0.94 0.21 … spam
0.06 0 0.71 0 1.23 0.19 0.19 0.12 0.64 0.25 0.38 … spam
… … … … … … … … … … … … …
0.3 0 0.3 0 0 0 0 0 0 0 0 …
non
spam
0.96 0 0 0 0.32 0 0 0 0 0 0 …
non
spam
0 0 0.65 0 0 0 0 0 0 0 0 …
non
spam
学習用の正解データ↑

62. • スパムフィルタリング（決定木）
62

63. テキストマイニング ＋ 機械学習
• 自動採点
– 学習者の作文（ライティング）や発話（スピーキン
グ）の中で使われている単語や文法項目の頻度を用
いて、作文や発話を自動評価
63

64. • データの例
– 日本人英語学習者1281人の発話 (NICT-JLE Corpus)
における63種類の言語項目の頻度、スピーキングテ
ストのスコア
64
SST level amplifiers
analytic
negations
causative
adverbial
subordinators
...
WH-relatives in
subject
position
1 0.00 0.00 0.00
...
0.00
1 0.00 0.00 0.00
...
0.00
1 0.00 0.00 0.00
...
0.00
2 0.29 0.00 0.00
...
0.00
2 0.00 2.78 0.00
...
0.00
... ... ... ...
...
...
9 0.85 1.56 0.57
...
0.21
9 0.32 2.00 0.56
...
0.08

65. • ランダムフォレスト
– 機械学習のアルゴリズムの1つ
– 大量の決定木を生成し、それら全ての決定木から得
られる結果の多数決によって、最終的な分類を行う
手法
65

66. • スピーキングテストのスコアの予測結果
– 9レベルの予測で、60.11%
66
1 2 3 4 5 6 7 8 9 Accuracy
1 0 3 0 0 0 0 0 0 0 0.00%
2 0 21 14 0 0 0 0 0 0 60.00%
3 0 2 145 74 1 0 0 0 0 65.32%
4 0 0 33 407 40 2 0 0 0 84.44%
5 0 0 0 102 119 14 1 0 0 50.42%
6 0 0 0 19 61 39 5 5 1 30.00%
7 0 0 0 1 21 24 21 9 1 27.27%
8 0 0 0 0 12 14 22 4 4 7.14%
9 0 0 0 0 1 5 14 6 14 35.00%
Total accuracy 60.11%

67. 本日のお話の流れ
• はじめに
• 初級編
– 記述統計、層別分析、可視化など
• 中級編
– 検定、相関、回帰など
• 上級編
– テキストマイニング、機械学習など
• デモ
– 層別分析、テキストマイニング（時間があれば）
• おわりに
67

68. • 成績データの層別分析（小林・濱田・水本,
2020, Ch.3）
• 授業評価アンケートのテキストマイニング
（小林, 2018, Ch.3）
68

69. 本日のお話の流れ
• はじめに
• 初級編
– 記述統計、層別分析、可視化など
• 中級編
– 検定、相関、回帰など
• 上級編
– テキストマイニング、機械学習など
• デモ
– 層別分析、テキストマイニング（時間があれば）
• おわりに
69

70. おわりに
• データ分析を行う際の注意点
– 適切なデータを用いる
• 分析の目的と異なる目的で集められたデータ、ノイズの多い
データからは正しい結果が得られない
– 適切な手法を用いる
• 統計手法が前提とする仮定に留意し、その手法に適した形式
でデータ集計を行う
– 適切な考察を行う
• データが数値で示していることと、分析者が推測しているこ
とを区別する
70

71. 主な参考文献
– 小林雄一郎 (2018). 『Rによるやさしいテキストマイ
ニング［活用事例編］』 オーム社.
– 小林雄一郎 (2019). 『ことばのデータサイエンス』
朝倉書店.
– 小林雄一郎 (2020). 「学習者コーパス研究と自動採
点」 石井雄隆・近藤悠介 (編)『英語教育における自
動採点―現状と課題』(pp. 73-93). ひつじ書房.
– 小林雄一郎・濱田彰・水本篤 (2020). 『Rによる教育
データ分析入門』 オーム社.
– Kobayashi, Y., & Abe, M. (2016). Automated scoring
of L2 spoken English with random forests. Journal of
Pan-Pacific Association of Applied Linguistics, 20(1),
55-73.
71

72. Thank you
for your time and attention
https://pixabay.com/ja/