20121125@Japan_BLS_Association

1. 魅惑の戦略的アンケート研究会（仮称）@日本BLS協会
アンケートを作ろう
2012/11/25(Sun)
廣江 貴則
早稲田大学理工学術院 創造理工
t-hiroe@umin.ac.jp
http://www.thiroe.net
1

2. 今日の方向性
• 一度立ち止まって，知識を再構築
‣ 基本的なところは皆知っているらしい
• 白紙からアンケートを作ってみる
• 他者の作成したアンケートの評価
• アンケート改善のためのアドバイス
2

3. 出口
• 仮説に応じたアンケート設計ができる
• 自ら立てた問いに対する回答として，
適切な尺度や記述方法を選択できる
• 回答者の視点で評価・検証できる
✓ 「会場の出口(非常口)」は青木さんに。
3

4. とりあえず２組に
• 自己紹介（くらいはしておかないと…）
• ２組にわかれてください
• みんなで考える
• 午後はグループ作業
• ID/ISDこわい
4

5. ちょっと立ちどまる
5

6. なぜアンケートをやるのか
6

7. • 知りたいことがある
• 講習会や講義の効果を測りたい
• 問題点を抽出して，改善したい
• (回答者が)どんな考えなのか知りたい
• 学会発表のため
• ボスの命令/押し付けられた
7

8. 知りたいことを ねる
• 知りたいことを ねないと意味がない
• でも…
8

9. これはアンケート？
9

10. アンケートの質
• 目的によって欲しい結果は異なる
- （こういうことを言うから一部で異端扱いされるらしい）
‣ 授業改善のためのアンケート
‣ 学会発表/論文のためのアンケート
‣ 予算をとるためのアンケート
10

11. ちなみに…
• アンケートはinvisibleなもの
• 論文で調査に使ったアンケート(全文)を
見たことは(ほぼ)ないはず
• 最近は査読者に統計家が入ってはいるが
質問項目についてはほとんど手つかず
11

12. 今日扱うアンケート
• 「改善のためのアンケート」に近い
‣ 知りたいことを ねる
‣ 答えてほしい人に答えてもらう
‣ 嘘なく答えてもらう
12

13. 攻めの調査と守りの調査
•仮説検証型調査 •仮説生成型調査
‣ 攻めの調査 ‣ (どちらかといえば)
守りの調査
‣ 仮説をたてる
‣ 仮説の設定は不要
‣ 仮説の検証
‣ 実態把握が主目的
‣ 仮説は直感でもよい
(先行研究でもよい) ‣ 二次調査が要る場合も
13

14. 今日は仮説検証型で
• 仮説によって質問項目が絞れる
• 「暗黙の仮説」をあえて意識する
• 一般的なアンケートの多くは仮説検証型
- (今回は全数調査を前提にします)
14

15. アンケートの設計プロセス
15

16. 1.調査テーマと目的の設定
2.調査タイトルの決定
3.仮説設定
4.制約条件の確認（時期，予算，倫理）
5.調査対象者，データ収集法決定
6.アンケート(質問紙)設計，検討，実施
16

17. 出所： “質問紙法による本調査実施までの各プロセスの関連性”, 鈴木淳子(2011)
17

18. テーマと目的の明確化
• テーマは(少なくとも)同じ分野の人に
説明したときに，理解してもらえるか
どうかを基準とするとよい
• テーマや目的が明確でない場合，一度の
調査で欲張りすぎる事例が散見される
18

19. レイアウトの検討
19

20. 忘れずにやっておきたい
• 倫理的配慮に関する記述
• 質問項目に付番する(通し番号)
• 回答方法(番号，単語に○など)の統一
• 回答の進行指示(スキップする場合など)
• 重要部分の強調(下線，太字など）
20

21. ほかに注意すべき
レイアウト上の問題は？
21

22. まだいろいろある
• 回答者の立場でみると分かることが多い
✓ 括弧（ ）の大きさ
✓ 文字のサイズ
✓ 行間，余白
✓ 専門用語や外来語の使用
22

23. 質問項目の検討
23

24. デモグラフィック項目
• 性別，年齢，職業，職種，年収，etc.
• どんな調査にも含まれる
• 分析の基礎となる極めて重要な情報
• 質問の仕方によっては答えてもらえない
• 不必要な項目は聞かない方が得策
24

25. デモグラフィック項目は
アンケート用紙の
最初 or 最後 どっち？
25

26. 最初
• 歴史的には「最初」(Face Sheet)
• 重要な情報は最初に集めておきたい
‣ 最初に置けば，忘れられることはほぼない
• 最初の段階で警戒され，その後の質問に
正直に回答してもらえないリスクも
26

27. 最後
• 近年の一般的な傾向（鈴木ら，2011）
✓ 「最後にあなた自身について伺います」
✓ 「回答を分析するために必要な項目です」
• 集中力が切れて適当になる，忘れられる
といったリスクがある
27

28. 最初 or 最後 ふたたび
• あくまでもひとつの考え方として…
✓ プライバシーの問題がなければ最初も可
✓ 他人に知られたくない質問をする場合は
最後にすることが望ましい
‣ (収入などは)回答に幅をもたせる方法も
28

29. 選択式回答法の検討
29

30. 選択式回答法の
長所と短所を考える
30

31. 選択式回答法の長所と短所
• 長所 • 短所
‣ 回答が簡単 ‣ 選択肢設定が難しい
‣ 全員が共通の枠組み ✓ 選択肢以外に選べない
で回答してくれる ✓ バイアスが生じやすい
‣ 数値/コード化可能 ‣ 無回答の場合の解釈
が難しい
‣ 統計分析がしやすい
‣ 意図的無回答 or 忘れ
31

32. 選択式回答法の形式
32

33. 選択式回答法
• 二項選択法・Filter Question
• 多項選択法(択一/複数選択/限定選択)
• 順位法(完全順位法/一部順位法)
• 恒常和法
• Likert Scale
33

34. 二項選択法
• 二択（２つにしか分類できないもの）
• ２つの対立するカテゴリーを選択肢に
• Filter Questionにむいている
• 嗜好や態度を把握するには限界がある
‣ e.g. アボカドは好きですか？ − 好き or 嫌い
34

35. Filter Question
• 回答者を分類するための質問
• 必要な人にだけ質問に答えてもらう
‣ 適当な回答，嘘の回答を防ぐ
❖ 【質問1】あなたは新聞を読みますか？
【質問2】1で「はい」の方にお尋ねします．
1日に何分くらい新聞を読みますか？
35

36. 多項選択法
• 3つ以上の選択肢を用いる
• 複数の選択肢から1つ，または複数選択
‣ 大きく分類して3種類の方法がある
• 選択肢が増えて，情報に現実味が増す
• 全ての選択肢を検討させる工夫が必要
36

37. 多項選択法；択一式(SA)
• 複数の選択肢の中から１つだけ選択
• 「好き・嫌い・どちらでもない」が一例
• 回答しやすく，無回答も防げる
• 得られる情報は限定的
37

38. 多項選択法；複数選択(MA)
• 複数の選択肢の中から該当するものを全て選択
• 選択肢の数や配置が極めて重要になる
‣ 両極選択バイアス（最初 or 最後が多い）
• 重要な肢以外も「とりあえず」選ぶ恐れ
• 最も重要なものに特別な印をつける方法もある
38

39. 多項選択法；限定選択(LA)
• 複数の選択肢から指定された数だけ(まで)選ぶ
‣ 指定された数だけ必ず選ぶ場合(3つ選ぶ）
‣ 選択可能な上限を指定する場合(3つまで）
• 不適当な回答を無理に選ぶ可能性がある
• 制限数は全選択肢の1/3程度(酒井, 2001)
39

40. 順位法
• 複数の項目について順位をつける
• 回答も分析も面倒(Friedman test)
• 項目数は3∼7程度(Mangione, 1995)
• 完全順位法と一部順位法
40

41. 完全順位法と一部順位法
• 完全順位法
‣ 全選択肢について，順位付けを行う
• 一部順位法
‣ 順位付けする項目数を限定する
e.g. 以下の7項目から重要だと思うものを3つ
選び，1位から3位まで順位をつけてください
41

42. 恒常和法
• 順位＋項目間の重要性の違いを測る
• 全項目に100% or 100点を与えて分配
• 分析が面倒
(Conjoint Analysis/重回帰分析)
42

43. 恒常和法の具体例
• 宝くじが当たったら何に使いますか？ 合計が
100%になるように，空欄に記入してください
1. 貯金 （ ）%
2. 旅行 （ ）%
3. 買い物 （ ）%
4. 投資 （ ）%
5. その他 （ ）%
合計：100%
43

44. Likert Scale(1/4)
• リッカート尺度(Rensis Likert, 1932)
‣ 例のアレ
‣ 評定法の一種(他には一対比較など)
‣ 尺度間の間隔が等しいと仮定
‣ 統計的処理が比較的容易だが…
44

45. Likert Scale(2/4)
• 評定段階は3∼9の奇数段階が多用される
• 段階が細かすぎると，回答も比較も困難
‣ 9段階尺度の回答の再現性は高くない(小嶋, 1975)
• 中間選択肢を抜いて偶数にすることも
‣ 強制選択尺度(Forced-choice Scale)
45

46. Likert Scale(3/4)
• 質問項目が多い場合は表形式にすることも検討
46

47. Likert Scale(4/4)
• 言葉で段階を示す場合は明確にする
「非常に」「まったく」「かなり」
「やや」「まあ」「どちらかといえば」
「あまり」「ほとんど」「ぜんぜん」
47

48. 中間選択肢はどんなときに
使う/使わないのか
※ 参考：日本人に対する調査では，中心化傾向(中間選択肢を選ぶ傾向)が極めて強い
48

49. 中間選択肢
• 使う場合 • 使わない場合
‣ 複雑な問題について ‣ ほとんどの全ての
質問をする場合 回答者が何らかの
明確な意見を持って
‣ 中間選択肢を選ぶ
いたり，経験して
という仮説の場合
いる場合
‣ どうしてもどちらか
選んでほしい場合
49

50. 都合のよい評価
• ５段階尺度 ‣ 結果を述べる
- 赤で示した項目が
非常によい 「よい」に該当
とてもよい - 尺度としては妥当では
ないが，こういった
まあよい
使われ方も少なくない
あまりよくない (悪いとは言わない)
全くよくない
50

51. 自由回答法の検討
(自由記述)
51

52. 自由回答法の
長所と短所を考える
52

53. 自由回答法の長所と短所
• 長所 • 短所
‣ 選択肢の制限がなく ‣ 回答に時間を要する
自由に回答可能
‣ 無回答が多い
‣ 回答の幅が広い
‣ 質問と無関係の回答
✓ 多様なデータが集まる
✓ 方向性を定めにくく，
‣ 事前の予想を超える 言いたい放題になる
回答が得られる ✓ 質問設計上の困難さ
53

54. 自由回答法の
欠点をカバーする
54

55. Specific open question
• 限定的記述質問
• 事実，行動，嗜好などの情報に対する質問
• 単語または１行程度，回答スペースも用意
あなたの好きな果物を３つまで挙げてください
（ ）（ ）（ ）
55

56. Sentence completion question
• 文章完成型質問
• 文頭だけ提示して文章を完成させる
• 記述内容について誘導できる
このWSで最も印象に残った話は である
このWSの改善点は である
56

57. Short-answer question
• 短文/単語回答型質問
• どんな回答が得られるか予想できない場合
• 短い言葉で答えられる質問設計
今年のクリスマスを楽しく過ごすためにあなたが
最も重要だと考えることは何ですか．
分からない方は「分からない」とご記入ください．
57

58. 頻度に関して
• 回数や期間，頻度を ねる場合，選択式
ではなく回答欄を作成して自由記述式に
する方がよい
- 回答者によって幅がありすぎる
- すべての選択肢を準備できない恐れ
58

59. バイアスの検討
59

60. 主なバイアス(質問側)
• 価値判断を含む質問
• 同調圧力・Yes-tendency
• Halo effect
• 隠れた前提のある質問
• Double-barreled question
60

61. 価値判断を含む質問
• 語尾に価値判断を含むと誘導
‣ 「∼すべきだと思いませんか」
‣ 「∼に困っていませんか」
- 回答者に明確な意見がない場合，
強い影響を与える
61

62. 同調圧力
• 社会的(同調)圧力を伴うと誘導
‣ 一般に言われる/社会問題化している
- e.g.
近年，政治離れによる投票率の低下が社会問題に
なっています．あなたは次回の衆議院議員選挙で
投票に行きますか．(行く・行かない・未定)
62

63. Yes-tendency
• 「いいえ」よりも「はい」を選ぶ
• 知識の有無を問う際に顕著(山田, 2010)
‣ 「知らないことは恥ずかしい」
• 同じ種類の質問を反復しても生じる
63

64. 賛成？反対？
• 「あなたは○○に賛成ですか」
‣ 「賛成」に誘導される傾向
• 「あなたは に反対ですか」
‣ 「反対」に誘導される傾向
✓ 「賛成ですか、それとも反対ですか」
64

65. Halo effect
• 影響力が強い人名や組織，職業が回答を
誘導( ら, 1987)
‣ 「○○学の専門家である□□教授」
‣ 「△△学会の専門委員会」
• 権威に対して同調する(逆もある)
65

66. 隠れた前提がある質問
• あなたは新聞を一日何分くらい読みますか
‣ 「新聞を読んでいる」という暗黙の前提
‣ 質問者の感覚 ≠ 回答者の実態
‣ 読まない人が0分と書くかどうか分からない
‣ Filter Questionで「読まない」人を排除
66

67. Double-barreled question
• 二重質問
• 1つの質問に2つ以上の異なる論点
• 専門家もやる，頻度の高いミス(Azzara, 2010)
• 選択肢を増やすか，質問を分割して対処
• 論点並列型と論点従属型
67

68. 二重質問の具体例
• 論点並列型
‣ 「∼や∼」，「もしくは」で接続される
- 「FacebookやTwitterを利用していますか」
• 論点従属型
‣ 一方がもう一方に従属
- 「ダイエットのために運動していますか」
68

69. 嘘の回答と
回答バイアス
69

70. 嘘の回答を招きやすい質問
• 倫理・道徳に関する質問
‣ 社会規範や一般に正義とされる話題
• プライバシーに関わる質問
• 調査者が期待している回答が明らかな質問
‣ 授業・講習会後の評価
70

71. 主な回答バイアス
• 両極選択バイアス
• 社会的望ましさバイアス
• 中間回答バイアス
• 記憶バイアス(記憶効果)
• 極端反応バイアス
71

72. 両極選択バイアス
• 選択肢が多い場合に生じる
• 最初か最後の選択肢を選ぶ傾向
• 面倒になって全てに目を通さない
• 項目数の見直し，グループ化で対処
‣ 多項選択では，多くても8∼10項目
72

73. 社会的望ましさバイアス
• 社会的に受け入れられやすい内容の回答
• 調査者が期待していると思う回答
‣ 授業・講習会後の評価によくある
‣ 改善目的のアンケートでは致命的
73

74. 中間回答バイアス
• 評定法を用いる場合に生じる
• 中心化傾向(中間選択肢を選ぶ)
• 日本人に対する調査では非常に多い
• 可能なら偶数の評定段階を用いる
74

75. 記憶バイアス(記憶効果)
• 過去の出来事や行動についての質問
• 時期(X年前)もなかなか思い出せない
• 記憶質問に対する回答の信頼性は低い
(直井, 1998)
• 結果は参考程度にとどめる必要がある
75

76. 極端反応バイアス
• (たとえば5段階尺度で)両極の選択肢
ばかりを選ぶ傾向
• 回答者個人の傾向
• アンケート設計者は悪くない
• 回答は集計の対象外にしたほうがよい
76

77. 質問順序と構成の検討
77

78. 検討のポイント
• 合計質問数
• 重要な質問・デモグラフィック項目の位置
• 事実・行動 — 意見・意識・態度
• 簡単な質問 — 難しい質問
• 一般的な質問 — 個別の質問
• 選択式 — 自由回答式
• 総合評価 — 個別評価
78

79. 質問順序と構成
• 様々な考え方があり，一定の解はない
• 関連するテーマはまとめる
‣ 次の質問に影響を与える場合は要注意
• 重要な質問は中間付近に配置
• 尺度項目が30を超えると回答が適当に
(Dornyei, 2003)
79

80. 第二部
実際に作ってみる
80

81. 第三部
アンケート検討会
81