再現可能性問題は心理学教育をどう変えるか？
•Descargar como PPTX, PDF•
2 recomendaciones•1,518 vistas
2018年度第1回基礎心理学会フォーラムの発表スライドです。
Recomendados
Más contenido relacionado
Similar a 再現可能性問題は心理学教育をどう変えるか？
Similar a 再現可能性問題は心理学教育をどう変えるか？ (17)
再現可能性問題は心理学教育をどう変えるか？
- 2. 再現可能性問題：おさらい
- 14. Median power = .25 ~ .46 For medium effect size
- 15. 註：Sterne & Smith, (2001), Table 3 の一部を改変して引用 ?
- 25. 再現可能性どう教える？ 1. 教科書信用しちゃだめよ (´_ゝ｀) だけ ではなくて… 2. 科学リテラシー教育としての再現可 能性問題！ 3. 心理学基礎教育としての再 現可能性問題！！ 4.就活にも役立つ再現 可能性問題！！！
- 30. クリティカル・シンキング ■ 第１段階：議論の骨格を明確にする ■ 第２段階：情報をはっきりさせる ■ 第３段階：議論を評価する 山田・林 (2011) 大学生のためのリサーチリテラシー入門. 第５章
- 31. 議論を評価する ■ 事実と意見の区別 ■ 歪曲された証拠に注意する – 図表に嘘はないか？ – 参加者は適切に選ばれているか？ – 指標は妥当か？ – 少数事例の過度の一般化 – 疑似相関を見抜く – 相関関係と因果関係を混同しない 山田・林 (2011) 大学生のためのリサーチリテラシー入門. 第５章
- 32. 再現可能性リテラシー？ 「大事なことは、書き手の『意図』を 見抜くことです。… 情報の中身から一 歩引いた地点からその情報を眺めてみ ることで、情報に振り回されないよう になるのです。」 山田・林 (2011) 大学生のためのリサーチリテラシー入門. p.124 Publish or Perishという「意図」を見抜 いて、再現可能性の低い報告に振り回 されないようにする。
- 33. 科学リテラシー教育として の再現可能性問題 ■ とはいえ初年次春からは難しい (僕 もやってません)。 ■ 統計・研究法の基礎知識を学ぶ時/学 んだ後に導入すべき。 ■ 多重比較・検定力・第一種の過誤な どは、１・２年次の統計や研究法関 連科目で教える内容。
- 38. 再現可能性に関係する箇所 1. V：統計的仮説検定って何だろう 2. コラム５： 有意は偉い？ 3. コラム６： t 検定でやってはいけないこ と 4. VIII：心理統計に関するちょっといい 話・２：検定に関する注意点 5. VIII：心理統計に関するちょっといい 話・５：臨床心理学と統計② (メタ分析) 6. コラム８：検定力の求め方 山田・村井 (2004) よくわかる心理統計.
- 39. 「V：統計的仮説検定って 何だろう」 ■ 探索的研究と確証的研究 (追試含む) の区 別を紹介して欲しい。 ■ 確証的研究でなければ統計検定は意味が ない (多重比較を統制できないため) とい う指摘が欲しい。 ■ 「確証的研究では仮説を事前登録するの がベスト」と指摘して欲しい。 山田・村井 (2004) よくわかる心理統計.
- 40. 「コラム５： 有意は偉い？」 ■ File drawer 問題に言及。 ■ さらに一歩踏み込んで、出版バイア スと、その結果としての p hacking etc. と再現可能性問題にも触れて欲 しい。 山田・村井 (2004) よくわかる心理統計. pp.142-143.
- 41. 「コラム６：t 検定でやって はいけないこと」 ■ 修正せずに多重比較を行うとType I error が増えることを説明。 ■ さらに一歩踏み込んで、確証的研究 と事前登録制度、追試研究の重要性 にも触れて欲しい。 山田・村井 (2004) よくわかる心理統計. pp.158-161
- 42. 「VIII ：心理統計に関するちょっ といい話・２：検定に関する注意 点」 ■ 効果量を見る重要性や、p 値の大き さの意義を説明。 ■ さらに一歩踏み込んで、p 値の分布 や p Curve 分析を紹介して欲しい。 山田・村井 (2004) よくわかる心理統計. pp.158-161
- 43. 「VIII：心理統計に関するちょっと いい話・５：臨床心理学と統計② (メタ分析)」 ■ メタ分析の問題点として、File drawer 問題を再度指摘。 ■ やはりさらに一歩踏み込んで、出版 バイアス問題と追試の重要性に触れ て欲しい。 山田・村井 (2004) よくわかる心理統計. pp.222-223
- 44. 「コラム８：検定力の求め方」 ■ G*Power まで紹介。 ■ サンプルサイズ設計とその事前登録 の重要性についても触れて欲しい。 山田・村井 (2004) よくわかる心理統計. pp.224-227
- 46. 基礎実験的な科目でも… ■ 確証的か探索的かを考える。 ■ 事前登録制度を体験してみる。 – OSF etc. の日本語マニュアル必要 ■ p Hacking を体験してみる… etc. ■ 批判的な実験遂行を習得可能。
- 48. Frank & Saxe (2012) の提案 ■ 最新の知見を追試。学生も興味を持 ちやすい。 ■ 本気の追試なら学生も本気になる。 ■ 批判的な論文読解・情報取得が可能 になる。
- 49. Frank & Saxe (2012) の Q&A ■ 学生にできる？ – できる。グループ作業で N も稼げる。当然 頻繁な教員のチェックは必要。 ■ まともな追試になる？ – なるのもある。経験では半数くらい。 ■ コストがかからないか？ – ほとんどない。教育時間だけ。 ■ なぜオリジナル研究ではないの？ – デザインの段階を飛ばせるため、半期授業で も可能になる。
- 50. 前半のまとめ ■ 再現可能性問題を心理学の基礎教育 として教えれば… ■ 科学リテラシーの基礎 (情報の批判 的読解) を、心理学の文脈で、理 論・実践の両側面から、理解・習得 できる。 ■ 現行の科目内での少しの修正で十分 対応可能。
- 51. 就活に役立つ再現可能性問題
- 53. 検定力を手に入れるため… ■ ９ラボで協力 (N=334) ■ 各ラボで N=40 を事前計画。 ■ ERP 研究なので、たぶん各ラボはこ れくらいが適度 (限界？)。 ■ ラボ間コーディネートが大変そう… ■ リーダーシップが要求される。
- 55. 心理・学部教育の問題点 ■ (うまくいけば) 実験計画・遂行、 データ解析、プレゼン、論文執筆能 力などのスキルは身に着けられる。 ■ (うまくいっても) 組織を動かすよう な経験はまず手に入らない。
- 56. 卒論/修論追試ネットワーク ■ 各ラボの学生が主導して大規模追試 プロジェクトを実施。 ■ マテリアル・方法をクラウドで共有。 ■ 各ラボでデータ取得。 ■ 高い検定力で安定した追試を実施。 ■ クラウド参加者に頼らなくて済む。
- 60. 追試ネット：アイデア概観 ■ 追試できて面白そうなネタを教員・学生 で相談して決める。 ■ 進行は Slack/Discord で。教員が常時確認 できる。 ■ ラボ間で追試ネタリストを共有。各ラボ で担当学生を割り振る。 ■ マテリアル・スクリプト等はクラウドで 共有。プレレジする。 ■ 相互協力：データを提供し合う。 ■ 分析・論文化は主任の学生が行う。分析 の再現可能性も当然重視。
- 61. 和文誌にも追試枠が必要？ ■ 英文は無理。 ■ 学生目線からは卒論が雑誌に載るインパ クトはでかいだろう。 ■ 科学リテラシー教育として極めて効果的。 ■ 検定力分析を含む事前登録、データ・マ テリアル・コードの公開などを掲載条件 とすべき。 ■ 卒論だと事前審査付きは難しい。
- 63. 後半のまとめ ■ 大規模追試を心理学の卒業/修士論文とし て実行させれば… ■ 組織運営の経験から、リーダーシップス キル育成が可能。 ■ 就活でポートフォリオ的に自慢できる (か も)。 ■ 研究業界も追試データが手に入る。 ■ プラットフォームの整備が必要。
- 65. おわり