Doing Bayesian Data Analysisのchapter18説明です。

1. CHAPTER 18 : Metric Predicted Variable with One Nominal Predictor
近藤康一朗
DBDA勉強会

2. 18.INTRODUCTION

3. Poem? 18 INTRODUCTION
繰り返し検定が行われることによって、偶然、帰無仮説が却下される可能性は、近親相姦の噂を育て
る。
多重t-検定でうわさの発生源をしつこく探し出す。
調査を以って吠えれば、１みじめな犬は逃げ出す。
ああ、Baysian oneway ANOVAをしておくべきだった。

4. 章の目的 18 INTRODUCTION
被説明変数（連続数）を名義尺度の説明変数で予測していく。
・体重の減尐をどのダイエット方法（low-carb,vegetarian,low-fat）が貢献する。
・精神異常の激しさを服用している抗精神病薬で予測する。
・収入を支持政党から予測する。
⇒ANOVAの出番。

5. 分散分析について 18 INTRODUCTION
・全データの分散（下図左）は2つのパーツに分けられる。
1.名義尺度内の分散
2.名義尺度間の分散
名義尺度ごとの分散：variance within
⇒ノイズ又はエラーとして捉えられる。
名義尺度間の分散：variance between
⇒説明変数のeffectとして捉えられる。
Variance between/variance within = F ratio(ベイジアンのアプローチではほぼF値には触れない）

6. 18.1 Bayesian Oneway ANOVA

7. 名義尺度変数による予測の基本 18.1 Bayesian Oneway ANOVA
14.1.6.1に書いてあるよー。
【ポイント】
・変数は1,0のフラグでベクトル記述するよー。⇒”one way”
・被説明変数はベースラインとベクトルの内積の和で表すよ―。 (18.1)
・各係数の和は0になるよー。(18.2)
・Yi ~ N(μi,τ)、即ち正規分布に従う。ただし異常値がる分布に対しては、t分布を代用。

8. 18.1.1 The Hierarchical Prior（１） 18.1 Bayesian Oneway ANOVA
・βjの平均値は、0。(全部足したら0だから)
・τβはあらかじめ決めたり、一定にすることは出来ない。
⇒xによる振れが小さければτβは大きくなり、他のβjも小さく見積もられる。

9. 18.1.1 The Hierarchical Prior（2） 18.1 Bayesian Oneway ANOVA
・τ=1/σ^2、σは片側t分布に従う。（＞0のため）
・γ分布で検定することも多いが、現実は結構noise値は荒れるので、0に寄っているγ分布ではなく、t分布にし
ている。
・yの分散については、一様分布を仮定する。（folded-t検定よりも直観的にわかりやすい、このレベルであれ
ばβの標準偏差に大きな影響を与えない。)

10. 18.1.1.1 Homogeneity of Variance 18.1 Bayesian Oneway ANOVA
・モデルでは、全てのxに対して、同じ分散を仮定している。
⇒republicans,democrats,libertarians,greens達のグループ間の収入のばらつきは同じだと仮定する。
・等分散性の仮定は、2つの前提に基づいている。
1.ANOVAを線形回帰の一種だとして扱う。
2.等分散の前提は、F分布への誘導を簡単にする。
ただ、BANOVAにおいては、等分散の仮定を求めることはない。
BANOVAはそれぞれのxごとに異なる分散を仮定する。
超事前分布は、全てのxに関わるτjの分布を表現している。

11. 18.1.2 Doing It with R and BUGS 18.1 Bayesian Oneway ANOVA
NxLvl:説明変数の水準数
Ntotal:観測のトータル数
Yをμとτに従う正規分布と定義。μ＝a0+a[x[i]]
Bugsモデルでは、Σβ=0の条件は特に出てこない。
Baselineはa0、各係数はa[j]と置かれている。
・パラメータはb[j]=a[j]-mean(a)にして無理矢理条件式に従わせる。※その代わりに
baaseline:b0=a0+mean(a)
・オーダーの違いを考慮しないために16.1式に従って、yを標準化する。
・aSDに、0.1の定数を加えることで、0に近づくことを避けている。
⇒尐数、多グループの場合、縮小が強くなる。CHAP19で大問題。
・結論として、このケースでのMCMCサンプリングは極めて非効率。
初期値の影響を効率的に省く（burn-in timeを短く）には初期値をいい位置に調整するしかない。
⇒データ平均をbaselineに置き、各レベルのdeflectionをレベル平均-全体平均に置く。（初期値）
・あと、このモデルは自己相関がとても高い
⇒粒度をかなり細かくするかだけど・・・お勧めできないなぁ。
あとは、a[1]をa[2]~a[NxLvl]の負の総和に設定してしまう⇒ Σβ=0の条件を守る。
でもそうすると、τがものすごく大きくなるパターンが出てくるよね。⇒hyperprior使うならやめたほ
うが・・・。

12. 18.1.3 A Worked example 18.1 Bayesian Oneway ANOVA
・地理的な要素（天気や日光の影響）がムラサキガイの筋肉のサイズに影響を与えるのか検証。
(1)Tillamook,Oregon(2)Newport,Oregon(3)Petersburg,Alaska(4)Magadan,Russia(5)Tvarminne,Finland
・内転筋とトータルの筋肉の長さの比率は5～15％に収まるが、この比率を被説明変数とする。
【Bugsによる結果】
①全てのグループの分散は、同じ事前分布から導き出される。
このため、分布各βの平均は、実際のものよりも尐し小さい。
②全てのグループで等分散を仮定している。（分散がバラバラだと結果が大きく歪むため）
③各βの違いは、グループ間の違いを示しているものではない。（各β間に相関があるため・・・Σβ＝0）
各β間は負の相関があり、あるパラメータが大きくなると、他のものが小さくなる。基本的にbaselineの近
くに。
各βの
分布

13. 18.1.3.1 Contrasts and Complex Comparison 18.1 Bayesian Oneway ANOVA
・例えば太平洋グループの4つの平均を足して、4で割ったものから、非太平洋グループの数値を引く。
（係数の合計がゼロになるように平均を足す）これをcontrastと呼ぶ。
・2つのグループの差異の代わりに、まとまったグループ平均と差異を比較するとき、complex comparisonと
呼ばれる。
また、この際に付けられる変数名をcontrast coefficientsと呼ぶ。
MCMCの各ステップでこの差異を計算し、結果の分布をみる。
各β平均の比較

14. 18.1.3.1 Contrasts and Complex Comparison
一番下、二番目の分布⇒フィンランドとその他地方の対比。
・95％HDIに0が含まれていない（３．６%）。
ただし、これらの結果から、フィンランドの環境は他の環境に比べ、筋肉の成長に影響を与えるという
結論が
言いたいのではない。
これは、HDIとROPEをどう設計するかに依存する。
それにかかわらず尐なくとも最も信頼出来る差異とその差異の不確実性はわかる。

15. 18.1.3.1 Contrasts and Complex Comparison 18.1 Bayesian Oneway ANOVA
・2行目1列目、左側１番大きい筋肉群と、それ以外の3つの比較。
⇒昔の手法でいう[post hoc]。元々検証したいグループではない。becauseデータを集めてみるまでbiggest不明。
・2行目2列目オレゴン同士の比較
・3列目アラスカとオレゴンの２地域の平均
事後分布は、比較の回数によって変わることはない（差の分布を検定するだけ）から、検証力を気にしなく
ていい。
NHSTだと、false alarmが問題化してしまう。
幸いにも、変数同士がお互いに影響しあうため、異常値の影響は和らげられる。
この作用は、NHSTの繰り返しによる“補正“によく似ている。
各β平
均の比
較
Ch17.2
Ch11.4

16. 18.1.3.2 Is There Difference? 18.1 Bayesian Oneway ANOVA
・contrastやcomlexのcomparisonは、HDIでグループ間の平均差異を判定してくれる。
・もうひとつ、事前分布に帰無仮説と代替仮説を仮定して、ベイズファクターで判定する方法もある。
-モデル比較によって、事後確率の高い方を選べること。（よりよいモデルの選択）
-数学的に確からしい分布を当てはめることが出来る（議論なしで）
・ただ、この2つの事前分布モデルのベイズファクター検定はもっと注意して扱われるべきだ。
-比較されるグループ間の差異がほとんどないと考えられる場合（帰無仮説）
-違いを表すもっともらしい事前分布が存在している場合（代替仮説）
・Solari,Liseo,Sunのトマトの酸っぱさを9グループに分けて測定。
帰無仮説に基づいたモデルでは、他モデルはすべて変わらないという結論になった。
代替仮説の事前分布では、グループ3の平均が他グループと異なるという結論になった。
ベイズファクターでは、代替仮説の事前分布を強く支持した。
⇒しかし、これは代替仮説を支持しているわけではない。
「9つが同じ平均」よりも「8つが同じ平均で、group3だけ違う」を支持するだけ。
そもそも8つのグループの平均が同じというのがおかしい。
•・complex comparisonを実施した結果、group3は
明らかに異なる平均を持つ（0より大きい）。
⇒ベイズファクターの検討ナシで決定出来る。

17. 18.2 Multiple Comparison

18. 18.2 Multiple Comparison 18.2 MULTIPLE COMPARISON
・帰無仮説による比較を異なる複数のグループ間で行う際に問題となるのは、やればやるほど検出力が下が
ること。
・ムラサキガイのデータで例えてみると・・・
ロシアとフィンランドの2群間の平均の差異は確かに有意（t=2.53,p=0.028)
ただし、TurkeyのHSD検定で見ると、有意ではなくなる。
（ Turkey検定の詳細はhttp://www.hs.hirosaki-u.ac.jp/~pteiki/research/stat/multi.pdf）

19. 18.2 Multiple Comparison 18.2 MULTIPLE COMPARISON
・ニ又の変数ではなく、連続変数で考えてみる。
・一つのグループは偽薬で治療を受けている患者、もう一つのグループは効果のない薬で治療を受けている
患者。
・説明変数として、体温等の連続数を取る。
・この二つグループには明確な治療の差も体温の差もないモノとする。
⇒一番下のカーブが検出力とt値の関係。（5％有意にするには2.23）
・患者をプラシーボ治療者、4つの薬治療者の５グループに分ける。
⇒全員同じ分布を持つが、サンプリングの問題から特定グループが異常値を持つことがある。
⇒真ん中の曲線が検出力とt値の関係。 （５％有意にするには2.95＞2.23）
・全てのグループを比較。（5グループ：5C2より10回比較）
⇒一番上の曲線が検出力とｔ値の関係。 （５％有意にするには3.43＞2.23）
・比較するグループを増やしていくほど、有意だと判断されるためのt値は増加。
・検定力を５％以内に保つためには、1回のt値を高めなければならない。

20. 18.2 Multiple Comparison 18.2 MULTIPLE COMPARISON
・1グループ6人、5グループで実験をしてみた。
・結果、group1とgroup2の比較でt=2.95だった。
⇒この結果の解釈は、どのように比較するかによって違う。
2群の検定だったら「有意に差異がある」 (>2.25)
1以外の4つを検定していたら、「ほんのわずかに有意?」(=2.95)
全ての群比較をしていたら「偶然の結果」(<3.43)
・研究者の意図でデータの解釈が変わるのはよくない。
⇒BANOVAでは、比較をどれだけしても解釈は変わらない。
⇒異常値による頑健性は微妙だけど、事前確率を入れ込むことで抑えられる。

21. 18.3 Two-group Bayesian ANOVA and NHST t TEST 18.3 two group
18.1~18.2のおさらい。
・2つのグループしかない時のANOVAがt-testだと考える。
⇒よって、2つのグループしかない場合、F値とt値の二乗に等しくなる。
・2グループしかないと、shrinkageの影響はより強くなる。（あるグループでbetween varianve が大きくなる
と、他のグループを抑えにかかる。
・ また、グループ内の分散の事前分布も曖昧だと、two-groupBANOVAの結果は、NHSTのt検定にかなり近く
なる。

22. 18.5 EXERCISE 18.5 EXERCISES
・18.1
⇒2つのグループでのBANOVAの結果が、NHST t-検定と一緒の結果になる。
・18.2
⇒片側t分布の精度が、shrinkageの度合いを決定する。
大きければ、グループはそんなに変わらないということになり、shrinkageは強くなる。
1000の場合と10^-6の場合でやってみると・・・？
・18.3
⇒等分散性の前提ナシでBANOVAを実施する。
・・・分散に制約を設けないと、平均に対する信頼度が落ち、平均の差についても信頼度が落ちる。