NagoyaStat #5 発表資料　 データ解析のための
統計モデリング入門　第10章 階層ベイズモデル
 -GLMMのベイズモデル化 日時 :2017/04/07 (金) 18:30 ~ 21:00 会場 :名古屋プライムセントラルビル4F　ヤフー株式会社　名古屋オフィス 会議室 勉強会の発表内容のままのバージョンとして一旦アップいたします。 stanでの予測の方法が分からないまま資料を作っていますので未完成です。

1. データ解析のための
統計モデリング入門
第10章
階層ベイズモデル
-GLMMのベイズモデル化
NagoyaStat #5
@nishiokya

2. 自己紹介
@nishiokya
atndではnishioka0902
カーナビのログとか航空写真とかのデータを扱っています

3. 第１０章 階層ベイズモデル
-GLMMの階層ベイズモデル化
# 目次 概要 予定 (分）
10 はじめに 5
10.1 例題：個体差と生存種子数(個体差あり） 前提 3
10.2 GLMMの階層ベイズモデル化 GLMMをベイズ化すると階層ベ
イズモデルになる
5
10.3 階層ベイズモデルの推定・予測 5
10.3.1 階層ベイズモデルのMCMCサンプリング stanを使います 10
10.3.2 階層ベイズモデルの事後分布推定と予測 stanの結果と予測方法 5
10.4 ベイズモデルで使うさまざまな事前分布 まぜ階層ベイズモデルがよいの 5
10.5 個体差+場所差の階層ベイズモデル 複雑な階層ベイズモデルの作成 10
10.6 この章のまとめと参考文献 終わり 5

4. 10章の概要と前提
階層ベイズモデルとMCMCサンプリ
ングによってより複雑な統計モデル
のパラメータ推定ができる
＃ 各章で学ぶこと
7章 個体差・場所差を組み込んだ 統計モデリング
GLMMを学ぶ
9章 無情報事前分布を使ったベイズ統計モデルを設
計を学ぶ
10章 階層事前分布を使ってGLMMを階層ベイズモデ
ルとして扱う方法を学ぶ
まえがき vii

5. 10.1 例題:個体差と生存種子数(個体差あり）
属性 値 補足
調査した個体数 (𝒴) 100 0 2 7 8 1 7 8 8 1 1 4 0 1 4 7 8 7 0 2 2 1 1 5 7 8 3 8 4 6 0 8 7 8 0
2 6 7 8 2 1 1 0 0 7 8 5 7 2 8 1 5 7 3 8 0 8 6 3 2 0 0 1 2 8 7 7 7 8
0 0 0 5 1 0 0 0 8 1 8 4 7 2 1 4 7 0 8 1 8 7 6 2 8 6 6 1 0 4 7 0
調査種子数(𝑁𝑖) 8
求めるもの(𝑦𝑖) 生存種子数 0以上8以下の整数
属性 値 補足
最尤推定値 (𝑞) 0.504 𝑦/100 = 504/(8*100)
分散(𝑣𝑎𝑟) 9.93 N=8の二項分布の分散の期待値は2.00
上限のあるカウントデータ（離散値)なので確率分布は「二項分布」
例題のデータについて
二項分布(𝑁 = 8)にあてはめた結果の統計量
例題のデータは過分散（5倍近く）である
観測できない個体差？？

6. 10.2 GLMMの階層ベイズモデル化
二項分布では観測データを説明できない(図10.1b)
• ７章で扱ったGLMMをつかえば、個体差が存在する過分散な観測デー
タに二項分布をあてはめることが可能
• 10章では、GLMMのベイズモデル化に取り組む
属性 値 補足
確率分布 二項分布 𝑃 𝑋 − 𝑘 =
𝑛
𝑘
𝑝 𝑘
1 − 𝑝 𝑛−𝑘 𝑓𝑜𝑟 𝑘 = 0,1,2,3, . . , 𝑛
リンク関数 𝑙𝑜𝑔𝑖𝑡 ロジスティック関数の逆関数 . 選定基準はP114表6.1参照
線形予測子 𝛽 + 𝑟𝑖 7章と同じ
固定効果 𝛽 全固体で共通のパラメータ
ランダム効果 𝑟𝑖 個体差、平均０，10^4
の一様分布とする
統計モデル設計

7. 10.2 GLMMの階層ベイズモデル化
事後分布 ∝ 尤度 × 事前分布
事後分布 ∝ 𝑝 𝑌 𝛽, 𝑟𝑖 × 事前分布
尤度はデータが得られる確率（全個体の二項分布の積)
p 𝑌 𝛽, 𝑟𝑖 =
8
𝑦𝑖
𝑞𝑖
𝑦 𝑖
1 − 𝑞𝑖
8−𝑦𝑖
事後分布 ∝ 尤度 × 事前分布
事後分布 ∝ p 𝑌 𝛽, 𝑟𝑖 × p 𝛽 p 𝑟𝑖
𝛽の事前分布は無情報事前分布とする (s = 100; 𝜇 = 0)
𝑝 𝛽 =
1
2𝜋 × 1002
𝑒𝑥𝑝
−𝛽2
2 × 1002
𝑟𝑖の事前分布は７章とおなじと仮定
p 𝑟𝑖 𝑠 =
1
2𝜋×𝑠2
𝑒𝑥𝑝
−𝑟 𝑖
2
2×𝑠2 ⋯ 𝑝 𝑠 = 0から104
までの連続一様分布

8. 10.2 GLMMの階層ベイズモデル化
個体差𝑟𝑖の事前分布の𝑝 𝑟𝑖 𝑠 に従う未知のパラメータs(0から
階層事前分布という
「階層事前分布」を使っているベイズ統計モデルを階層ベイズモデル
「階層」とは、事前分布のパラメータにさらに事前分布が設定されていること
• 𝑠を「超パラメータ」
• 𝑝 𝑠 を「超事前分布」

9. 10.3階層ベイズモデルの推定・予測
例題の階層ベイズモデルの式
𝑝 𝛽, 𝑠, 𝑟𝑖 𝑌 ∝ 𝑝 𝑌 𝛽, 𝑟𝑖 𝜌 𝛽 𝑝 𝑠
𝑖
𝑝 𝑟𝑖 𝑠
モデルの設計
図10.2 生存種子数の階層ベイズモデルの概要
データY 全N件
種子８個中のY[i]個が生存
二項分布
生存確率q i
リンク関数logit
階層事前分布
s
個体差のばらつき
(下限０）
無情報事前分布
無情報事前分布
（超事前分布）
個体差 r[i]
固定効果 beta

10. 10.3.1 階層ベイズモデルのMCMCサンプ
リング
• WinBUGSがインストールが面倒なのでStanでやりました
評価項目 Stan WinBUGS
OS マルチ Windows（Macでもインス
トール可能）
長所 収束が速い 空間統計学で適用
短所 1stepの計算は遅い メンテナンスされていない
サンプリング NUTSのみ
HMC（ハミルトニアンモンテカルロ
法）の実装方法の一つ
ギブズサンプラー他
StanとWinBUGSの比較

11. 10.3.1 階層ベイズモデルのMCMCサンプ
リング
data {//データ宣言
int<lower=0> N; //調査した個体数
int<lower=0> y[N]; // 生存種子数（上限8)
}
parameters {#パラメータ
real beta; // 固定効果
real r[N]; // 個体差 r[i]
real<lower=0> s; // 個体差のばらつき
}
transformed parameters {
real q[N];
for (i in 1:N)
q[i] <- inv_logit(beta+r[i]); // 生存確率
}
model {#モデル
for (i in 1:N)
y[i] ~ binomial(8,q[i]); // 二項分布
beta~normal(0,1.0e+2); // 無情報事前分布
for (i in 1:N)
r[i]~normal(0,s); // 個体差の階層事前分布
s~uniform(0,1.0e+4) ; //無情報事前分布（超事
前分布）
}
Stanのモデルファイル(model_10a.stan)
http://tjo.hatenablog.com/entry/2014/05/01/190346

12. 10.3.1 階層ベイズモデルのMCMCサンプ
リング
#ファイルの読み込み
d <- read.csv(url("data7a.csv"))
#
dat<-list(N=nrow(d),y=d$y)
#MCMCサンプリングの実行
d.fit<-stan(file='model_10a.stan',data=dat,iter=1000,chains=4)
#MCMCサンプリング結果を保存
write.table(data.frame(summary(d.fit)$summary), file='fit-summary2.txt', sep='t',
quote=FALSE, col.names=NA)
Rの実行
http://tjo.hatenablog.com/entry/2014/05/01/190346

13. #pdf
#MCMCサンプリングの評価
ggmcmc(ggs(d.fit,
inc_warmup=TRUE,
stan_include_auxiliar=TRUE),
file='fit-traceplot2.pdf',
plot='traceplot')
#summary
summary(d.fit)
#plot
d.fit.coda<-
mcmc.list(lapply(1:ncol(d.fit),fun
ction(x)
mcmc(as.array(d.fit)[,x,])))
plot(d.fit.coda)
10.3.1 階層ベイズモデルのMCMCサンプ
リング

14. 10.3.2 階層ベイズモデルの事後分布推定
と予測
パラメータ 2.5% 50% 97.5 sd 𝑅
beta -0.63 0.04 0.28 0.34 1.0150238
s 2.43 3.01 3.88 0.38 -
生存種子数𝑦の確率分布は二項分布𝑝(𝑦|𝛽,𝑟) と正規分布𝑝(𝑟|𝑠) の 無限混合分
布として表せる
p 𝑦 𝛽, 𝑠 =
−∞
∞
𝑝 𝑦 𝛽, 𝑟 𝑝 𝑟 𝑠 𝑑𝑟
𝑅がすべて1.05以下なので収束していると判断できる

15. 10.3.2 階層ベイズモデルの事後分布推定
と予測
推定方法はいろいろある
・パラメータβとsにはMCMCサンプルを使用
・stanの推定方法がわかりませんでした

16. 10.4 ベイズモデルで使うさまざまな事前
分布
パラメータの種類 説明する範囲 おなじようなパラメータの個数 事前分布
全体に共通する平均・ばらつき 大域的 少数 無情報事前分布
個体・グループごとのズレ 局所的 多数 階層事前分布
事前分布の例 事前分布を {r[i]}にの統計モデリングへの組み込み
主観的な事前分布 知っている △（緑本ではつかわない）
無情報事前分布 わからない ×
階層事前分布 sによって変わる ◯
ベイズ統計モデルではひとつのモデルの中で複数種類の事前分布を混ぜて使用する
事前分布の選択方法

17. 10.4 ベイズモデルで使うさまざまな事前
分布
• 個体差{𝑟𝑖}はデータのごく一部を説明しているだけ
• 個体差{𝑟𝑖}は 似たようなパラメータの集まりとかんがえられる
個体差{𝑟𝑖}のような多数（𝑟1 … 𝑟100）の局所的なパラメータを大域的な
パラメータ(s)で支配する
言い換えると新しい個体(x)が来たときにその個体差{𝑟𝑥}がわからない
場合でも、大域的なパラメータ(s)から予測できるようになる。
属性 値 範囲 利用する分布
切片 𝛽 大局的 無情報事前分布をつかう
個体差 𝑟𝑖 局所的 階層事前分布を使う

18. 10.5 GLMMの階層ベイズモデル化
標本平均は8程度、ポアソン分布を仮定した場合の分散は 8 =
2.83
• (A)を見るとそれ以上 → 過分散
• (B)からは植木鉢毎の差が見て取れる
個体差(A) と 場所差(B)を考慮 する必要がある
属性 値
調査した個体数 (𝒴) 100
植木鉢の数 10
植木鉢あたりの個体数 10
施肥料処理をした鉢(個体数） 5(50)
無処理の鉢(個体数） 5(50)
求めるもの(𝑦𝑖) 種子数
例題：個体差＋場所差から種子数を予測

19. 10.5 GLMMの階層ベイズモデル化
例題：個体差＋場所差から種子数を予測
• 個体差に施肥処理＋場所差を組み込む
属性 値 補足
確率分布 ポアソン分布 植物の種子すべてをカウントするため、上限なしの離散値
リンク関数 𝑙𝑜𝑔 選定基準はP114表6.1参照
線形予測子 𝛽1 + 𝛽2 𝑓𝑖 + 𝑟𝑖 + 𝑟𝑗 𝑖 切片+施肥効果+個体差+場所差
固定効果1 𝛽1 切片
固定効果2 𝛽2 𝑓𝑖 施肥効果の有無を表す因子𝑓𝑖の係数𝛽2
ランダム効果1 𝑟𝑖 個体iの効果 sとする
ランダム効果2 𝑟𝑗 𝑖 植木鉢jの効果
統計モデル設計

20. 10.5 個体差+場所差の階層ベイズモデル
図10.8 個体差+植木鉢差の階層ベイズモデルの概要
データ
各個体の種子数𝑌 𝑖 個
ポアソン分布
平均lambda 𝑖
階層事前分布
s個体差のばら
つき
無情報事前分布
無情報事前分布
（超事前分布）
個体差r[i]
切片beta1
データ（説明変数)
施肥処理F 𝑖
植木鉢差 rp[Pot[i]]
beta2
例題の階層ベイズモデルの式
𝑝 𝛽1, 𝛽2, 𝑠, 𝑠 𝑝, 𝑟𝑖 , 𝑟𝑗 𝑖 𝑌 ∝ 𝑝 𝑌 𝛽1, 𝛽2, 𝑠, 𝑠 𝑝, 𝑟𝑖 , 𝑟𝑗 𝑖 𝑝 𝛽1 𝑝 𝛽2 𝑝 𝑠 𝑝 𝑠 𝑝
𝑖
𝑝 𝑟𝑖 𝑠
𝑖
𝑝 𝑟𝑖 𝑠 𝑝
モデルの設計
階層事前分布
sp植木鉢差のば
らつき

21. 10.5 個体差+場所差の階層ベイズモデル
data {//データ宣言
int<lower=0> N_sample; // number of observations
int<lower=0> N_pot; // number of pots
int<lower=0> N_sigma; // number of sigmas
int<lower=0> Y[N_sample]; // number of seeds
int<lower=0> F[N_sample]; // fertilizer
int<lower=0> Pot[N_sample]; // pot}
}
parameters {#パラメータ
real beta1;
real beta2;
real r[N_sample];
real rp[N_pot];
real<lower=0> s;
real<lower=0> sp;
}
transformed parameters {
real<lower=0> lambda[N_sample];
for (i in 1:N_sample) {
lambda[i] <- exp(beta1 + beta2 * F[i] + r[i] + rp[Pot[i]]);
}
}
model {#モデル
for (i in 1:N_sample) {
Y[i] ~ poisson(lambda[i]);
}
beta1 ~ normal(0, 100);
beta2 ~ normal(0, 100);
r ~ normal(0, s);
rp ~ normal(0, sp);
s~ uniform(0, 1.0e+4);
sp~ uniform(0, 1.0e+4);
}
Stanのモデルファイル(model_10b.stan)
http://ito-hi.blog.so-net.ne.jp/2012-09-04

22. 10.5 個体差+場所差の階層ベイズモデル
d2 <-
read.csv(url("http://hosho.ees.hokudai.ac.jp/~kubo/stat/iwanamibo
ok/fig/hbm/nested/d1.csv"))
dat2<-
list(N=nrow(d),y=d2$y,N_sample=nrow(d2),N_pot=length(levels(d2$p
ot)),N_sigma=2 ,Y=d2$y,F=as.numeric(d2$f ==
"T"),Pot=as.numeric(d2$pot))
d2.fit<-stan(file='model_10_2.stan',data=dat2,iter=1000,chains=4)

23. 10.5 個体差+場所差の階層ベイズモデル
パラ
メータ
2.5% 50% 97.5 sd 𝑅
beta1 0.03 1.35 2.35 0.48 1.01
beta2 -2.27 -0.88 0.68 0.69 1.01
s1 0.81 1.00 1.26 0,12 -
s2 0.54 0.94 1.72 0.32 -

24. 10.6 まとめ
今時のデータ解析なら 階層ベイズモデルが標準
• GLMMをベイズモデル化すると階層ベイズモデルになる
• 階層ベイズモデルとは事前分布となる確率分布のパラメータにも事前分布が指定
されている統計モデル
• 無情報事前分布と階層事前分布を使うことでベイズ統計モデルから主観的な事前
分布を排除できる
• 個体差＋場所差といった複雑な構造のデータの統計モデリングは階層ベイズモデ
ルとMCMCサンプリングがよい

25. appendix

26. 二項分布の最尤法
二項分布の確率分布の確率質量関数
𝑃 𝑋 − 𝑘 =
𝑛
𝑘
𝑝 𝑘
1 − 𝑝 𝑛−𝑘 𝑓𝑜𝑟 𝑘 = 0,1,2,3, . . , 𝑛
n 個中k個種が生存している確率p
データYの最も当てはまりの良い確率ｐの求め方
𝑙𝑜𝑔 𝑃 𝑋 − 𝑘 = 𝑙𝑜𝑔
𝑛
𝑘
𝑝 𝑘
1 − 𝑝 𝑛−𝑘
=𝑙𝑜𝑔 𝑛
𝑘
+ 𝑙𝑜𝑔 𝑝 𝑘
1 − 𝑝 𝑛−𝑘
https://stat.biopapyrus.net/statistic/mle-binomial.html

27. 参考資料
• 行動計量学のための ベイズ推定における モデル選択・
評価
• http://www3.psy.senshu-u.ac.jp/~ken/BSJ2015spring_okada.pdf
• 六本木で働くデータサイエンティストのブログ
• http://tjo.hatenablog.com/entry/2014/05/01/190346
• 10章の個体差+場所差モデル
• http://ito-hi.blog.so-net.ne.jp/2012-09-04