勉強会用資料

1. セミパラメトリック推論の基礎の復習
Daisuke Yoneoka
September 29, 2014

2. Notations
基本的にTsiatis,2006 に従う. わかんなかったら自分で調べてね!
ベクトルも行列も太字にしてないけど, そこは自分で補ってください.
! データはi.i.d でZi = (Zi1, . . . ,Zim) ∈ Rm
! サンプルサイズはn 人. i.e., Z1, . . . ,Zn
! φ(Z) は影響関数
! u(Zi, θ) は推定関数
! 下付き字のeff は(漸近) 有効(efficient) という意味

3. セミパラメトリック推論とは？
! Zi の密度関数がセミパラメトリックモデルに従うとは
S = {p(z : θ, η)|θ ∈ Θ ⊂ Rr, η ∈ H}
! θ は有限次元の興味あるパラメタで, η は無限次元のどうでもいいパ
ラメタ(局外(nuisance) パラメーター).
! セミパラメトリック推論: このもとでθ の最良の推定量(RAL 推定
量) をもとめること

4. 影響関数
ni
! θ はなんでもいいから最良を見つけるというのは無理ゲー→ クラス
を限定してそこで見つける! (統計ではよくやるよね)
! 影響関数: 推定量θ ˆの影響関数とは, (モーメントに制約がある)
√1
!n(θ ˆ− θ) =
√=1 φ(Zi, θ, η) + op(1) を満たすベクトル値関数.
n
! ˆθ は漸近線形推定量と呼びn→∞で一致性と漸近正規性がある
√n(ˆθ − θ) → N
"
0,E[φ(Zi, θ, η)φ(Zi, θ, η)T ]
#
! イメージ的にはあるデータがどれだけ推定に影響を与えているかを
表現したもの

5. 推定関数とM推定
! 推定方程式!ni
=1 $u(Z%&i, θ')
推定関数
= 0の解として得られるものをM 推定量
と呼ぶ. よく見るscore 関数なんかもコレ.
! ただし, $E[φ(Zi%,&θ)] = 0'
期待値は0
, E[∥φ(Zi, θ)∥2] < ∞ $ %& '
分散的なものは発散しない
.
あともう少しだけ条件ある.
! 一致性と漸近正規性を持つ
√n(ˆθ − θ) =
1
√n
!n
i=1
"
E[
∂u(Zi, θ)
∂θ
#
−1
]
u(Zi, θ)
$ %& '
ここが影響関数になっている
+op(1)
→ N
(
0,
"
E[
∂u(Zi, θ)
∂θ
#
−1
]
E[u(Zi, θ)u(Zi, θ)T ]
"
E[
∂u(Zi, θ)
∂θ
#
−T
]
)
]
! この漸近分散の推定量をサンドイッチ推定量と呼んだりする

6. RAL 推定量
! 漸近線系推定量はなんか良さそう！でもsuper efficiency の問題
(Hodges) が残る！
! Super efficiency: 漸近的にCramer-Rao の下限よりも良いものができ
る問題のこと
! この問題を解決したのがRAL (Regular asymptotic linear) 推定量.
! その正則条件は極限分布がLDGP (local data generating process) に依
存しないこと(詳しくはTsiatis, 2006)
! セミパラ推論はこのRAL 推定量の影響関数を求めることを考える

7. Parametric submodel
セミパラメトリックモデルS の各点に対し
p(z; θ, η) ∈ Ssub ⊂ S
を満たすパラメトリックモデル
Ssub = {p(z; θ, γ)|θ ∈ Θ ⊂ Rr,γ ∈ Γ ⊂ Rs, s ∈ N}
をパラメトリックサブモデルと呼ぶ.

8. Nuisance tangent space (局外接空間)
セミパラメトリックモデルS の各点に対し, パラメトリックサブモデル
Ssub の局外接空間を
TN
θ,γ(Ssub) = {BT sγ(z, θ, γ)|B ∈ Rs}
とする. γ はp(z; θ, η) に対応するものでsγ(z, θ, γ) =
∂
∂γ
log p(z; θ, γ) で
表されるnuisance score 関数. この線形空間はこのnuisance score vector に
よって張られている.
このとき
TN
θ,η(S) =
(
Ssub
TN
θ,γ(Ssub)
をS 上の点p(z; θ, η) における局外接空間とよぶ. ちなみに, 内は内側の集
合に関してclosure をとる演算子.
Note:この空間は大切で後に, RAL 推定量の影響関数はこの空間に直交した空間に
属することが重要になってくる！

9. 線形部分空間への射影の幾何とピタゴラスの定理

10. RAL 推定量の影響関数の重要な定理
セミパラメトリックRAL 推定量β の影響関数φ(Z) は以下の条件を満足
する.
Corollary1
E[φ(Z)sβ] = E[φ(Z)sT
efficient(Z, β0, η0)] = I.
ただし, s はスコア関数で, sT
efficient は有効スコア関数
Corollary2
φ(Z) は局外接空間に直交している.
有効影響関数は上の2 つの条件を満たし, その分散行列は, 効率限界を達
成しそれは
φeffi(Z, β0, η0) =
)
E[seff (Z, β0, η0)sT
eff (Z, β0, η0)]
*−1
seff (Z, β0, η0)

11. セミパラ接空間の定理
パラメトリックサブモデルの場合のRAL 推定量の影響関数と接空間との関係は
Tsiatis, 2006 のCh4.3 あたりを見てね！
定理1
RAL 推定量の影響関数は{φ(Z) + TN
θ,η(S)⊥} という空間に含まれる.
ただし, φ(Z) は任意のRAL 推定量の影響関数で, TN
θ,η(S)⊥ はセミパラメトリッ
ク接空間の直交補空間
定理2
セミパラメトリック有効+
な推定量は, その影響関数が一意にwell-defined で決定さ
れ,φefficient = φ(Z) −
{φ(Z)|TN
の要素θ,η(S)⊥} .
ちなみに,
+
(h|U) はprojection of h ∈ H(内積を導入したヒルベルト空間) onto
the space U (線形空間)

12. GEE についてのRemarks
Liang-Zeger のGEE のセミパラメトリックモデル(制約モーメントモデル:
1 次と2 次のモーメントにだけ制約を置いたモデル) は以下の特徴をもつ.
! 局所(漸近有) 効推定量: 分散関数の仮定が正しければ, 有効推定量
! Robustness: 無限次元のパラメータ推定が必要だが, 分散関数を
misspecify したとしても一致性と漸近正規性は保持
! GEE の本を読めばわかるけど, Working covariance matrix を間違えて
も有効性は失われるが, その他の好ましい性質(漸近正規性と一致性)
は保持できるってこと