統計学勉強会でのsyou6162の発表資料です。 - https://connpass.com/event/204931/

1. 自分の目的に合った統計量と
そのバラ付きを計算しよう
~NPSを例に~
id:syou6162
2021/03/28
統計学勉強会(仮)#2 登壇資料

2. 自己紹介
● 吉田 康久
○ Twitterやはてなidは@syou6162 / id:syou6162
● 株式会社はてな
○ サーバー管理/監視システムMackerel
○ 主にデータ基盤整備 / データ分析を担当
● 今日は仕事でやっていたNPSの信頼区間を算出 & 可視化の話をします!
2

3. NPSとは
3
https://webtan.impress.co.jp/e/2017/03/08/24303 より引用

4. NPSの特徴、注目される理由
4
https://webtan.impress.co.jp/e/2017/03/08/24303 より引用
NPSと売上成長率の相関が高い
推奨者のLTVは批判者のLTVより大きい

5. NPSをチームの意思決定に使いたい
● NPSを定期的(例: 四半期毎)に取得している
● 以前と比較して、改善しているか悪化しているかを知りたい
○ しかし、時期によって回答数が異なる...
● 変動が有意にあるのか、ないのかを知りたい
○ 予兆があれば先回りして手を打ちたい
5
NPSの統計的信頼区間を求めてみよう !
最終的に欲しいもの : 95%
信頼区間を考慮した
NPSの時系列の推移

6. NPSの信頼区間、どうやって出すか?
● NPSの定義: 「推奨者」の割合から「批判者」の割合を引いた値
● 割合の差の信頼区間、統計学の教科書に出てくる公式で一撃で解ける?
○ 残念ながら、そんなことはない
● 教科書的な問題設定は母比率の差の信頼区間
○ 例: 男性である商品が好きな割合 - 女性である商品が好きな割合
● NPSの場合、「推奨者」の割合が増えたら「批判者」の割合が減る
○ 負の相関がある2つの割合の差
○ 教科書的な問題設定は使えない
○ 自分で信頼区間を計算する必要がある!
6

7. 前準備: 変数の定義
● 回答者全体の批判者、中立者、推奨者の割合をp1
, p2
, p3
と書く
○ この時、NPSは定義よりp3
- p1
で書ける
● サンプルサイズnの標本を取ってきたとき、批判者、中立者、推奨者の数をn1
, n2
, n3
と書く
○ この場合、NPSは(n3
- n1
) / nで書ける
● 各回答者iが批判者、中立者、推奨者のいずれかであったかを表わすダミー変数X1,
i
, X2, i
, X3, i
と書く
○ X1, i
, X2, i
, X3, i
~ Multi(1; p1
, p2
, p3
)に従う
7

8. NPSの信頼区間を出すための作戦
● 信頼区間を出したいので、何かしらの確率分布に従うことを示したい🤔
○ そのままの形(n3
- n1
) / nだとよく分からない...
● ここで、各回答者iについて、Yi
= X3, i
- X1, i
とすると
○ 標本のNPS: (n3
- n1
) / n = (Σi
Yi
) / nとも書ける
○ これは標本平均になっている
● 標本平均の分布と言えば、中心極限定理!
○ 平均E[Yk
]と分散Var[Yk
]が存在し、その値が必要
○ それを求めていこう!
8

9. 前準備: 多項分布の性質
● 期待値: E[Xk
] = pk
(k = 1, 2, 3)
● 分散: Var[Xk
] = pk
(1 - pk
) (k = 1, 2, 3)
● 共分散:
○ 準備: E[Xk
Xl
]= 0(k, l = 1, 2, 3)
■ 参考: n個のサンプルを取ってくる場合はE[Xk
Xl
]= n (n - 1) pk
pl
○ Cov[Xk
, Xl
] = E[Xk
Xl
] - E[Xk
] E[Xl
] = - pk
pl
9
負の相関があることが確認できた !

10. NPSに関する各種モーメントを計算しよう
● 各回答者iについて、Yi
= X3, i
- X1, i
とすると
● 期待値: E[Yi
] = E[X3, i
- X1, i
] = E[X3, i
] - E[X1, i
] = p3
- p1
= NPS
○ 期待値の線形性およびNPSの定義より
● 分散: Var[Yi
] = Var[X3, i
- X1, i
] = Var[X3, i
] + Var[X1, i
] - 2Cov[X3, i
, X1, i
]
○ 独立でない場合はCovの項が出てくることに注意!
■ 仮に独立な場合だとすると、Var[X3, i
- X1, i
] = Var[X3, i
] + Var[X1, i
]
○ 前ページの結果を使うと
■ Var[Yi
] = p3
(1 - p3
) + p1
(1 - p1
) - 2 p1
p3
= - NPS2
+ p3
+ p1
10

11. 中心極限定理より標本の分布を出そう
● 再掲: 標本のNPS: (n3
- n1
) / n = (Σi
Yi
) / nとも書ける
○ これは標本平均になっている
● 前ページの結果より、標本Yi
を抽出する母集団は以下であることが分かった
○ 平均がNPS、分散が- NPS2
+ p3
+ p1
● 中心極限定理からサンプルサイズnが十分に大きいとき、標本のNPSの標本分布は
N(NPS, (- NPS2
+ p3
+ p1
) / n)の正規分布で近似することができる!
11

12. NPSの信頼区間
● 標本のNPSの標本分布はN(NPS, (- NPS2
+ p3
+ p1
) / n)に従うことが分かった
● よって、NPSの信頼区間は以下で計算できる
● テクニカルサポートの大手ZendeskのNPSの計算でも同様の式が使われている
● サンプルサイズの設計もできる
○ 例: NPSの調査の誤差をXX以内に抑えたければ、標本サイズはYY以上取るよ
うにしましょう
12

13. NPSの可視化
● NPSを定期取得する場合、可視化まで自動化したい
○ スプレッドシートでポチポチしたり、スクリプトを動かしたくない
○ データを置いたら(煩雑な実行環境の設定などをしなくとも)可視化したい
● SQL + Data Studioが便利!
13
入力: いつどういうスコアが
付いたかの生データ
出力: 95%信頼区間を考慮した
NPSの時系列の推移

14. 生データを集約(縦持ちのデータ)
生データ: いつどういうスコアが付いたか
中間データ: どの時期に推奨者などの
割合がいくつだったか (縦持ちのデータ)
GROUP BYなどの集約関数で集計

15. 縦持ちのデータを横持ちのデータに変換(1)
中間データ: どの時期に推奨者などの
割合がいくつだったか (縦持ちのデータ)
どういうSQLを書けばいい?🤔
最終的に欲しい形式のデータ :
● 各時期の推奨者、批判者の割合、 NPSが「一行に」まと
まっている
● 可視化ツールにそのまま食わせることができる
NPSの信頼区間
に必要なカラム
=n =p1
=p3

16. 縦持ちのデータを横持ちのデータに変換(2)
GROUP BYとCASE WHENを組み合わせると
縦持ちのデータを横持ちのデータに変換できる !
こういうSQLテクを知りたい人は
10年戦えるデータ分析入門 がオススメです

17. まとめ
● NPSの信頼区間の導出を紹介しました
○ おまけ: SQLでNPSの信頼区間の可視化までの自動化する方法を紹介
● 教科書に載ってない統計量でも統計の基本を組み合わせると、信頼区間などを出
すことができます
○ 役に立つし、何より楽しい!
● 自分にはちょっと難しいな...と思う方、すうがくぶんかの数理統計学の講義がオスス
メです
○ 今回のNPSの導出をやってみようと思ったのも、すうがくぶんかの講義を受けた
のがきっかけでした
● Enjoy statistics!
17

18. 参考資料
● 数字のバラ付きを考慮して意思決定する技術 - Hatena Developer Blog
● 多項分布とは？期待値・分散・共分散の導出も！ | AVILEN AI Trend
● NPS調査のサンプルサイズ設計をしよう！｜Takayuki Uchiba｜note
● NPSのベストプラクティス：Net Promoter Score℠アンケートを実施する最も効果的
な方法 – Zendeskヘルプ
● Interval Estimation for the 'Net Promoter Score'
18