実験計画法を応用したLPOの事例と、LPOの取り組みにおいて陥りがちなポイントに付いてまとめました。

1. 実験計画法 ( 直交表実験 ) の応用による LPO の実例 最小テストケースによる最適ケースの探索 尾花山 和哉

3. 実験計画法とは・・・ 実験計画法は、元々は工業や農業の世界で『限られた実験回数の中でできる限り多くの情報を絞り出す』目的で作れた方法です。 条件は無数に考えられるにも関わらず、実験回数は限られているのが現実です。 そこで、実験が我々に何を教えてくれて、何が真実への到達を邪魔するものかを綿密に検討し、目的とする情報を絞り出す術が、実験計画法となります。 さて、おいしいお米を沢山つくるには どうしたらいいだろう…？ 品種？肥料？それとも… ? 均質で耐久性のよい金属加工製品を 作るにはどうしたらいいだろう…？ 合金？鋳造？あるいは…？

4. 実験計画法の具体例 例えば、パン作りを考えてみます。指標を『モニターがおいしいと評価する率』としたとき、これを決定する因子には小麦粉の種類、バターの量、発酵時間、湿度…などが考えられます。 本日ご紹介するのは、無数に考えられる因子の中で『何が決め手になっているのか』、『少ない実験回数から適当と思われる組み合わせはどれか』を見極める方法です。 画像 by ： Emiline220 小麦粉の種類 ・カメリヤ ・はるゆたか… etc. バターの量 ・ 10g ・ 20g…etc. 発酵時間 ・ 1 時間 ・ 4 時間… etc. 湿度 ・ 20% ・ 80%…etc. XXX ・ 4℃ ・ 25℃…etc. XXX ・ 4℃ ・ 25℃…etc. XXX ・ 4℃ ・ 25℃…etc.

5. マーケティングへの応用 昨今はマーケティングに活用されているこの実験計画法ですが、これを LPO に適応するとヘッダーロゴの種類、ボタン、文言などを因子として計画を立てる事になります。 パン作りの例えと同様、最終的には何を因子として選ぶかは”分析者の感性”！ ロゴ ・コンパクト ・かわいらしい… etc. 文言 ・『入会して読む』 ・『詳しくは…』… etc. ボタン ・長方形 + 赤 ・楕円 + 橙… etc. なお、事例中では実験計画法を用いた LPO ツールを提供している IOIX 社の DLPO を利用しております。

6. 実験計画法の基礎理論 今回は、前回の反省を踏まえてあまり数学的な領域に立ち入らず、携帯サイトでの実施事例紹介を行いたいと思います。 α 1 +β 1 +γ 1 +μ=δCVR 1 α 1 +β 2 +γ 2 +μ=δCVR 2 α 2 +β 1 +γ 2 +μ=δCVR 3 α 2 +β 2 +γ 1 +μ=δCVR 4 ⅰ) α 1 +β 1 +γ 1 +μ=δCVR 1 α 1 -β 1 -γ 1 +μ=δCVR 2 -α 1 +β 1 -γ 1 +μ=δCVR 3 -α 1 -β 1 +γ 1 =δCVR 4 ⅲ) 変更を加えた領域を α,β,γ とし、それぞれ変更前を添え字 1 、変更後を 2 とする。 今、適当な 4 本の組み合わせの実験により得られた CVR の平均値からの差を δCVRi 、誤差を μ とすると、 の様な 7 元 1 次方程式に帰着できる。 ここで、 α,β,γ は各々の独立な効果の重ね合わせなので、以下の式が成り立つ。 α 1 +α 2 =0 β 1 +β 2 =0 γ 1 +γ 2 =0 ⅱ) 上式を用いて、 ⅰ ) を以下の様な 4 元 1 次方程式に帰着させることができるので、これを解けば各効果を算出できる。 実験計画法 ( 直交表実験 ) における主効果算出の手順を最も簡単な例を上げて紹介する。 この方法では、主効果を独立と仮定し、各因子効果の平均値の関係式を用いる事で 7 元 1 次方程式を 4 式 ( 実験 ) で解くことと言える。

7. 事例紹介 – LPO 対象サービス紹介 今回紹介する事例は、月額課金型の携帯サイトでの事例となります。目的は、『ページの見せ方を変化させる事で、サイト来訪者が有料入会してくれる率 (CVR) を向上させる事』です。 サービス概要： 月額 315 円で医師へ直接質問を投稿できる会員制の Q&A サイト。会員は過去ログも閲覧可能。

8. 事例紹介 – 直交表実験計画 会員登録の直前画面を LPO の対象として選定し、 Docomo では約 16 万通り、 AU では約 1.6 万通りの実験を計画。実験計画法を用いて現実的に実施可能なパターン数に絞り込みを行いました。 DOCOMO 1_ トップエリアロゴ ( 挿入 )×15 通り 2_USP コピー ( 挿入 )×9 通り 6_ 登録ボタン ( 変更 )×5 通り 3_ セールスポイント一覧 ( 変更 )×5 通り 4_ 追加セールスポイント ( 挿入 )×3 通り 7_ リンクテキストと ICON イメージ ( 変更 )×8 通り 5_ 「 SONY 」ブランド訴求 ( 挿入 )×2 通り 8_ 初月無料 ( 変更 )×4 通り 3_ セールスポイント一覧 ( 変更 )×5 通り 4_ 追加セールスポイント ( 挿入 )×3 通り 1_ トップエリアロゴ ( 挿入 )×15 通り 2_USP コピー ( 挿入 )×9 通り 5_ 「 SONY 」ブランド訴求 ( 挿入 )×2 通り AU

9. 事例紹介 – 直交表実験結果 1 つ目の『何が決め手になっているのか』に関する結果、表示上部および入会リンク周辺の変更が影響を与えやすい事が判明しました。 領域 領域 変更内容 主効果の差 *1 1_ トップエリアロゴ (16%) *2 2_USP コピー (26%) 5_ 「 SONY 」ブランド訴求 ( 3%) 6_ 登録ボタン (16%) 7_ リンクテキストと ICON イメージ ( 18%) 3_ セールスポイント一覧 (18%) 変更内容 4_ 追加セールスポイント (3%) 1_ トップエリアロゴ (36%) 2_USP コピー (30%) 5_ 「 SONY 」ブランド訴求 (1%) 8_ 初月無料 (9%) 3_ セールスポイント一覧 (11%) 4_ 追加セールスポイント (14%) ママ同士が利用するシーンを想起させる画像を採用 安心訴求の文言追加 『経験豊富な医師がすぐに回答』 SONY ブランド訴求の文言追加 ボタンの配色を変更 『橙色のボタン』 登録リンクの画像を変更 『十字アイコンを両端に追加』 セールスポイント文言の長さと背景色の変更 『寒色 × 簡潔』 追加セールスポイント部分の背景色の変更 『デフォルト』 携帯から医師へ相談できる利便性を訴求した画像を採用 簡便性訴求の文言追加 『 3 分で先生に相談』 SONY ブランド訴求の文言追加 ボタンの配色を変更 『赤色のボタン ( アニメ無 ) 』 セールスポイント文言の長さと背景色の変更 『寒色 × 簡潔』 追加セールスポイント部分の背景色の変更 『デフォルト』 +0.40% +0.18% +0.03% +0.14% +0.57% +0.34% 0% +0.73% +0.34% +0.01% +0.11% +0.06% 0% 主効果の差 *1 DOCOMO AU *1) デフォルトパターンとの主効果との差 *2) 青字の % は影響度 ( 変更に対する感度 )

10. 事例紹介 – 判別実験計画 二つ目の『少ない実験回数から適当と思われる組み合わせはどれか』については、直交表実験が本質的に誤差を持つために単純な Split Test を行う必要があります。 DOCOMO( 上位 30 件 ) AU( 上位 20 件 ) 推定 CVR から上位数を全件 Split Test 対象に抽出 ・ ・ ・ WAVE1 結果

11. 事例紹介 – 判別実験結果 最終的な LPO の結果を以下に紹介します。 Docomo で 21% 、 AU で 15%CVR が改善されました。 DOCOMO AU デフォルト デフォルト 改善後 改善後 ママ同士が利用するシーンを想起させる画像を採用 商品訴求の文言追加 『医師に直接相談できる Q&A サイト』 SONY ブランド訴求の文言追加 ボタンの配色を変更 『橙色のボタン』 登録リンクの画像を変更 『十字アイコンを両端に追加』 セールスポイント文言の長さと背景色の変更 『寒色 × 簡潔』 追加セールスポイント部分の背景色の変更 『デフォルト』 ( 変更なし ) 携帯から医師へ相談できる利便性を訴求した画像を採用 簡便性訴求の文言追加 『いつでも、どこでも、医師に相談』 SONY ブランド訴求の文言追加 文言の両端に絵文字を追加 『橙色の [ 無料 ] 絵文字』 セールスポイント文言の長さと背景色の変更 『寒色 × 簡潔』 追加セールスポイント部分の背景色の変更 『デフォルト』 ( 変更なし ) CVR 改善率： 21% CVR 改善率： 15%