Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

Hivemall meetup vol2 oisix

3.573 visualizaciones

Publicado el

Hivemall meetup vol2 oisix 2015/10/20

Publicado en: Datos y análisis
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí

Hivemall meetup vol2 oisix

  1. 1. #219229093 #095095095 #174006002 #171171171 Hivemall を使って、 解約 を 減らせた そう な話 2015/10/21 オイシックス株式会社 1 2015年年10⽉月20⽇日 Oisix  システム部   普川  泰如 第⼆二回  Hivemall  Meetup
  2. 2. 今日お話しすること 2015/10/21 オイシックス株式会社 2 •  ⾃自⼰己紹介 •  オイシックスについて •  定期会員の解約予想 •  今回やったこと •  実例例、Hivemallのコードみせちゃいます •  機械学習導⼊入までの道のり
  3. 3. 自己紹介 2015/10/21 オイシックス株式会社 3 普川  泰如(ふかわ  たいすけ) オイシックス株式会社 システム本部  システム部 •  イクボスアワード特別奨励賞受賞。昨⽇日授賞式⾏行行ってきました。 •  普段はECサイト系システム開発 •  機械学習は完全に素⼈人
  4. 4. 4 オイシックスのビジネス
  5. 5. 5 オイシックスのビジネス
  6. 6. 発注 収穫 納品 配送ご来店 ご注⽂文 お受取 ビジネスシステム お客様 ⽣生産者さんオイシックス サ ブ ス ク リ プ シ ン 型 ( 定 期 購 ⼊入 ) おいしっくす くらぶ おいとく (オートシップ) 都度度単品から購⼊入 産地直送サービス
  7. 7. オイシックスの定期会員 2015/10/21 オイシックス株式会社 7 ・現状10万⼈人程度度 ・週1回ご注⽂文される⽅方が全体のほぼ半分 ・Oisixの売上、利利益を多くをこの会員からの購 ⼊入でまかなう ・ここの解約者を減らすのはかなり会社的に⼤大事
  8. 8. 今回やったこと 2015/10/21 オイシックス株式会社 8
  9. 9. 定期会員の解約予測 2015/10/21 オイシックス株式会社 9
  10. 10. 退会者予測の概要 2015/10/21 オイシックス株式会社 10 過去1ヶ⽉月間のデータをもとに       未来1ヶ⽉月間に解約するであろう顧客リストを作成 現時点で、おおよそ30%  (適合率率率ベース)  の精度度で予測可能 1ヶ⽉月間のデータ 今 1ヶ⽉月間で解約する⼈人 過去 未来
  11. 11. 事例紹介:Oisix 会員解約予測 2015/10/21 オイシックス株式会社 11 予測に使っているデータ 顧客属性 流流⼊入元 サイト⾏行行動 利利⽤用サービス クレーム情報
  12. 12. 解約予測ができるとわかること 2015/10/21 オイシックス株式会社 12 1.  未来1ヶ⽉月で退会確率率率の⾼高い顧客IDリスト 2.  解約となる顧客の振る舞い 3.  解約とならない顧客の振舞い
  13. 13. どうやって解約者数減につなげるのか 2015/10/21 オイシックス株式会社 13          -‐‑‒  ポイント付与       -‐‑‒  キャンペーン実施       -‐‑‒  ケアコール 顧客IDリスト 解約、⾮非解約への 振る舞い          -‐‑‒  WebのUI変更更       -‐‑‒  サービス改善       -‐‑‒  成功体験への誘導 直接的施策 間接的施策
  14. 14. ここまでで、出てきた成果 2015/10/21 オイシックス株式会社 14 途中経過だが、解約予測リストへのポイント付与で 解約率率率が半減している実績あり 直接的施策(解約者リストにアタック) 間接的施策(解約者理理解促進) 解約者の振舞い   おそらく解約につながりそうな事柄が⽩白⿊黒ついた    ⾮非解約者の振舞い   機械学習でなければ、わからなかった振舞いが明らかに! キャンペーン終了了直後 督促連絡後 サイト訪問⽇日 雑貨や嗜好品購⼊入
  15. 15. 実例、 Hivemallのコードみせちゃいます 2015/10/21 オイシックス株式会社 15
  16. 16. 機械学習の種類 2015/10/21 オイシックス株式会社 16 解約するであろう顧客予測… ロジスティック回帰 教師あり学習 (Supervised  Learning) 分類モデル
  17. 17. 機械学習の流れ 2015/10/21 オイシックス株式会社 17 機械学習⽤用テーブル作成 正規化(スケーリング) 学習モデル作成 テスト実施(精度度確認)
  18. 18. 機械学習用テーブルの概念図 2015/10/21 オイシックス株式会社 18 年年齢 購⼊入単価 サイト 訪問回数 会員種別A …… 顧客A 54 50000 4 1 顧客B 34 40000 3 顧客C 44 300000 2 1 顧客D 45 0 0 1データ  1⾏行行として列列に要素を並べる。 数値以外の要素は0,1のデータに整形する。 (会員種別が3つの場合は3つ別々の項⽬目でそれぞれ0,1で表現する)
  19. 19. 正規化(スケーリング) オイシックス株式会社 19 数値の絶対値を揃えるため実施。 Hivemallでは⽤用意された関数をつかえばOK select � id, t1.feature, � zscore(t1.value, t2.mean, t2.stddev) as score� -- rescale(t1.value, t2.min, t2.max) as score� from � quantative t1 JOIN� quantative_stats t2 ON (t1.feature = t2.feature) � where� t1.value is not null�
  20. 20. 学習モデル作成  2015/10/21 オイシックス株式会社 20 select � feature,� avg(weight) as weight� from � (select � adadelta(features, kaiyaku) as (feature, weight)� from � train_x3� ) t � group by feature� ロジスティック回帰⽤用の関数をつかうだけ!
  21. 21. モデル作成結果はテーブルに格納します 2015/10/21 オイシックス株式会社 21 Feature Weight Vip_̲Flg#T -‐‑‒18.5 point -‐‑‒12.3 Cancel_̲cnt 14.5 PV_̲PC 10.3
  22. 22. 解約リスト作成 モデル☓データから解約確率をだす 2015/10/21 オイシックス株式会社 22 S E LE C T � t .k o k y ak u _ i d,� si g mo i d( S U M ( m.w e i g h t * t .val u e ) ) AS k a i y a k u _ pr o b ,� C AS E � W HE N si g mo i d( S UM(m.w e i g h t * t .val u e ) ) > = 0 .5 THE N 1� E L S E 0 � E N D AS pre di c t e d� FR O M� ml _ o i si x _ re g u l ar_ cu st o me r_ can ce l _ t e st 0 3 _ e x pl o de d_fuk aw a1 t � L E FT O U TE R J O I N adade l t a_ mo de l _ fu k aw a1 m� O N ( t .fe at u re = m.fe at u re ) � GR O UP BY � t .k o k y ak u _ i d� Sigmoid関数で解約率率率に変換  確率率率50%以上=解約者としている
  23. 23. 機械学習導入までの道のり 2015/10/21 オイシックス株式会社 23 Web系企業における
  24. 24. 導入までの道のり 2015/10/21 オイシックス株式会社 24 •  企画 •  対象選定(何に機械学習が使えるのか) •  パイロットテスト •  チューニングと仮運⽤用 •  チューニングして精度度をあげる •  実際に施策をして効果を確認する •  本実装  ←いまココ! •  運⽤用
  25. 25. 対象選定:機械学習を導⼊入しやすくする3つの条件 2015/10/21 オイシックス株式会社 25 A. データが⼗十分にあるか(作れるか) B. ⽩白⿊黒はっきりつけられるデータか C. 学習結果が効果に直結するか 解約者予測の場合を評価 A.△:完全ではないが効果があがる程度度はある B.◯:解約する/しないで、はっきりしてる C.◯:1⼈人解約を減らすこと=会員獲得コスト         とみなせる
  26. 26. パイロットテスト   2015/10/21 オイシックス株式会社 26 •  机上の限界 •  マジで有意義な成果が出るのか? •  コスト投下すべきか? まずは、試してみるのが⼿手っ取り早い Treasure  Data  ×  Hivemall  →  ハードル低
  27. 27. Pandas + Jupiter 最強! 2015/10/21 オイシックス株式会社 27 •  機械学習の⼀一連の流流れをコメント付きで1ファ イルにまとめられる •  繰り返し実⾏行行できて、チューニング向き •  そのままPythonのプログラムになる •  他の⼈人への共有もHTMLのエクスポートで楽々
  28. 28. チューニング 2015/10/21 オイシックス株式会社 28
  29. 29. チューニングのススメ方 2015/10/21 オイシックス株式会社 29 チューニング  =  対象データの因果関係を 明らかにしていく⾏行行為 –  要 素 を 増 や す –  切切 り ⼝口 を 変 え る –  ノ イ ズ デ ー タ を 外 す 例例:  ログイン回数データ       →曜⽇日別ログイン回数としたら精度度UP
  30. 30. 機械学習のスケジュール管理 2015/10/21 オイシックス株式会社 30 チューニングは期間的な⾒見見積もりが難しい、 ある程度度の試⾏行行錯誤は必須 1. 仮運⽤用でもはじめるとわかること結構ある •  計画段階で、チューニングにかけるコストと期間を決めて、精度度が⼗十 分でなくても仮運⽤用をはじめた⽅方が良良さそう。 2. 分析⽤用のデータを作っておくと⽴立立ち上がり早い
  31. 31. 精度目標の話 2015/10/21 オイシックス株式会社 31 たとえ予測精度度が100%でもダメな場合がある? 適合率率率と再現率率率の話 – ⺟母集団…1000⼈人 – 実際に解約した⼈人…100⼈人 – 解約予測された⼈人…50⼈人 – 解約予測されて解約した⼈人…30⼈人
  32. 32. 精度目標の話 2015/10/21 オイシックス株式会社 32 適合率率率     →解約予測した⼈人が、実際どれだけやめるか。                 60%(30/50) 再現率率率     →  実際解約した⼈人のうち、何⼈人を予想できたか               30%(30/100) 100 50 1000⼈人(⺟母集団) 実解約者 30 解約予想者 それぞれでチューニング⽬目標 を設定する必要がある。
  33. 33. チーム体制について 2015/10/21 オイシックス株式会社 33 早い段階でのデータ分析者と業務担当者との 協⼒力力体制は必須 –  どういうデータが関係ありそうかの知⾒見見が深い –  機械学習を施策に落落とすまでがスムーズ –  ただし過度度な期待はさせない
  34. 34. より効果に直結する予測とは 2015/10/21 オイシックス株式会社 34 数字に現れない質の良良い予測、悪い予測がある –  引き⽌止めやすい退会者と、引き⽌止められない退会者 –  今回はデータセットから外した データセットから対象外にする 抽出された結果データを直接⾒見見るのは⼤大事
  35. 35. 今後の予定 本実装と運用 2015/10/21 オイシックス株式会社 35 1.  精度度アップ   2.  ⾃自動化  第⼀一フェーズ 解約リスト作成 3.  ⾃自動化  第⼆二フェーズ 引き⽌止め施策オートメーション化
  36. 36. まとめ 2015/10/21 オイシックス株式会社 36
  37. 37. まとめ 2015/10/21 オイシックス株式会社 37 •  導⼊入ハードルが低い! •  Hivemallを使うと統計の専⾨門知識識なしに機械学習が導⼊入 •  すぐやれます。僕らでもやれました。 •  業務側との協⼒力力体制構築 •  やっぱり業務知っている⼈人は、良良いこと⾔言ってくれる! •  ただし過度度な期待はさせない •  精度度アップより効果アップ ・予測をあてるより、効果が上がることが⼤大事
  38. 38. ゼロから機械学習をつけるのに やくだったもの 2015/10/21 オイシックス株式会社 38
  39. 39. 2015/10/21 オイシックス株式会社 39 http://qiita.com/daxanya1/items/218f2e3b922142550ef9� ↑これ⼀一番しっくりきました。Coursera  最強です
  40. 40. ありがとうございました。 2015/10/21 オイシックス株式会社 40

×