Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

SpiderAFにおける機械学習を使った不正検知

450 visualizaciones

Publicado el

【.LOG(ドットログ)】第2回アドテクノロジーを支える技術 #ドットログ
2019/02/21@ログリー株式会社

Publicado en: Tecnología
  • Sé el primero en comentar

  • Sé el primero en recomendar esto

SpiderAFにおける機械学習を使った不正検知

  1. 1. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 1 CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 【.LOG(ドットログ)】第2回アドテクノロジーを支える技術 #ドットログ 「SpiderAFにおける機械学習を使った不正検知」 2019/02/21@ログリー株式会社 赤石 暁(株式会社Phybbit)
  2. 2. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 2 赤石 暁 (あかいし あきら) 株式会社Phybbit Developer 略歴 2010年 3月 首都大学東京 博士過程修了 2012年11月 電気通信大学 特任助教 2018年 3月 株式会社Phybbit 入社 やってること SpiderAFの開発 不正トラフィックの研究・解析
  3. 3. P E N D I N G P A T E N T C O N F I D E N T I A L Copyright © 2018, Phybbit Ltd. All rights reserved. 目次 1. アドフラウド(広告不正)って何? 2. ログデータから何がわかる? 3. 不正パターンの可視化 4. まとめ
  4. 4. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 44 Phybbit (SpiderAF) 広告ログデータを集計 可視化・スコアリング データから アドフラウドを 見つけ出す! SpiderAF ダッシュボード
  5. 5. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 55 アドフラウド(広告詐欺)って何? 広告をクリック ウェブサイト運営者 スクリプト・ボットによる 不正クリック アドフラウドのひと
  6. 6. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 66 ログデータから不正を見つける クリック時間、IP、OS/端末情報 不正サイトを見つける ルールベース 機械学習 - 教師あり(XGBoost , CNN, NLP, etc.) - 教師なし(k-means clustering, t-SNE)
  7. 7. P E N D I N G P A T E N T C O N F I D E N T I A L Copyright © 2018, Phybbit Ltd. All rights reserved. 目次 2. ログデータから何がわかる?
  8. 8. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 88 ログデータから得られる情報 時間 IP:国、県、ISP デバイス情報、OS環境、ブラウザ クリック=HTTP request UserAgent/SDK サイトA サイトB サイトC サイトD サイトE サイトF
  9. 9. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 99 クリック時間の集計 サイトごとに集計 サイトBサイトA サイトB サイトB サイトA 一定期間(e.g.一ヶ月)の データを集計
  10. 10. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 1010 時間分布の不正パターン サイトA 昼休み サイトB 一日中クリックしっぱなし?! 寝てる😴 仕事終わり😆
  11. 11. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 1111 分の分布の不正パターン サイトA サイトB 何分にクリックするかはバラバラ →平均するとほぼ一定 15分おきにクリック?! ボット/スクリプトによるクリック?!
  12. 12. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 1212 IPの分析 国の分布 県の分布 ISPの分布 正常サイトでは日本の人口分布に近くなる
  13. 13. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 1313 IPの分析 国の分布 県の分布 ISPの分布 正常サイトでは日本の人口分布に近くなる不正サイトでは、不自然な分布になる
  14. 14. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 1414 端末情報 正常サイト 不正サイト デバイス、ブラウザでも同様の傾向がある iOS 6.0は2012年リリース 不正サイトでは 古いOSが使われがち (scriptのUAを更新してない?! 安い端末で大量クリック?!)
  15. 15. P E N D I N G P A T E N T C O N F I D E N T I A L Copyright © 2018, Phybbit Ltd. All rights reserved. 目次 3. 不正パターンの可視化
  16. 16. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 1616 不正パターンを見つけたい クリックの時間 24次元データ 低次元データ サイトA サイトB サイトC サイトA サイトB サイトC Dimensionality reduction PCA NMF t-SNE サイトごとに合計で割る
  17. 17. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 1717 t-SNE t-distributed stochastic neighbor embedding サイトA サイトB サイトC サイトA サイトB サイトC https://scikit-learn.org/ 元データ構造を2次元にmapping
  18. 18. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 1818 t-SNEでの可視化 不正サイトを一括で見つけられる!
  19. 19. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 1919 OS version • androidだけ • iOSだけ • 両方 サイトA サイトB サイトC 57次元 サイトA サイトB サイトC サイトごとに合計で割る
  20. 20. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 2020 OS t-SNE iOSだけ androidだけ 両方 サイトC サイトB サイトA サイトD サイトE サイトF サイト G サイトH サイトI
  21. 21. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 2121 OS t-SNE 古いiOSだけ 小さい“島”は 異常なパターンになっている →ぜんぶ不正サイト android 5.0 ?! iOS 10.3 ?! サイトC サイトB サイトA サイトD サイトE サイトF サイト G サイトH サイトI
  22. 22. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 2222 t-SNEによる不正検出 どんなデータでも使える ラベルなしで使える(教師なし) t-SNEの利点 不正サイトを一括で見つけられる サイトの類似性がわかる • 不正スコアの精度向上 • 新しい不正パターンの発見
  23. 23. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. CONFIDENTIAL PATENT PENDING Copyright © 2018, Phybbit Ltd. All rights reserved. 2323 まとめ ログデータから不正を見つける サイトごとに集計し、不正パターンを見つける t-SNEで可視化 https://spideraf.com

×