Más contenido relacionado
La actualidad más candente (20)
Similar a サービス改善はログデータ分析から (20)
サービス改善はログデータ分析から
- 2. 自己紹介
• 鈴木健太, すずけん, @suzu_v
• VOYAGE GROUPの子会社adingoにて、広告データの分析基
盤(DMP)構築とR&Dを担当しています
• 特集1「ログ解析から始めるサービス改善」を担当しました
- 11. 解析のフェーズ
1. 収集
2. 変換
3. 保存
4. 分析
5. 表示
6. 運用
「分析力を武器とする企業」 第8章 p.246より
- 12. 解析のフェーズ
1. 収集: 収集すべきデータの定義、的確なデータの収集および管理
2. 変換: データの前処理・変換
3. 保存: データおよびメタデータ(データに関するデータ)の保存
4. 分析: データの分析
5. 表示: データの可視化・加工
6. 運用: セキュリティ、エラー検出・処理、プライバシー保護など
「分析力を武器とする企業」 第8章 p.246より
- 14. 手段の多様化と進化
Fluentd, LogStash, Flume, Elasticsearch, Kibana, S3, RiakCS,
InflexDB, MongoDB, Hadoop, YARN, Tez, Presto, BigQuery,
Spark, Apache Hive, Redshift, Netezza, PureData, Teradata,
TokuDB, MySQL, PostgreSQL, Oracle, MicroStrategy, Tableau,
Metrics Insight, QlikView, Pentaho, Jaspersoft, R, Norikra,
Storm, Amazon Kinesis, 自前で作る, etc..
ログを集めて、データを貯めて、見えるようにして、管理しや
すくして・・・
- 17. ログ解析を、とりあえず試す
1. 収集: とりあえず、Fluentd
2. 変換: とりあえず、Fluentd
3. 保存: とりあえず、Elasticsearch
4. 分析: とりあえず、Elasticsearch
5. 表示: とりあえず、Kibana
6. 運用: なんとかする
とりあえずは、それでいいのです。
- 19. エンジニアだからこそ、最初の一歩を
はじめてみよう
• そこにデータがあって、手を動かせるのはエンジニア
• そこにあるデータを、伝えることの出来る形に変えることが
できるのもエンジニア
• どんなデータがあるのかを知っているのもエンジニア
まずはそこにあるデータを使えるようにすることが大事
- 21. • 現状を知りたい
• データがあるから見せたい
• ビジネスに活かしたい
• かっこいい
• 何となくやらないといけない気がしている
• 上司から言われた
• ・・・なんで可視化ってしないといけないんだっけ?
- 31. 分析基盤を作るときに考えること
= 継続性
• EFKから始めれば良い
• 関連するデータを取り込んで、柔軟に扱えること
• 試した結果を取り込んで、考える事のできる基盤であること
• 使ってもらいやすい基盤であること
http://www.slideshare.net/suzuken/jenkinshadoop
- 35. • 今年の1月にわたしたちが構築しているDMPの仕組みについ
て発表した資料です
• http://www.slideshare.net/suzuken/dmp-30079817
• 『エンジニアのための データ可視化[実践]入門 ―D3.js
によるWebの可視化』,森藤大地、あんちべ 著,2014
• 可視化についてのまとまった解説のある日本語書籍です。
可視化のメリットや機能、適切な可視化の方法について知
りたい方におすすめです。
• http://gihyo.jp/book/2014/978-4-7741-6326-0
- 36. • 『会社を変える分析の力』 (河本薫 著,講談社,2013)
• 分析とは何か、チームにおける分析の課題とは何か、そし
て分析によって何を行っていくべきかがまとめられている
書籍です。簡潔で演じない以外の方にも読みやすいでしょ
う。
• 『分析力を武器とする企業』(トーマス・H・ダベンポート、
ジェーン・G・ハリス 著、村井章子 訳,日経BP社,2008年)
• 企業の分析力についてよくまとまっている書籍です。分析
を企業の機能としての側面から端的に述べられています。
- 37. 分析対象となるデータ
• 全てのログ
• ユーザの購入ログ、クリックログ、表示ログ…
• DBに入っているデータ
• ログから導出可能なものとそうでないもの
• マスタデータ
- 39. on Elasticsearch
• 広告におけるターゲティングのための仮説づくり
• 配信ボリュームの見積もり
• エラーログの分析
• どういうところでどういうエラーが起きているか
• アトリビューション分析の取っ掛かり
• どういう行動をしたユーザがコンバージョンしているか
- 40. not on Elasticsearch
• マスタデータと組み合わせた分析
• 長期間に渡るデータを利用した分析
• 広告配信時に安定したレイテンシで返す仕組み
• 準リアルタイムなユーザ分析
• 永続化(Source of Truthではない)