Más contenido relacionado La actualidad más candente (20) Similar a リクルートのビッグデータ活用基盤とデータ活用に向けた取組み (20) Más de Recruit Technologies (20) リクルートのビッグデータ活用基盤とデータ活用に向けた取組み4. 自己紹介
4(C) Recruit Technologies Co.,Ltd. All rights reserved.
池田 英哲(いけだ ひであき)
株式会社 リクルートテクノロジーズ
ビッグデータ部
IDポイント ビッグデータインフラグループ
2003年~2006年 某SIer
Flashを用いたWebアプリケーション開発等を担当
2006年~2013年 某コンサル会社
インフォメーションマネジメント(BI・DWH)関連部署に配属
Analytics部隊の設立に携わる
2014年1月~ リクルートテクノロジーズ
入社後一貫して、リクルートIDプロジェクトのDWH構築・運用を担当
職歴
8. リクルートのビジネスモデル ~ リボンモデル
8(C) Recruit Technologies Co.,Ltd. All rights reserved.
マッチング
カスタマー
(一般ユーザー)
クライアント
(サービス提供企業)
世界中の生活者と産業界に
「まだ、ここにない、出会い。」を提供します
19. ビッグデータとは?
19(C) Recruit Technologies Co.,Ltd. All rights reserved.
ビッグデータ=大量データ
Volume
量
Variety
多様性
Velocity
速度
Volume
行動履歴・ソーシャル・センサ(GPS)等
Variety
構造化データだけでなく、
文書・画像・動画・音声などの非構造データ
Velocity
リアルタイムに発生するCSの嗜好データ
スマホ/アプリデータ
利用者・利用パターンの増加
20. ビッグデータ活用事例① リアルタイムセグメント推定
20(C) Recruit Technologies Co.,Ltd. All rights reserved.
リクルート データセンター
リアルタイムに
ログ送付
リアルタイム
大量データ受付
リアルタイム
セグメント推定
推定されたセグメントに
合わせたコンテンツ表示
初回訪問者
コールドスタート問題に対応し、
初回訪問時(=サービスにも最も期待しているタイミング)に最適な情報を提供
自分に合った情報
が見つからない
自分が欲しい情報
が出てくる!
CVR向上
21. ビッグデータ活用事例② 利用者・利用パターンの増加
21(C) Recruit Technologies Co.,Ltd. All rights reserved.
データサイエンティスト
ビジネス担当
利用者が任意に操作・分析可能
システム知識なくとも操作可能
パフォーマンス向上
ビジネス担当
レポート表示・更新
(直観操作可能に)
オンメモリで
高速化
レポート開発・
提供工数大
データ抽出・加工
工数増加
利用者のすそ野を広げ、かつ利便性・パフォーマンス向上を実現
処理時間長期化
管理者
23. データソース データ格納 プレゼンテーション 利用者
外部データ
Hadoop
エコシステム
高度分析やモデル作成
レポート/モニタリング
ビジネスインサイト
(マーケター)
機械学習やモデル実装
エンドユーザー
(エグゼ/営業
/マネージャ)
(プロデューサ/事業
企画)
データ
サイエンティスト
(高度分析者)
データ
サイエンティスト
(エンジニア)
行動ログ
事業DB
事業Hadoop
• モニタリング
• レポート
• モデル作成
• データ収集
• 整形・加工
• データストレージ
• 高速分析処理
Webアクセスログ
アプリログ
PUSH通知ログ
ビーコンログ
リクルートのビッグデータ基盤構成
ビッグデータ(データの量/種類/頻度の増加)への対応と、利用者の増加
に合わせ、基盤は常に進化
(C) Recruit Technologies Co.,Ltd. All rights reserved.
全社DWH
中央Hadoop
36. メタデータ管理Web構築の背景
データ意味情報(メタデータ)の問い合わせに忙殺される。
36(C) Recruit Technologies Co.,Ltd. All rights reserved.
会員情報はどこにある!?
XXの意味を教えてください!
利用者
テーブル定義書(ファイル)
DWH
Select * from XX limit 100
Select * from YY limit 100
Select * from ZZ limit 100
・・・
開発者
システム管理者
分からないです…
引用元)気がつくと机がぐちゃぐちゃになっているあなたへ
ISBN 978-4-7942-1146-0
“平均的なビジネスマンは、探し物をするためだけに、
1年間で約150時間を費やしている”
利用者がわかる形で回答
×
データの質・量の増加
利用者の増加
40. 40(C) Recruit Technologies Co.,Ltd. All rights reserved.
ココに来れば必要な情報があるという状態を作り出し、分析担当者のデータ
特定に至る時間やシステム担当者の負担を軽減させる。
メタデータ管理Webで実現した世界
探す手間が省ける
ナレッジが共有される
利用者
テーブル定義書(ファイル)
システム管理者
探す
メタデータ管理Web
DWH
システム管理者
問合せが減る!
潜在的なニーズを拾える!
問合せが減る!
自分のDBの最新情報が把握できる!
開発者
自動
自動
自動
41. 0
100
200
300
400
500
600
700
800
900
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18
2016年1月
平日は650回/日以上の利用。月間で計12,000回(約400UU)超え
利用状況
41(C) Recruit Technologies Co.,Ltd. All rights reserved.
年間75人月超の工数削減効果!
(5分/回の工数削減効果)
+
問合せを受けるシステム管理者の工数削減!
42. O’REILLYでもMetadataに注目
42(C) Recruit Technologies Co.,Ltd. All rights reserved.
Data Newsletter -O’REILLY Media
http://post.oreilly.com/form/oreilly/viewhtml/9z1zhq84f5e844q8c4485ot23vjma
31u8qfj23tq2rg?imm_mid=0ddf30&cmp=em-data-na-na-newsltr_20151230
2016年の
「10 data trends」筆頭にメタデータ管理