Enviar búsqueda
Cargar
データ分析基盤を支えるエンジニアリング
•
Descargar como PPTX, PDF
•
22 recomendaciones
•
9,873 vistas
Recruit Lifestyle Co., Ltd.
Seguir
・リクルートライフスタイルのデータ分析基盤の紹介 ・データ分析基盤に必要なエンジニアリング リクルートライフスタイル 白鳥昇治
Leer menos
Leer más
Datos y análisis
Denunciar
Compartir
Denunciar
Compartir
1 de 46
Descargar ahora
Recomendados
AngularとSpring Bootで作るSPA + RESTful Web Serviceアプリケーション
AngularとSpring Bootで作るSPA + RESTful Web Serviceアプリケーション
ssuser070fa9
JenkinsとCodeBuildとCloud Buildと私
JenkinsとCodeBuildとCloud Buildと私
Shoji Shirotori
既存Redshift/ETLからSpectrum/Glueへの移行を徹底解明!
既存Redshift/ETLからSpectrum/Glueへの移行を徹底解明!
Recruit Lifestyle Co., Ltd.
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
Denodo
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
Azure Datalake 大全
Azure Datalake 大全
Daiyu Hatakeyama
Power BI をアプリに埋め込みたい? ならば Power BI Embedded だ!
Power BI をアプリに埋め込みたい? ならば Power BI Embedded だ!
Teruchika Yamada
Recomendados
AngularとSpring Bootで作るSPA + RESTful Web Serviceアプリケーション
AngularとSpring Bootで作るSPA + RESTful Web Serviceアプリケーション
ssuser070fa9
JenkinsとCodeBuildとCloud Buildと私
JenkinsとCodeBuildとCloud Buildと私
Shoji Shirotori
既存Redshift/ETLからSpectrum/Glueへの移行を徹底解明!
既存Redshift/ETLからSpectrum/Glueへの移行を徹底解明!
Recruit Lifestyle Co., Ltd.
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
Denodo
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
Azure Datalake 大全
Azure Datalake 大全
Daiyu Hatakeyama
Power BI をアプリに埋め込みたい? ならば Power BI Embedded だ!
Power BI をアプリに埋め込みたい? ならば Power BI Embedded だ!
Teruchika Yamada
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
NTT DATA Technology & Innovation
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
株式会社MonotaRO Tech Team
マルチテナントのアプリケーション実装〜実践編〜
マルチテナントのアプリケーション実装〜実践編〜
Yoshiki Nakagawa
データプロダクト開発を成功に導くには
データプロダクト開発を成功に導くには
Recruit Lifestyle Co., Ltd.
20190806 AWS Black Belt Online Seminar AWS Glue
20190806 AWS Black Belt Online Seminar AWS Glue
Amazon Web Services Japan
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
backlogsでもCI/CDする夢を見る
backlogsでもCI/CDする夢を見る
Takeru Maehara
開発速度が速い #とは(LayerX社内資料)
開発速度が速い #とは(LayerX社内資料)
mosa siru
イミュータブルデータモデル(入門編)
イミュータブルデータモデル(入門編)
Yoshitaka Kawashima
Ingress on Azure Kubernetes Service
Ingress on Azure Kubernetes Service
Toru Makabe
単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介
AdvancedTechNight
Databricksを初めて使う人に向けて.pptx
Databricksを初めて使う人に向けて.pptx
otato
3分でわかるAzureでのService Principal
3分でわかるAzureでのService Principal
Toru Makabe
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
株式会社MonotaRO Tech Team
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
Microsoft License の基本
Microsoft License の基本
祥子 松山
Glue DataBrewでデータをクリーニング、加工してみよう
Glue DataBrewでデータをクリーニング、加工してみよう
takeshi suto
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
株式会社MonotaRO Tech Team
アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門
Yoichi Kawasaki
ぱぱっと理解するSpring Cloudの基本
ぱぱっと理解するSpring Cloudの基本
kazuki kumagai
データ分析基盤におけるOpsのためのDev with event driven + serverless
データ分析基盤におけるOpsのためのDev with event driven + serverless
Shoji Shirotori
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
Google Cloud Platform - Japan
Más contenido relacionado
La actualidad más candente
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
NTT DATA Technology & Innovation
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
株式会社MonotaRO Tech Team
マルチテナントのアプリケーション実装〜実践編〜
マルチテナントのアプリケーション実装〜実践編〜
Yoshiki Nakagawa
データプロダクト開発を成功に導くには
データプロダクト開発を成功に導くには
Recruit Lifestyle Co., Ltd.
20190806 AWS Black Belt Online Seminar AWS Glue
20190806 AWS Black Belt Online Seminar AWS Glue
Amazon Web Services Japan
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
backlogsでもCI/CDする夢を見る
backlogsでもCI/CDする夢を見る
Takeru Maehara
開発速度が速い #とは(LayerX社内資料)
開発速度が速い #とは(LayerX社内資料)
mosa siru
イミュータブルデータモデル(入門編)
イミュータブルデータモデル(入門編)
Yoshitaka Kawashima
Ingress on Azure Kubernetes Service
Ingress on Azure Kubernetes Service
Toru Makabe
単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介
AdvancedTechNight
Databricksを初めて使う人に向けて.pptx
Databricksを初めて使う人に向けて.pptx
otato
3分でわかるAzureでのService Principal
3分でわかるAzureでのService Principal
Toru Makabe
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
株式会社MonotaRO Tech Team
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
Microsoft License の基本
Microsoft License の基本
祥子 松山
Glue DataBrewでデータをクリーニング、加工してみよう
Glue DataBrewでデータをクリーニング、加工してみよう
takeshi suto
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
株式会社MonotaRO Tech Team
アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門
Yoichi Kawasaki
ぱぱっと理解するSpring Cloudの基本
ぱぱっと理解するSpring Cloudの基本
kazuki kumagai
La actualidad más candente
(20)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
マルチテナントのアプリケーション実装〜実践編〜
マルチテナントのアプリケーション実装〜実践編〜
データプロダクト開発を成功に導くには
データプロダクト開発を成功に導くには
20190806 AWS Black Belt Online Seminar AWS Glue
20190806 AWS Black Belt Online Seminar AWS Glue
AWSで作る分析基盤
AWSで作る分析基盤
backlogsでもCI/CDする夢を見る
backlogsでもCI/CDする夢を見る
開発速度が速い #とは(LayerX社内資料)
開発速度が速い #とは(LayerX社内資料)
イミュータブルデータモデル(入門編)
イミュータブルデータモデル(入門編)
Ingress on Azure Kubernetes Service
Ingress on Azure Kubernetes Service
単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介
Databricksを初めて使う人に向けて.pptx
Databricksを初めて使う人に向けて.pptx
3分でわかるAzureでのService Principal
3分でわかるAzureでのService Principal
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
AWSではじめるMLOps
AWSではじめるMLOps
Microsoft License の基本
Microsoft License の基本
Glue DataBrewでデータをクリーニング、加工してみよう
Glue DataBrewでデータをクリーニング、加工してみよう
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門
ぱぱっと理解するSpring Cloudの基本
ぱぱっと理解するSpring Cloudの基本
Similar a データ分析基盤を支えるエンジニアリング
データ分析基盤におけるOpsのためのDev with event driven + serverless
データ分析基盤におけるOpsのためのDev with event driven + serverless
Shoji Shirotori
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
Google Cloud Platform - Japan
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
tatsuya 264
オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方
オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方
Yu Yamada
20181206 Jazug DataScience TeamBuilding and DevOps
20181206 Jazug DataScience TeamBuilding and DevOps
Yukako Shimizu
データをどこに溜めよう?ローカル?クラウド?どのデータベース?
データをどこに溜めよう?ローカル?クラウド?どのデータベース?
- Core Concept Technologies
リクルートライフスタイル流!分析基盤との賢い付き合い方
リクルートライフスタイル流!分析基盤との賢い付き合い方
Recruit Lifestyle Co., Ltd.
データ分析基盤について
データ分析基盤について
Yuta Inamura
2015年2月26日 dsthHUB 『DataSpiderインターナル プラガブルアーキテクチャで広がる可能性』
2015年2月26日 dsthHUB 『DataSpiderインターナル プラガブルアーキテクチャで広がる可能性』
dstn
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
プロダクト中心のデータ駆動を推進していくために必要なこと
プロダクト中心のデータ駆動を推進していくために必要なこと
Kazuhito Osabe
Alteryxの中級者向けトレーニングコース始めます!
Alteryxの中級者向けトレーニングコース始めます!
Yuji Kanemoto
DeNAにおけるSWETの役割
DeNAにおけるSWETの役割
Toshiyuki Hirata
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
Kentaro Yoshida
構造化データをツールで簡単に分析
構造化データをツールで簡単に分析
Yoshitaka Seo
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
Recruit Lifestyle Co., Ltd.
20150905 stream analytics
20150905 stream analytics
一希 大田
ビフォーアフターで学ぶ データビジュアライゼーションの基本
ビフォーアフターで学ぶ データビジュアライゼーションの基本
Toshikuni Fuji
Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略
Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略
Takanori Kawahara
Similar a データ分析基盤を支えるエンジニアリング
(20)
データ分析基盤におけるOpsのためのDev with event driven + serverless
データ分析基盤におけるOpsのためのDev with event driven + serverless
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方
オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方
20181206 Jazug DataScience TeamBuilding and DevOps
20181206 Jazug DataScience TeamBuilding and DevOps
データをどこに溜めよう?ローカル?クラウド?どのデータベース?
データをどこに溜めよう?ローカル?クラウド?どのデータベース?
リクルートライフスタイル流!分析基盤との賢い付き合い方
リクルートライフスタイル流!分析基盤との賢い付き合い方
データ分析基盤について
データ分析基盤について
2015年2月26日 dsthHUB 『DataSpiderインターナル プラガブルアーキテクチャで広がる可能性』
2015年2月26日 dsthHUB 『DataSpiderインターナル プラガブルアーキテクチャで広がる可能性』
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
プロダクト中心のデータ駆動を推進していくために必要なこと
プロダクト中心のデータ駆動を推進していくために必要なこと
Alteryxの中級者向けトレーニングコース始めます!
Alteryxの中級者向けトレーニングコース始めます!
DeNAにおけるSWETの役割
DeNAにおけるSWETの役割
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
構造化データをツールで簡単に分析
構造化データをツールで簡単に分析
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
20150905 stream analytics
20150905 stream analytics
ビフォーアフターで学ぶ データビジュアライゼーションの基本
ビフォーアフターで学ぶ データビジュアライゼーションの基本
Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略
Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略
Más de Recruit Lifestyle Co., Ltd.
業務と消費者の体験を同時にデザインするリクルートの価値検証のリアル ー 「Airレジ ハンディ」セルフオーダーのブレない「価値」の確かめ方 ー
業務と消費者の体験を同時にデザインするリクルートの価値検証のリアル ー 「Airレジ ハンディ」セルフオーダーのブレない「価値」の確かめ方 ー
Recruit Lifestyle Co., Ltd.
分散トレーシングAWS:X-Rayとの上手い付き合い方
分散トレーシングAWS:X-Rayとの上手い付き合い方
Recruit Lifestyle Co., Ltd.
OOUIを実践してわかった、9つの大切なこと
OOUIを実践してわかった、9つの大切なこと
Recruit Lifestyle Co., Ltd.
Flutter移行の苦労と、乗り越えた先に得られたもの
Flutter移行の苦労と、乗り越えた先に得られたもの
Recruit Lifestyle Co., Ltd.
CTIサービスを支える裏側 〜物理デバイスとの戦い〜 | iOSDC Japan 2020
CTIサービスを支える裏側 〜物理デバイスとの戦い〜 | iOSDC Japan 2020
Recruit Lifestyle Co., Ltd.
「進化し続けるインフラ」のためのマルチアカウント管理
「進化し続けるインフラ」のためのマルチアカウント管理
Recruit Lifestyle Co., Ltd.
Air事業のデザイン組織とデザイナー
Air事業のデザイン組織とデザイナー
Recruit Lifestyle Co., Ltd.
リクルートライフスタイル AirシリーズでのUXリサーチ
リクルートライフスタイル AirシリーズでのUXリサーチ
Recruit Lifestyle Co., Ltd.
ホットペッパービューティーにおけるモバイルアプリ向けAPIのBFF/Backend分割
ホットペッパービューティーにおけるモバイルアプリ向けAPIのBFF/Backend分割
Recruit Lifestyle Co., Ltd.
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
Recruit Lifestyle Co., Ltd.
Real-time personalized recommendation using embedding
Real-time personalized recommendation using embedding
Recruit Lifestyle Co., Ltd.
データから価値を生み続けるには
データから価値を生み続けるには
Recruit Lifestyle Co., Ltd.
Jupyter だけで機械学習を実サービス展開できる基盤
Jupyter だけで機械学習を実サービス展開できる基盤
Recruit Lifestyle Co., Ltd.
SQLを書くだけでAPIが作れる基盤
SQLを書くだけでAPIが作れる基盤
Recruit Lifestyle Co., Ltd.
BtoBサービスならではの顧客目線の取り入れ方
BtoBサービスならではの顧客目線の取り入れ方
Recruit Lifestyle Co., Ltd.
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
Recruit Lifestyle Co., Ltd.
リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法
リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法
Recruit Lifestyle Co., Ltd.
ビックデータ分析基盤の成⻑の軌跡
ビックデータ分析基盤の成⻑の軌跡
Recruit Lifestyle Co., Ltd.
Refactoring point of Kotlin application
Refactoring point of Kotlin application
Recruit Lifestyle Co., Ltd.
データサイエンティストとエンジニア 両者が幸せになれる機械学習基盤を求めて
データサイエンティストとエンジニア 両者が幸せになれる機械学習基盤を求めて
Recruit Lifestyle Co., Ltd.
Más de Recruit Lifestyle Co., Ltd.
(20)
業務と消費者の体験を同時にデザインするリクルートの価値検証のリアル ー 「Airレジ ハンディ」セルフオーダーのブレない「価値」の確かめ方 ー
業務と消費者の体験を同時にデザインするリクルートの価値検証のリアル ー 「Airレジ ハンディ」セルフオーダーのブレない「価値」の確かめ方 ー
分散トレーシングAWS:X-Rayとの上手い付き合い方
分散トレーシングAWS:X-Rayとの上手い付き合い方
OOUIを実践してわかった、9つの大切なこと
OOUIを実践してわかった、9つの大切なこと
Flutter移行の苦労と、乗り越えた先に得られたもの
Flutter移行の苦労と、乗り越えた先に得られたもの
CTIサービスを支える裏側 〜物理デバイスとの戦い〜 | iOSDC Japan 2020
CTIサービスを支える裏側 〜物理デバイスとの戦い〜 | iOSDC Japan 2020
「進化し続けるインフラ」のためのマルチアカウント管理
「進化し続けるインフラ」のためのマルチアカウント管理
Air事業のデザイン組織とデザイナー
Air事業のデザイン組織とデザイナー
リクルートライフスタイル AirシリーズでのUXリサーチ
リクルートライフスタイル AirシリーズでのUXリサーチ
ホットペッパービューティーにおけるモバイルアプリ向けAPIのBFF/Backend分割
ホットペッパービューティーにおけるモバイルアプリ向けAPIのBFF/Backend分割
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
Real-time personalized recommendation using embedding
Real-time personalized recommendation using embedding
データから価値を生み続けるには
データから価値を生み続けるには
Jupyter だけで機械学習を実サービス展開できる基盤
Jupyter だけで機械学習を実サービス展開できる基盤
SQLを書くだけでAPIが作れる基盤
SQLを書くだけでAPIが作れる基盤
BtoBサービスならではの顧客目線の取り入れ方
BtoBサービスならではの顧客目線の取り入れ方
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法
リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法
ビックデータ分析基盤の成⻑の軌跡
ビックデータ分析基盤の成⻑の軌跡
Refactoring point of Kotlin application
Refactoring point of Kotlin application
データサイエンティストとエンジニア 両者が幸せになれる機械学習基盤を求めて
データサイエンティストとエンジニア 両者が幸せになれる機械学習基盤を求めて
データ分析基盤を支えるエンジニアリング
1.
データ分析基盤を支えるエンジニアリング 白鳥 昇治 テクノロジープラットフォームユニット データマネジメントグループ データ基盤チーム 2017/12/12 0
2.
今日お話すること • 自己紹介 • リクルートライフスタイルのデータ分析基盤の紹介 •
データ分析基盤に必要なエンジニアリング • さいごに 1
3.
自己紹介 • 白鳥 昇治(しろとり
しょうじ) • 略歴 • インフラエンジニア@SIer 2013/4〜 • 社内プライベートクラウドの構築・運用 • ソフトウェア開発ツールの社内ホスティングサービス開発・運用 • データエンジニア@リクルートライフスタイル 2017/7〜 • データ基盤チーム • 美容データプロデュースチーム(兼務) • 趣味 • バイク / 登山 / 仮想通貨トレード / Splatoon 2
4.
Engineering for data Business with data 技術でビジネスを ドライブする Stable
Infrastructure Continual Innovation+ リクルートライフスタイルにおけるエンジニアの役割
5.
今日お話すること • 自己紹介 • リクルートライフスタイルのデータ分析基盤の紹介 •
データ分析基盤に必要なエンジニアリング • さいごに 4
6.
リクルートライフスタイルのプロダクト 5
7.
どういうデータが集まるの? • 事業DBデータ • じゃらん、ホットペッパーグルメなどの各事業DBのテーブルそのもの や、そのスナップショットデータ •
マスターデータ • 地理情報などの外部データから取得できるマスターデータ • 管理者が手動で管理しているのでmaster_handスキーマと呼ばれる • データマート • 事業データ、マスターデータを駆使して分析・モニタリングしやすい ように加工したもの。データプランナーが事業と一緒に考えて作成。 • 誰でも音速でBIできるのでbi_smh(BIシューマッハ)スキーマと呼ば れる • サイトアクセスログ • Adobe Analyticsによる各事業のアクセスログ 6
8.
どう使う分析基盤なの? • アドホック分析 • データが必要になったときに。 •
例:昨日のこのエリアの宿のじゃらん予約数を知りたい • KPI・KGIモニタリング • 主にTableauでモニタリング、出力ファイル提供もする • 例:アクティブユーザー数の推移を見たい • 施策のためのデータ抽出 • 売上に直結するような施策のためのデータ抽出をバッチ実行 • データサイエンティストが考えたモデルを動かして使ったりする • 例:キャンペーンのポイント付与対象者リストが欲しい 7 プロダクトごとに 分析フローは様々
9.
データウェアハウス データ分析基盤 データ分析基盤 超概要 8 データ データ レイク データ データ 格納 データ 格納 データ マート BIツール 集計 集約 分析 ローデータを一元的に格納 データを構造的に格納 分析しやすいように データを加工する データ基盤チーム 分析ユーザー orシステム 事業
10.
データ分析基盤BLT 概要 9 S3 HPB JLN HPG TSV CSV Cloud Storage Redshift(本番) Redshift(退避) アクセスログ CSV 事業データ 外部データ Exadata Bigquery (スナップショット から再作成) ETL処理 ロード ETL処理 ロード ETL処理 マート作成 ETL処理 展開 BIツール JLN JLN
11.
実装ポイント3つ • データレイク構成 • 4つのデータウェアハウス •
ETLのための独自フレームワーク 10
12.
データレイク構成 11 HPB JLN HPG TSV CSV Cloud Storage Redshift(本番) Redshift(退避) アクセスログ CSV 事業データ 外部データ Exadata Bigquery (スナップショット から再作成) ETL処理 ロード ETL処理 ロード ETL処理 マート作成 ETL処理 展開 BIツール JLN JLN S3
13.
データレイク構成 • ローデータはすべてS3に保管(=データレイク構成) • データレイク構成にしておくことによって、新しいエンジンや新 しいニーズが出てきた際もある程度柔軟に対応出来る 12 S3 Load OK!
14.
4つのデータウェアハウス 13 HPB JLN HPG TSV CSV Cloud Storageアクセスログ CSV 事業データ 外部データ (スナップショット から再作成) ETL処理 ロード ETL処理 ロード ETL処理 マート作成 ETL処理 展開 BIツール S3 Redshift(本番) Redshift(退避) Exadata Bigquery JLN JLN
15.
4つのデータウェアハウス • Exadata • 施策バッチの専用実行環境 •
オンプレ • 売上に直結するため、通常の分析環境とリソースを分離して安 全安心を確保 • 利用についてはマネージャー承認制 14
16.
4つのデータウェアハウス • Redshitf(本番) • メインの分析環境 •
データロードとマート作成が常に走っており激重 • 重要指標のモニタリングによく使われる • データ鮮度:日次 15
17.
4つのデータウェアハウス • Redshift(退避) • アドホック分析環境その2 •
本番のRedshiftが遅すぎたため作った環境 • 週次で本番Redshiftのスナップショットから再作成される • 最新のデータをテーブル単位でS3からロードすることもできる • データ鮮度:週次 16
18.
4つのデータウェアハウス • BigQuery • アドホック分析環境その2 •
アクセスログが毎時で連携されている • 最近Redshiftのデータも連携されるようになったのでRedshift 退避環境の退役も近い • 安いし使いやすいし最高でしかない • データ鮮度:毎時or日次 17
19.
(スナップショット から再作成) BIツールRedshift(本番) Redshift(退避) Exadata Bigquery JLN JLN ETL(Extract Transform Load)処理 18 HPB JLN HPG TSV CSV Cloud
Storageアクセスログ CSV 事業データ 外部データ S3 ETL処理 マート作成 ETL処理 ロード ETL処理 ロード ETL処理 展開
20.
ETL処理のためのフレームワーク① • 通称、h2framework • 独自で実装した
ETLのフレームワークを用意し、SQLとYAMLを作るだけ でデータの移動を出来るようにしている。Python製。スケジューラーは JP1。 19
21.
ETL処理のためのフレームワーク② • 通称、bq-loader • S3にデータが配置されると、自動的にBigQueryにロードされる。ジョブ の中身はPython製。イベントドリブンでイケてる。 20
22.
今日お話すること • 自己紹介 • リクルートライフスタイルのデータ分析基盤の紹介 •
データ分析基盤に必要なエンジニアリング • さいごに 21
23.
データ分析基盤に必要なエンジニアリング このデータ分析基盤で達成したいこと とにかくどんどん分析してもらって 売上を上げてもらう! そのために… 22
24.
23 #1 ユーザビリティを上げる
25.
ユーザビリティを上げる • 使ってもらわないことには始まらない • アクティブユーザー数は150〜200、ユニークユーザーは1000以上 •
ユーザーのバックグラウンドも様々 • ディレクター、マーケター、セールス、エンジニア、データサイエン ティスト、etc... 24
26.
ユーザビリティを上げる • データをいい感じにする • データソースを増やす •
たとえば業務で使っているクラウドサービスのデータ • データ鮮度を上げる • Weekly→Daily→Hourly→リアルタイム • ここはまだ要望に答えきれていない… 25
27.
ユーザビリティを上げる • ユーティリティツールを公開する • チャットでつぶやくとで最新データをロードするインターフェース •
データの更新時間がわかるダッシュボード • Slackの質問チャンネル開設 • メタ情報の公開 26
28.
27 • 事業DBやDWH、Adobe Analyticsのメタデータを一元的に管理 •
カラムに対してのコメント機能もあるため、単純なDDLよりもわかりやすい情報が載っている
29.
#2 パフォーマンスを上げる 28
30.
パフォーマンスを上げる • クエリが数分間返ってこない分析基盤なんて使っても らえない • ユーザー「ボルト?遅っ!!」 29
31.
パフォーマンスを上げる • ビッグデータ、データ分析関連のソフトウェアやサービスはも のすごい勢いでローンチ/アップデートされている • Redshift
Spectrum, AWS Glue, Dataflow, Data studio... • 良さそうなものは検証して基盤を進化させ続け、その時想像で きる最適を目指す 30
32.
31 Amazon EMR Amazon Athena AWS
Glue 役目を終えた OR 我々の基盤に今はマッチしなかったサービス・ツール達
33.
パフォーマンスを上げる • マネージドサービスとは仲良く、フィードバックする • もちろん最初はSQLチューニングやベストプラクティス適用な ど、基本からやりましょう 32
34.
33 #3 運用コストを下げる
35.
運用コストを下げる • ユーザビリティやパフォーマンスのための開発ができ るようにする 34
36.
運用コストを下げる • なるべく運用は自動化しておく • ETLのリトライは単純リランで済むように、冪等な処理に •
故障チケットは自動で起票、チケット起票おじさんがいなくて済むように • Infrastructure as a code/自動テスト/自動デプロイ • 定常作業はすべて自動化するつもりで • まだまだ道半ば>< • 魔改造しない、マネージドサービスに乗れるところは乗る • まだまだオンプレのバッチサーバがあったりします • とはいえミドルウェアを自分でいじれないのはちょっとさみしい>< 35
37.
#4 モニタリングする 36
38.
モニタリングする • データ分析基盤自体もデータ分析が必要 • モニタリングをして改善しないとダメです •
まだきちんとできておりません>< 37
39.
38 クエリ状況 障害状況 DWH負荷状況 UU推移(日足) クエリ数推移(日足) クエリ実行時間推移(日足) クエリ内容 UU推移(月足) クエリ数推移(月足) クエリ実行時間推移(月足) サマリ
40.
#5 自分で分析する 39
41.
自分自身でも分析する • せっかく目の前に面白いデータがあるのに、遊ばない 分析しない手はない • 使う側になってみないとわからないこと、たくさんあ ると思います •
自分がマーケター、ディレクターの役割で事業課題を発見・解決する データを作ってみよう • 誰が、何のために、どんなデータを分析してるのか認 識しないと、最適なデータ分析基盤は作れない • =データプランナーの視点も必要 40
42.
データ分析基盤に必要なエンジニアリング このデータ分析基盤で達成したいこと とにかくどんどん分析してもらって 売上を上げてもらう! そのために… 1. ユーザビリティを上げる 2. パフォーマンスを上げる 3.
運用コストを下げる 4. モニタリングする 5. 自分で分析する 41
43.
今日お話すること • 自己紹介 • リクルートライフスタイルのデータ分析基盤の紹介 •
データ分析基盤に必要なエンジニアリング • さいごに 42
44.
さいごに • 進化を続けることができる基盤は作っていて、エンジニアとして とても楽しい • 新しいマネージドサービスや技術はキャッチアップ必須! •
リクルートライフスタイルのデータ分析基盤はまだ発展途上 • お話したとおり改善ポイントはいくらでもある • 実はアプリやサーバーログのリアルタイム収集・分析基盤は別にあったり… • リクルートライフスタイル、ひいてはリクルート全体の分析基盤 を一緒に作ってくれる方をお待ちしています! 43
45.
44
46.
45
Notas del editor
リクルートライフスタイルにおけるエンジニアの役割 弊社の特徴として、エンジニアがビジネスのとても近くにいるというのがあります。 図のようにエンジニアの役割は技術によってビジネスをドライブさせることになります。 エンジニアからビジネス側へ提案することが多くある。 あとは、毎年エンジニアがビジネスプランを発表するコンテストもありますし、技術とビジネス両方学べる良い環境だと思います。 リクルートライフスタイルとエンジニアが結びつかない人も多数いるとは思いますが、技術でビジネスをドライブしてる実績が認められ最近はエンジニアを増やすことに注力しています。
Descargar ahora