5. • 自由
• DeNA ではデータに基づき意思決定をする文化が根付いている
• データの利用者はスピード感を損なわず「自由」に分析したい
• 統制
• データの利用者が安心して分析できるよう(事故らないよう)
安定したデータプラットフォームを提供する必要がある
• 自由で統制の取れたデータプラットフォーム
の実現に向けた DeNA データエンジニアのアプローチ
伝えたいこと
6. コメント、質問をお待ちしております
• Twitter / YouTube Live からの投稿お待ちしております!
• #自由と統制のバランス
のハッシュタグで質問ツイートをいただけると
本日回答できなかった場合にも
DeNA Analytics Blog - Medium などで後日回答差し上げます。
7. • BigQuery の利用におけるコスト削減の取り組み
• Google Cloud Next '19 in Tokyo で発表済み(2019/08/01)
• BigQuery を使い倒せ!DeNA データエンジニアの取り組み事例
• https://cloud.withgoogle.com/next/19/tokyo/sessions?session=D2-2-S09
• オンプレ(Hadoop/Vertica)から クラウド(BigQuery) への移行の詳細
• Google Cloud Data Platform Day #2 で発表予定(2020/03/31)
• Google Cloud を使ったデータプラットフォームへの変革と最新の活用状況について
• https://cloudonair.withgoogle.com/events/jp-data-platform-day
• DeNA が Looker を採用した経緯
• Looker Game Night で発表予定(時期未定)
• https://discover.looker.com/Q1Y2020JPNGameEvent.html
本日お話しないこと
27. Service B
Service A
DeNA のオンプレ分析環境について (before)
App
Server
LOG
DB
...
Log
Collector
DB
Snapshot
Hadoop
Medjed(内製)
Vertica
Argus(内製)
Batch
Jenkins
サービス環境 オンプレ環境 クラウド環境
gateway
ssh
https
アクセス
制限
多数のサービス
で相乗り
38. Service B
Service A
DeNA のオンプレ分析環境について (before)
App
Server
LOG
DB
...
Log
Collector
DB
Snapshot
Hadoop
Medjed(内製)
Vertica
Argus(内製)
Batch
Jenkins
サービス環境 オンプレ環境 クラウド環境
gateway
ssh
https
アクセス
制限
多数のサービス
で相乗り
61. Service B
Service A
DeNA のオンプレ分析環境について (before)
App
Server
LOG
DB
...
Log
Collector
DB
Snapshot
Hadoop
Medjed(内製)
Vertica
Argus(内製)
Batch
Jenkins
サービス環境 オンプレ環境 クラウド環境
gateway
ssh
https
62. DeNA オンプレ
DeNA のクラウド分析環境について (after)
Cloud Load
Balancing
Identity-Aware
Proxy
Cloud
Armor
Kubernetes cluster
Kubernete
s
Engine
pod
Cloud
SQL
Cloud
NAT
Cloud
StorageGithub
Enterprise
タスク
ログ
ssh
https
BigQuery
ソース
IP 制限
認証