全社のデータ活用を一段階上げる取り組み

2. ● 吉本直人（よしもとなおと） ● 2020年2月にMonotaRO入社（中途・1年8ヶ月目） ○ 前職で約5年間、BI/分析ツールの代理店で技術サポート、コンサルなどをしていました ● 採用広報(編集)もしています ○ “モノタロウ　ブログ” で検索すると noteとはてなブログがでます！ 2 自己紹介

3. ~ 2010 基幹システムからの抽出と Excel 2010 ~ 2015 販促基盤 2016 ~ 2017 BigQuery 導入 2020~2021 データ管理導入 Looker導入 DWH構築 2018 ~ 2019 BigQuery展開 2018 ~ 2019 他システム連携 DDP EC基盤への展開 2020~2021 サーチ基盤 2022 ~ データ管理展開 Looker展開 DWH展開 2022 ~ ?? 3 データ基盤の歴史: ユーザの利用状況の変遷 ● Looker導入とDWH構築について ○ どのように進めていったのか ○ これまでの成果と今後の課題についてお話します

4. 4 課題: データ/指標が管理されていない（再掲）データに関する情報が集約管理されておらず、次のような問題が発生している ● データ管理やデータ定義の局所最適化が進んでいる ○ 個別・グループ内の管理に留まっている ○ 業務/組織等を横断した共有や活用が困難 ● データの使い方がわからない ○ データに関する情報が散在し、アクセスできない ○ SQLを書けなければ集計・分析できない →データ定義を集約管理する環境の整備を行う　社内データ理解＆SQLスキルに問わず、分析ができる環境をつくる

5. 5 SQLを業務であまり使わない在籍年数が短い在籍年数が長い社内におけるデータ活用の課題 SQLを業務で使う Looker導入 DWH構築・社内の課題や状況がわからない・所属しない部署のデータがわからない・他の人の集計依頼にリソースを割く・どこに何のデータがあるかわからない・データの癖を見抜く必要がある・データ集計から確認までにリードタイムがある

6. 2020/03-06 Looker 導入検討,PoC 2020/08 データ活用/ 管理プロジェクト開始 2020/09 Looker導入 2021/08 dbt導入一部DWH リリース 2020/12 DWH 構築開始 2020/12 Lookerの社内利用開始 2021/03 Lookerの利用拡大 2022 ~ DWHのリリース 2022 ~ Lookerのさらなる展開 /運用管理整備 6 Looker導入/DWH構築の変遷

7. ● データ活用/管理プロジェクトの発足 ● Looker導入/展開 ● DWH構築 ● 全体のまとめと今後 7 目次

8. データ活用/管理プロジェクトの発足 8

10. ● データ管理の仕組みを作りやすい機能 ○ 定義の集中管理(SSOT) ○ SQLのパーツ化 ● データ集計時にSQLなしでレポート、ダッシュボード作成 ● データ基盤+一部メンバーで PoCを実施し本導入へ 10 Lookerの導入

11. ● 社内のデータ自体は詳しくない ○ データのドメイン知識 ○ データ活用のユースケース ● 構築・運用にかなりのリソースがかかる ○ データ基盤は2-3人しかいないので難しい 11 データ基盤チームとしてのLooker導入の課題

12. ● 全社で以下の人に参画を依頼 ○ 部門をまたいでデータ集計を行う分析官 ○ 基幹システムの開発・保守を行うエンジニア ● データ基盤はファシリテーションを行いつつプロジェクトを推進 12 データ活用/管理のプロジェクトを発足

13. Lookerの導入と展開 13

15. 15 Looker導入から展開にむけて ● メンバーにLookMLを実装してもらう ○ トレーニング受講 ○ 社内の実データを使ってモブプロ ■ 開発プラクティスを伝える ● 定義を追加/修正時にどんな観点が必要か ● 定義の提供までのフロー

16. 16 Looker導入から展開にむけて ● Lookerに実装する指標の整理 ○ プロジェクトメンバーの知見を共有し、ドメインごとに必要な指標を出す ○ 指標に基づいてSQLを作成 ■ いきなりすべてLookML化はハードルが高いため ● ドメインごとにViewを作成し、 ViewをかけあわせるExploreを構築

17. 17 Lookerの社内展開 ● 社内向けに説明会、トレーニングの実施 ○ Looker導入の背景やメリット ○ 社内のデータを使ってトレーニング ■ サンプルデータは利用イメージが湧きづらいため

18. ● プロジェクトメンバーの所属部門を中心に Looker利用が広がる ○ デザイナーの方がダッシュボードを作成 ○ 商品採用でダッシュボードをワークショップで共有 18 Looker導入と展開の現状

19. ● 指標・KPIに詳しい業務メンバーで基本的な LookML実装は完結できる状態に ○ 問い合わせ対応、LookML実装、プルリクまで 19 Looker導入と展開の現状

20. ● Lookerのみではエンジニアと業務側の責任分界点があいまいになる ○ 課題をどこで解決するべきかわかりづらい ● エンジニアではないドメインスペシャリストがより生産的に分析できるようにしたい →DWH構築を検討 20 Lookerを導入してわかったこと

21. DWH構築 21

23. ● データ活用/管理プロジェクトを分割 ○ データ活用側はLookerの導入展開に注力 ○ データ管理側でDWH構築とLooker運用を行う ■ データ基盤とシステム側の人が参画 23 プロジェクトを分割し、DWH構築を開始

24. ● ドメインごとに構築 ● Looker用に作ったデータを参考に実装 ● データレイクを参照する ○ 便利なビューやデータマートを分解して再構築 ● システム側起因によるロジックや差分を吸収 ○ コード値と名前のマッピングや特殊な除外条件 ■ e.g. 〇〇の時の売上を取る場合は△△のカラムもフィルタしないといけない 24 DWH構築の方針

25. ● 既存クエリの集計結果の誤りがわかった ○ データ品質をどう担保するか ● 要件を満たそうとすると大きなクエリになる ○ メンテナンスが難しい ● 仕様が追いづらい ○ システム側と業務側での認識が異なる ○ 実装した人が今はいないor覚えていない...etc 25 DWH構築における課題

26. ● dbtで実装 ○ クエリの分解と依存関係を定義 ○ テストが書ける ○ 元データの更新状況をチェック 26 課題への対応

27. ● できる限りデータ基盤で仕様を追いかける ○ ソースコードを読んだり、ヒアリングしたり ● 仕様でわからない部分はシステム側と業務側と合意を取りに行く →リードタイムが　かかってしまう結果に 27 課題への対応

28. 全体のまとめと今後 28

29. 29 SQLを業務であまり使わない在籍年数が短い在籍年数が長い社内におけるデータ活用の現状まとめ SQLを業務で使う Looker導入 DWH構築・Lookerからデータ　集計が容易に・他部署のデータ　も分析できる・集計依頼が減る・直感的な分析が　可能に・自力で　簡単なデータ集計　ができる

30. ● 部門展開を行い、全社でのLooker活用を推進 ○ 部門ごとにどんな分析をしているのか、どんな指標があるのかを整理、集約 ● LookMLの管理・運用 ○ レビューの観点、体制の確立 ○ 部門レベルでの指標の管理 30 Looker導入の今後

31. ● DWHの展開、運用 ○ すでに動いているバッチクエリを DWHに置き換え、啓蒙 ● システム側との密な連携 ○ データの利用という観点からシステム側に入ってもらう ■ e.g. データメッシュ 31 DWH構築の今後

32. ● システム側と業務側の橋渡しをデータ基盤が担う ● CoE、データオーナ制度などの体制づくりによって継続的なデータの品質を向上 32 データ活用の今後 CoE エンジニアアナリストデータ基盤 IT部門業務部門

33. ● Looker導入とDWH構築の紹介をしました ○ Looker導入 ■ データ、KPIに詳しい人にLookMLを書いてもらうことで継続的な指標の追加を実現 ■ SQLを書かなくてもデータ集計ができる下地作り ○ DWH構築 ■ 業務、システムとのコミュニケーションが重要 ■ dbtを導入することでデータ品質を向上 33 まとめ

全社のデータ活用を一段階上げる取り組み

Estás leyendo una previsualización.

Eche un vistazo a continuación

全社のデータ活用を一段階上げる取り組み

Más Contenido Relacionado

Presentaciones para usted (20)

Similares a 全社のデータ活用を一段階上げる取り組み (20)

Más de 株式会社MonotaRO Tech Team (20)

Más reciente (20)