ビジネス価値を産み出す "攻めのデータマネジメントの姿とは?"

ビジネス価値を産み出す "攻めのデータマネジメントの姿とは?"
ビジネス価値を産み出す “攻めのデータマネジメント” の姿とは? 野田隆広 JDMC 特別研究員
価値を産み出す，攻めのデータマネジメント実践手法野田隆広 JDMC 特別研究員
本チュートリアルについて「データはあるのに価値を産み出せていない」。多くの企業に共通するこの問題は、単にデータサイエンティストを雇えば解決するのでしょうか。あるいはコモディティ化しつつある機械学習や AI を活用すればなんとかなるのでしょうか？もしかすると、真の問題は適切なデータマネジメントを実施できていないことにあるのかもしれません。本講演では、本来業務にプラスワンの付加価値をもたらす機械学習や AI, データサイエンスなどの活用および実践に向けて、システム・データ・組織の観点から、どのような準備が必要かを解説します。IT チームとビジネスチームの双方がデータに関する視点を共有し、ワンチームとして価値創出するきっかけとなることを目的としています。受講対象者： ①データマネジメントの基礎を習得した上で、ビジネス貢献を目指す中上級データエンジニア ②機械学習・AI 活用を考えている企業のデータ戦略担当者 ③データマネジメント組織のマネージャー
御社，データマネジメントできていますか? → 「できている」はず
年間・中期の経営計画で設定した目標を達成できているのであれば，データマネジメント「できている」 → 経営陣へのレポーティングが遅い → システム開発に時間と費用がかかり過ぎる
このチュートリアルで議論したいことオペレーション機械学習データサイエンス AI のためのデータマネジメントのためのデータマネジメント
データマネジメントが「できている」組織に追加で必要なポイント • システム • データ • 組織
システムのはなし
データ全部入りの DWH DWH DWH データマネジメントデータサイエンティスト機械学習エンジニア BI/レポーティング用に，既に DWH が整備されている「データウェアハウスありますか?」
機械学習でできることデータサイエンスでできること回帰分類因果現象を説明数値を予測する例) 来月の販売数量を当てるどちらか(何か)を予測する例) 画像に写っている商品を当てる結果→原因を見つける例) TVCM は売上増に何%寄与したか? 数理モデルを見つける例) 価格を10%下げると販売数量は? 複合タスク複合タスク人間の代わりに何かする例) 自動運転，チャットボット見えないルールを見つける例) 利益を最大化する戦略づくりどれも，過去のデータ（これまでの実績値＋過去につくった予測・計画）を利用する
例）あなたはドラッグストアの仕入れ担当者，マスクの売上を予測したい問. 過去何日間の販売データがあればよいか? 1) 90 日間 2) 360 日間 3) 1440 日間
機械学習・データサイエンスに必要なデータの種類 • 実績値（例: 販売実績，在庫実績） • 計画値（例: 売上目標，展開店舗数） • マーケティング計画（広告，チラシ，POP) • 外部環境（天候，ニュース，事件）
その DWH 全部入りですか?
もっと重要なのは 1) データ一箇所に集っていること 2) インタフェースが提供されていること 3) 高頻度のアクセス・高負荷に耐えること
Data Lake 財務会計販売 (POS) 在庫物流マーケティング顧客店舗 Web アプリ天候イベント経済指標 SQL API 高頻度・大量データへのアクセス
Data Lake から DWH へ Data Lake (初期) Data Lake (全部入り) DWH (理想) 必要なデータから揃えていく（優先順位づけ） Raw データでよい (機械学習エンジニア・データサイエンティストが自力で何とかする） SQL で問合せできればよい（プログラムからアクセスできればよい）ただし，高負荷・高頻度のアクセスには耐える必要データ収集の待ち時間を無くしてスピードアップ Raw データでよい，が，構造化・前処理されていて，テーブルデータになっていると嬉しい SQL で問合せできればよい，が，高度な API があるとなおよいただし，高負荷・高頻度のアクセスには耐える必要 Data mart/cubu が用意されていて自分でつくる必要がないデータベースが最適化されていて，必要なデータを最速で取得できるデータ品質が担保されており，クレンジングなどの工程をスキップできるメタデータリポジトリが整備されていて業務担当者に問い合わせなくてもデータを理解できる
システムのまとめ • 全部入り DWH があると最高なのだが，重要なのは DWH よりデータ。Raw データでもよいので data lake をつくって必要なデータを集めきる。 • BI/レポーティングとは異なり，機械学習・データサイエンスのモデリング中は大量のデータに高頻度でアクセスする。定型処理ではないので，事前に cube などを作って負荷を抑えることができない。 DWH とは異なるアーキテクチャの採用が必要。 • 内部データだけではなく，外部データの取り込みにも対応する必要。 • 長期間のデータを低コストで保存・管理する仕組みが必要。
データのはなし
機械学習エンジニアデータサイエンティストの立場から，データマネジメントにお願いしたいことデータマネジメントの有無，その仕事の品質が，機械学習・データサイエンスの成果の質，アウトプットまでの時間に影響する。
例）One-to-one マーケティングある商品の DM を送るべき人を見つけよう。北海道在住 30 代女性過去 28-42 日で類似購入履歴あり顧客販売商品過去5年分
例）One-to-one マーケティングある商品の DM を送るべき人を見つけよう。北海道在住 30 代女性過去 28-42 日で類似購入履歴あり東京都在住 1年前顧客販売商品
例）One-to-one マーケティングある商品の DM を送るべき人を見つけよう。北海道在住 30 代女性過去 28-42 日で類似購入履歴ありモデルチェンジ一年前顧客販売商品
過去の任意の時点を今日再現できるデータマスターデータマネジメントが最重要 • タイムマシン • エンコーディングの変更北海道在住 30 代女性過去 28-42 日で類似購入履歴あり顧客販売商品
Data Lake はあるが，。。。財務会計販売 (POS) 在庫物流マーケティング顧客店舗 Web アプリ天候イベント経済指標 SQL API 高頻度・大量データへのアクセス
よくある言い訳 • どこに欲しいデータがあるか分からない • コードの定義が分からない • データをどこまで信用してよいのか分からない。汚いデータでもよいのだが，さすがに全ての項目を目視で確認していられない。 • どのようにデータが作られているか分からない
機械学習エンジニア，データサイエンティスト向けのセルフサービスメタデータマネジメントが重要 • どのようにデータが生成されるか • データ品質の定義 • ビジネスプロセス • 検索可能なメタデータリポジトリ
仕事は RDBMS ではなく Computing Engine （別のサーバー）で行う DWH ダッシュボード帳票 BI 的な使い方機械学習・データサイエンス集計値だけが DWH の外に出て Raw データはコピーされない Data Lake から raw データが外の環境（別サーバ）にコピーされるサーバー成果物
これはとてもこわい使い方
GDPR, 個人情報保護法対応 • Data deletion • 個人から要望があった場合に，その個人に関する全ての情報を確実に消去できる仕組みが必要 • 開示 • その個人に関して，どのような情報を収集し，保有しているかを開示する義務
Data lake からコピーされて外に出たデータについて追跡する必要機械学習・データサイエンス Data Lake から raw データが外の環境（別サーバ）にコピーされるサーバー成果物 Data Linage の仕組みを data lake だけでなく，機械学習・データサイエンスの実務環境にも導入する必要データライフサイクルマネジメントの仕組みを導入して，確実に不要なデータが消去される仕組み
データマネジメントまとめ • マスターデータマネジメント • 機械学習・データサイエンスは「過去」のデータを利用するが，これは「過去の任意の時点を現在基準で再現する」という意味。 • メタデータマネジメント • 機械学習エンジニア・データサイエンティストが自力でデータに関する疑問を解消できるようにする • そもそも，疑問が起きないようにして，彼らの業務をスピードアップする • Data Linage/データライフサイクルマネジメント • GDPR, 個人情報保護対応 • Raw データを扱う機械学習・データサイエンス業務は，個人情報が DWH/Data lake 外にコピーされる。これを適切に管理する仕組み
組織のはなし
正解はないです
組織がもつべき機能のはなし Function 必要な機能をどのように人員に割り当てるかという組織構造のはなし Organization データ観点だけで正解を出せないデータ観点だけの必要な機能
機械学習エンジニアデータサイエンティスト観点の理想のデータ組織
データの品質に責任をもつデータを使える状態にするデータを活用する会社としての目標を明示するデータガバナンスデータエンジニアリング BI レポーティング機械学習データサイエンス経営企画・戦略データを活用したアクションの決定データによりどれだけビジネス便益を得るのか明示アクションを実行，目標を達成する上で，データのあるべき姿を定義各部門の業務，システムの設計・実装に口を出して徹底データガバナンスで定義したあるべき姿で，活用側にデータを提供データパイプライン，インフラの企画・開発・保守運用
組織のまとめ • 組織構造には正解がないが，機械学習・データサイエンスを推進する上で必要な機能はある • 機械学習エンジニア・データサイエンティス目線で必要な 4 つの機能 • 経営企画・戦略 • データガバナンス • データエンジニアリング • データ活用 • BI/レポーティング，機械学習，データサイエンス

ビジネス価値を産み出す "攻めのデータマネジメントの姿とは?"

Check these out next

ビジネス価値を産み出す "攻めのデータマネジメントの姿とは?"

Recomendados

Más contenido relacionado

Similar a ビジネス価値を産み出す "攻めのデータマネジメントの姿とは?"(20)

Último(20)

ビジネス価値を産み出す "攻めのデータマネジメントの姿とは?"