Más contenido relacionado
La actualidad más candente (20)
Similar a MLOpsはバズワード (20)
Más de Tetsutaro Watanabe (20)
MLOpsはバズワード
- 2. Mobility Technologies Co., Ltd.
自己紹介
2
ID :fetaro
名前:渡部 徹太郎
学生:東京工業大学でデータベースと情報検索の研究
(@日本データベース学会)
職歴:
* 野村総合研究所(NRI)
- オンライントレードシステム基盤
- オープンソース技術部隊
* リクルートテクノロジーズ
- ビッグデータ分析基盤
* MobilityTechnologies
- データエンジニア
エディタ:emacs派→ InteliJ派
趣味:麻雀、自宅サーバ
著書
増版きまりました!
- 3. Mobility Technologies Co., Ltd.
Opsという言葉から受けるイメージは監視や改善
MLOpsという言葉
3
ML Ops
=Machine Learning Operations
=機械学習の運用
→「機械学習システムを本番化したあとの監視・改善」
のような印象を受ける
- 4. Mobility Technologies Co., Ltd.
アンケートを取ってみたが、本番化や監視・改善が一番多かった
MLOpsという言葉
4
https://twitter.com/fetarodc/status/1331412910778683392?s=20 https://twitter.com/fetarodc/status/1400329729413054467?s=20
では本番化や監視・改善がML Opsなのか? → 実態は違う
- 5. Mobility Technologies Co., Ltd.
よく見るGoogleの「Hidden Technical Debt in Machine Learning Systems」の図
(機械学習システムの隠れた技術的負債)
機械学習システムでやることは多岐にわたる
5
https://papers.nips.cc/paper/2015/file/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf
- 6. Mobility Technologies Co., Ltd.
機械学習システムでやることは多岐にわたる
6
MLOpsの文脈で見聞きしたことがある要素
MLの本丸
説明
本番化
モデル開発
データ準備
生
成
収
集
正解
ラベル
付け
(アノテーシ
ョン)
特
徴
量
変
換
モデル推定 オンライン
推論機
デ
プ
ロ
イ
実験管理
バッチ
推論機
学習
データ
分散処理・ハードウェア(GPU)
特徴量
ストア
モデル
監視
精度監視
性能
評価
開発ツール
ノートブック
説明可能性
Explainability
データ
ドリフト監視
ハイパー
パラメータ
チューニング
前
処
理
パイプライン (ワークフロー管理)
バージョン管理 コンテナ管理
特徴量
ストア
分析ツール
デバッガ
MLOpsの文脈で見聞きしたことがある要素
- 7. Mobility Technologies Co., Ltd.
MLOpsとは、この図の全域または一部であり、明確な定義はない
この図にないものも今後MLOpsと呼ばれるかもしれない
MLOpsとは
7
MLOpsの文脈で見聞きしたことがある要素
MLの本丸
説明
本番化
モデル開発
データ準備
生
成
収
集
正解
ラベル
付け
(アノテーシ
ョン)
特
徴
量
変
換
モデル推定 オンライン
推論機
デ
プ
ロ
イ
実験管理
バッチ
推論機
学習
データ
分散処理・ハードウェア(GPU)
特徴量
ストア
モデル
監視
精度監視
性能
評価
開発ツール
ノートブック
説明可能性
Explainability
データ
ドリフト監視
ハイパー
パラメータ
チューニング
前
処
理
パイプライン (ワークフロー管理)
バージョン管理 コンテナ管理
特徴量
ストア
分析ツール
デバッガ
- 8. Mobility Technologies Co., Ltd.
ITベンダは自社製品にMLOpsの謳い文句をつけるが、カバー範囲がバラバラ
例えば Amazon SageMakerはかなり広い範囲をカバーしている
ITベンダにとってのMLOps
8
https://aws.amazon.com/jp/sagemaker/
- 9. Mobility Technologies Co., Ltd.
他にも広い範囲をカバーしているツールはある
(「エンドツーエンド」とよばれることもある)
有名どころ
AWS SageMaker
Kubeflow ( Kubeflow Pipelines )
TensorFlow Extended(TFX)
その他
GCP AI Platform, Azure AI, MLflow, DataRobot MLOps, ABEJA...
これらのツールによくある機能
モデル推定、モデル管理、デプロイ、オンライン推論、バッチ推論
これらのツールでも珍しい機能
アノテーション、 特徴量ストア、ハイパーパラメータチューニング、実験管理
ITベンダにとってのMLOps
9
- 10. Mobility Technologies Co., Ltd.
一部に特化するツールもある
MLOps Toysというページで多数紹介されている
7つの分類「データバージョニング」「学習オーケス
トレーション」「特徴量ストア」「実験管理」「モデ
ル提供」「モデル監視」「説明可能性」
例
Aporia:データ監視
Aim:ハイパーパラメータ管理、実験管理
BentoML:デプロイ、監視
Bodywork:kubenetesへのデプロイ
Butterfree:特徴量ストア
ITベンダにとってのMLOps
10
https://mlops.toys/
- 11. Mobility Technologies Co., Ltd.
2019年開催の「ML Ops NYC19」
発表内容は多岐にわたっていた
例
Uber
Tensorflow ExtendedではなくApache Sparkを採用してパイプラインを作った話
https://www.youtube.com/watch?v=u2fs95L5BwI
Netflix
データサイエンティストに優しい機械学習フレームワーク「METAFLOW」
紹介ブログ: https://lab.mo-t.com/blog/andonlabo-mlops-nyc19
Walmart
機械学習プロジェクトの実態と、「人」「技術」「プロセス」の3つにフォーカスしたベストプラ
クティス
MLOpsのカンファレンス
11
詳細はMoTのテックブログ参照
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
- 12. Mobility Technologies Co., Ltd.
今まさに開催中の「MLOps World」
相変わらずセッションの内容は多岐にわたる
MLOpsのカンファレンス
12
→Kubeflowの話
→Kubeflowの話
→データの監視の話
→監視やモデル説明可能性の話
→デプロイメントの話
→Pythonライブラリの話
https://mlopsworld.com/
- 13. Mobility Technologies Co., Ltd.
MLOpsという言葉から本番化や運用といったイメージを受けるが、実態は違う
MLOpsは、機械学習システムにおいて、
モデル推定以外のやることの全体または一部を表しており、
明確な定義はない
ITベンダの出すMLOps製品は、全体をカバーしているものもあれば、
一部に特化しているものもある
MLOpsカンファレンスの発表内容は、ツールから人材まで多岐にわたる
まとめ
13