Enviar búsqueda
Cargar
MLflowによる機械学習モデルのライフサイクルの管理
•
10 recomendaciones
•
9,681 vistas
Takeshi Yamamuro
Seguir
This is a slide for Spark Meetup Tokyo #1 (Spark+AI Summit 2019)
Leer menos
Leer más
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 20
Descargar ahora
Descargar para leer sin conexión
Recomendados
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
Kenichi Sonoda
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
【DL輪読会】大量API・ツールの扱いに特化したLLM
【DL輪読会】大量API・ツールの扱いに特化したLLM
Deep Learning JP
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
NTT DATA Technology & Innovation
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
cvpaper. challenge
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
Hiroyuki Masuda
Data-centricなML開発
Data-centricなML開発
Takeshi Suzuki
Recomendados
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
Kenichi Sonoda
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
【DL輪読会】大量API・ツールの扱いに特化したLLM
【DL輪読会】大量API・ツールの扱いに特化したLLM
Deep Learning JP
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
NTT DATA Technology & Innovation
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
cvpaper. challenge
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
Hiroyuki Masuda
Data-centricなML開発
Data-centricなML開発
Takeshi Suzuki
Ml system in_python
Ml system in_python
yusuke shibui
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
harmonylab
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII
AWS + MLflow + SageMakerの環境を動かしてみたお話
AWS + MLflow + SageMakerの環境を動かしてみたお話
ItohHiroki
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
MLOpsはバズワード
MLOpsはバズワード
Tetsutaro Watanabe
MLOps入門
MLOps入門
Hiro Mura
画像キャプションの自動生成
画像キャプションの自動生成
Yoshitaka Ushiku
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
学習時に使ってはいないデータの混入「リーケージを避ける」
学習時に使ってはいないデータの混入「リーケージを避ける」
西岡 賢一郎
機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018
Takahiro Kubo
モデル高速化百選
モデル高速化百選
Yusuke Uchida
Data-Centric AIの紹介
Data-Centric AIの紹介
Kazuyuki Miyazawa
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
mlm_kansai
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
NTT DATA Technology & Innovation
[db tech showcase Tokyo 2015] C33:ビッグデータ・IoT時代のキーテクノロジー、CEPの「今」を掴む! by 株式会社日立...
[db tech showcase Tokyo 2015] C33:ビッグデータ・IoT時代のキーテクノロジー、CEPの「今」を掴む! by 株式会社日立...
Insight Technology, Inc.
Más contenido relacionado
La actualidad más candente
Ml system in_python
Ml system in_python
yusuke shibui
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
harmonylab
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII
AWS + MLflow + SageMakerの環境を動かしてみたお話
AWS + MLflow + SageMakerの環境を動かしてみたお話
ItohHiroki
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
MLOpsはバズワード
MLOpsはバズワード
Tetsutaro Watanabe
MLOps入門
MLOps入門
Hiro Mura
画像キャプションの自動生成
画像キャプションの自動生成
Yoshitaka Ushiku
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
学習時に使ってはいないデータの混入「リーケージを避ける」
学習時に使ってはいないデータの混入「リーケージを避ける」
西岡 賢一郎
機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018
Takahiro Kubo
モデル高速化百選
モデル高速化百選
Yusuke Uchida
Data-Centric AIの紹介
Data-Centric AIの紹介
Kazuyuki Miyazawa
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
mlm_kansai
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII
La actualidad más candente
(20)
Ml system in_python
Ml system in_python
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
AWS + MLflow + SageMakerの環境を動かしてみたお話
AWS + MLflow + SageMakerの環境を動かしてみたお話
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
backbone としての timm 入門
backbone としての timm 入門
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
MLOpsはバズワード
MLOpsはバズワード
MLOps入門
MLOps入門
画像キャプションの自動生成
画像キャプションの自動生成
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
学習時に使ってはいないデータの混入「リーケージを避ける」
学習時に使ってはいないデータの混入「リーケージを避ける」
機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018
モデル高速化百選
モデル高速化百選
Data-Centric AIの紹介
Data-Centric AIの紹介
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
Similar a MLflowによる機械学習モデルのライフサイクルの管理
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
NTT DATA Technology & Innovation
[db tech showcase Tokyo 2015] C33:ビッグデータ・IoT時代のキーテクノロジー、CEPの「今」を掴む! by 株式会社日立...
[db tech showcase Tokyo 2015] C33:ビッグデータ・IoT時代のキーテクノロジー、CEPの「今」を掴む! by 株式会社日立...
Insight Technology, Inc.
MuleアプリケーションのCI/CD
MuleアプリケーションのCI/CD
MuleSoft Meetup Tokyo
Changing Infrastructure operation by DevOps And Agile Development
Changing Infrastructure operation by DevOps And Agile Development
Taiji Tsuchiya
東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦
東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦
Preferred Networks
MLOps NYC 2019 and Strata Data Conference NY 2019 report nttdata
MLOps NYC 2019 and Strata Data Conference NY 2019 report nttdata
NTT DATA Technology & Innovation
Cloud stack概要とaccel認定試験のご紹介
Cloud stack概要とaccel認定試験のご紹介
Tadashi Mishima
多言語を一つの処理系でハイパフォーマンスに実行するGraalPythonの紹介
多言語を一つの処理系でハイパフォーマンスに実行するGraalPythonの紹介
Tamakoshi Hironori
Spring I/O 2015 報告
Spring I/O 2015 報告
Takuya Iwatsuka
【HinemosWorld2015】B1-5_【入門】Hinemosではじめるクラウド運用
【HinemosWorld2015】B1-5_【入門】Hinemosではじめるクラウド運用
Hinemos
Quick Overview of Upcoming Spark 3.0 + α
Quick Overview of Upcoming Spark 3.0 + α
Takeshi Yamamuro
StrongLoopでサクっと始めるAPIエコノミー
StrongLoopでサクっと始めるAPIエコノミー
YUSUKE MORIZUMI
チーム開発を支えるプロセス再入門~アジャイル開発とスクラム~ - TFSUG
チーム開発を支えるプロセス再入門~アジャイル開発とスクラム~ - TFSUG
満徳 関
HoloLab_20191016_ceatec
HoloLab_20191016_ceatec
Takesen - Takehisa Ito
4.5G/5G環境でのECサイトの高速化 ― 変わるモバイル購買体験
4.5G/5G環境でのECサイトの高速化 ― 変わるモバイル購買体験
Yoichiro Takehora
【Ltech#11】Kubernetesを利用した機械学習モデルの本番適用例
【Ltech#11】Kubernetesを利用した機械学習モデルの本番適用例
LIFULL Co., Ltd.
BPStudy#101発表資料
BPStudy#101発表資料
Toyohisa Tanaka
2018 07-23
2018 07-23
Yuji Oshima
開発初心者のためのMoodleプラグインの開発と利用(第一部) for Moodle Moot 2015
開発初心者のためのMoodleプラグインの開発と利用(第一部) for Moodle Moot 2015
Shigeharu Yamaoka
クラウドを超えた先の企業システム像 20091008 JJUG CCC
クラウドを超えた先の企業システム像 20091008 JJUG CCC
Yusuke Suzuki
Similar a MLflowによる機械学習モデルのライフサイクルの管理
(20)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
[db tech showcase Tokyo 2015] C33:ビッグデータ・IoT時代のキーテクノロジー、CEPの「今」を掴む! by 株式会社日立...
[db tech showcase Tokyo 2015] C33:ビッグデータ・IoT時代のキーテクノロジー、CEPの「今」を掴む! by 株式会社日立...
MuleアプリケーションのCI/CD
MuleアプリケーションのCI/CD
Changing Infrastructure operation by DevOps And Agile Development
Changing Infrastructure operation by DevOps And Agile Development
東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦
東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦
MLOps NYC 2019 and Strata Data Conference NY 2019 report nttdata
MLOps NYC 2019 and Strata Data Conference NY 2019 report nttdata
Cloud stack概要とaccel認定試験のご紹介
Cloud stack概要とaccel認定試験のご紹介
多言語を一つの処理系でハイパフォーマンスに実行するGraalPythonの紹介
多言語を一つの処理系でハイパフォーマンスに実行するGraalPythonの紹介
Spring I/O 2015 報告
Spring I/O 2015 報告
【HinemosWorld2015】B1-5_【入門】Hinemosではじめるクラウド運用
【HinemosWorld2015】B1-5_【入門】Hinemosではじめるクラウド運用
Quick Overview of Upcoming Spark 3.0 + α
Quick Overview of Upcoming Spark 3.0 + α
StrongLoopでサクっと始めるAPIエコノミー
StrongLoopでサクっと始めるAPIエコノミー
チーム開発を支えるプロセス再入門~アジャイル開発とスクラム~ - TFSUG
チーム開発を支えるプロセス再入門~アジャイル開発とスクラム~ - TFSUG
HoloLab_20191016_ceatec
HoloLab_20191016_ceatec
4.5G/5G環境でのECサイトの高速化 ― 変わるモバイル購買体験
4.5G/5G環境でのECサイトの高速化 ― 変わるモバイル購買体験
【Ltech#11】Kubernetesを利用した機械学習モデルの本番適用例
【Ltech#11】Kubernetesを利用した機械学習モデルの本番適用例
BPStudy#101発表資料
BPStudy#101発表資料
2018 07-23
2018 07-23
開発初心者のためのMoodleプラグインの開発と利用(第一部) for Moodle Moot 2015
開発初心者のためのMoodleプラグインの開発と利用(第一部) for Moodle Moot 2015
クラウドを超えた先の企業システム像 20091008 JJUG CCC
クラウドを超えた先の企業システム像 20091008 JJUG CCC
Más de Takeshi Yamamuro
LT: Spark 3.1 Feature Expectation
LT: Spark 3.1 Feature Expectation
Takeshi Yamamuro
Apache Spark + Arrow
Apache Spark + Arrow
Takeshi Yamamuro
Taming Distributed/Parallel Query Execution Engine of Apache Spark
Taming Distributed/Parallel Query Execution Engine of Apache Spark
Takeshi Yamamuro
LLJVM: LLVM bitcode to JVM bytecode
LLJVM: LLVM bitcode to JVM bytecode
Takeshi Yamamuro
20180417 hivemall meetup#4
20180417 hivemall meetup#4
Takeshi Yamamuro
An Experimental Study of Bitmap Compression vs. Inverted List Compression
An Experimental Study of Bitmap Compression vs. Inverted List Compression
Takeshi Yamamuro
Sparkのクエリ処理系と周辺の話題
Sparkのクエリ処理系と周辺の話題
Takeshi Yamamuro
20160908 hivemall meetup
20160908 hivemall meetup
Takeshi Yamamuro
20150513 legobease
20150513 legobease
Takeshi Yamamuro
20150516 icde2015 r19-4
20150516 icde2015 r19-4
Takeshi Yamamuro
VLDB2013 R1 Emerging Hardware
VLDB2013 R1 Emerging Hardware
Takeshi Yamamuro
浮動小数点(IEEE754)を圧縮したい@dsirnlp#4
浮動小数点(IEEE754)を圧縮したい@dsirnlp#4
Takeshi Yamamuro
LLVMで遊ぶ(整数圧縮とか、x86向けの自動ベクトル化とか)
LLVMで遊ぶ(整数圧縮とか、x86向けの自動ベクトル化とか)
Takeshi Yamamuro
Introduction to Modern Analytical DB
Introduction to Modern Analytical DB
Takeshi Yamamuro
SIGMOD’12勉強会 -Session 7-
SIGMOD’12勉強会 -Session 7-
Takeshi Yamamuro
A x86-optimized rank&select dictionary for bit sequences
A x86-optimized rank&select dictionary for bit sequences
Takeshi Yamamuro
VAST-Tree, EDBT'12
VAST-Tree, EDBT'12
Takeshi Yamamuro
VLDB’11勉強会 -Session 9-
VLDB’11勉強会 -Session 9-
Takeshi Yamamuro
研究動向から考えるx86/x64最適化手法
研究動向から考えるx86/x64最適化手法
Takeshi Yamamuro
VLDB'10勉強会 -Session 20-
VLDB'10勉強会 -Session 20-
Takeshi Yamamuro
Más de Takeshi Yamamuro
(20)
LT: Spark 3.1 Feature Expectation
LT: Spark 3.1 Feature Expectation
Apache Spark + Arrow
Apache Spark + Arrow
Taming Distributed/Parallel Query Execution Engine of Apache Spark
Taming Distributed/Parallel Query Execution Engine of Apache Spark
LLJVM: LLVM bitcode to JVM bytecode
LLJVM: LLVM bitcode to JVM bytecode
20180417 hivemall meetup#4
20180417 hivemall meetup#4
An Experimental Study of Bitmap Compression vs. Inverted List Compression
An Experimental Study of Bitmap Compression vs. Inverted List Compression
Sparkのクエリ処理系と周辺の話題
Sparkのクエリ処理系と周辺の話題
20160908 hivemall meetup
20160908 hivemall meetup
20150513 legobease
20150513 legobease
20150516 icde2015 r19-4
20150516 icde2015 r19-4
VLDB2013 R1 Emerging Hardware
VLDB2013 R1 Emerging Hardware
浮動小数点(IEEE754)を圧縮したい@dsirnlp#4
浮動小数点(IEEE754)を圧縮したい@dsirnlp#4
LLVMで遊ぶ(整数圧縮とか、x86向けの自動ベクトル化とか)
LLVMで遊ぶ(整数圧縮とか、x86向けの自動ベクトル化とか)
Introduction to Modern Analytical DB
Introduction to Modern Analytical DB
SIGMOD’12勉強会 -Session 7-
SIGMOD’12勉強会 -Session 7-
A x86-optimized rank&select dictionary for bit sequences
A x86-optimized rank&select dictionary for bit sequences
VAST-Tree, EDBT'12
VAST-Tree, EDBT'12
VLDB’11勉強会 -Session 9-
VLDB’11勉強会 -Session 9-
研究動向から考えるx86/x64最適化手法
研究動向から考えるx86/x64最適化手法
VLDB'10勉強会 -Session 20-
VLDB'10勉強会 -Session 20-
Último
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
Último
(9)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
MLflowによる機械学習モデルのライフサイクルの管理
1.
Copyright©2019 NTT corp.
All Rights Reserved. MLflowによる機械学習モデルの ライフサイクルの管理 Takeshi Yamamuro, NTT このスライドは以下の発表を参考に作成しています [1] Matei Zaharia, Accelerating Machine Learning Development with MLflow, XLDB2019
2.
2Copyright©2019 NTT corp.
All Rights Reserved. ⾃⼰紹介
3.
3Copyright©2019 NTT corp.
All Rights Reserved. お知らせ - https://bit.ly/30Sh4MU
4.
4Copyright©2019 NTT corp.
All Rights Reserved. MLflow 1.0リリース https://bit.ly/2Iq1j7F aa$ pip install mlflow==1.0.0
5.
5Copyright©2019 NTT corp.
All Rights Reserved. • 企業での機械学習の利⽤は「前処理→モデル学習→デプ ロイ」のライフサイクルで構成されることが多い 機械学習モデルのライフサイクルと特徴 [1]のp4から引用 • データは変化するため,このサ イクルを繰り返す • 複数⼈が似た(もしくは同じ) タスクで学習を⾏う • 実⾏環境や前処理・モデル学習 に⽤いるライブラリは⼈や時代 によって様々
6.
6Copyright©2019 NTT corp.
All Rights Reserved. • MLflowは企業における機械学習モデルの再現性や再利 ⽤性を向上させるための機能を提供 • 先⾏する取り組みにTFX@Google,FBLearner@Facebook, Michelangelo@Uberなど • MLflowは以下3つの機能を提供 • MLflow Tracking: 追跡性と再現性を⾼めるため,学習条件やスコアなど実験 内容を記録するロギングフレームワークを提供 • MLflow Projects: 再利⽤性を⾼めるため,学習スクリプトの実⾏環境の再現 と起動(パラメータの与え⽅など)を⽀援 • MLflow Models: 学習モデルのフォーマットを定め,デプロイを⽀援 MLflowは何をしてくれるの?
7.
7Copyright©2019 NTT corp.
All Rights Reserved. • ライブラリ⾮依存性(Library-Agnostic) • MLflow⾃体に前処理や学習を⾏う機能があるわけではなく, あくまで既存のライブラリ(pandas,scikit-learn, XGBoost/LightGBM,PyTorch,Spark,TensorFlowなど) を⽀援する位置づけ MLflowは何をしてくれるの?
8.
8Copyright©2019 NTT corp.
All Rights Reserved. • ログ記録のためのAPIsと,記録されたログを確認・⽐ 較するためのViewを提供 MLflow Tracking MLflow Web UIs ([1]のp10から引用) # 学習条件の記録 mlflow.log_param(‘training_data’, data) mlflow.log_param(‘n’, n) mlflow.log_param(‘learning_rate’, lr) # スコアの記録 mlflow.log_metric(‘score’, rmse) # 学習したモデルの記録 mlflow.sklearn.log_model(clf)
9.
9Copyright©2019 NTT corp.
All Rights Reserved. • MLflow Tracking Server • デフォルトではログはローカルに保存されるが,Tracking Serverを起動することで複数⼈で実験内容を共有可 MLflow Tracking $ mlflow server --backend-store-uri /mnt/persistent-disk --default-artifact-root s3://my-mlflow-bucket/ --host 0.0.0.0
10.
10Copyright©2019 NTT corp.
All Rights Reserved. MLflow Projects • 簡潔なパッケージフォーマットを提供 • conda(もしくはdocker)を使った学習スクリプトの依存関係 の解決,学習スクリプトの実⾏を⾃動化 MLProjectの内容(Makefile的なもの)
11.
11Copyright©2019 NTT corp.
All Rights Reserved. MLflow Projects • 実⾏は「mlflow run <project path>」 • Makefileのmake的なもの • <project path>にはgitのURI(git://...)も⼊⼒可能
12.
12Copyright©2019 NTT corp.
All Rights Reserved. MLflow Models [1]のp18から引用
13.
13Copyright©2019 NTT corp.
All Rights Reserved. • 公式ドキュメント • https://www.mlflow.org/docs/latest/index.html • 公式のexamples • https://github.com/mlflow/mlflow/tree/master/examples • ⽤途ごとに例があるのでテンプレートとして使いやすいかも • Spark+AI Summit 2019でのチュートリアル • Managing the Complete Machine Learning Lifecycle with MLflow • https://github.com/amesar/mlflow-spark-summit-2019 MLflowを始めるうえで参考になりそうな情報
14.
14Copyright©2019 NTT corp.
All Rights Reserved. • 1.0リリースに関して@Keynote • Accelerating the Machine Learning Lifecycle with MLflow 1.0 • ハイパーパラメータチューニングの⽅法論とMLflowによる実践 • Best Practices for Hyperparameter Tuning with MLflow • Advanced Hyperparameter Optimization for Deep Learning with MLflow • 前処理・学習をMLflowで管理し,Kubeflow環境にデプロイ • How to Utilize MLflow and Kubernetes to Build an Enterprise ML Platform その他のSummitでの関連発表
15.
15Copyright©2019 NTT corp.
All Rights Reserved. • サンプルコード • https://bit.ly/2KpCVWe • 起動⽅法の例: 「mlflow run . -P learning_rate=12」 MLflowを試す モデルの学習用のスクリプト 実行環境の依存関係情報(conda env export) 「mlflow run」 から読まれる定義ファイル(Makefile的なもの) - 依存関係を記述したファイル(conda.yaml)の場所 - 学習スクリプト(train.py)の起動方法 MLflowと関係のないファイル
16.
16Copyright©2019 NTT corp.
All Rights Reserved. • サンプルシナリオ(train.pyの内容) • ① 外部キー制約をもつ3つの⼊⼒データ(下図)をSparkでJoinして ⾮正規化したDataFrameを作成 • ② DataFrameをpandasのフォーマットに変換 • ③ XGBoostを⽤いてモデルを学習 • ④ 最後に学習に⽤いた条件/モデル/スコアをMLflowに記録 MLflowを試す S_sales R1_indicators R2_stores csv csv csv Spark dfpandas df学習モデル ② toPandas ① Join③ Learn R2_stores{store, …}_ S_sales{weekly_sales, sid, …, purchaseid, store} ^^^^^^^^^^^^^ / R1_indicators{purchaseid, …} _/ 目的変数 ④ Log
17.
17Copyright©2019 NTT corp.
All Rights Reserved. • Web UIs上でモデル学習のログを確認 MLflowを試す スコアが最も良い条件
18.
18Copyright©2019 NTT corp.
All Rights Reserved. • Web UIs上でモデル学習のログを確認 MLflowを試す 出力された学習モデルの場所
19.
19Copyright©2019 NTT corp.
All Rights Reserved. • 学習したモデルをデプロイ MLflowを試す aa // 「mlflow pyfunc」でRESTサーバにデプロイ $ mlflow pyfunc serve -p 4321 -m <学習モデルの場所> • Running on http://127.0.0.1:4321/ (Press CTRL+C to quit) aa $ curl -X POST -H “Content-Type:application/json;format=pandas-split” --data ‘<特徴量ベクトル>’ http://127.0.0.1:4321/invocations [4]
20.
20Copyright©2019 NTT corp.
All Rights Reserved. • 覚えることが少なく,⾮常にシンプルな設計 • この⼿のツールは覚えなければいけない”お約束”が多く導⼊コ ストが⾼い印象があるが,その⼼配は少ない • モデル構築に使⽤したスクリプトが既にあるのであれば, importして学習に⽤いた条件/モデル/スコアを記録するように 数⾏エントリを追加するだけでも⼤丈夫そう • プラガブルな設計による⾼い拡張性 • 独⾃の学習アルゴリズム実装を使っていても簡単に対応可能 • また今後流⾏る学習ライブラリが出てきた場合にでもコミュニ ティとして容易に追従可能 MLflowに関する所感
Descargar ahora