機械学習 - MNIST の次のステップ
•Descargar como PPTX, PDF•
0 recomendaciones•1,003 vistas
機械学習の jupyternotebook のコードを動かした後は、実プロジェクトへの応用を始めると思います。 そのプロジェクト自体の全体像と、その中の一部ですが - 環境構築 - Hyperparameter Turning - Responsible AI (Model Explanation について、扱います
Recomendados
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Similar a 機械学習 - MNIST の次のステップ
Similar a 機械学習 - MNIST の次のステップ (20)
Más de Daiyu Hatakeyama
Más de Daiyu Hatakeyama (20)
Último
Último (9)
機械学習 - MNIST の次のステップ
- 1. 畠山 大有 | Daiyu Hatakeyama | @dahatake Architect && Software Engineer && Applied Data Scientist Microsoft Japan 機械学習 “MNIST” 後の次のステップ - 実社会・ビジネスへの実装のために -
- 3. 蒸気 や 電気 ソフトウェア (+AI) AI
- 4. Machine Learning 教師あり 学習 教師無し 学習 強化学習 Classification Regression Clustering Reward-based 種類 カテゴリ アルゴリズムの例 ・故障分類 ・販促効果分類 利用例 ・売上予測 ・需要予測 ・セグメンテー ション ・顧客グルーピン グ ・メール キャン ペーン ・自動運転 ・自立型ビル管理
- 6. 独占 権威
- 8. • Artificial NN (Hinton, et. al 1990) • LTSM (Schmidhuber, et. al 1997) • CNNs (LeCun, et. al 1998) • Deep NN (Hinton, et. al 2006) • Autoencoders (DVincent, et. al 2010) • Reading Digits in Unsupervised Networks (Ng, et. al 2011) • Random Search HPO (Bergstra, et. al 2012) • Distributed Deep Networks (Dean, et. al 2012) • ImageNet (Krizhevsky, et. al 2012) • Drift Adaptation (Gama, et. al 2013) • Deep CNNs (Gong, et. al 2013) • RNNs (Sutskever, et. al 2013) • Dropouts (Hinton, et. al 2014) • Video Class. with CNN (Fei-Fei, et. al 2014) • Scene Recognition (Zhou, et. al 2014) • GANs (Goodfellow, et. al 2014) • High Speed Classifiers (Henriques, et. al 2014) • Multi-Label Learning (Zhang, et. al 2014) • Transfer Learning (Yosinski, et. al 2014) • FLANN (Muja, et. al 2014) • SDS (Hariharan et. al 2014) • 1ms Face Alignment (Kazemi, et. al 2014) • GloVe (Pennington, et. al 2014) • Neural Machine Trans. (Bahdanau, et. al 2014) • Neural Turning Machines (Graves, et. al 2014) • Batch Normalization (Ioffe, et. al 2015) • COCO (Lin, et. al 2015) • Deep RL (Wang, et. al 2015) • Inception v4 (Szegedy et. al 2016) • One-shot Generalization (Rezende, et. al 2016) • Capsule Networks (Hinton, et. al 2017)
- 11. Cognitive Services Knowledge mining Machine Learning
- 12. GUI SDK for Code 初学者からエキスパートまで
- 13. 数年前だと… コンサル費用数千万 + 数か月 誰でも数分でできる 襟あり RALPH LAUREN Cognitive Services Custom Vision
- 15. Data ML Code Configuration Data Collection Data Verification Feature Extraction Machine Resource Management Analysis Tools Process Management Tools Serving Infrastructure Monitoring “Hidden Technical Debt in Machine Learning Systems,” Google NIPS 2015
- 16. • 機械学習で解決できそうか? DATA SCIENTIST AureML - GUI Cognitive Services
- 17. Azure Machine Learning Develop Your Own Model 20 https://docs.microsoft.com/ja-jp/azure/architecture/data-guide/technology-choices/data-science-and-machine-learning https://medium.com/microsoftazure/9-advanced-tips-for-production-machine-learning-6bbdebf49a6f Use Pre-trained Model 80 Azure Cognitive Services
- 18. • コード、データ、モデルのバージョン管理と紐 づけ DATA SCIENTIST Code AutoML – Code Experimerient Dataset Model
- 19. • 推論環境へ展開 Environments Code Explanations Datasets Eventing & Notifications DevOps integration DEVELOPER
- 23. Job manager CNN model GPU GPU GPU ・・・ Python クラウドストレージ 数分でクラスター作成 & 高速 学習 自動的に スケールアウト & ダウ ン スケジューリ ングVM起動 コンテナ化 etc Azure Container Registry VM、ライブラリの環 境を 自動で実行 低優先度オプション : 80% 割引
- 24. My Computer Azure Notebooks Azure Machine Learning Services: Python SDK Azure Machine Learning Workspace AmlCompute (GPU) 学習用 Code
- 25. My Computer Data Store Azure ML Workspace Compute Target Experiment Docker Image
- 26. import '--data-folder' type str 'data_folder' 'data folder mounting point’ 'train-images.gz' False 255.0 'test-images.gz' False 255.0 'train-labels.gz' True 1 'test-labels.gz' True 1 #1. Dataset './data/mnist' 'mnist' True TrueData Store
- 27. import '--batch-size' type int 'batch_size' 'mini batch size for training' '--epoch' type int 'epoch' 'epoch size for training’ from import '--data-folder' 'mnist' '--batch-size' 50 '--epoch' 20 '--first-layer-neurons' 300 '--second-layer-neurons' 100 '--learning-rate' 0.001 '--activation' '--optimizer' '--loss' '--dropout' 0.2 '--gpu' 'keras' 'matplotlib' ‘train.py' True 1800 #2. Script Folder './keras-mnist' True import ‘./train.py' './utils.py' Docker Image Data Store
- 28. from import # start an Azure ML run class LogRunMetrics # callback at the end of every epoch def on_epoch_end # log a value repeated which creates a list 'Loss' 'loss' 'Accuracy' 'acc' 2 Experiment
- 32. • 学習の設定 • 学習前に設定され、学習中は変わらない • Model のパフォーマンスに大きく営業 • アルゴリズム毎に異なる
- 33. Number_of_ hidden_layers Number_of_ nodes_in_layer Input layer Hidden layer 1 Hidden layer 2 Output layer Learning_rate Batch_size
- 34. • 値の取りうる範囲が広い • 例: Learning rate: 0.1 もしくは 0.01 もしくは 0.001 もしくは … • 複数の値の組み合わせ • 最適な構成を探し出すのは困難 • 一つの学習ジョブの実行時間は長い • 時間とリソースの制限 Explorer
- 36. この車の妥当な価格は?
- 37. Mileage Condition Car brand Year of make Regulations … Parameter 1 Parameter 2 Parameter 3 Parameter 4 … Gradient Boosted Nearest Neighbors SVM Bayesian Regression LGBM … Mileage Gradient Boosted Criterion Loss Min Samples Split Min Samples Leaf Others Model Which algorithm? Which parameters?Which features? Car brand Year of make 試行錯誤
- 38. Criterion Loss Min Samples Split Min Samples Leaf Others N Neighbors Weights Metric P Others Which algorithm? Which parameters?Which features? Mileage Condition Car brand Year of make Regulations … Gradient Boosted Nearest Neighbors SVM Bayesian Regression LGBM … Nearest Neighbors Model 繰り返し Gradient BoostedMileage Car brand Year of make Car brand Year of make Condition
- 39. Mileage Condition Car brand Year of make Regulations … Gradient Boosted Nearest Neighbors SVM Bayesian Regression LGBM … Gradient Boosted SVM Bayesian Regression LGBM Nearest Neighbors Which algorithm? Which parameters?Which features? 繰り返し Regulations Condition Mileage Car brand Year of make
- 40. データセット 目標設定 学習の一貫性 出力入力 アンサンブル モデル ジョブ管理 仮想マシンの自動起動・オートスケール ベストなモデルの選択 Optimized model 分類、回帰、時系列予測 ONNX サポート
- 46. モデルの精度とモデルの解釈性はトレードオフになりがち Black Box モデル • なぜその予測値になっ た？ • モデルの改善方法 は？ • モデル構造が複雑 • 理解するのが非常に困難 要因探索、与信管理など説明責任が伴うビジネスでは ブラックボックスなモデルは使えない...
- 47. 解釈可能な モデル Black Box 解釈フレーム ワーク • 従来の統計的手法 • 線形回帰 • 決定木 • LIME • SHAP • Permutation Feature Importance • Microsoft Interpret ML • Azure ML Interpretability SDK• Power BI – Key Influencers アプローチ方法
- 48. Iris Flower Dataset Virginica3 Setosa1 Versicolor2 https://en.wikipedia.org/wiki/Iris_setosa#/media/File:Kosaciec_szczecinkowaty_Iris_setosa.jpg https://en.wikipedia.org/wiki/Iris_versicolor#/media/File:Blue_Flag,_Ottawa.jpg https://en.wikipedia.org/wiki/Iris_virginica#/media/File:Iris_virginica_2.jpg Features: • Petal Length • Petal Width • Sepal Length • Sepal Width
- 51. データ探 索 変数の重要度 各予測値に対する説明 サマ リー https://docs.microsoft.com/en- US/azure/machine-learning/service/machine- learning-interpretability-explainability Model interpretability with Azure Machine Learning service
- 52. • fairlearn - 公平性のアセスメントと、調整(緩和)のための Open Source Tool • 不公平性のアセスメント、監視、調整(緩和) と 可視化 https://github.com/fairlearn/fairlearn
- 55. Bias 人 作られる
- 56. • 例: StreetBump smartphone app • スマートフォンの GPS “Data” を使って、 道路の異常個所を収集 • 年収の低い方は? http://www.streetbump.org/
- 59. AI または ML モデルが 誤った仮説に基づき、 Bias のある結果を生成する場合が ある Bias についての理解 = Bias を減らすための Best Practices につながる 望ましくは、全てのAI System に Bias が無い状態にしたい。 自分たちでモデル開発を行え ば、 主観による Bias 混入の可能性 が増える
- 60. 不適切なトレーニングデータには 、人種・性別または文化的な Bias = 不適切な偏り が含まれる - 殆どの場合は意図せずに このデータを使用して ML モ デルを 学習させるすると、モデルに はデータのBias = 不適切な偏 り が反映される ブランドイ メージの損傷 影響の可能性があるシナリオ 顧客の喪失 誤った あるい は 不正確な結 果を生む 重要な要素、例え ば 顧客セグメントな どを
- 61. 知識不足 最初に検出し、影響を予 測することは困難 追跡は更に難しい データソース 精度などの基準でテストさ れ、Bias の基準ではテスト されない 学習結果比較のベンチマー クのため、同じデータセッ トを利活用して学習が行わ れる事が多い モデル開発 汎用性が重要な要素 – 世の中の全ての要素を考 慮しての公平性が常に保 たれているわけではない 公平性 計算モデルは数学的モデ ルで定義され、Bias につ いては 考慮されない 「何が公正なのか?」など
- 68. 感じ
- 69. 会員数 4,150 名 全国 6 都市で 36 回イベント開催 福岡 大阪 広島 名古屋 東京 札幌 オンライン・オフライン含めた 機械学習教育講座の全国での推進 機械学習 SI エコシステム日本最大の AI コミュニティ https://dllab.connpass.com/
- 70. Step-by-Step Learning Achievements スムーズな学習環境 無料 日本語対応 ブラウザーのみ。ハンズオ ン環境も含めて ダウンロード可能なサンプ ルコード Product/Service, 技術レベル, job role, などに応じたガイダ ンス Videos, チュートリアル, ハン ズオン スキルアップを促す ユーザー プロファイ ル毎に カスタマイズ www.microsoft.com/learn
- 71. • AI や 機械学習の最新の トレーニング • 概要・基礎・チュートリアル • 自分に適した、トレーニングコースの作成 • AI Business School • Conversational AI • AI Services • Machine Learning • Autonomous System • Responsible AI aischool.microsoft.com
- 72. © 2019 Microsoft Corporation. All rights reserved. 本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。