Deep Learning on Rescale - Oct/11/2016 at Rescale night
•Descargar como PPTX, PDF•
1 recomendación•366 vistas
2016年10月11に開催したRescale Night での資料です。
Recomendados
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Destacado
Similar a Deep Learning on Rescale - Oct/11/2016 at Rescale night
Similar a Deep Learning on Rescale - Oct/11/2016 at Rescale night (20)
Más de Rescale Japan株式会社
Más de Rescale Japan株式会社 (16)
Último
Último (11)
Deep Learning on Rescale - Oct/11/2016 at Rescale night
- 1. Deep Learning on Rescale 新しい領域へ広がるHPC (Expand HPC Into New Areas) Rescale Japan 長尾 太介 (Daisuke Nagao) October 11, 2016
- 2. 自己紹介 • 長尾 太介 (Daisuke Nagao) – Rescale Japan: ソリューションアーキテクト • 職歴 – 富士ゼロックス (粉体シミュレータの開発、スパコン環境の導入・管理) – NVIDIA Japan: Cloud Service Provider 向け Business Development – Rescale Japan に SA として Join • コミュニティー – OpenCloudHPC (主催) – JAWS-UG HPC専門支部 (コアメンバ) – JAWS-UG AI (コアメンバ) – JAWS-UG CLI 2
- 3. 本日の趣旨 : Focus on Deep-Learning on Rescale tonight ! 3 2016/04/07 : GTC Fast and Easy Hyper-Parameter Grid Search for Deep Learning on Rescale 2016/09/29 : GTC EUROPE Scalable Interactive Deep Neural Network Design in the Cloud 2016/10/05 : GTC JAPAN クラウドHPC ではじめるDeep Learning ~~ インストールもセットアップ不要、Rescale でChainer, TensorFlow, Torch7, Caffe, Kerasを, ブラウザー上からすぐに実行しよう ~~ 2016年、RescaleがGTC, GTC EURO, GTC Japanにて講演した内容をダイジェストでお伝え します。 - Our Messages - Product update
- 4. 目次 • Rescaleとは • GTC Digest • Deep Learning に関する今後のアイデア • Rescaleのエンジニア紹介 • まとめ 4
- 5. 目次 • Rescaleとは • GTC Digest • Deep Learning に関する今後のアイデア • Rescaleのエンジニア紹介 • まとめ 5
- 6. UI ≈≈≈≈ SWHW ≈ Browser Rescale とは https://twitter.com/rescaleJapan CAE/CFD/SIMULATION Private Cloud APIJupyter Deep Learning Caffe https://twitter.com/rescaleJapan
- 7. UI ≈≈≈≈ SWHW ≈ Browser Rescale とは https://twitter.com/rescaleJapan CAE/CFD/SIMULATION Private Cloud APIJupyter Deep Learning Caffe マルチクラウド(抽象化) GPU/Infiniband環境を持つ ブラウザベースシンプルなUI Remote Desktop 環境も統合 180+ のアプリケーションが インストールされている 2016年10月より仲間入り
- 8. SOFTLAYER が仲間に! TESLA K80がRescale上で利用可能 (日本リージョ ン) 8 CPU (8core) E5-2620v4 MEM: 131GB GPU K80 GPU K80 CPU (8core) E5-2620v4 SSD: 1.0TB GPU GPU TESLA K80 2枚 (4GPU)が セットアップなしにすぐに利用できる (hourly base) ベアメタル環境 ハードウェア選択画面で LITHUM を選択 https://twitter.com/rescaleJapan
- 9. 充実する GPUインスタンス (日本の状況) 9 p2 Instance p2が東京リージョンでローンチ次第対応 (USでは近日中にRescaleでご利用できます) N Series プレビューが取れ次第対応 K80 x 2 (4 GPU)K80 x 8 (16 GPU) https://twitter.com/rescaleJapan Infiniband
- 10. 基本操作は 3STEP: SaaS なので HW も SW も管理不要 10 STEP1 Upload Files (1) STEP2 (2) Select a application (180+) STEP3 (3) Select a core type
- 11. 11 Let’s Start Deep Learning On Rescale
- 12. 目次 • Rescaleとは • GTC Digest • Deep Learning に関する今後のアイデア • Rescaleのエンジニア紹介 • まとめ 12
- 13. GTC (SAN JOSE) Fast and Easy Hyper-Parameter Grid Search for Deep Learning 13 Dr. Mark Whitney
- 14. NNHyper-Parameter Optimization input conv conv pool fullyconn softmax ● Large set of candidate architectures ● Search space with many GPUs, find most accurate input conv conv pool fullyconn softmax conv pool input conv conv pool fullyconn softmax fullyconn input conv conv pool fullyconn softmax input conv conv pool fullyconn softmax fullyconn GPUaccelerated clusters Image Classification Labeled trainingimages Train model on GPU accelerated cluster Trained Network CAT input conv conv pool fully conn softmax Neural Network Library model . add( Convol ut i on2D( 128, 3, 3) model . add( Dr opout ( 0. 4) ) . . . Model definition DNNOptimization on Rescale https://platform.rescale.com mark@rescale.com DNNの最適化に、Rescaleのパラメータスタディー機能を利用 基本的なモデルに比べて10%程度精度が改善 25 Fast and Easy Hyper-Parameter Grid Search for Deep Learning Rescale Confidential
- 15. パラメータスタディー機能つかいこなしのポイント 15 パラメータリスト run1 run2 run3 result1 result2 result3 #/bin/sh VAL=$(grep “accuracy” ./log | awk ‘{print $2}’) printf "%st%sn" ”ACCURAC Y" "${VAL}" 入力(Input) 出力(Output)
- 16. Scalable Interactive Deep Neural Network Design in the Cloud 16 GTC EURO Dr. Mark Whitney
- 17. 17 Jupyter on Rescale がご利用いただけます 新機能、近日中にローンチ (1) HW選択 (2) Frameworkをアタッチ (3) データをアタッチ (4) 起動後表示されるURLをコピーし てブラウザに貼り付け 起動まで4ステップ GPU環境を動かすことができます K520 (1GPU) or K80 x 2 (4GPU) CPU or
- 18. Rescale によるニューラルネットモデルのデザイン Interactive Batch Rescale Transfer Tools Rescale Storage Storage
- 20. Learning Neural Network Structure Inference Learning: HPC Architecture Inference: Web Architecture, or Edge Device BIGDATA (ObjectStorage) Labels (meta-data) Deploy a trained Network apple Orange strawberryBanana Deep Learning requires two system. API Micro Service • 常駐型のサービスを提供する • ~250μs response time • リクエストを常時待ちうけ。 • 数日間、CPU and/or GPUの負荷がほぼ100%で動作する。マルチ ノード、マルチGPUに対応 • ジョブを走らせているときのみ計算ノードを利用 Learningに適したGPU 推論に適したGPU API
- 21. Object Storage Rescale API を使って、他のシステムとの Integration も可能 21 Caffe API caffemodel1 caffemodel2 caffemodel3 caffemodel4 パラメータ スタディー機能 caffemodel5 caffemodel6 Caffe caffemodel3 NVIDIA Jetson TX1 Camera APIを通じてもっとも acurracy の 高いモデルを判定し Down Load 必要な台数分 HPC Clusterを起動 https://twitter.com/rescaleJapan パラメータスタディー機能を使い、複数ケース同時に学習を行うことで、短時間に最適な学習モデルが得る
- 22. 【システム計画研究所/ISPさま資料】 DEMO：アーキテクチャ Amazon EC2 Amazon S3 Amazon SQS クライアント アプリケーション （Jetson TX1） API ダウンロード 学習 デプロイ 更新情報caffemodel ポーリングダウンロード （判別機更新） wget
- 24. Product Update for Deep Learning & Our message at GTC • Product Update – 使用可能なフレームワークが増えた (Chainer, Keras, Tensorflow…) – Softlayer があたらしく仲間入りした (K80が使える環境が整った) – Jupyter on Rescaleが実現。フロントエンドとして使えるようになった • Message – Rescaleを使うことで、環境構築不要で GPU+DL環境をすぐに利用できる – パラメータスタディー機能(DOE)を使うことでクラウドのスケーラビリティーを活かした ニューラルネットの最適化が可能 – Jupyter をフロントエンドとしてプロトタイピングから、大規模な学習までカバーできる 24
- 25. 目次 • Rescaleとは • GTC Digest • Deep Learning に関する今後のアイデア • Rescaleのエンジニア紹介 • まとめ 25
- 26. Deep Learning に関する今後のアイデア (Now, Discussing….) • Chainer 1.16, TensorFlow 0.11, CNTK 1.7 (with CUDA 8 and cuDNN 5.1) • Bring-you-own data storage – AWS S3, Azure storage, On-premise file storage • Jupyter から batchジョブ投入の機能の充実 – パラメータスタディー, 最適化 – マルチノードジョブのサポート (TensorFlow, Torch) • Versioning and tagging for models and datasets • 様々な、DL-FrameworkのVersion、CUDAのVersionを組み合せることができる 26 Customer Storage
- 27. 目次 • Rescaleとは • GTC Digest • Deep Learning に関する今後のアイデア • Rescaleのエンジニア紹介 • まとめ 27
- 28. Dr. Mark Whitney • Dr. Mark Whitney leads Rescale's Deep Learning Cloud – Integrating machine learning workflows with state-of- the-art GPU clusters. – Prior to this, he started the Energy Demand Forecasting Group at EnergyHub, providing smart- grid analytics to electric utilities. – Mark received his Ph.D. from UC Berkeley in quantum computing. 28 長尾はMarkに会った こと無いですがメール の雰囲気をみるととて も親切でフレンドリー です！
- 29. Dr. Hiraku Nakamura • Rescaleのプラットフォーム開発、Rescale プラットフォームへのHPCアプリの統合 – オークリッジ国立研究所で核破砕中性子源のター ゲット内を流れる液体金属での衝撃波を軽減する 研究を実施 – 高中性子束同位体生産炉における炉心溶融モデル （マルチフィジックス）をGPGPUで開発した。 – 原子力工学 Ph.D., テネシー大学 29 おちゃめ・・・・・ 中身はもうアメリカ人
- 31. http://www.rescale.com/ 無料トライアル をクリック、2000円分フリーで使えます お問い合わせは CTC へ 28 まずはお試しください
- 32. Subtitle Date
Notas del editor
- 定義したネットワークの学習
- ギアナ