「クラウドHPC ではじめるDeep Learning --- インストールもセットアップ不要、Rescale でChainer, TensorFlow, Torch7, Caffe, Kerasを, ブラウザー上からすぐに実行しよう。」

1. クラウド HPC ではじめる Deep Learning
インストール も セットアップ不要, Rescale で Chainer, TensorFlow, Torch7,
Caffe, Kerasをブラウザー上からすぐに実⾏しよう。
Rescale Japan ⻑尾 太介
October 5, 2016
daisuke@rescale.com

2. ⾃⼰紹介
• ⻑尾 太介 (Daisuke Nagao)
• 職歴
– 富⼠ゼロックス (粉体シミュレータの開発、スパコン環境の導⼊・管理)
– NVIDIA Japan: Cloud Service Provider 向け Business Development
– Rescale Japan: ソリューションアーキテクト
• コミュニティー
– OpenCloudHPC (主催)
– JAWS-UG HPC専⾨⽀部 (コアメンバ)
– JAWS-UG AI (コアメンバ)
– JAWS-UG CLI
2
daisuke@rescale.com

3. サンフランシスコ(本社), 東京オフィス
300%+ annual growth
SaaS タイプの Cloud HPCを提供 (設計者対象)
36+ global data centers, 180+ simulation apps
Company
Technology
Customers
Investors
100+ Leading Global 2000 Enterprises
Peter ThielJeff Bezos Richard Branson
3
Rescale - Company Overview

4. On-Premise 型
IaaS 型
SaaS 型
• 導⼊まで⻑いリードタイム
• 維持・管理に多⼤な⼯数
• システム変更が困難
• 低い稼働率 or 多数のジョブ待ち
• HPC 環境の構築と維持
• アプリケーションのインストール
• クラウドベンダロックされ最適な環境が
使えないケースあり (GPU, Infinibandなど)
APPSs
IaaS
Build
左記を解決する⼿段
として, SaaSタイプ
が注⽬されている
5
なぜ SaaS Type Cloud HPC なのか ?

5. UI
≈≈≈≈
SWHW
≈
Browser
Rescale の特徴・メリット
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
Private Cloud
APIJupyter
Deep Learning
Caffe

6. UI
≈≈≈≈
SWHW
≈
Browser
Rescale の特徴・メリット (UI)
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
Private Cloud
- JOB 実⾏まで3ステップ
- パラメータスタディー機能あり
他のシステムとの連携
APIJupyter
Jupyterをフロントエンドと
して利⽤可能 (近⽇公開予定)
Deep Learning
Caffe

7. UI
≈≈≈≈
SWHW
≈
Browser
Rescale の特徴・メリット (SW)
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
Private Cloud
180+ のアプリがすでにイ
ンストール済み (R, Matlab)
Deep Learning のフ
レームワークも多数
APIJupyter
Deep Learning
Caffe

8. UI
≈≈≈≈
SWHW
≈
Browser
Rescale の特徴・メリット (Hardware)
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
Private Cloud
Infiniband+GPUを利⽤可能
APIJupyter
マルチクラウド
かつ抽象化されている
Deep Learning
Caffe

9. UI
≈≈≈≈
SWHW
≈
Browser
Deep Learning
Rescale の特徴・メリット (Hardware)
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
Private Cloud
近日中にSoftlayer
が仲間入り
APIJupyter
Caffe

10. SOFTLAYER が仲間に! ⽇本で TESLA K80 が利⽤可能 (近⽇予定)
10
CPU
(8core)
E5-2620v4
MEM: 131GB
GPU
K80
GPU
K80
CPU
(8core)
E5-2620v4
SSD: 1.0TB
GPU
GPU
TESLA K80 2枚 (4GPU)が
セットアップなしにすぐに利⽤できる
(hourly base)
ベアメタル環境
ハードウェア選択画⾯で LITHUM を選択
https://twitter.com/rescaleJapan

11. 充実する GPUインスタンス (⽇本の状況)
11
p2 Instance
p2が東京リージョンでローンチ次第対応
(USでは近⽇中にRescaleでご利⽤できます)
N Series
プレビューが取れ次第対応
K80 x 4 (8 GPU)K80 x 8 (16 GPU)
https://twitter.com/rescaleJapan

12. UI
≈≈≈≈
SWHW
≈
Browser
Deep Learning
Rescale の特徴・メリット (Hardware)
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
Private Cloud
APIJupyter
Caffe

13. UI
≈≈≈≈
SWHW
≈
Browser
Deep Learning
Rescale の特徴・メリット (Hardware)
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
Private Cloud
⼀切の管理不要
We are SaaS !!
本業に集中
APIJupyter

14. DEMO
Caffe on Rescale
14 https://twitter.com/rescaleJapan
DEMOの主な内容はCTCさまのブースで体験できます

15. Object Storage
DEMOのポイント!
15
Caffe
API
caffemodel1
caffemodel2
caffemodel3
caffemodel4
パラメータ
スタディー機能
caffemodel5
caffemodel6
Caffe
caffemodel3
NVIDIA
Jetson TX1
Camera
APIを通じてもっとも acurracy の
⾼いモデルを判定し Down Load
必要な台数分 HPC Clusterを起動
https://twitter.com/rescaleJapan
パラメータスタディー機能を使い、複数ケース同時に学習をこなうことで、短時間に最適な学習モデルが得る

16. パラメータスタディー機能は 6STEP
16
STEP1
Upload Files
(1)
STEP4
Select App
(4)
Caffe
(3)
STEP3
Upload Template
# Parameter
${BASE}
${GAMMA}
STEP5
Select HW Type
(5)
(6)
STEP6
Upload Extract-Script
grep “accuracy”
print val $VAL
(2)で設定した値に対する
(6)で抽出した値を⾃動表⽰
実験計画法を選択
(2)
STEP2
Create Param-Table
BASE, GAMMA
0.2, 1.55
0.7, 2.66
0.3, 2.17
0.1, 2.61
https://twitter.com/rescaleJapan

17. システム計画研究所/ISP
久野 祐輔 さま
17

18. • 研究支援
• システム開発
• 立ち上げ支援
• セミナー
• 展示会参加
• 自社研究・企画
• 大学共同研究
• 医療機関共研究
医療情報
通信・ネットワーク
制御・宇宙
画像処理
ISP技術情報発信サイト
「技ラボ」にて随時発信
久野 祐輔 （くの ゆうすけ） kuno@isp.co.jp

19. デモンストレーション：アーキテクチャ
Amazon
EC2
Amazon
S3
Amazon
SQS
クライアント アプリケーション
（Jetson TX1）
API
ダウンロード
学習 デプロイ
更新情報caffemodel
ポーリングダウンロード
（判別機更新）
wget

20. シンプルな操作
クローン機能によるワークフロー再現
パラメータスタディ機能
複数のDeepLearningフレームワーク
バックエンドはAWSのGPUインスタンス
CUDAによる高速な計算
APIを利用した外部システムとの連携
デモンストレーションまとめ：Rescaleの
特徴
クライアント
アプリケーション
（Jetson TX1）
API
ダウンロード
更新情報
caffemodel
Amazon
EC2
Amazon
S3
Amazon
SQS

21. クラウド環境でのディープラーニング
クラウド
エッジ／IoT機器
・
・
・
・・・
ID
センサ
データ
映像
機器制御の最適化
故障予測
不良／異常検知
...
学
習
判
別
と
制
御
学
習
と
判
別
制
御

22. バッチジョブだけでなく
インタラクティブな操作はできないの？
22 https://twitter.com/rescaleJapan

23. NEW FUNCTION (近⽇公開予定)
Jupyter on Rescale
23 https://twitter.com/rescaleJapan

24. Jupyter on Rescale
24
Deep Learning のプロトタイピングとして最適です

25. 25
Neural Network Model Design on Rescale
Interactive Batch
Rescale
Transfer
Tools
Rescale
Storage
Rescale
Storage

26. 26
Example: TensorFlow CIFAR10 convnet experiment
CIFAR10 dataset
conv1
conv2
local3
local4
softmax
conv1
conv2
conv3
local4
local5
softmax
Interactive Batch

27. まとめ
• Rescale で すぐに Deep Learning を始められる
– Deep Learning フレームワークはインストール済み
– GPUに関するセットアップなし
• APIを使った他のシステム連携も簡単
– 学習したDNNをサービス側へデプロイする時に使おう
• Jupyter で インタラクティブな操作も可能 (近⽇公開)
27 https://twitter.com/rescaleJapan

28. Subtitle
Date

29. APPENDIX
29

30. UI
≈≈≈≈
SWHW
≈
Browser
DEMO で利⽤する機能
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
APIJupyter
パラメータスタディー機能による
学習モデルの最適化
APIを利⽤し他のシステムと連携
=> Jetson へ学習モデルをデプロイ
GPU K520 を従量
課⾦で利⽤
Deep Learning
Caffe
Caffeによる学習
(選ぶだけ)

31. STEP3STEP2STEP1
基本操作は 3STEP
31
Upload Files
(1) (2)
(3)
Select a application Select a core type

32. Neural Network Model Design Workflow
Data sources
Data Cleaning
Preprocessing
Sample Data
Define Model
Interactive
Train Validate
Batch

33. Neural Network Model Design on Rescale
Interactive Batch
Rescale
Transfer Tools
Rescale
Storage

34. Interactive Model Development
Launch notebook
via web, API, CLI
Launch batch
training from code in
notebook
Monitor batch via
web, review results
Review training
results in notebook

35. Demo: TensorFlow CIFAR10 convnet
experiment
CIFAR10 dataset
conv1
conv2
local3
local4
softmax
conv1
conv2
conv3
local4
local5
softmax
Interactive Batch

36. Jupyter on Rescale
36