Microsoft Tech Summit #mstsjp17 2017/11/08

1. Microsoft Tech Summit 2017

2. 株式会社Preferred Networks (PFN)
l 設 ⽴：2014年3⽉
l 所在地：東京本社、カリフォルニア州サンマテオ（⽶国⼦会社）
l 社員数：⽇本約100名、⽶国8名
l 出資者：トヨタ、FANUC、NTT
2
⼈⼯知能技術
（ディープラーニング）
産業応⽤
（Industrial IoT）
パートナー
顧客

3. Humanoid Robot
PFNのフォーカス：AI技術の産業応⽤の最先端を⾛る
Consumer Industrial
Cloud
Device
PhotoGame
Text
Speech
Infrastructure
Factory Robot
Automotive
Healthcare
Smart City
Industry4.0
Industrial IoT

4. ディープラーニングは本当に産業応⽤で使われるのか？
l いま⼈⼯知能と呼ばれている応⽤の多くはディープラーニングがベース
l 画像認識を中⼼に特定のタスク向けに研究され発展してきた→これからは？
l 実際の産業応⽤例とそれを実現する技術を概観、その中でPFNの活動を紹介
http://www.image-net.org/challenges/LSVRC/2014/
⼀般物体検出・認識
https://rinna.jp/
チャットボット
https://deepmind.com/blog/alphago-zero-learning-scratch/
⾃⼰対戦3時間(初⼼者レベル) ⾃⼰対戦70時間(⼈間の名⼈超え)
囲碁プレイ

6. ディープラーニングの産業応⽤
l バイオヘルスケア
l 製造業
l ⾃動運転
l エンターテイメント

7. バイオ応⽤(1/3)：医療画像診断（クラス分類・セグメンテーション）
l ⼀般物体の画像認識で発展したディープラーニング技術のストレートな応⽤
l 専⾨医を超える検出精度を出し始めている（左：⽪膚がん、右：リンパ節転移）
Detecting Cancer Metastases on Gigapixel Pathology Images
[Lin+, 2017]
Dermatologist-level classification of skin cancer with deep neural
networks [Esteva+, Nature, 2017]

8. バイオ応⽤(2/3)：3次元化、マルチモーダル化
l MRIは連続した輪切り画像として扱うよりも3次元情報として扱ったほうが有⽤
l CT、MRI、PETの複数画像から総合的に判断することで検出精度が向上
Medical Image Segmentation Based on Multi-Modal Convolutional
Neural Network: Study on Image Fusion Schemes [Guo+, 2017]
元データ
国⽴がん研究センター様提供のMRI画像列に対し脳腫瘍を
含む部位を領域セグメンテーション(JST CRESTの成果)
正解ラベル モデルの予測結果
検出対象領域 CT+MRI+PET
最も正確な検出
単⼀の情報では検出が不正確
元データ
PETのみ CTのみ MRIのみ

9. バイオ応⽤(3/3)：さらにゲノム、マイクロRNA、診療履歴…
l 単⼀の情報源だけでなく多様なデータをいかに収集・統合して解析するか
l DeepMindは英国NHS、Preferred Networksは国⽴がん研究センターと連携
JST CREST
「⼈⼯知能を⽤いた統合的ながん医療システムの開発」
国⽴がん研、産総研、Preferred Networks
Streams: 医療従事者向けのセキュアなアラートアプリ
DeepMind Health, NHS, and Royal Free London Hospital
https://deepmind.com/applied/deepmind-health/data-security/

10. 製造業応⽤(1/3)：異常検知、予防保全
l 外観検査：画像認識技術を応⽤したソフトウェア・サービス市場の盛り上がり
l 射出成形機の予防保全：逆流防⽌弁の摩耗をバックフローモニタ時系列から推測
射出成形機にAI搭載、ファナックが深層学習技術で予防保全
[Monoist] [プレスリリース]
ロボショット射出成形機：
樹脂を⾦型に流し込んで成形
PFNの外観検査：キズの箇所を特定不要、画像単位で
正解付け・モデル学習・可視化・精度評価をブラウザで

11. 製造業応⽤(2/3)：ピッキングロボットの改良、⾳声指⽰による制御
l ⾼速ばら積みロボット：未知アイテムも認識してピック可能（300アイテム/時）
l ⾳声でロボットに指⽰：⾃由な⼝語表現が可能、あいまいな場合は対話で特定
Interactively Picking Real-World Objects with Unconstrained
Spoken Language Instructions
[Hatori+, submitted to ICRA’18]
Preferred Networks’ sponsor booth at IEEE ICRA 2017 [blog]
https://www.youtube.com/watch?v=5pSq7qFAL0M

12. 製造業応⽤(3/3)：シミュレーションからの汎化、壊れても動くロボット
l シミュレーションと実物の差に対応：シミュレーション学習モデルの弱点を解消
l 部分的な故障や環境変化に適応：深層強化学習の⾼度な応⽤
Map-based Multi-Policy Reinforcement Learning: Enhancing
Adaptability of Robots by Deep Reinforcement Learning
[Kume+, submitted to ICRA’18]
Asymmetric Actor Critic for Image-Based Robot Learning
[Pinto+, 2017]

13. ⾃動運転応⽤(1/3)：メーカー、Google、Uber、⾃動運転スタートアップ
l 特に⾞両周辺状況認識でディープラーニングが必須というのは共通⾒解
l 認識対象：歩⾏者、周辺⾞両、⾞線、信号、標識、フリースペース…
Tesla.com
Waymo.com (Google)
Uber.com
Toyota.com

14. ⾃動運転応⽤(2/3)：LIDARなど豊富なセンサー vs. カメラ中⼼
l 多種センサー：⾼精細な深度情報 ←→ ⾒た⽬の課題、⾼コスト（改善中）
l 画像センサー中⼼：低コスト ←→ 深度・遠⽅情報が不⾜し低精度（改善中）
Lyft and Drive.ai partner on Bay Area self-driving ride-hailing
pilot, Darrel Etherington, TechCrunch
⾬天夜間⾛⾏のデモ動画あり [youtube]
Drive.ai
Tesla Autopilot：前後左右遠近8種類のカメラ＋超⾳波＋レーダー
https://www.tesla.com/autopilot

15. ⾃動運転応⽤(3/3)：個別モジュール vs. ⼀気通貫モデル
l 個別モジュール：旧来の認識→経路計画→制御の⼀部をディープラーニングに
l ⼀気通貫：センサー⼊⼒から直接アクセル・ブレーキ・ハンドル制御を出⼒
Adding Navigation to the Equation: Turning Decisions for
End-to-End Vehicle Control [Hubschneider+, 2017]
Perception, Planning, Control, and Coordination for
Autonomous Vehicles [Pendleton+, 2017]

16. 今朝のキーノートで使われた画像をAIで塗ってみた
オリジナル画像
Microsoft千代⽥まどか（ちょまど）さん
PaintsChainer出⼒
(かんなモデル)
PaintsChainer出⼒
(たんぽぽモデル)

17. エンターテイメント応⽤(1/2)：PaintsChainer, MakeGirls.moe
https://makegirlsmoe.github.io/
l アニメ絵の⾃動着⾊やキャラクタ顔画像⽣成の精度がここ2年で⾶躍的に向上
https://paintschainer.preferred.tech/

18. エンターテイメント応⽤(2/2)：モーション⽣成, セレブ顔合成
Progressive Growing of GANs for Improved Quality,
Stability, and Variation [Karras+, 2017]
Phase-Functioned Neural Networks for Character Control [Holden+, 2017]
https://www.youtube.com/watch?v=Ul0Gilv5wvY
l 3DCGキャラの⾃然な動きや、実在しないセレブの⾼精細画像も合成

20. 産業応⽤を⽀える技術
l 応⽤を⽣み出す基本要素
l ソフトウェア（フレームワーク）
l ハードウェア
l ヒト（専⾨教育・⼈材育成）
l 最新のトレンド
l ライトユーザーとドメイン特化
l 予測環境の分離と標準化
l ⾼速化・⼤規模化

21. ソフトウェア(1/3)：ディープラーニング専⽤のフレームーワーク
l ニューラルネットワークは⾏列のデータ構造とその演算で成り⽴っている
l 中⾝は複雑だが使い回しが可能なコンポーネントの集合である
⾏列データ構造
(ベクトル／⾏列／テンソル)
演算／関数
(Conv／ReLU／Pooling)
ネットワーク表現
(計算グラフ)
最適化アルゴリズム
(SGD／RMSProp／Adam)

22. ソフトウェア(2/3)：多種多様なフレームワークが百花繚乱、第三世代へ
l 第⼀世代：APIの試⾏錯誤、⾼速化バックエンド、Caffeによる画像認識の発展
l 第⼆世代：cuDNNへの対応、シンプルで直感的なAPI、define-by-runの導⼊
l 第三世代：過去遺産の継承、より洗練されたAPI、実⽤上のフォーカス
第⼀世代 第⼆世代 第三世代

23. ソフトウェア(3/3)：フレームワークマップ
CoreML
モデル
フォーマット
ハードウェア実⾏最適化
TVM / NNVM

24. ハードウェア(1/2)：NVIDIA製GPUが市場を独占
l 計算能⼒が重要なディープラーニングに早くから投資しGPU性能を伸ばし続ける
l さらにCUDAやcuDNN等のフレームワーク開発者向けのソフトウェア環境を充実
Accelerating AI with GPUs: A New Computing ModelNVIDIA Deep Learning SoftwareGPU Motivation: Performance Trends

25. ハードウェア(2/2)：よりフレキシブルなCPU、より効率の良いASIC
l CPU: GPUよりプログラミングが容易、DL特化の命令セット+ライブラリの導⼊
l ASIC: 拡張性は低いが、必要な機能を固定すれば消費電⼒あたりの性能は⾼い
Machine Learning Gets a 2.2x Performance Boost
MKL MKL-DNN
AVX-512: 主にベクトル演算を⾼速化する
Intel Xeon向け新命令セット
Intel Python
Apple iPhone X with
A11 bionic neural engine
• 3D顔認証(Face ID)
• 画像認識(animoji変換)
• リアルタイムAR処理
ルネサス スマートカメラSoC R-Car V3M
• ディープラーニング専⽤回路内蔵
• 画像認識アクセラレータ
• Image Signal Processor

26. ヒト(1/2)：MOOC等のオンライン教育の充実
l 著名研究者Andrew NgのMOOC(Coursera、deeplearning.ai)が普及に貢献
l Chainer Playground: ブラウザ上でChainerを使ってディープラーニングを学ぶ
https://www.deeplearning.ai/ https://play.chainer.org/

27. ヒト(2/2)：⺠間から⼈が集まる講義イベント、業界団体と検定試験
l ⼤学教育以外に⺠間向けに集中講座のようなイベントが世界各地で開催
l ⼀般社団法⼈⽇本ディープラーニング協会（JDLA）：活⽤促進から⼈材育成
⽇本ディープラーニング協会が発⾜、
資格試験で技術者3万⼈育成
PFNがスポンサーした深層強化学習ブートキャンプ
@UCバークレー、コンテンツはオンライン公開

28. AIビジネスコミュニティとしてDeep Learning Lab (DLL)を⽴ち上げ
l AzureとChainerを主要プラットフォーム・フレームワークとするコミュニティ
l https://dllab.connpass.com/
l DLLコミュニティイベント4回（159→239→260→386名）
l NVIDIA Deep Learning Instituteとの共催イベントを地⽅4都市開催
l 参加企業のキカガク様のセミナー、Ridge-i様のNHK⽩⿊映像カラー化事例等
https://www.kikagaku.co.jp/services/dnn-seminar/ 第4回イベントの様⼦（Ridge-i様撮影）

29. ライトユーザーとドメイン特化(1/2)：研究者以外もユーザーに
l ディープラーニングの進歩に利⽤APIの整備共通化が追いつかずまだ使いづらい
l （参考）scikit-learn： 様々な機械学習アルゴリズムを共通のAPIで利⽤可能
フレーム
ワーク
X
フレーム
ワーク
Y1.0
アルゴリズムA
フレーム
ワーク
Y2.0
アルゴリズムB
アルゴリズムC
scikit-learn
アルゴリズムA
アルゴリズムB
アルゴリズムD
アルゴリズムA’
アルゴリズムB’
アルゴリズムE
決定⽊
Logistic回帰
線形SVM
カーネルSVM
ナイーブベイズ
Bagging
AdaBoost
GradientBoost
RandomForest
学習: fit() 予測: predict()API 共通API

30. ライトユーザーとドメイン特化(2/2)：ドメイン特化ライブラリ
x
Reinforcement Learning
ロボット制御
ゲームプレイ
ChainerCV: a Library for Deep Learning in Computer Vision [Niitani, Ogawa, Saito, Saito, ACM MM 2017]

31. l データ解析に必要なものが全てパッケージング（Windows/Linux両対応）
l 分析：開発環境 / データ基盤 / 機械学習ツール
l GPUサポート：CUDA / cuDNN
l DL：フレームワーク / 関連ツール
ChainerおよびCV/RLはAzure Data Science VMにプリインストール済み
https://azure.microsoft.com/en-us/services/virtual-machines/data-science-virtual-machines/

32. 予測環境の分離と標準化(1/2)：予測専⽤環境、学習済モデルの可搬性
l 学習：DCかクラウドで⼤規模処理＝NVIDIA GPU+cuDNN+DLフレームワーク
l 予測：学習済みモデルの実⾏のみ=推論アクセラレータや最適化チップ利⽤可能
学習環境
学習済みモデル
nvidia.com
予測環境
NVIDIA: TensorRT
Intel Movidius:
Neural Compute Stick
Caffemodel / Tensorflow
Qualcomm: Neural Processing Engine SDK

33. 予測環境の分離と標準化(2/2)：MSとFacebookのONNXフォーマット
l Open Neural Network Exchange Format: Protobufによるネットワーク表現
l 他にKhronos groupのNNEF等も今後出てくる
message ModelProto {
optional int64 ir_version = 1;
:
optional GraphProto graph = 7;
};
message GraphProto {
repeated NodeProto node = 1;
optional string name = 2;
repeated TensorProto initializer = 5;
optional string doc_string = 10;
repeated ValueInfoProto input = 11;
repeated ValueInfoProto output = 12;
repeated ValueInfoProto value_info = 13;
}
message TensorProto {
repeated int64 dims = 1;
optional DataType data_type = 2;
optional Segment segment = 3;
repeated float float_data = 4 [packed =
true];
:
optional string name = 8;
}
message NodeProto {
repeated string input = 1;
repeated string output = 2;
optional string name = 3;
optional string op_type = 4;
repeated AttributeProto attribute =
5;
optional string doc_string = 6;
}
Node
Tensor
Tensor

34. ⾼速化・⼤規模化(1/3)：ディープラーニングプロセッサ（DPU）の進化
EFFICIENCYFLEXIBILITY
Soft DPU
(FPGA)
Contro
l Unit
(CU)
Registers
Arithmeti
c Logic
Unit
(ALU)
CPUs GPUs
ASICsHard
DPU
https://www.microsoft.com/en-us/research/blog/microsoft-unveils-project-brainwave/
l Soft DPU: FPGAで合成時に基本モジュール回路やデータ型を柔軟に決定可能
l Hard DPU: 基本モジュールとデータ型は設計時に固定しパフォーマンス追求
Intel® Nervana™ Neural Network ProcessorsMicrosoft Brainwave Google TPU

35. ⾼速化・⼤規模化(2/3)：フレームワークとチップの間の共通化・最適化
l 抽象的に定義されたネットワークを各ハードウェアに特化して実⾏すれば⾼速
l NNVM: 各フレームワークの処理を⾼レベルの中間表現に変換
l TVM: 各ハードウェアに最適化された低レベルの中間表現に変換
NNVM Compiler: Open Compiler for AI Frameworks

36. ⾼速化・⼤規模化(3/3)：分散学習の⼤規模を⽀えるノウハウ
l GPUとバッチサイズを増やせば⾼速化 ←→ モデル同期頻度が減るので精度悪化
l パラメータ調整、NVIDIAライブラリの有効活⽤、Infiniband等の⾼速通信…
GPUとデータセットを並列にしAll-Reduceで勾配情報の共有
各GPUの毎回の処理数＝バッチサイズが⼤きすぎると破綻
Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour [Goyal+, 2017]
ChainerMN: Scalable Distributed Deep Learning Framework
[Akiba, Fukuda, Suzuki, 2017]

37. PFNの国内最⼤規模GPUクラスタ：NVIDIA Tesla P100を1,024基
l GPU不⾜が研究開発のボトルネックにならないようにしてビジネスを加速
Preferred Networks、⺠間企業の計算環境として国内最⼤級のプライベート・スーパーコンピュータを9⽉から稼働

38. ChainerMN on Azure: 伸び続ける学習時間を解決
l Azure内のInfiniBand環境を活⽤し128GPUで約100倍の⾼速化を実現可能
l XTREME DESIGN様のHPCテンプレートでChainerMN環境を10⽉から提供
1
10
100
1 2 4 8 16 32 64 128
https://www.slideshare.net/hironojumpei/chainermnxtreme-dna-hpc-cloud

40. まとめ
l ディープラーニングの産業応⽤
l 画像認識アプリケーションを中⼼とした商⽤化が加速
l 多種多様なデータを⽤いた複雑な実問題への取り組みも開始
l それを⽀える技術
l ソフトウェアとハードウェア双⽅の激しい開発競争：⾼速化、⼤規模化、標準化、
l ユーザー層の拡⼤、研究者だけでなく技術を使いこなせるエンジニアの育成
l Preferred Networksの取り組み
l Chainerをコアに、最先端の研究やMS等パートナーとの協業、⼤規模DL基盤の整備
l 製造業や⾃動運転、バイオヘルスケアを中⼼としたビジネス展開を推進
Preferred Networksでは⼀緒に戦うパートナー・仲間を募集しています