CTO Night&Day 2016 Winter モーニングセッションでの発表資料です

1. 1
AWSとAI & Machine Learning
2016年12月6日
アマゾン ウェブ サービス ジャパン株式会社
ソリューションアーキテクト 松尾康博

2. 2
Who am I ?
• 名前
– 松尾康博
• 所属
– アマゾンウェブサービスジャパン株式会社
– ソリューションアーキテクト
– 製造業のHPC、CAE、ビッグデータ解析等を主に担当
• 経歴
– 九州大学でスパコンの効率化研究
– SIerで 分散キューの開発・導入、分散処理研究
– Web系スタートアップCTO
– SIerで仮想化基盤の研究・導入・運用
– 現職

3. 3
Amazonと機械学習

4. 4
Amazonでの取組み
Amazon robotics

5. 5
Amazon 画像検索 & 音声検索
http://www.gizmodo.jp/2015/07/_amazon_1.html

6. 6
クラウド上で音声認識能力を継続的に改善し、インター
フェースとして活用
Alexa, play Bruno Mars from
Prime Music
（ブルーノ・マーズの曲をかけてく
ださい)
Alexa, turn on the lights
(ライトをつけてください)

7. 7
Amazon Go
https://www.amazon.com/go

8. 8
Amazon Rekognitionを発表
• 深層学習の技術を利用した画像認識のマ
ネージドサービス
• 学習済みモデルを利用して、画像の「状
況」「人物の顔」「物体」を検出
• S3に格納した画像に対して解析を行うこと
で、マッチする状況や物体名を受け取れる
• バージニア、オレゴン、アイルランドの
リージョンで利用可能。月5,000回の認識
と年間1,000個の顔ベクトル情報まで無料
利用枠の対象となり、以後従量課金制 ※動作イメージ
Apple!!
https://aws.amazon.com/rekognition/
https://aws.amazon.com/jp/blogs/news/amazon-rekognition-image-detection-and-recognition-powered-by-deep-learning/

9. 9
Amazon Rekognitionを発表

10. 10
Amazon Lexを発表
• 音声またはテキストメッセージに応答するチャッ
トボット開発を容易にするサービス。Amazon
Alexaと同等の自然言語エージェントを開発可能に
• 自然言語の入力を解析しその意味合いに応じたア
プリケーションコードを実行することにより、
ユーザとのインタラクションを実現
• バージニアリージョンでプレビュー中。10,000テ
キストと5,000音声の入力まで利用開始から1年間
は無料。以後1,000テキストあたり$0.75、1,000
音声あたり$4.00となる
• https://aws.amazon.com/lex/
https://aws.amazon.com/jp/blogs/news/amazon-lex-build-conversational-voice-text-interfaces/

11. 11
Amazon Lexを発表

12. 12
Amazon Pollyを発表
• フルマネージド型の”Text-to-speech”機能を提供
する新サービス。APIを利用して文章をPollyに渡す
と音声ストリームまたはファイルの形式で音声化
• 24の言語、47種類のボイス（男性、女性）に対応。
日本語もサポートしている
• プロ声優による音声。Pollyで出力された音声デー
タは自由に利用できる
• バージニアとオレゴン、アイルランド、オハイオ
のリージョンでプレビュー提供を開始
Open the pod bay
door please, HAL.
Open the pod bay
door please, HAL.
https://aws.amazon.com/polly/
https://aws.amazon.com/jp/blogs/news/polly-text-to-speech-in-47-voices-and-24-languages/

13. 13
Amazon Pollyを発表
• 料金体系は従量課金
– 5,000,000文字までは無料
– 以後、1文字あたり$0.000004
• 英語の場合、一般的に1分の音声出力で概ね
$0.004くらいの課金になる

14. 14
AWSと機械学習

15. 15
• NVIDIA K80を最大16GPU搭載
• 計192GBのGPUメモリと 約40,000 CUDAコアを搭載
• 1台で70TFlops(単精度浮動小数点演算)を実現
• 1台で23TFlops(倍精度浮動小数点演算)を実現
• GPUDirect™によるpeer-to-peer 接続をサポート
Instance
Name
GPU
Count
vCPU
Count
Memory Parallel
Processing
Cores
GPU
Memory
Network
Performance
P2.xlarge 1 4 61GiB 2,496 12 GiB High
P2.8xlarge 8 32 488GiB 19,968 96 GiB 10 Gigabit
P2.16xlarge 16 64 732GiB 39,936 192 GiB 20 Gigabit
＜インスタンスサイズ＞
GPU搭載：P2インスタンス
https://aws.amazon.com/jp/blogs/news/new-p2-instance-type-for-amazon-ec2-up-to-16-gpus/
バージニア・オレゴン・アイルランド
の3リージョンで提供中

16. 16
Topology: p2.8xlarge

17. 17
Topology: p2.16xlarge

18. 18
容易にGPUインスタンスを利用するには

19. 19
GPUインスタンスでGPUを使うには
通常のAMIに、NVIDIA DriverやCUDAをインストールすればOK
AMI
NVIDIA Driver
NVIDIA CUDA
GPUフレームワーク
GPUアプリケーション

20. 20
普通のLinux AMIでも、GPUを利用可能（ですが・・）

21. 21
https://developer.nvidia.com/gpu-cloud-images

22. 22
NVIDIA製AMI
https://aws.amazon.com/marketplace/seller-profile?id=c568fe05-e33b-411c-b0ab-047218431da9
• Windows Server + Driver
• CUDA7.5 + Amazon Linux
• DIGITS4 + Ubuntu 14.04
• etc.

23. 23
AWS製AMIも
https://aws.amazon.com/marketplace/pp/B01M0AXXQB?qid=1475211685369&sr=0-1&ref_=srh_res_product_title
プリインストール済み
• MXNet
• Caffe
• Tensorflow
• Theano
• Torch
※要CUDAインストールCUDA込みAMI出ました

24. 24
Deep Learning AMIは随時更新中
※Oregon Region
※2016/12/6時点

25. 25
http://www.nvidia.co.jp/object/docker-container-jp.html
Dockerも利用可能
• GPUアプリケーションを仮想化
• オンプレ、クラウドを問わず同
一イメージが動作可能
• AWSでも動作
• Docker Hubにも
https://hub.docker.com/u/nvidia/

26. 26
MXNet at AWS

27. 27
AWSはMXNetを深層学習フレームワークとして選択
http://aws.typepad.com/sajp/2016/11/mxnet-default-framework-deep-learning-aws.html
http://www.allthingsdistributed.com/2016/11/mxnet-default-framework-deep-learning-aws.html

28. 28
MXNetとは
• オープンソース
– Apache-2 ライセンス
• 発祥
– ワシントン大学、カーネギーメロン大学
• サポートモデル
– Convolutional Neural Networks (CNN)
– Long Short-Term Memory (LSTM)
• スケーラブル
– 線形にスケールし、学習モデルを高速に作成
• 多くの言語に対応
– Scala, Python, R等。 Sparkとの連携も容易
• エコシステム
– 産学に多くのコミュニテイ
http://mxnet.io/
https://github.com/dmlc/mxnet

29. 29
MXNet への AWSの投資
• 開発ツール
– AMIやCloudFormationテンプレートにより、モデル学習の開発・可視化を早く
• ドキュメント
– 多くのユースケース、ハウツー等に対応するドキュメント
• 移行ツール
– Caffeやその他フレームワークからの移行ツール、Kerasとの連携ツール
• エコシステム
– ワークショップ、パートナー、ブログ、AWSサービスと連携したアーキテク
チャの公開

30. 30
複数GPUでのスケーラビリティ
有名な画像分析アルゴリズムInception v3 を、MXNetで実装しP2インスタンスで実行
スケーリング効率85%

31. 31
AWS社員もコミッターとして貢献中

32. 32
MXNET用クラスタをサクッと構築する機能も
https://aws.amazon.com/blogs/compute/distributed-deep-learning-made-easy/
https://github.com/dmlc/mxnet/tree/master/tools/cfn

33. 33
Deep Learning on AWSのパターンと事例

34. 34
• 大規模データの収集・分析基盤としては以下の
4つの要素が必要と考えられます
データ分析・学習に必要な基盤
収集 保存 分析・学習 可視化推論
収集したデー
タをリアルタイ
ムに基盤に転
送
データを長期
的に保存、検
索
大規模データ
を高速に分析
（解析）、学習
モデル作成
分析結果の
考察（BI）や学
習モデルによ
る推論

35. 35
Amazon.com での事例
• リコメンデーションモデルの生成に
AWS上でDeep Learningを実行
• 前処理(データ生成)はSparkで実行
• 学習タスクと推論タスクはGPUインス
タンス上のDockerで実行

36. 36
Amazon.com での事例
• 学習タスク: モデル並列処理
– N個のGPUで並列処理
– パラメータサーバで重みを共有
• 推論タスク: データ並列処理
– お客様毎のレコメンデーションを生成
– 大規模並列のGrid処理
学習タスク 推論タスク

37. 37
最後に イベント予告

38. 38

39. 39
Machine Learning Session at re:Invent 2016
https://www.portal.reinvent.awsevents.com/connect/search.ww#loadSearch-
searchPhrase=MAC3+MAC2+MAC4&searchType=session&tc=0&sortBy=abbreviationSort&p=

40. 40
re:Invent報告会をJAWS-UG AI支部として
12/9目黒で開催します
https://jawsug-ai.connpass.com/event/43542/

41. 41