[JAWS-UG AI支部] AWS AIアップデート
•
3 recomendaciones•1,638 vistas
2017年2月20日JAWS-UG AI支部 x MARULAB ディープラーニングハンズオンで使った資料です。 https://jawsug-ai.connpass.com/event/50202/
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Similar a [JAWS-UG AI支部] AWS AIアップデート
Similar a [JAWS-UG AI支部] AWS AIアップデート (20)
Más de Yasuhiro Matsuo
Más de Yasuhiro Matsuo (10)
[JAWS-UG AI支部] AWS AIアップデート
- 1. 1 JAWS-UG AI支部 Amazon, AWS,とDeep Learning 2017年2月20日 アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 松尾康博
- 2. 2 Who am I ? • 名前 – 松尾康博 • 所属 – アマゾンウェブサービスジャパン株式会社 – ソリューションアーキテクト – 製造業のHPC、CAE、ビッグデータ解析等を主に担当 • 経歴 – 九州大学でスパコンの効率化研究 – SIerで 分散キューの開発・導入、分散処理研究 – Web系スタートアップCTO – SIerで仮想化基盤の研究・導入・運用 – 現職
- 5. 5 Amazon 画像検索 & 音声検索 http://www.gizmodo.jp/2015/07/_amazon_1.html
- 7. 7
- 9. 9 Amazon Rekognition Deep learning-based image recognition service Search, verify, and organize millions of images Object and Scene Detection Facial Analysis Face Comparison Facial Recognition
- 10. 10 Amazon Rekognition • 深層学習の技術を利用した画像認識のマ ネージドサービス • 学習済みモデルを利用して、画像の「状 況」「人物の顔」「物体」を検出 • S3に格納した画像に対して解析を行うこと で、マッチする状況や物体名を受け取れる • バージニア、オレゴン、アイルランドの リージョンで利用可能。月5,000回の認識 と年間1,000個の顔ベクトル情報まで無料 利用枠の対象となり、以後従量課金制 ※動作イメージ Apple!! https://aws.amazon.com/rekognition/ https://aws.amazon.com/jp/blogs/news/amazon-rekognition-image-detection-and-recognition-powered-by-deep-learning/
- 12. 12 Amazon Polly • フルマネージド型の”Text-to-speech”機能を提供 する新サービス。APIを利用して文章をPollyに渡す と音声ストリームまたはファイルの形式で音声化 • 24の言語、47種類のボイス（男性、女性）に対応。 日本語もサポートしている • プロ声優による音声。Pollyで出力された音声デー タは自由に利用できる • バージニアとオレゴン、アイルランド、オハイオ のリージョンでプレビュー提供を開始 Open the pod bay door please, HAL. Open the pod bay door please, HAL. https://aws.amazon.com/polly/ https://aws.amazon.com/jp/blogs/news/polly-text-to-speech-in-47-voices-and-24-languages/
- 13. 13 Text and Speech Language Understanding Speech Recognition Natural Language Understanding Powered by the same Deep Learning technology as Alexa
- 14. 14 Amazon Lex • 音声またはテキストメッセージに応答するチャッ トボット開発を容易にするサービス。Amazon Alexaと同等の自然言語エージェントを開発可能に • 自然言語の入力を解析しその意味合いに応じたア プリケーションコードを実行することにより、 ユーザとのインタラクションを実現 • バージニアリージョンでプレビュー中。10,000テ キストと5,000音声の入力まで利用開始から1年間 は無料。以後1,000テキストあたり$0.75、1,000 音声あたり$4.00となる • https://aws.amazon.com/lex/ https://aws.amazon.com/jp/blogs/news/amazon-lex-build-conversational-voice-text-interfaces/
- 15. 15 AWSで機械学習
- 16. 16 AWSでのAIとサービスの関係 https://aws.amazon.com/jp/blogs/ai/welcome-to-the-new-aws-ai-blog/ https://aws.amazon.com/jp/amazon-ai Amazon Rekognition Amazon Polly Amazon Lex AI Services Amazon Machine Learning Amazon EMR Spark & Spark ML AI Platforms Apache MXNet AI Engines Tensorfl ow Caffe Torch Theano CNTK Keras Amazon EC2 AWS PlatformsAWS CloudFormation Deep Learning AMI Amazon S3 AWS Lambda 今日はここを 話します
- 17. 17 EC2 インスタンスタイプと分類 M4 汎用 コンピューティング 最適化 ストレージ・IO 最適化 GPU ・FPGA アクセラレーテッド メモリ最適化 X1 2010 2013 2016 2016 PreviewF1 P2 G2 CG1 M3 T2 I2 HS 1 I3 D2 R4 R3 C5 C4 C3 CC2 Announced
- 18. 18 NVIDIA Tesla GPUカード GPUアクセラレーテッドコンピューティング 各GPUは数千コアを持ち、高並列計算が可能 豊富なAPI群 (CUDA, OpenACC, OpenCL) 多くのISV製品やオープンソースフレームワークが 対応 Xilinx UltraScale+ FPGA FPGAアクセラレーテッドコンピューティング 超並列– 各FPGAは数百万のロジックセルを搭載 柔軟 – 固定の命令セットはなく、広帯域のデータパ スを実装可能 HDL(ハードウェア記述言語）やFPGA開発ツールで プログラム可能 アクセラレーテッドコンピューティングとGPU/FPGA
- 19. 19 • NVIDIA K80を最大16GPU搭載 • 計192GBのGPUメモリと 約40,000 CUDAコアを搭載 • 1台で70TFlops(単精度浮動小数点演算)を実現 • 1台で23TFlops(倍精度浮動小数点演算)を実現 • GPUDirect™によるpeer-to-peer 接続をサポート Instance Name GPU Count vCPU Count Memory Parallel Processing Cores GPU Memory Network Performance P2.xlarge 1 4 61GiB 2,496 12 GiB High P2.8xlarge 8 32 488GiB 19,968 96 GiB 10 Gigabit P2.16xlarge 16 64 732GiB 39,936 192 GiB 20 Gigabit ＜インスタンスサイズ＞ GPU搭載：P2インスタンス https://aws.amazon.com/jp/blogs/news/new-p2-instance-type-for-amazon-ec2-up-to-16-gpus/ バージニア・オレゴン・アイルランド の3リージョンで提供中
- 20. 20 F1インスタンスを発表(開発者プレビュー開始) • FPGAを搭載し高性能計算用途に最適なF1を発表 • Intel Xeon E5-2686v4(2.3GHz, Turbo mode対応)と 1個から8個のFPGA(Xilinx UltraScale+ VU9P)、最大 976GBメモリ、4TBのNVMe接続のSSDを利用可能 • 開発/テスト用AMIも提供。パッケージ化したAmazon FPGA Image(AFI)はAWS Marketplaceに公開可 • サンプルアプリケーションなどはF1 Hardware Development Kit(HDK)として提供 • バージニアリージョンにて開発者プレビューを開始。 他リージョンへの展開も準備中 F1 AWSブログ：開発者プレビュー ー EC2 Instances (F1) with Programmable Hardware https://aws.amazon.com/jp/blogs/news/developer-preview-ec2-instances-f1-with-programmable-hardware/
- 22. 22 GPUインスタンスでGPUを使うには 通常のAMIに、NVIDIA DriverやCUDAをインストールすればOK AMI NVIDIA Driver NVIDIA CUDA GPUフレームワーク GPUアプリケーション
- 24. 24 NVIDIA製AMI https://aws.amazon.com/marketplace/seller-profile?id=c568fe05-e33b-411c-b0ab-047218431da9 • Windows Server + Driver • CUDA7.5 + Amazon Linux • DIGITS4 + Ubuntu 14.04 • etc.
- 25. 25 AWS製AMIも https://aws.amazon.com/marketplace/pp/B01M0AXXQB?qid=1475211685369&sr=0-1&ref_=srh_res_product_title プリインストール済み • MXNet • Caffe • Tensorflow • Theano • Torch • CNTK • Keras ライブラリなど • NVIDA Driver, CUDA • Anaconda, Jupyter CUDA込みAMI
- 26. 26 Ubuntu版も https://aws.amazon.com/jp/blogs/ai/the-aws-deep-learning-ami-now-with-ubuntu/ プリインストール済み • MXNet • Caffe • Tensorflow • Theano • Torch • CNTK • Keras ライブラリなど • NVIDA Driver, CUDA • Anaconda, Jupyter CUDA込みAMI
- 27. 27 Deep Learning AMIは随時更新中 ※Virginia Region ※2017/2/20時点
- 29. 29 Apache MXNet at AWS https://aws.amazon.com/jp/mxnet/
- 31. 31 Apache MXNetとは • オープンソース – Apache-2 ライセンス – Apache Incubationへ参加(1/23) • 発祥 – ワシントン大学、カーネギーメロン大学 • サポートモデル – Convolutional Neural Networks (CNN) – Long Short-Term Memory (LSTM) • スケーラブル – 線形にスケールし、学習モデルを高速に作成 • 多くの言語に対応 – Scala, Python, R等。 Sparkとの連携も容易 • エコシステム – 産学に多くのコミュニテイ http://mxnet.io/ (mxnet.incubator.apache.org へ移行予定） https://github.com/dmlc/mxnet http://incubator.apache.org/projects/mxnet.html
- 33. 33 MXNet への AWSの投資 • 開発ツール – AMIやCloudFormationテンプレートにより、モデル学習の開発・可視化を早く • ドキュメント – 多くのユースケース、ハウツー等に対応するドキュメント • 移行ツール – Caffeやその他フレームワークからの移行ツール等 • エコシステム – ワークショップ、パートナー、ブログ、AWSサービスと連携したアーキテク チャの公開
- 35. 35 Jupyter用チュートリアルも用意 https://github.com/dmlc/mxnet-notebooks $ git clone https://github.com/dmlc/mxnet-notebooks.git $ jupyter notebook &
- 38. 38 AWS Public Dataset • Amazonが無料でデータをホスティング • 瞬時に利用可能 • データ利用・処理時に必要なITリソースは EC2にて必要なだけ利用可能 • HPCクラスタやHadoopクラスタ など大 規模クラスタが利用可能 https://aws.amazon.com/public-data-sets/ Amazon EC2 Instances Amazon S3 Bucket Public Data SetsはS3上のオ ブジェクト(ファイル)群として 保存・公開
- 39. 39 NASA NEX(Earth Exchange) • NASA NEXチームによるOpenNEX データ各種をS3で公開 • Data for Climate Projections – US本土の気象データ(1950-2005)と2005年から2099年 までの予測値 • Landsat Global Land Survey – 1970年代、1990年代、2000年代、2005年代ので中解 像度のリモートセンシングデータを提供 • MODIS Vegetation Indices – 496nm, 645nm, 858nm波長のデータセット http://aws.typepad.com/aws_japan/2013/11/process-earth-science-data-on-aws-with-nasa-nex.html https://aws.amazon.com/nasa/nex/
- 40. 40 Public Dataset: ランドサット衛星画像 • NASAと米地質調査所(USGS)による Landsat 8のデータ • 地球の陸地全部の中解像度衛星画像 • 8万5000点のデータをS3に無償公開 – (常時追加中) • 3rd Partyツールによる解析やサービス – NASA Landsat-util – Esri ArcGIS – Mapbox Landsat-live – MATLAB https://aws.amazon.com/jp/public-data-sets/landsat/ http://aws.typepad.com/aws_japan/2013/11/process-earth-science-data-on-aws-with-nasa-nex.html http://blogs.mathworks.com/steve/2015/03/19/matlab-landsat-8-aws/
- 41. 41 SpaceNet on AWS • DigitalGlobe社の衛星WorldView-2が収集し たデータをS3に無償公開 • 1900km四方のフル解像度 50cm画像と8バ ンドマルチスペクトルデータや220,594棟の 建築物データ • 機械学習(※)による処理済みデータも公開 • まずはリオデジャネイロのデータを公開 ※CosmiQ Works社のアルゴリズムで GPUインスタン スにて処理したデータ https://aws.amazon.com/public-data-sets/spacenet/ https://techcrunch.com/2016/08/25/spacenet-satellite-imagery-repository-launched-by-digitalglobe- cosmiq-works-and-nvidia-on-aws/
- 42. 42 Amazon Picking Challenge 42 • ロボットアームを自動制御 するコンテスト • 物体判別や物体の状態認識、 モーションプランニング、 物体把持プランニングが要 求される • ディープラーニングは物体 判定、姿勢制御に積極的に 活用されている • 日本のスタートアップも参 加（トヨタ等と資本提携）
- 43. 43 Amazon Bin Image Data Set • Amazon Fulfillment Center (FC)内の棚 にある商品画像セットとメタデータをS3 に無償公開 • 1000以上のJPEGファイルとJSON形式の メタデータのペア https://aws.amazon.com/public-data-sets/amazon-bin-images/
- 44. 44 まとめ
- 45. 45 AWSでのAIとサービスの関係 https://aws.amazon.com/jp/blogs/ai/welcome-to-the-new-aws-ai-blog/ https://aws.amazon.com/jp/amazon-ai Amazon Rekognition Amazon Polly Amazon Lex AI Services Amazon Machine Learning Amazon EMR Spark & Spark ML AI Platforms Apache MXNet AI Engines Tensorfl ow Caffe Torch Theano CNTK Keras Amazon EC2 AWS PlatformsAWS CloudFormation Deep Learning AMI Amazon S3
- 46. 46 参考情報 • Amazon AI – https://aws.amazon.com/jp/amazon-ai/ • AWS AI Blog – https://aws.amazon.com/jp/blogs/ai/ • Apache MXNet – https://aws.amazon.com/jp/mxnet/
- 47. 47 JAWS-DAYS 2017 • 全国から1000人以上のユーザが集まるイベント • Deep Learning on AWSセッションもあります http://jawsdays2017.jaws-ug.jp/ http://jawsdays2017.jaws-ug.jp/session/1381/
- 48. 48
Notas del editor
- アマゾンでも、宅配の自動化でのDrone、エージェント機能をもつecho、気軽に買い物ができるDashというもをだしており、IoTを使った様々なチャレンジを行っており、また、IoTプラットフォームを提供している2lemetryという会社を買収しております。
- Introducing Amazon Rekognition - a fully managed deep learning based image recognition service. Rekognition was designed from the get-go to run at scale. It comprehends scenes, objects, concepts and faces. Given an image, it will return a list of labels. Given an image with one or more faces,it will return bounding boxes for each face, along with face attributes. Given two images with faces, it will compare the largest face from the source image and find similarity with faces found in the tagret image. Rekognition provides quality face recognition at scale, and supports creation of collection of millions of faces and search of similar faces in the collection. Now lets dive into each of these features and look at the API that support these features.
- アップルじゃなくても、元の画像に入っている物体をパイナップルでもペンでも認識するというイメージです。
- Alexa あlexあ てきな