2020年5月22日（金）開催 Enterprise webinar vol.1 登壇： エヌビディア合同会社 コンスーマー マーケティング部 テクニカルマーケティングマネージャー 澤井理紀

1. NVIDIA Enterprise Webinar Vol.1
GTC 2020 発表内容まとめ

3. 3
EGX と ISAACA100 と DGX A100Omniverse RTX サーバー NVIDIA AIデータセンタースケール
コンピューティング
GTC 2020 発表

4. 4
データセンタースケール
コンピューティング

5. 5
アクセラレーテッド コンピューティングの 25 年
X-FACTOR スピードアップ フル スタック ひとつのアーキテクチャシステム
GPU
CPU

6. 6
アクセラレーテッド コンピューティングの 25 年
X-FACTOR スピードアップ フル スタック データセンター スケール
GPU
CPU
DPU
ひとつのアーキテクチャ

7. 7

8. 8
開発者にとって素晴らしい年
CUDA 11
MAGNUM IO
cuTENSOR 1.1
cuDNN 8
TensorRT 7.1
DLSS 2.0
RTX GI
RTX Broadcast Engine
JetPack 4.4
RAPIDS 0.13
MONAI
CUDA-X
CUDA
AI DRIVEMETRO ISAACCLARARAPIDS
AERIAL
5G
RTX HPC
50
新しい SDK

9. 9
開発者にとって素晴らしい年
2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020
YTD
1800 万
開発者

10. 10
OMNIVERSE
RTX サーバー

11. 11
3D は非常に複雑

12. 12
NVIDIA OMNIVERSE
デザイン ワークフローの
コラボレーション プラットフォーム
USD (Universal Scene Description)
ベースに構築
マテリアルと物理を
インタラクティブ レンダラに搭載
PC と Linux に対応、
ストリーミング端末には Mac、Android が対応

13. 13

14. 14
MARBLES RTX

15. 15
リモート コラボレーションに最適化された
NVIDIA RTX サーバー
NVIDIA RTX サーバーは出荷開始中
Omniverse によるデザイン ワークフロー コラボレーション
完全なレイ トレーシングによるグローバル イルミネーションに
対応したインタラクティブ プロダクション レンダリング
デザインとシミュレーションで検証された Quadro 仮想ワークステーション
Omniverse AEC Experience 早期アクセス受付中
https://developer.nvidia.com/nvidia-omniverse-AEC-experience

16. 16
A100 と DGX A100

17. 17
現代のクラウド データ センター
多様なアプリケーション | スケールアップとスケールアウトのワークロード | 飽くなき需要

18. 18
NVIDIA A100
TSMC 7nm | HBM2 — 1.6 テラバイト / 秒 | 3D チップ スタック

19. 19
A100 の 5 つのブレイクスルー
第 3 世代 NVLINK & NVSWITCH第 3 世代 TENSOR コア540 億トランジスタ スパーシティ アクセラレーション MIG

20. 20
新しい TF32 TENSOR コア
FP32 の範囲と FP16 の精度 | FP32 の入力と FP32 でのアキュミュレーション | コードの変更なしで学習を高速化
FP32
TENSOR
FLOAT32
FP16
8 ビット 23 ビット
8 ビット 10 ビット
5 ビット 10 ビット
NVIDIA V100 FP32 NVIDIA A100 Tensor コア
TF32

21. 21
スパーシティ アクセラレーション
疎な AI Tensor 命令を最適化 | 2 倍高速な実行 | TF32、FP16、BFLOAT16、INT8、INT4 で対応
A100 疎性最適化
Tensor コア
2 倍
効率的
疎行列密行列

22. 22
NVIDIA A100
最大の世代間の飛躍
A100
SPARSE
TF32
A100
SPARSE
FP16
A100
SPARSE
INT8
A100
FP64
A100
TF32
A100
FP16
20
160
310
A100
INT8
V100
INT8
V100
FP32
V100
FP16
16
60
V100
FP64
8
125
625
310
625
1250
ピーク
測定

23. 23
NVIDIA A100
最大の世代間の飛躍
A100
SPARSE
TF32
A100
SPARSE
FP16
A100
FP64
A100
TF32
A100
FP16
20
160
310
V100
FP32
V100
FP16
16
V100
FP64
8
125
625
20
倍
10
倍
A100
INT8
V100
INT8
60
625
A100
SPARSE
INT8
310 1250
ピーク
測定

24. 24
新しいマルチインスタンス GPU (MIG) が
エラスティック GPU コンピューティング を実現
ひとつの GPU 上で複数のインスタンスを同時に動かし V100 の 7 倍高いスループット

25. 25
学習と推論のアクセラレーションを統合
BERT 学習 BERT 推論
A100V100T4
7倍
1倍0.6倍
A100V100
6倍
1倍
BERT 事前学習のスループット、Pytorch を使用、(2/3)Phase 1 と (1/3)Phase 2 を含む | Phase 1 Seq Len = 128、Phase 2 Seq Len = 512 V100: FP32 精度を使用した 8 基の V100 を搭載した DGX-1 サーバー A100:TF32 精度を使用した 8 基の A100 を搭載した DGX A100 サーバー |
BERT Larget 推論 | T4、V100: TRT 7.1、精度= FP16、バッチサイズ = 256｜A100 MIG: リリース前の TRT、バッチサイズ = 94、精度 = INT8、疎性高速化を有効

26. 26
A100 の 5 つのブレイクスルー
第 3 世代 NVLINK & NVSWITCH第 3 世代 TENSOR コア540 億トランジスタ スパーシティ アクセラレーション MIG

27. 27
NVIDIA A100 TENSOR コア GPU
WHITEPAPER を公開中
https://www.nvidia.com/nvidia-ampere-architecture-
whitepaper
Enterprise Webinar Vol.2
5 月 29 日 (金) 午後 5 時から
「NVIDIA Ampere アーキテクチャ 詳細」

28. 28
NVIDIA DGX A100
第 3 世代 統合 AI システム
エンドツーエンドのデータ サイエンスと AI のための統合システム
完全にアクセラレーションされたスタック — Spark 3.0、RAPIDS、
TensorFlow、PyTorch、Triton
エラスティックなスケールアップまたはスケールアウト コンピューティング
Mellanox ネットワーキングによる高いスケーラビリティ
シングル ノードで5 PetaFLOPS の性能

29. 29
NVIDIA NVSwitch
NVIDIA DGX A100
第 3 世代 統合 AI システム
シングル ノードで5 PetaFLOPS の性能
NVIDIA A100 GPU x8
NVIDIA NVSwitch x6
4.8 TB/s 双方向帯域、600 GB/s GPU-to-GPU 帯域
Mellanox ConnectX-6 VPI 200 Gb/秒
ネットワーク インターフェース x9
デュアル 64 コア AMD Rome CPU
1 TB RAM
15 TB Gen4 NVME SSD

30. 30
NVIDIA DGX A100
第 3 世代 統合 AI システム
シングル ノードで5 PetaFLOPS の性能
INT8
FP16
TF32
FP64
Tensor コア + スパーシティ アクセラレーション
10 PetaOPS ピーク
5 PFLOPS ピーク
2.5 PFLOPS ピーク
156 TFLOPS ピーク

31. 31
NVIDIA DGX A100
第 3 世代 統合 AI システム
シングル ノードで5 PetaFLOPS の性能
150 倍
40 倍
40 倍
ハイエンド CPU サーバーとの比較
AI 演算
メモリ帯域幅
IO 帯域幅

32. 32
NVIDIA DGX A100
第 3 世代 統合 AI システム
シングル ノードで5 PetaFLOPS の性能
150 倍
40 倍
40 倍
ハイエンド CPU サーバーとの比較
受注開始中
AI 演算
メモリ帯域幅
IO 帯域幅
NTT PC コミュニケーションズ
ASK

33. 33
NVIDIA A100 採用パートナー
業界のリーダーが選ぶ エラスティック データセンター アクセラレータ
クラウド
システム

34. 34
今日の AI データ センター
50 台の DGX-1 システム : AI 学習向け
600 台の CPU システム : AI 推論向け
1,100 万ドル
25 ラック
630 kW

35. 35
費用
消費電力
DGX A100 AI
5 台の DGX A100 システム :
AI 学習と推論向け
100 万ドル
1 ラック
28 kW

36. 36
NVIDIA DGX A100 SUPERPOD
140 台の DGX A100 システム (1,120 基の A100)
170 台の Mellanox Quantum 200G InfiniBand スイッチ
280 Tb/秒 ネットワーク ファブリック - 15km の光ケーブル
4 PB のオールフラッシュ ネットワーク ストレージ
700 PFLOPS の AI 性能
3 週間以内で構築

37. 37
NVIDIA が SATURNV を拡張
拡張前
1,800 台の DGX システム
1.8 ExaFLOPS
4 セットの DGX SuperPOD を追加
560 台の DGX A100 = 2.8 ExaFLOPS
4.6 ExaFLOPS 総演算性能

38. 38
「NVIDIA DGX A100 & SUPERPOD 詳細」
Enterprise Webinar Vol.3
6 月 5 日 (金) 午後 5 時から

39. 39
NVIDIA AI

40. 40
機械学習パイプラインは HPC の課題
O(Peta) O(Tera)
ETL
データ レイク
数百 PB
ユーザー クエリ
O(10)
レコメンデーション
候補生成 ランキング
ユーザーの埋め込み
O(Billions)
O(1000)
アイテムの埋め込み
TensorRT
Triton 推論サーバー
学習 推論
cuDNN
Magnum IO
TensorFlow
PyTorch
16,000 以上の
企業

41. 41
SPARK 3.0 が NVIDIA GPU で高速化
O(Peta) O(Tera)
ETL
RAPIDS
Magnum IO
データ レイク
数百 PB
ユーザー クエリ
O(10)
レコメンデーション
候補生成 ランキング
ユーザーの埋め込み
O(Billions)
O(1000)
アイテムの埋め込み
TensorRT
Triton 推論サーバー
学習 推論
cuDNN
Magnum IO
TensorFlow
PyTorch

42. 42
SPARK 3.0 が NVIDIA GPU で高速化
「これらの貢献は、 と
を使うことでデータ パイプライン、
モデルの学習とスコアリングを高速化し、より多くの
ブレイクスルーと洞察の獲得につながります。」

43. 43
レコメンダー システム - パーソナライズされたインターネットのエンジン
アイテム
候補生成
O(102)
順位付け
ユーザーの
埋め込み
ユーザー
アイテム群 推薦アイテム
アイテムの
埋め込み
O(10)O(109)
数十億人のユーザーと数兆個のアイテム
億単位の Etail の商品
数千本の映画
数千万の楽曲
数千万冊の本
数十億の TikTok や YouTube 動画
数十億のウェブサイト
非常にたくさんのニュース

44. 44
NVIDIA MERLIN
ディープ レコメンダー アプリケーションフレームワーク
HugeCTR
NVIDIA Merlin
NVTabular
データ レイク
数百 PB
Tensor RT
Tr iton推論サーバー
cuDNN
Magnum IO
RAPIDS
Magnum IO
ユーザー クエリ
O(10)
レコメンデーション候補生成 順位付け
ユーザーの埋め込み
O(Billions)
O(1000)
アイテムの埋め込み
ETL 2 時間 学習 1.5 日
ETL 3 分 学習 16 分
CPUs
GPUs
イテレーションの間隔が数日から数分に
簡単な 30 行のコード
データセットとクラスターに合わせて自動スケール
…
…
1TB 広告 データセット

45. 45
対話型 AI が産業を変革中
Alex: Find us a Mexican restaurant
Jarvis: The nearest Mexican Restaurant is Luna Kitchen
+
コール センター
1 日あたり 5 億コール
車内アシスタント
年間 750 万台の新車
ビデオ会議
字幕、翻訳、文字起こし
1 日あたり 2 億回の会議
スマート スピーカー
年間 1 億 5000 台販売
小売りの支援
1200 万の小売店

46. 46
JARVIS
マルチモーダル 対話型 AI サービス フレームワーク
事前学習モデル
NVIDIA JARVIS
エンドツーエンドのマルチモーダル対話型 AI サービス
10 万時間 DGX で学習した最先端モデル
NeMo で再学習
インタラクティブなレスポンス - A100 で 150ms、CPU で25秒
1 行のコードでサービスを展開
再学習
ビデオ
音声
マルチスピーカー
文字起こし
NVIDIA GPU CLOUD NVIDIA AI ツールキット
転移学習
NeMo
サービス メーカー
TRITON 推論サーバー
ダイアログ マネージャ
チャットボット
マルチスピーカー
文字起こし
Look to Talkジェスチャー
認識
音声
視覚
自然言語理解
早期アクセス プログラムに参加:
developer.nvidia.com/nvidia-jarvis

47. 47
MISTY

48. 48
NVIDIA AI
TensorRT
Triton 推論サーバー
NVIDIA Merlin NVIDIA Jarvis
cuDNN
Magnum IO
RAPIDS
Magnum IO

49. 49
EGX と ISAAC

50. 50
SMART EVERYTHING 革命
常時オン | 即座に感知-推論-行動 | 遠隔 | 数兆個

51. 51
NVIDIA EGX A100
NVIDIA Ampere GPU
第 3 世代 Tensor コア
対話型 AI 向けの新しいセキュリティエンジン
セキュアで認証済みのブートNVIDIA Mellanox ConnectX-6 DX
Dual 100 Gb/s Ethernet またはInfiniBand
ラインスピード TLS/IPSec 暗号化エンジン
通信事業者向けタイムトリガ方式転送技術
(Time-Triggered Transmission Technology for Telco:
5T for 5G)
ASAP2 SR-IOV と VirtIO オフロード

52. 52
ツールキット
転移学習
フェデレーテッド ラーニング
コンテナーの署名
セキュリティ スキャン
モデルのバージョン管理 デコード
ビデオの
事前処理
推論
トラッキング
分析
可視化
NVIDIA EGX エッジ AI プラットフォーム

53. 53
デコード
ビデオの
事前処理
推論
トラッキング
分析
可視化
NVIDIA EGX エッジ AI プラットフォーム

54. 54
デコード
ビデオの
事前処理
推論 &
トラッキング
分析 &
可視化
NVIDIA EGX エッジ AI プラットフォーム
実際の工場 バーチャル工場
デジタル ツイン

55. 55
SortBot
PlaceBot
PickBot
Smart
Transport
Robot (STR)
SplitBot
BMW が NVIDIA ISAAC プラットフォームを
採用し工場のロジスティクスを再定義
“The Power of Choice”
40 以上の BMW 車種、車あたり 100 オプション
99% の注文がカスタマイズ/ユニーク
2100 種類の可能な構成
“Raw Parts In, Parts Trays Out”
3,000 万のパーツが毎日到着
1.800 社のサプライヤーから、31の工場
23 万のパーツナンバー
“Just in Time, Just in Sequence”
ラインあたり最大 10 台
56 秒ごとに新しい車を生産

56. 56
NVIDIA ISAAC
ソフトウェアデファインド ロボティクス プラットフォーム
ISAAC SIM
マニピュレーションナビゲーション
リファレンス アプリ
ISAAC SDK
Isaac SDK v2020.1 が 5 月 26 日に公開
https://developer.nvidia.com/isaac-sdk
Isaac Sim v2020.1が 5 月 26 日に公開
https://developer.nvidia.com/isaac-sim
Jetson Xavier 開発者キット発売開始
https://developer.nvidia.com/buy-jetson

57. 57
JETSON XAVIER NX 開発者キット
Jetson Xavier NX モジュール :
最大 21 TOPS
10–15W
クレジットカードよりも小さい (45mm x 70mm)
Jetson パートナーから発売中

58. 58
NVIDIA DRIVE — ソフトウェアデファインド自動運転プラットフォーム
データ収集 モデルの学習 シミュレーション DRIVE AV DRIVE IX DRIVE RC
業界唯一の完全なエンドツーエンド プラットフォーム | クラウドから車両へ、そしてクラウドに戻る

59. 59
ORIN と AMPERE 搭載の NVIDIA DRIVE
5W から 2,000 TOPS まで — ひとつのプログラマブル アーキテクチャ
L2+
Autopilot
200 TOPS、45W
ADAS
Windshield NCAP
10 TOPS、5W
L5
Robotaxi
2,000 TOPS、800W
単一のスケーラブル アーキテクチャ — ソフトウェア互換

60. 60
新しい Orin ADASSoC
NVIDIA Ampere アーキテクチャ GPU を統合
フロントガラスの後ろに合うように設計
5W で 10 TOPS
単一のスケーラブル アーキテクチャ — ソフトウェア互換
NVIDIA DRIVE — ADAS に拡大

61. 61
NVIDIA DRIVE ロボットタクシー ソリューションがパワーアップ
Orin SoC x2
Ampere GPU x2
2000 TOPS
6 倍のパフォーマンス
4 倍の電力効率
単一のスケーラブル アーキテクチャ — ソフトウェア互換

62. 62
NVIDIA DRIVE グローバル エコシステム
乗用車 トラック サプライヤー 移動サービス スタートアップ ソフトウェア マッピング シミュレーション
何百社もの企業が NVIDIA ドライブで自動運転車や自律走行車を構築、テスト、展開

63. 63
EGX と ISAACA100 と DGX A100Omniverse RTX サーバー NVIDIA AIデータセンタースケール
コンピューティング
GTC 2020 発表

64. 64
今後の NVIDIA ENTERPRISE WEBINAR
Vol.2
5 月 29 日 (金) 午後 5 時から
「NVIDIA Ampere アーキテクチャ 詳細」
Vol.3
6 月 5 日 (金) 午後 5 時から
「NVIDIA DGX A100 & SuperPod 詳細」