フラッシュストレージを使ったデータベースの高速化が広く行われるようになっていますが、データベース高速化の要求には際限がありません。さらなる要求に応えるべく、不揮発性メモリNVDIMMが登場しました。NVDIMMを使ったデータベース高速化の可能性についてご紹介します。

1. フラッシュストレージのその先へ
～不揮発性メモリNVDIMMが拓くデータベースの世界～
2016年7月13日
日本ヒューレット・パッカード株式会社
小森 博之

2. はじめに
– 本資料で示す測定データは、特定の条件・環境下で計測したものです。
– 各製品の性能の一面しか表していない可能性がありますし、製品の性能を保証するものでもありません。
– 計測に使用したツールや測定条件が一定していません。各計測間の比較はお控えください。

3. データ指向
経営の
推進
関連データを100%活用し、
卓越したビジネス成果をもた
らす実用的な情報を提供。
ハイブリッド・
インフラへの
変革
ワークプレイスの
生産性
向上
デジタル・
エンタープライズの
保護
“アイデアエコノミー”の到来

4. コンピュータの処理性能向上
ストレージ処理性能が大幅に向上
メモリコントローラ
PCIe 3.0
• クロックの向上は停滞
• 多コア化は継続
• E5 v4 : 22コア
• E7 v4 : 24コア
• 専用プロセッサ
• GPU
• FPGA
• Xeon Phi
• 容量の向上は鈍化
• 128GBの登場
• 半導体プロセスの限界
• 3D DRAM ?
• DDR5 ?
• フラッシュにより大幅に性能向上
• NVMe (PCIe接続)
• 大容量化の継続
• 3D NAND
• 7.68TB SSD (2.5インチ)
CPU メモリ
ストレージ

5. Special purpose cores
専用コア
Photonics
フォトニクス
Massive memory pool
巨大なメモリー群
The Machine
HPEが目指すコンピュータの将来像

6. サーバー内蔵フラッシュストレージの変遷
SATA接続SSD
PCIe接続フラッシュ NVMe接続フラッシュ
NVMe接続フラッシュ
(ドライブタイプ)
1991年 2008年 2013年 2014年
高速化
標準化
NVM Express
着脱可能
SFF-8639

7. 4KB ランダムリード性能
HDD x 8 (RAID 10)とPCIeフラッシュの性能比較
0
2
4
6
8
10
12
1 2 4 8 16 32 64
(ms)
qdepth
4KB Random Read(Latency)
HDD x 8 (RAID 01) PCIe接続フラッシュ
0
100
200
300
400
500
1 2 4 8 16 32 64
(MB/sec)
qdepth
4KB Random Read(MB/sec)
HDD x 8 (RAID 01) PCIe接続フラッシュ
• HDD x 8をRAIDコントローラでRAID 10にしたボリュームとPCIeフラッシュ x 1枚の比較
• Windows Server 2012 R2, Iometerで測定

8. 64KB シーケンシャルリード性能
HDD x 8 (RAID 10)とPCIeフラッシュの性能比較
• HDD x 8をRAIDコントローラでRAID 10にしたボリュームとPCIeフラッシュ x 1枚の比較
• Windows Server 2012 R2, Iometerで測定
0
200
400
600
800
1000
1200
1400
1600
1 2 4 8 16 32 64
(MB/sec)
qdepth
64KB Sequential Read(MB/sec)
HDD x 8 (RAID 01) PCIe接続フラッシュ
0
0.5
1
1.5
2
2.5
3
3.5
4
1 2 4 8 16 32 64
(ms)
qdepth
64KB Sequential Read(Latency)
HDD x 8 (RAID 01) PCIe接続フラッシュ

9. メモリとストレージ技術の融合
CPU
キャッシュ
DRAM
フラッシュ SDD
HDD
バイトアクセス
低レイテンシー
ブロックアクセス
高レイテンシー
メモリ
ストレージ
スピード
永続性
NVDIMM
NVDIMM = メモリのスピードを持った永続化ストレージ

10. NVDIMMとは？
Non-volatile memory (不揮発性メモリ)
電源を供給しなくても記憶を保持するメモリの総称
以下のようなものがある
• フラッシュメモリ
• 磁気抵抗RAM (MRAM)
• 抵抗変化型メモリ (ReRAM)
• 強誘電体メモリ (FeRAM)
NVDIMM
Non-volatile memory (不揮発性メモリ) をDIMMスロットに装着する標準規格
JEDEC DDR4 で規格化されている
3種類の形態があり、現在 NVDIMM-Nが実用化されている

11. NVDIMM規格
JEDECがDDR4 DRAM DIMMの追加仕様として策定した、メモリスロットに不揮発性メモリを搭載するための標準
規格。3種類の規格が存在。
NVDIMM-N NVDIMM-F NVDIMM-P
特長 ： 高性能(小容量) 特長 ： 大容量 特長 ： NとFを兼用
• DRAMと不揮発性メモリを搭載
• システムからアクセスするのはDRAM
• DRAMと不揮発性メモリは同じ容量
• 不揮発性メモリはDRAMのバックアップ
• 容量：DRAM
• 性能：DRAM
• 不揮発性メモリのみを搭載
• システムからアクセスするのは不揮発
性メモリ
• アクセス方法はblockアクセス
• 容量：不揮発性メモリ
• 性能：不揮発性メモリ
• DRAMと不揮発性メモリを搭載
• NVDIMM-NとNVDIMM-Fの両方の
モードを備える
• DRAMより不揮発性メモリの容量が大
きい
• 容量：不揮発性メモリ
• 性能：DRAM or 不揮発性メモリ
不揮発性
メモリDRAM
不揮発性
メモリDRAM不揮発性
メモリ

12. 不揮発性
メモリDRAM
NVDIMM-Nの動作
E：
稼動状態 OSからストレージとして見えて
おり、Read/Writeが高速に可能
データ
不揮発性
メモリDRAM
電源オフ Smartストレージバッテリーを使
用して、DRAM上のデータを不
揮発性メモリにバックアップ
データ
不揮発性
メモリDRAM
電源オン
不揮発性メモリ上のデータを
DRAMに復元
データ
不揮発性
メモリDRAME：
稼動状態 OSから電源オフ前のデータを
持ったストレージとして見えてお
り、Read/Writeが高速に可能データ

13. NVDIMMを使用するための条件
どんなサーバーでも使えるわけではありません
サーバーでのサポート
OSでのサポート
アプリケーションでのサポート
• データをフラッシュに退避する時に使用するバッテリを搭載している
• バイオスが、電源入/切の割り込みをNVDIMMに通知できる
• バイオスが、DIMMとNVDIMMを識別できる
• OSがDIMMとNVDIMMを識別できる
• NVDIMMに対する、ブロック・アクセスもしくはバイトアクセスの方法を提
供している
• ブロック・アクセスの場合、ストレージデバイスとして提供できる
• ブロック・アクセスの場合には、通常のファイルシステム経由で使用できる
• バイト・アクセスの場合には、Memory Mapped Fileなどのアクセス方法
を提供している

14. HPEから 8GB NVDIMM-Nの登場
7月13日現在、発表はしていますが、販売は開始していません
NAND Flash
33
Smartストレージバッテリー
–主な仕様
–メモリモジュールにDRAM(RDIMM)とNAND Flashを搭載(メモリスロットに装着)
–NVDIMMコントローラーを持ち、HPE Smartストレージバッテリーをバックアップ電源として使用
–突然の電源断時にはバッテリーを利用してデータを保護(FBWCと同様の仕組み)
–OSからはローカルドライブとして参照可能
–E5-2600 v4を搭載したDL360 Gen9, DL380 Gen9でサポート
–最大16枚搭載可能
–メリット
–メモリと同等速度のアクセスが可能
–利用用途
–データキャッシュ
–データベースのトランザクションログ領域 etc.

15. OSサポート
Windowsでのサポート
Linuxでのサポート
Windows Server 2012 R2
• HPEがNVDIMM用ドライバを提供 (予定)
• ブロックアクセスをサポート
Windows Server 2016 Technical Preview 5以降
• OSとしてNVDIMMをサポート
• ブロックアクセスとバイトアクセスをサポート
RHEL 7.2, CentOS 7.2用に NVDIMM SDKを提供
http://linux.hpe.com/nvdimm/
(正式サポートではありません)
“This SDK is not for production use. Its support model is very limited
and the software being provided is as-is and considered experimental.

16. ブロックアクセスとバイトアクセス
Windows Server 2016の場合
ファイルシステム
SCM Disk Driver
Load/Store命令
SCM Bus Driver
ユーザーモード
カーネルモード
アプリケーション
標準ファイルAPI
アプリケーション
ローデバイスアクセス
SCM(Storage Class Memory)
ブロックアクセス
Microsoft社 Build:2016より
DirectAccess
アプリケーション
SCM対応ファイルシステム(NTFS/DAX)
アプリケーションが
メモリマップファイルを要求
メモリ
マップ
領域
DirectAccess
データパス
DirectAccess設定パス
SCM Disk Driver
Load/Store命令
SCM Bus Driver
SCM(Storage Class Memory)
メモリ
マップ
領域
ユーザーモード
カーネルモード
Load/Store命令
バイトアクセス

17. 起動時の認識

18. BIOS(RBSU)での設定
• NVDIMM-N Memory Functionality
• NVDIMM-Nを有効にするかどうか
• NVDIMM-N Memory Interleaving
• Interleavingをするかどうか
• NVDIMM-N Backup Power Policy
• バッテリの容量が不十分な場合に
ブートを続けるかどうか
• NVDIMM-N Sanitize/Erase on Next
Reboot Policy
• 次回ブート時にNVDIMM-N上の
データを消去するかどうか
• NVDIMM-N Data Integrity Checking
• データが読めるかどうかのチェックを
するかどうか

19. Windows Serverでの認識
Windows Server 2016 Technical Preview 5を使用

20. 検証環境
検証を実施しました
HPE ProLiant DL360 Gen9サーバ
Xeon E5-2630 v4(2.2GHz, 10コア) x 2, 128GBメモリ
HPE NVDIMM 8GB
PCIeフラッシュ 1.3TB x 1
Windows Server 2016 Technical Preview 5

21. 0
100
200
300
400
500
600
700
PCIeフラッシュ NVDIMM
(MB/sec)
4KB Read, threads=1
4KB シーケンシャルリード性能
PCIeフラッシュとNVDIMMの性能比較
• PCIeフラッシュ x 1枚とNVDIMM-N x 1枚の比較
• Windows Server 2016 TP5, Flexible I/O Tester(fio)で測定
16倍
PCIeフラッシュ レイテンシー NVDIMM
104マイクロ秒 99%タイル 5マイクロ秒

22. 0
100
200
300
400
500
600
700
PCIeフラッシュ NVDIMM
(MB/sec)
4KB Write, threads=1
4KB シーケンシャルライト性能
PCIeフラッシュとNVDIMMの性能比較
• PCIeフラッシュ x 1枚とNVDIMM-N x 1枚の比較
• Windows Server 2016 TP5, Flexible I/O Tester(fio)で測定
4倍
PCIeフラッシュ レイテンシー NVDIMM
22マイクロ秒 99%タイル 4マイクロ秒

23. NVDIMMをどのように使うか？
NVDIMMは速い
PCIeフラッシュよりもさらに速い
容量が少ないことが課題
容量が少ない部分
だけに使う
ライトバックキャッ
シュとして使う

24. SQLIOSimによる測定結果
ログ領域にNVDIMMを活用
以下の2パターンを比較しています。
測定にはSQL ServerのIOをシミュレーションできるSQLIOSimを使用しています。
• データとログの両方を PCIeフラッシュに配置
• データをPCIeフラッシュに、ログをNVDIMMに配置
0 1000000 2000000 3000000 4000000 5000000 6000000
PCIe フラッシュ + NVDIMM-N
PCIe フラッシュ
SQLIOSimを使用した比較
Data
Log
ログの書き込み時間が
1/8に減少

25. Windows Server 記憶域スペース
ライトバックキャッシュとしての利用
記憶域プール
HDD
Media Type=SSD
Usage=Journal
記憶域スペース
ライトバック
キャッシュ
ランダム書き込みはまず高速なホットデータの領域に書き込まれ、その後HDDに書き込まれます。

26. Windows Server 記憶域スペースを使用した結果
4KBシーケンシャルライト (1スレッド)
ライトバックキャッシュ
なし
ライトバックキャッシュ
PCIeフラッシュ
ライトバックキャッシュ
NVDIMM
PCIeフラッシュ レイテンシー NVDIMM
38マイクロ秒 95%タイル 20マイクロ秒
119マイクロ秒 99%タイル 21マイクロ秒
354マイクロ秒 99.5%タイル 39マイクロ秒

27. SQL Server 2014 Acceleration
Benchmark Factory TPC-C
Performance
27

28. FlashSoft™ Software
– サーバー内蔵フラッシュの価値を最大化
– プラットフォームに依存しない
– どのベンダのどのPCIe, SAS SSDも使用可能
– 高い拡張性
– 仮想化密度を 3倍に
– アプリケーション性能を3～5倍に
– 高い処理効率
– 最低メモリ使用量: 140MB から 500MB
– 低いCPU使用率: 1%-3%
– 高い互換性
– アプリケーションとOSに対して透過的
– ストレージへの変更が必要なし
– WindowsとLinuxをサポート
– ReadとWrite キャッシュを提供

29. TPC-C (Benchmark Factory) テストシステム構成
• HPE DL380 Gen9 サーバー
• 2基のIntel Xeon プロセッサ
• 4枚の 8GB HPE NVDIMM
• SanDisk製の1.3TB HPE ワークロードアクセ
ラレータ
• 128GB DDR4 メモリ
• HDD(OS): 2つの500GB SATAドライブ
• HDD(DB): 8個の1.2TB 10K SASドライブ
• SanDisk FlashSoft ソフトウェア
• OS: Windows Server 2012 R2
• データベース: SQL Server 2014
©2016 Western Digital Corporation or affiliates. All rights reserved.
HPE DL380 Gen9 Server
SanDisk-based 1.3TB
HPE PCIe Workload
Accelerators
4 x HPE 8GB
NVDIMMs

30. TPC-C (Benchmark Factory) テスト
©2016 Western Digital Corporation or affiliates. All rights reserved.
目的
1. SQL Server 2014を使用して、TPSとレスポンスタイムを測定する
2. HDDだけを使用した場合と、4枚のHPE NVDIMMとPCIeワークロードア
クセラレータをFlashSoftキャッシュソフトウェアを組み合わせた場合の性
能を比較する
結果
HDDだけを使用 (キャッシングなし):
- ユーザ数に伴い、TPSが262 から759に増加
- しかし、レスポンスタイムは0.2から9.99秒に増加
NVDIMMとPCIeフラッシュを使用したFlashSoftのキャッシングを追加:
- ユーザ数に伴い、TPSが211 から846に増加
- しかし、レスポンスタイムは0.001 – 0.003秒に減少！

31. HDDだけを使用したデータベース
Benchmark Factory: TPC-C
Scale: 500
Virtual Users: 5000
TPS: 262
Response Time: 0.2
Seconds

32. HDDだけを使用したデータベース
Benchmark Factory: TPC-C
TPS: 200 - 759
Response Time: 1.0 -2.1
Seconds
Scale: 1600
Virtual Users: 4K-16K

33. HDDだけを使用したデータベース
Benchmark Factory: TPC-C
Scale: 3200
Virtual Users: 16000
TPS: 554
Response Time: 9.99
Seconds

34. NVDIMMをログのキャッシュ、PCIeフラッシュデータのキャッシュとして使用
Benchmark Factory: TPC-C
Scale: 1600
Virtual Users: 4K-16K
TPS: 211 - 846
Response Time: 0.001 – 0.002
Seconds

35. NVDIMMをログのキャッシュ、PCIeフラッシュデータのキャッシュとして使用
Benchmark Factory: TPC-C
Scale: 3200
Virtual Users: 16000
TPS: 847
Response Time: 0.003
Seconds

36. まとめ
–NVDIMMの検証結果はホワイトペーパーとして近日中
に公開する予定です
–今後の検証をご期待ください
–データベースと組み合わせての検証
–FlashSoftを使用しての検証

37. 日本ヒューレット・パッカードのセッション
本日 14:00-14:50 A13
最新版VerticaのAnalytics機能を駆使して実現する簡単ロ
グ分析 by 大薗 純平
明日 14:00-14:50 B24
そのデータベース 5年後大丈夫ですか
～本気で標準化とサービスレベルの確保を手に入れる
NonStop SQL～ by 後藤 宏

38. アンケートにご協力ください

39. Thank you!
小森 博之
プリセールス統括本部
ソリューションセンター
ソリューション技術部
Tel: 090-7906-4517
Mail: hiroyuki.komori@hpe.com日本ヒューレット・パッカード
株式会社
〒136-8711
東京都江東区大島2-2-1