vForum 2010 BJ Share

1. 1 Confidential
下一代虚拟机存储解决方案
公司研发工程师 温平进

2. 2 Confidential
议程
 vStorage APIs基本概念介绍
 VAAI介绍
 全复制(Full Copy)
 块清零(Block Zeroing)
 硬件辅助锁定(Hardware Assisted Locking)
 开发中的vStorage API新特性
 Q&A

3. 3 Confidential
议程
 vStorage APIs基本概念介绍
 VAAI介绍
 全复制(Full Copy)
 块清零(Block Zeroing)
 硬件辅助锁定(Hardware Assisted Locking)
 开发中的vStorage API新特性
 Q&A

4. 4 Confidential
支持硬件辅助虚拟
化的CPU技术，如：
Intel VT, AMD-V,
EPT, NPT, etc
Hardware assisted virtual
machine monitor
CPU虚拟化：从软件虚拟化到硬件辅助虚拟化
Software virtual machine monitor
(Binary translation, direct execution)
物理CPU

5. 5 Confidential
vStorage兼容的
SAN/NAS存储
VMware 存储虚拟化 (VMFS, snapshots,
linked clones, provisioning, Storage
vMotion)
基于vStorage API的VMware存储虚拟化
vStorage APIs : 虚拟机存储的硬件加速
SAN/NAS存储
虚拟磁盘
通过vStorage APIs, VMware及其存储合作伙伴进行紧密合作，
可以共同进行虚拟机存储解决方案的创新

6. 6 Confidential
实现方法
1. VMware 在vStorage API规范中
发布新的数据和管理框架
2. 在vSphere增加对vStorage API
的支持
3. 存储系统更新其firmware，以支
持vStorage API
4. 虚拟机管理和存储管理通过in-
band和out-of-band的 vStorage
API紧密的结合
ESX vCenter
Storage
system
Storage
system
manager
2 2
3 3
4 4
下一代虚拟机存储解决方案
一个无缝结合的系统!

7. 7 Confidential
vStorage API 可以实现:
vStorage API scope:Performance, Scalability, Space efficiency, Management, Data
protection, Data services, etc.
性能提升和扩展性保证
vStorage API for Array Integration
(VAAI)
高可用性
vStorage API for Pluggable Storage
Architecture
空间优化
vStorage API for Thin Provisioning
可管理性
vStorage API for Storage Awareness
容灾
vStorage API for Site Recovery Manager
数据保护
vStorage API for Data Protection

8. 8 Confidential
议程
 vStorage APIs基本概念介绍
 VAAI介绍
 全复制(Full Copy)
 块清零(Block Zeroing)
 硬件辅助锁定(Hardware Assisted Locking)
 开发中的vStorage API新特性
 Q&A

9. 9 Confidential
什么是VAAI
VAAI --- vStorage API for Array Integration
 由一组 VMkernel API和SCSI命令组成，用来在ESX和存储阵列之间
建立一个高效的协议
 定义了一组基本存储操作(primitives)，用于在存储阵列中高效执
行，从而加速ESX的I/O操作
 提高ESX的存储性能，对最终用户透明

10. 10 Confidential
VAAI的基本操作(Primitives)
全复制(Full Copy)
• 在存储阵列上进行数据的拷贝，避免了ESX Server将数据从存储上读出，然后
又写回到存储中去。
• 发送特殊的SCSI命令，利用存储阵列来进行大量数据的复制，快照以及迁移
块清零(Block Zeroing)
• 在存储阵列上进行大量的数据块写零操作，以加速虚拟机的部署
• 发送特殊的SCSI接口命令，通知存储阵列进行批量写零
硬件辅助锁定(Hardware Assisted Locking, Atomic Test & Set/ATS)
• 提供一种全新的VMFS集群文件系统的元数据保护机制，从而大大提高了可扩展
性 -- 更多的ESX可以同时共享同一个数据存储(Datastore)
• 锁定机制不在是在LUN级别，而是在数据块级别

11. 11 Confidential
ESX Cluster
I/O I/O
NetApp FAS Array
ImagebyVaughnStewart
Flexible Volume
Datastore
全复制(Full Copy) – Without VAAI
SCSI CMDs over
FC, FCoE, iSCSI
VM VM
VMVM
 虚拟机的克隆和迁移
，需要在ESX/ESXi内进
行数据拷贝
 数据的拷贝会消耗主
机的CPU，内存以及存
储带宽
VM VM
VMVM
VM
VM

12. 12 Confidential
NetApp FAS Array
ESX Cluster
ImagebyVaughnStewart
Flexible Volume
Datastore
全复制(Full Copy) – With VAAI
VM VM
VMVM
VM
VM VM
 虚拟机的克隆和
迁移被解释成一组
特殊的SCSI命令
实际的数据复制
在存储阵列上完成
 复制过程不再占
用主机的CPU，内
存，存储带宽资源
CopyInstructions

13. 13 Confidential
VAAI – Full Copy
存储硬件加速效果： Storage vMotion
with
VAAI
without
VAAI
VAAI 全复制(Full Copy)的性能

14. 14 Confidential
NetApp FAS Array
ESX Cluster
ImagebyVaughnStewart
Flexible Volume
Datastore
VM VM
VM
VM
VM VM
块清零(Block Zeroing) – Without VAAI
 对各种格式的虚拟磁盘
(VMDK)进行初始写操作时
，都需要先对虚拟磁盘进
行写零操作
 写零操作占用主机的
CPU，内存，存储带宽资
源
000

15. 15 Confidential
NetApp FAS Array
ESX Cluster
ImagebyVaughnStewart
Flexible Volume
Datastore
VM VM
VM
VM
VM VM
块清零(Block Zeroing) – With VAAI
 通过VAAI，具体的写零
操作由存储整列来完成
 虚拟磁盘的初始化写零
操作更快，并且几乎不占
用任何的主机资源(CPU，
内存，存储带宽)
000

16. 16 Confidential
Server 1 释放了LUN.
其他主机可以继续进行 I/O操作.
普通I/OServer 1 启动一个虚拟机，这需要
锁定整个LUNServer 1 锁定VMDK.
VMFS Locking – Without VAAI
VMware ESXVMware ESX VMware ESXVMware ESX VMware ESXVMware ESX0011
1001
0100
1100
0110
1101
1011
0010
1100
Server 1 Server 2 Server 3
VM VM VM VM VM VM VM VM VM
 当某个主机需要获取一个文件
锁的时候， 它需要发送SCSI
Reserve命令来锁定整个LUN
 当该LUN被锁定的时候，所有
其他的主机对本LUN的操作都
被禁止，直到该LUN被释放
 这种机制影响的VMFS的性能
，限制了VMFS的扩展性

17. 17 Confidential
Server 1 启动一个虚拟机,先检查
相应虚拟磁盘(VMDK)的锁状态
普通I/O
读取锁状态
检查锁是否空闲，
如果是则锁定
Server 1 告诉存储“如果锁仍空
闲, 则锁定它”
VMware ESX
VM VM VM VM VM VM VM VM VM
VMFS Locking – With VAAI
VMware ESX VMware ESX VMware ESX0011
1001
0100
1100
0110
1101
1011
0010
1100
空闲
完成!
Servers 2 & 3 可以继续访问该LUN
Server 1 Server 2 Server 3
VMware ESX VMware ESXVMware ESX
 启动虚拟机时，磁盘上的
文件锁状态自动更新
 在启动整个过程中，整个
LUN都可被所有主机访问
 VMFS性能和扩展性都得到
提高

18. 18 Confidential
HP VAAI 性能对比
测试内容:
40GB 全复制(Full Copy)
• 7倍的拷贝速度，降低了 94%负载
对256GB存储写零 (block zero)
• 21倍的写零速度，降低了92%负载

19. 19 Confidential
VAAI – 存储合作伙伴支持计划
VAAI合作伙伴 Firmware发布时间 Firmware版本
3Par
check with vendor check with vendor
Dell Released V5.0
EMC Unified & EMC CLARiiON
EMC VMAX
Q4 2010
FLARE 30
Enginuity 5875
Fujitsu Q4 2010 check with vendor
HDS
Released AMS microcode 0893/B
HP November 2010 SAN IQ v9.0
IBM Q4-2010 XIV v10.2.4
LSI check with vendor check with vendor
NEC check with vendor check with vendor
NetApp October 2010 ONTAP v8.0.1

20. 20 Confidential
vSphere Client对VAAI的支持 -- Hardware Acceleration
在vSphere4.1中，引入了新的VMFS驱动版本 (3.46) ，支持存储的硬件加速
 在vSphere Client 4.1的界面上，datastore新增了一个属性 “硬件加速
(Hardware Acceleration)”，来反映相应的datastore是否支持VAAI
 在vSphere 4.1中，只支持VMFS的硬件加速，目前NAS还不支持VAAI
“Not Supported” 表示一个或者多个VAAI操作不支持
“Unknown” 表示ESX并没有尝试过在该datastore上使用VAAI
“Supported” 表示该datastore支持VAAI
 vSphere会自动检测相应的datastore是否支持VAAI，如果在运行过程中
VAAI失效了，则自动切换回不支持VAAI的情况, 虚拟机不受影响

21. 21 Confidential
查看VAAI支持情况 -- RCLI
~ # esxcfg-scsidevs -l -d naa.6000eb39329a7acd000000000000000c
naa.6000eb39329a7acd000000000000000c
Device Type: Direct-Access
Size: 10240 MB
Display Name: LEFTHAND iSCSI Disk
(naa.6000eb39329a7acd000000000000000c)
Multipath Plugin: NMP
Console Device:
/vmfs/devices/disks/naa.6000eb39329a7acd000000000000000c
Devfs Path:
/vmfs/devices/disks/naa.6000eb39329a7acd000000000000000c
Vendor: LEFTHAND Model: iSCSIDisk Revis: 8000
SCSI Level: 5 Is Pseudo: false Status: on
Is RDM Capable: true Is Removable: false
Is Local: false
Other Names:
vml.02000000006000eb39329a7acd000000000000000c695343534944
VAAI Status: supported
~ #

22. 22 Confidential
议程
 vStorage APIs基本概念介绍
 VAAI介绍
 全复制(Full Copy)
 块清零(Block Zeroing)
 硬件辅助锁定(Hardware Assisted Locking)
 开发中的vStorage API新特性
 Q&A

23. 23 Confidential
vStorage API for Thin Provisioning
目前很多存储阵列都支持自动精简配置，以实现更高的存储
利用率，但是在VMware虚拟环境下使用自动精简方式存在如
下两个问题：
1. 目前，datastore上文件被删除以后，相应的空间无法被回收，这将弱
化精简配置的功能
2. 当物理存储没有剩余空间的时候，这个对该LUN上的应用(也就是虚拟
机）来说是个灾难
• vStorage API for Thin Provisioning 将解决以上的两个问
题!

24. 24 Confidential
垃圾空间回收
 垃圾空间是虚拟机曾经使用过但不
再需要使用的数据块
 垃圾空间的产生：在VM使用过程中(
快照，关机，Storage vMotion,虚拟
机删除)都会生成。
 解决方法:vSphere通过vStorage
API把数据块的使用状态发送给存储设
备，由存储设备来回收这些磁盘空间
VMware
VMFS volume A VMFS volume B
Storage vMotion
虚拟机的数
据文件块

25. 25 Confidential
避免出现剩余空间不足影响使用的情况
 对于剩余空间不足的高级报警信息
vSphere管理员可以从上面迁移某些VM或者和存储管理员联系
 合作伙伴的存储管理软件上的空间
警告信息
 vSphere Client的警告信息
 将虚拟机迁移到其他datastore
上以释放空间
 在空间不足的时候，主动降低服务级别
• 对于造成空间不足的VM会被暂停使用，同时给管理员相应的信息
• 剩余的VM和VMFS卷可以继续使用。

26. 26 Confidential
总结
当前 未来(vStorage API for TP)
VMware
VMware VMware
无关于空间使用的告警信息
无缓解问题的措施
磁盘空间不足，导致虚拟机
和相应的LUN都不可用
磁盘空间不足，暂停造成问
题的虚拟机，其余的虚拟机
不受影响，整个LUN仍然可
用，等待分配磁盘空间。
空间不足时会有相应的告警信息
通过Storage vMotion释放空间或者给datastore增加空间

27. 27 Confidential
谢谢
Q&A