Symantec 2010 @ BJ

1. Storage Foundation 中的多通道技术
巢珏颖/Coco chao
Sr. System Engineer
1

2. 议程
1 优化的多供应商多路径解决方案
2 高级报告、管理和可见性
3 DMP 5.1 AIX 更新
4 DMP 5.1 的技术概述
5 DMP 5.1 本机堆栈支持简介
SYMANTEC VISION 2010 2

3. 多路径在存储分配过程中的用途
SYMANTEC VISION 2010 3

4. 高级多路径的发展趋势和需求
多供应商存储和服务器环境逐渐成为常态
• 通过一个存储硬件供应商来避免受到限制
• 提供富有竞争力的硬件价格 可以节省高达 30% 的存储投资
• 增强单个异构多路径解决方案的标准化
可用性和性能需求持续高涨
• 最大限度缩短故障转移时间，同时最大限度提高路径利用率
• 需要跨越操作系统、架构和存储提供一致的可用性和性能
配置不断向上和向外扩展
• 每台主机含有更多 LUN 和 HBA，而每个集群包含更多主机
• 路径管理算法独立于配置的规模和扩展情况
架起系统和存储团队沟通的桥梁是一项挑战
• 缺乏明智的决策导致出现错误及操作得不到优化
SYMANTEC VISION 2010

5. DMP 是优化的多供应多路径技术
• 一个界面适用于所有主机、操作系统和存储
– 支持多供应商环境
– 业界最广泛的硬件兼容性列表
• 企业级性能
– 最出色的吞吐量
– 主动路径管理
– 可靠的自动化恢复
• 与 Storage Foundation 相集成
– 认证全面，上至集群，下至阵列存储轴
– 可靠的 SCSI-3 PR 和 I/O Fencing
• 由 Veritas Operations Manager 管理
– 便捷的数据中心宽路径管理
SYMANTEC VISION 2010 5

6. 独特的模块化架构，
可以针对任何存储进行优化
• 优化面临的挑战
– 各种阵列模式/特征
– 阵列供应商不遵循相关的标准
– A/A、A/P、A/P-F 和 A/A-A 模式
• 阵列支持库 (ASL)
– 特定硬件可以插入 DDL
– 自动进行 DMP 驱动程序配置
vxfs
– 明确具体设备类型 ASL1 ASL2
vxio
– 查找阵列特定属性 APM2
DDL vxdmp
• 阵列策略模块 (APM) SCSI 驱动程序
APM1
– 特定硬件可以插入 DMP HBA 驱动程序
– 动态可加载内核模块
– 允许进行阵列特定的集成
磁盘
– 替代 DMP 内置程序
SYMANTEC VISION 2010 6

7. SF 5.1 – ASL & APM
的包装和升级进行了简化
• 所有 ASL 和 APM 都整合到一个包中
– 将所有内部和外部 ASL 都移动到一个包中 (VRTSaslapm)
– 一个 VRTSaslapm 包在全面上市时均附带相应介质
• 从 5.1 之前的版本无缝升级到 5.1
– 在安装/升级之前，CPI 会删除过时的 ASL 和 APM
– 实现零重新启动升级
• 对于过时版本更新进行在线 ASL 和 APM 升级
– 应用程序/文件系统不会中止
• 版本框架适用于单个库和包
– 有助于识别 ASL/APM 的最新包和最新库
– 删除单独的 ASL 技术说明并提供一个自述文件
SYMANTEC VISION 2010 7

8. 高级存储可见性、
报告和管理
SYMANTEC VISION 2010

9. 设备命名功能增强
c0t5d65 c3t5d65 EMC0_19 EMC0_19 EMC0_0AF4 EMC0_0AF4
c1t5d65 c1t5d65 c1t5d65
c3t5d65 c3t5d65 c3t5d65
c0t5d65 c0t5d65 c0t5d65
c4t5d65 c4t5d65 c4t5d65
LUN LUN LUN
没有 DMP LSN：D600172E015B AVID：0AF4
挑战 LSN 分类算法 AVID 命名
• 跨越服务器使用相同的 • 跨越服务器使用统一的 • 跨越服务器使用统一的
LUN 和不同的名称 名称 名称
• 操作系统名称与存储术 • 使用对存储团队而言有
语并不对应 意义的名称
SYMANTEC VISION 2010 9

10. 定制的设备命名
#> vxgetdmpnames > /etc/vx/device.custom
#> vxddladm assign names file=/etc/vx/device.custom
• 能够将设备名称更改为用户指定的名称
• Vxdisk 列表输出
$>cat /etc/vx/device.custom
– 管理员可以决定设备的名称
enclosure vendor=DGC product=DISK serial=CK200070400359 name=CLARiion
设备 类型 磁盘 组 状态
– 包含用户指定名称的文件适用的框架将上传到主机
dmpnode serial=600601606D121B007C778BC48EDBDB11 name=MyApp-lun1
– 能够使用 CLI 清除用户指定的名称
MyApp-lun1 auto:cdsdisk - - online
dmpnode serial=600601606D121B008FB6E0CA8EDBDB11 name=CLARiion-lun2
– 用户指定的名称将持续使用 auto:cdsdisk
dmpnode serial=600601606D121B0091B6E0CA8EDBDB11-name=CLARiion-lun3
CLARiion-lun2 - online
dmpnode serial=600601606D121B0093B6E0CA8EDBDB11 name=CLARiion-oralun1
CLARiion-lun3 auto:cdsdisk - - online
dmpnode serial=600601606D121B00BFAB99C28FDBDB11 name=CLARiion-oralun2
CLARiion-oralun1 auto:cdsdisk - oradg online
CLARiion-oralun2 auto:cdsdisk - oradg online
MyApp-lun1 CLARiion-lun2 CLARiion-oralun1 CLARiion-oralun2
EMC Clariion EMC Clariion EMC Clariion EMC Clariion
LUN LUN LUN LUN
SYMANTEC VISION 2010 10

11. 简化设备管理
• 将设备特定的信息显示给主机
#vxdisk –e ASL
– 利用list 查询设备特定的属性
– 在“vxdisk –eGROUP STATUS OS_NATIVE_NAME
DEVICE TYPE DISK list”中显示设备属性 ATTR
emc0_0ec5 auto EMC0_48 DFDG1 online c0t50060482CAE053ECd23s2 srdf-r2
– 帮助系统管理员制定明智的决策
emc0_0ec6 auto EMC0_74 DFDG1 online c0t50060482CAE053ECd24s2 srdf-r2
emc0_0ed0 auto EMC0_13 DFDG1 online c0t50060482CAE053ECd34s2 srdf-r2
– 通过显示有意义的设备信息减少环境中出现的错误
emc0_0eda auto - - error c0t50060482CAE053ECd44s2 bcv
emc0_0edb auto - - error c0t50060482CAE053ECd45s2 bcv
• 高级扩展属性- error c0t50060482CAE053ECd46s2 bcv
emc0_0edc auto -
emc0_0edd auto - - error c0t50060482CAE053ECd47s2 bcv
– 查询和报告 SSD、SATA 驱动器等分层设备
emc0_0ede auto - - error c0t50060482CAE053ECd48s2 bcv
– 使用 DST - online c0t50060482CAE053ECd82s2 std
emc0_0f00 auto - 自动配置分层信息
– 查询和报告精简设备与精简回收设备 std
emc0_0f0a auto - - online c0t50060482CAE053ECd92s2
USP0_af14 auto USP0_53 DFDG2 online c0t50060482CAE053ECd25s2 PVOL,SSD
– 支持 SmartMove 并允许对可用空间进行精简回收
USP0_af15 auto USP0_54 DFDG2 online c0t50060482CAE053ECd26s2 SATA,RAID_1
– 查询和报告复制属性
USP0_af16 auto USP0_55 DFDG2 online c0t50060482CAE053ECd27s2 FC,RAID_10
– 提供高可用性保障并将副本定向到系统管理员
– RAID 级别的查询和报告
– 在主机级别进行智能设置
– 增强的故障排除能力
SYMANTEC VISION 2010 11

12. 简化设备管理
阵列系列 查询的扩展属性
EMC CLARiion 系列 RAID 级别、SSD、HDD、快照
EMC Symmetrix (DMX & VMAX) BCV、BCV-NR、MIRROR、SRDF-R1、SRDF-R2、TDEV
Hitachi AMS_WMS，DF800 系列 VVOL、TC-PVOL、TC-SVOL、PVOL、SVOL、STD
HDPRCLM、HDP、STD、SSD、FC、SATA、BD、NL_FC、
Hitachi HDS-USPV
RAID_1、RAID_5、RAID_6、TC-PVOL、TC-SVOL、PVOL、SVOL
IBM DS8K 系列 FLASHCOPY、STD
TPRCLM、STD、FULLY_ALLOCATED、SNAPSHOT、
IBM XIV OPTIMIZED_SNAPSHOT、SATA、PVOL、SVOL、RAID_0、
RAID_1、RAID_10、RAID_01、RAID_5、RAID_6
Netapp FAS 系列 TPRCLM、TP
FUJITSU Eternus 系列 TPRCLM、TP、STD
HP XP10K-12K、XP20-24K THP、PVOL、SVOL、STD
3PARDATA TP、TPRCLM、STD
SYMANTEC VISION 2010 12

13. 改进的 I/O 统计信息
• vxdmpadm 中的新选项提供了以下内容：
– 过滤出“0”条目
• vxdmpadm –z iostat show <selection-criteria>
– 显示 queued (-q) 和 errored (-e) I/O
• vxdmpadm –q iostat show <selection-criteria>
– 每秒 IO 统计信息
• vxdmpadm –s iostat show <selection-criteria>
• 汇聚容量管理的统计信息
– HBA 端口级别统计信息
– 从主机到指定阵列端口的统计信息
– 使用 Groupby 选项可以获得附件、控制器和磁盘级别统计信息
• vxdmpadm iostat show groupby=ctlr|dmpnode|enclosure <selection criteria>
• 5.1 CLI 可伸缩性和准确性有所改进
– 过滤和组合内核中的数据
– 降低 CLI 的负担，从而改进报告准确性
SYMANTEC VISION 2010 13

14. 改进的 I/O 统计信息
$>vxdmpadm -u m –s iostat show groupby=ctlr interval=30
cpu usage = 878us per cpu memory = 32768b
OPERATIONS/SEC BLOCKS/SEC
CTLRNAME READS WRITES READS WRITES
c0 33200 11600 207.25m 248.13m
c1 33400 9040 233.24m 229.73m
c2 17600 5040 61.53m 64.62m
c3 18080 5680 98.45m 99.48m
$>vxdmpadm -u m -s iostat show groupby=enclosure ctlr=c1 interval=30
cpu usage = 1396us per cpu memory = 32768b
OPERATIONS/SEC BLOCKS/SEC
ENCLOSURENAME READS WRITES READS WRITES
emc_clariion0 17200 4000 118.97m 73.65m
ams_wms0 12000 4400 82.07m 80.01m
eva4k6k0 4000 4000 30.76m 73.65m
SYMANTEC VISION 2010 14

15. 在 AIX 环境中无缝集成
SYMANTEC VISION 2010

16. 在 AIX 上实现增强的 DMP 启动设备管理
AIX 服务器
VxFS JFS2
VxVM AIX LVM
DMP
“rootvg”
数据磁 启动磁 启动
盘 盘 磁盘
• AIX 上的 提供了 AIX 启动设备的多路径
• DMP 5.1 SF 面临的挑战
• SF 4.x 和 5.0MP3 对根卷提供最低的 DMP 支持
• 支持跨越多个物理卷的“rootvg”（在线增长）
• 对 LVM 卷的增长不提供支持（“rootvg”下只允许有一个设备）
• 支持“rootvg”中根卷的镜像（高可用性）
• 不允许添加根卷的 LVM 镜像
SYMANTEC VISION 2010 16

17. DMP 5.1 根目录可置性支持
• 支持跨越多个物理卷的“rootvg”
– 允许“rootvg”的在线增长
• extendvg [ -f ] VolumeGroup PhysicalVolume ...
– 允许向“rootvg”在线添加多个设备
• 支持“rootvg”中根卷的镜像
– 根卷的高可用性
– 支持本机镜像创建命令
• mirrorios [ -f][-defer] [ PhysicalVolume ...]
• mirrorvg rootvg
• 改进了 vscsi 设备上的 SANBOOT 支持
• 可用性增强
– 对 DMP 启用的启动磁盘不允许禁用最新 ctlr/path
• ‘vxdmpadm [-f] disable ctlr/path’ will report an error
– CLI 选项用于报告启动磁盘/路径信息
• Vxdmpadm native list [vgname=<vgname>]
SYMANTEC VISION 2010 17

18. DMP 5.1 的性能和可伸缩性所有改进
SYMANTEC VISION 2010

19. 优化应用程序 I/O 吞吐量
• MinQ
– 在 HBA 队列深度最小的路径上发送 IO
– 典型工作负载和典型 SAN 配置。5.0MP3 和更高版本中的默认设置
• 自适应
– 具有最短响应时间的路径优先使用
• 自适应-MinQ
– 将 MinQ 和自适应功能的优点相结合
– 当多条路径具有相同的队列深度时，运用“MinQ”I/O 策略，但是路径选择遵循“自适应”
• 平衡
– 在相同大小的分区中对 LUN 进行分段，每个分区均与一条路径关联
• 循环
– 通过所有可用 LUN 路径均匀地相继分发 IO
• 单一/活动
– 基本上会关闭负载均衡。只处理故障转移。
• 优先级
– 手动配置每个 LUN 路径的权重，以影响 I/O 分发
SYMANTEC VISION 2010 19

20. 更智能、更快速地进行 I/O 错误分析
• 设备查询层概述 (DDL)
VxFS
– 通过多线程实现更快速地查询
VxVM
• DMP 设备驱动程序 (VxDMP)
DMP – 多线程核心进程
常规
IO 错误分析 • 正常 I/O 经过 SCSI 层
– SCSI 有机会恢复瞬间错误
OS SCSI 驱动程序
HBA 驱动程序
• DMP 错误分析绕过 SCSI 层
• “SCSI 绕道”的优势：
– 更快速的错误分析
磁盘
– 异步界面
– I/O 出口更详细的信息
SYMANTEC VISION 2010 20

21. 预测路径故障 - 可疑路径
• 基本目标：在向不稳定或可能发生故障的路径发送 I/O 时避免
出现“滚雪球”的情形
– DMP 可以主动停止使用“可疑”路径
• 将路径视为可疑的触发条件：
– 路径在结构事件检测后被标记为可疑
– 如果 I/O 在路径上堆积（调节），则该路径被标记为可疑
– 路径在同一“SFG”内第一次发生 I/O 故障后就被标记为可疑
SYMANTEC VISION 2010 21

22. 外扩配置的挑战
单独故障转移 80,000 个 I/O 需要大量处理
16,000 个操作系统设
每个 LUN 有 8 条路径 2000 个 LUN
备（LUN 路径）
8,000 个发生故障的 OS 设备 <= 一个交换机故障
在发生故障时，每个 LUN 路径采用 10 个 I/O“传输”
⇒总共 80,000 个 I/O 错误
SYMANTEC VISION 2010 22

23. 使用子路径故障转移组 (SFG)
外扩
故障转移 4 个 SFG 既简单又有效
SFG_1
SFG_2
SFG_3
SFG_4
SFG_5
SFG_6
SFG_7
SFG_8
相同的 HBA 支持 2 个 LUN 路径，而阵列端口很有可能共享相同
的状态
=> 将 16,000 个 LUN 路径视为 8 个不同的 SFG
• SFG = 共享相同 HBA 端口和同一阵列端口的 LUN 路径集
• 16,000 个 LUN 路径，但是只有 8 个子路径故障转移组 (SFG)
SYMANTEC VISION 2010 23

24. 使用子路径故障转移组 (SFG)
外扩
故障转移 4 个 SFG 既简单又有效
SFG_1
SFG_2
SFG_3
SFG_4
SFG_5
SFG_6
SFG_7
SFG_8
• 能够调整 SFG，取决于 SAN 连接性的规模和层次
• #vxdmpadm settune dmp_sfg_threshold=[0-100]
• 指出触发 SUSPECT 路径算法的路径故障数量
SYMANTEC VISION 2010 24

25. 子路径故障转移组 (SFG) – 报告
• 显示 SFG 信息
– “vxdmpadm getportids <>” CLI with “–v” option
• vxdmpadm –v getportids enclosure=<enclosure-name>
• vxdmpadm –v getportids ctlr=<ctlr-name>
• vxdmpadm –v getportids dmpnodename=<dmpnode-name>
• vxdmpadm –v getportids path=<path-name>
– 输出示例
# vxdmpadm -v getportids dmpnodename=c2t50001FE1500A8F0Dd3s2
NAME ENCLR-NAME ARRAY-PORT-ID pWWN SFG_ID
========================================================================
c2t50001FE1500A8F0Dd3s2 eva4k6k0 2-4 50:00:1f:e1:50:0a:8f:0d 4
c2t50001FE1500A8F0Cd3s2 eva4k6k0 2-3 50:00:1f:e1:50:0a:8f:0c 3
c2t50001FE1500A8F09d3s2 eva4k6k0 1-2 50:00:1f:e1:50:0a:8f:09 5
SYMANTEC VISION 2010

26. 最大限度延长外扩配置的正常使用时间
Total Throughput Impact of a Fabric Failure
4096 LUN Paths Fail at Once, 2048 of them are Primary Paths with Live I/O
DMP Minimum Queue
6000.00
A B 5000.00
4000.00
KB/sec
3000.00
2000.00
HDS9500 – A/A-A 1000.00
1024 个 LUN，每个 LUN 8 条路径
0.00
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
:0
:2
:4
:0
:2
:4
:0
:2
:4
:0
:2
:4
:0
:2
:4
:0
:2
:4
:0
:2
:4
:0
:2
:4
:0
:2
:4
:0
:2
:4
:0
架构 A 发生故障
00
00
00
01
01
01
02
02
02
00
03
03
04
04
04
05
05
05
06
06
06
07
07
07
08
08
08
09
09
09
10
0:
0:
0:
0:
0:
0:
0:
0:
0:
3:
0:
0:
0:
0:
0:
0:
0:
0:
0:
0:
0:
0:
0:
0:
0:
0:
0:
0:
0:
0:
0:
DMP 在 40 秒内故障转移 Run tim e (hh:m m :ss)
4096 条 LUN 路径
• 跨越阵列控制器分发 LUN。每个控制器 4 个端口，每个端口都作为 128 个 LUN 的主端口。总共
1024 个 LUN (128 * 8)。
• 工作负载：对一个条带卷使用多次 vxbench，从而确保所有 4096 主路径都能够承载通信。
• 每个架构都包含 2 个交换机。通过禁用所有交换机间链路造成结构 A 发生故障
SYMANTEC VISION 2010 26

27. 实时路径恢复
• DMP 路径恢复在内核中进行，从而确保可靠性
• DMP 定期检查故障路径和闲置路径的状态
– 成功进行 SCSI 查询会促使 DMP 帮助路径恢复在线状态
– SCSI 查询故障会造成 DMP 禁用路径
• 路径检查的触发条件：
– 架构事件：端口登录事件触发路径恢复
– 利用路径探测机制：每隔 5 分钟（可调整）
• 低影响路径探测机制的推动力量
– 在主机端，大量的探针会导致 CPU 管理开销
– SAN 被大量探针淹没
SYMANTEC VISION 2010 27

28. LIPP - 低影响路径探测
• 利用子路径故障转移组 (SFG) 的概念
• LIPP 将路径组合为逻辑实体
• 少数路径的健康状态决定了组中其余路径的健康状况
• 降低 CPU 管理开销并避免探针淹没 SAN
• 调整 LIPP
• 可调整（dmp_low_impact_path_probe）为“开/关”LIPP
• 能够更改发送到“闲置”或“禁用”路径的探针数量
#:/>vxdmpadm gettune dmp_probe_threshold
Tunable Current Value Default Value
---------------------- ------------- --------------
dmp_probe_threshold 5 5
SYMANTEC VISION 2010 28

29. 处理 A/P-F 端影响
p1 p2 p4 p1 p2 p3 p4
p3
存储 存储
控制器 A 控制器 B 存储 存储
控制器 A 控制器 B
LUN LUN
A/P-F A/P-F
Failovermode=1 Failovermode=1
• SF 只使用在 A/P-F 中用于 I/O 负载的活动路径
• Solaris 上的 DMP 5.1 接受被动路径上的 I/O
• 定制代理、操作系统命令应用于被动路径会导致错误
– 截取 I/O，通过主动路径对它们进行路由
– 例如：操作系统格式命令
– 通过 dmp_native_multipathing 打开 5.1 中的可调功能
– 导致出现 SCSI 错误消息，“污染”系统日志
SYMANTEC VISION 2010 29

30. DMP 本地堆栈支持
SYMANTEC VISION 2010 30

31. DMP 本地支持概述
5.1SP1 之前版本的堆栈概述 5.1SP1 DMP 本地支持
VCS VCS VCS
VxFS 本地 FS 本地 FS
VxVM 本地 LVM 本地 LVM
DMP DMP DMP
SFHA 集成的 DMP DMP 本地堆栈 DMP 本地堆栈
• DMP 用于本地堆栈
• DMP 与 SF 堆栈捆绑在一起
• 使用 DMP 简化了多路径的标准化
并不使用本地 LVM 堆栈
– 不需要转换为 VxFS/VxVM 即可利用
• 并非所有服务器都包含 SF DMP
转换的成本可能比较高 – 在所有服务器上对 DMP 进行标准化
31
SYMANTEC VISION 2010

32. DMP 本地支持概述
本地 FS 本地 FS VCS VCS
本地 FS 本地 FS
本地 LVM 本地 LVM
本地 LVM 本地 LVM
PowerPath PowerPath
MPIO/SDD
DMP DMP
MPIO/SDD
DMP 单个节点本地堆栈 带有集群的 DMP 本地堆栈
操作系统版本 架构 集群 存储管理堆栈
AIX 5.3 和 6.1 PowerPC VCS AIX LVM
RHEL5、SLES10、SLES11、 Intel/AMD X64（无 32 位） VCS Linux LVM
LoP
Solaris 9、10 SUN Sparc & X86_64 VCS SUN ZFS
HPUX11.31 IA & PA VCS HPUX LVM
Windows 2003、2008 X86、X64、IA64 VCS、MSCS Windows LDM
• DMP 中支持的单实例 Oracle ASM
对于 A/A 集群 (RAC)，ASM 将使用 CVM 卷 (SFCFS/SFRAC)
• 从本地多路径无缝迁移到 DMP
• 对 DMP 提供完全处理的安装程序支持
SYMANTEC VISION 2010 32

33. Presentation Identifier Goes Here ‹#›

34. Thank you!
巢珏颖/Coco Chao
coco_chao@symantec.com
Copyright © 2010 Symantec Corporation. All rights reserved. Symantec and the Symantec Logo are trademarks or registered trademarks of Symantec Corporation or its affiliates in
the U.S. and other countries. Other names may be trademarks of their respective owners.
This document is provided for informational purposes only and is not intended as advertising. All warranties relating to the information in this document, either express or implied,
are disclaimed to the maximum extent allowed by law. The information in this document is subject to change without notice.
34