第6世代（Gen 6）も登場し、注目を集めるファイバーチャネル（FC） SAN。 FC スイッチは多くのデータセンターで広く使われていますが、実際に「触ったことがある」というエンジニアの方はそれほど多くないのではないでしょうか？ 「触ってみたいけれど、なかなか機会がなくて・・・」 そんな方にも判りやすく、“見てわかる” ファイバーチャネルSAN基礎講座を開催しています。 本シリーズでは、ブロケードFCスイッチのオペレーションを通して、FC SANの設計・導入・運用を学んでいきます。 検討編、設計編、導入編をお送りし、シリーズも第5回を迎えました。今回はいよいよ運用編です。設計も導入ももちろん重要ですが、長期的に安定的に稼動させるには、知識と経験に基づく、確かな運用スキルが重要です。そのためのヒケツを、今回も講師が実際の作業のデモンストレーションを交えて、懇切丁寧に解説します。打ち込まれるコマンド、流れる画面を、リアルタイムに体験してください。 ---------- 第1回～まず理解しよう！ 基本の “キ”～ https://www.slideshare.net/brocade/san1-62678292 第2回～FC SAN設計における勘所とは?～ https://www.slideshare.net/brocade/san2fc-san 第3回～間違わない！FC SAN導入のヒントとコツ～ https://www.slideshare.net/brocade/san3fc-san 第4回～続・間違わない！FC SAN導入のヒントとコツ～ https://www.slideshare.net/brocade/san4fc-san 第5回～さあ、いよいよ、運用です！～ https://www.slideshare.net/brocade/san5 第6回～困った時もこれで安心(?)、FC SANにおけるトラブルシューティングのコツとは?～ https://www.slideshare.net/brocade/san6-fc-san-71206812

1. ブロケード WEBセミナーシリーズ 第8回
“見てわかる” ファイバーチャネルSAN基礎講座
(第5弾)
～さあ、いよいよ、運用です！～

2. 本日のWEBセミナーの注意点とお願い
• 【質問】タブで随時質問を受け付けます。
‒ 【質問】タブへの記載は、講師のみが閲覧できます
‒ 質問内容は、講師が読み上げさせていただきます
• セミナー終了後、アンケート画面に遷移します。ぜひご協力お願い
します！
※メールアドレス記載の上、ご回答いただいた方の中から抽選でブ
ロケードロゴグッズプレゼント！
2

3. Brocade WEBセミナーシリーズ
• 最近、いろいろ情報発信しています
‒ Twitter: https://twitter.com/brocadejapan
‒ Facebook:
https://www.facebook.com/brocadejapan/
‒ Brocade Japan Blog:
http://community.brocade.com/t5/Brocade-
Japan/bg-p/Brocade-Japan
‒ YouTube:
https://www.youtube.com/user/brocadejapan
‒ SlideShare:
http://www.slideshare.net/brocade/tagged/Ja
panese
• そんななかのWEBセミナーです！
3

4. “見てわかる” ファイバーチャネルSAN基礎講座
シリーズ構成
• 第1弾: 「検討」編
‒ まず理解しよう！ 基本の “キ”
• 第2弾: 「設計」編
‒ FC SAN設計における勘所とは?
• 第3弾: 「導入」編
‒ 間違わない！ FC SAN導入のヒントとコツ
• 第4弾: 「導入」編 (その2)
‒ 続・間違わない！ FC SAN導入のヒントとコツ
• 第5弾: 「運用」編
‒ さあ、いよいよ、運用です！
• 第6弾 (最終回): 「トラブルシューティング」編
4

5. 本日のテーマ
• テーマ
‒ FC SAN導入を決定した”あるIT管理者の物語”
‒ FC SANを実際に導入する手順を、具体的に解説
• セミナーの目的・主旨
‒ 導入後のFC SANインフラを運用・管理する具体的な手順を紹介
‒ 本日はFCスイッチ、およびサーバー/ストレージの運用手順を、実際の機器
を用いて紹介
• “デモンストレーション”がメインになります。
5

6. “登場人物”のご紹介 (おさらい)
• 出得多 千太 (でえた せんた)
‒ とある製造業のIT部門で勤務する、中堅のITインフラ管理者
• 将来のビジネスを支えるIT基盤の選定から構築・運用までを任される見込み
• ストレージ・インフラの更改プロジェクトを担当
• いろいろな技術を検討した上で、FC SANベースのオール・フラッシュストレージを
選択
‒ 新人時代にはデータセンター内のストレージ・インフラの運用を担当
• 「データセンター内でのみ生きることができる」という謎の人物 (?)と出会う
6

7. 千太くんが”最初に”デザインしたFC SAN
構成イメージ (“第2弾: 「設計」編”参照)
7
32Gbps FC (Gen6)に対応した
Brocade G620を選定 (2台)
(32Gbps FCを最大64ポート)
32Gbps FC (Gen6)に対応した
HBAを2枚導入
サーバー群 (18台 ※拡張予定あり)
外部ストレージ
(オール・フラッシュ)
32Gbps FC x18
32Gbps FC x18
16Gbps FC x12
16Gbps FC x12
・・・
Fan out/Over Subscription比を
3:1で設計
マルチパスドライバをインストール
Brocade G620 Brocade G620
ファブリックの冗長性を確保

8. 実際に運用してみると・・・
8
サーバー群 (40台+)
外部ストレージ
(オール・フラッシュ)
32Gbps FC x40 32Gbps FC x40
16Gbps FC x12
16Gbps FC x12
・・・
Brocade G620 Brocade G620
サーバー接続数の増加により、
スイッチのポートが不足
スイッチをカスケード (ISL接続)して、
FCファブリックを拡張

9. デモ構成
9
Windows Server 2012
Fujitsu
ETERNUS DX500
16Gbps FC
16Gbps FC x3
16Gbps FC
Brocade 6510
(B6510-01)
Brocade 6520
(B6520-01)
Qlogic BR-1860 Fabric Adapter
BNAサーバー etc.
(Windows)
ポート#0 ポート#8/9/16
ポート#0
ポート#8/9/16
CM#1/CA#0/Port#0

10. FCスイッチ同士のカスケード
ISL (Inter Switch Link)
• FCスイッチをISL接続する際の注意点
‒ スイッチのドメインID (“第3弾: 「導入」編”を参照)は「重複しない」値に
設定する
‒ それぞれのスイッチで設定されているゾーン情報に、不整合がない状態に
しておく
• 追加するスイッチではゾーン情報は定義しない
• ゾーニングの詳細は“第4弾: 「導入」編 (その2)”を参照
‒ ISL接続を行うためのポート設定等は不要！
10
・ドメインID: 1
・Zone Config: cfg_A
Zone: Zone_A
Zone: Zone_B
・ドメインID: 2
・Zone Config: なし
Zone: なし

11. FCスイッチ同士のカスケード (続き)
ISL接続の確認 (switchshowコマンド)
11
B6510-01:FID128:admin> switchshow
(中略)
Index Port Address Media Speed State Proto
==================================================
0 0 010000 id N16 Online FC F-Port 10:00:8c:7c:ff:07:45:01
1 1 010100 -- N16 No_Module FC
2 2 010200 -- N16 No_Module FC
3 3 010300 -- N16 No_Module FC
4 4 010400 -- N16 No_Module FC
5 5 010500 -- N16 No_Module FC
6 6 010600 id N16 No_Light FC
7 7 010700 id N16 No_Light FC
8 8 010800 id N16 Online FC E-Port 10:00:50:eb:1a:99:02:20 "B6520-01" (Trunk master)
9 9 010900 id N16 Online FC
(以下略)
ISL接続時は”E_Port”として認識
デバイス接続時は”F_Port”として認識

12. FCスイッチ同士のカスケード (続き)
ISL接続の確認 (fabricshowコマンド)
• FCファブリックに存在するスイッチを一覧表示
12
B6510-01:FID128:admin> fabricshow
Switch ID Worldwide Name Enet IP Addr FC IP Addr Name
-------------------------------------------------------------------------
1: fffc01 10:00:00:05:33:7a:0d:38 172.24.197.44 0.0.0.0 "B6510-01"
2: fffc02 10:00:50:eb:1a:99:02:20 172.24.197.45 0.0.0.0 >"B6520-01"
The Fabric has 2 switches

13. FCスイッチ同士のカスケード (続き)
複数ISLでの接続
13
• ISL Trunking
‒ 複数のISLを論理的な1本のISLとして構成
‒ FCフレームベースで帯域を有効活用
‒ Trunkingの構成条件
• スイッチにライセンスがインストールされている
• ISLのリンク速度が等しい
• スイッチ内で同じポートグループに属している
(ポート0-7, 8-15, 16-23 etc.)
• ECMP (Equal Cost Multi Path)
‒ 複数のISL間でトラフィックを負荷分散
• FCフレームの送信元アドレス (SID)/宛先アドレ
ス (DID)/Exchange ID (OXID)ベースで帯域を有効
活用 (=Dynamic Path Selection: DPS)
ISL Trunking
= 物理ISLの統合 (≒LAG)
ECMP
= 複数ISL間での分散

14. 8 8 010800 id N16 Online FC E-Port 10:00:50:eb:1a:99:02:20 "B6520-01" (Trunk master)
9 9 010900 id N16 Online FC E-Port (Trunk port, master is Port 8 )
(中略)
16 16 011000 id N16 Online FC E-Port 10:00:50:eb:1a:99:02:20 "B6520-01" (Trunk master)
FCスイッチ同士のカスケード (続き)
複数ISLでの接続: ISL Trunking/ECMP (switchshowコマンド)
14
ポート8および9でISL Trunkを構成
- ポート8がマスターポート (Trunk Master)
ポート16はポート8/9と「同一Trunk」に含まれず、「異なるISL」として認識
※ポートグループが異なるため
B6510 B6520
8
9
16
8
9
16
16Gbps
16Gbps
16Gbps
ISL Trunk: 16Gbps x2 = 32Gbps
ECMPによる負荷分散

15. FCスイッチ同士のカスケード (続き)
複数ISLでの接続: ISL Trunking/ECMP (islshow/trunkshowコマンド)
• islshowコマンド
‒ スイッチ間のISLに関する情報を表示
• trunkshowコマンド
‒ ISL Trunkを構成する物理ポートに関する情報を表示
15
B6510-01:FID128:admin> islshow
1: 8-> 8 10:00:50:eb:1a:99:02:20 2 B6520-01 sp: 16.000G bw: 32.000G TRUNK QOS CR_RECOV FEC
2: 16-> 16 10:00:50:eb:1a:99:02:20 2 B6520-01 sp: 16.000G bw: 16.000G TRUNK QOS CR_RECOV FEC
B6510-01:FID128:admin> trunkshow
1: 8-> 8 10:00:50:eb:1a:99:02:20 2 deskew 15 MASTER
9-> 9 10:00:50:eb:1a:99:02:20 2 deskew 16
2: 16-> 16 10:00:50:eb:1a:99:02:20 2 deskew 15 MASTER
ISLとしては「2本」として認識
= ISL Trunkは1本のISLとして認識

16. FC SAN運用管理の手法
16
• Syslog (“第3弾: 「導入」編”を参照)
• SNMP (“第3弾: 「導入」編”を参照)
• Web GUI (Web Tools)
• Brocade SAN Health
• Brocade Network Advisor (BNA)
• その他の運用管理手法
？？？

17. Web Tools
• Brocade FCスイッチの標準機能
• 下記の機能を設定管理
• スイッチ基本/詳細設定
• スイッチポート設定
• ゾーニング
• FCIP設定
etc.
• SSLを利用してセキュリティ向上
• Java環境で動作
17

18. Brocade SAN Health
SAN環境の健康診断ツール (無償)
• 概要
‒ FC SANファブリックの状況を測定し、状態を診断するためのツール
• ハードウエアおよびファブリック情報の収集
• ハードウェアエラー報告の収集
• トポロジー情報の収集 (Visioファイル形式で提供)
• パフォーマンス情報の取得
• 目的
‒ 現在の接続状況および設定情報を把握
‒ トポロジー情報を収集
‒ エラーログ情報を解析することにより予防保守を実現
• フィールドでの実施実績
‒ 約67,000ユーザー、1,800レポート/週 (2016年1月現在) 18

19. SAN Healthの出力例
19
SAN構成の詳細 (Excel) ファブリック/ゾーン一覧 (Excel) 設定内容の表示 (Excel)
各ポートの詳細 (Excel)トポロジー図 (Visio) パフォーマンスグラフ (Excel)

20. SAN Health実行の流れ
導入からレポートの受取りまで
20
①対象機器の選定 ②SAN Healthの導入と実行 ③ファイルの暗号化
および圧縮と送付
④レポートの生成
(USにおいて作成)
⑤解析レポートのご提供

21. Brocade Network Advisor (BNA)
SAN/LANの管理を統合
• Brocade製品の統合管理ツール
‒ Brocade SAN/L2・L3スイッチ (ルー
タ)/Wireless/Ethernet Fabric製品群をサポート
‒ 「ダッシュボード」により、ネットワーク (ファ
ブリック)内のさまざまな情報を可視化
‒ ホストベースのトポロジビュー
‒ プロパティ・ディスプレイ
‒ イベント情報を統合して表示
‒ 統計情報の収集および表示
‒ エンド・ツー・エンドのオペレーション
‒ スイッチ等のサポート・ログ (supportsave etc.)を
収集
‒ REST APIによる外部ツールとの連携 (SAN)
21

22. BNAの主な機能 (SAN)
障害通知機能/Call Home機能
22
E-Mailによるイベン
ト通知の設定画面例
Call Homeで
通知する
イベント一覧
Call Homeの
設定画面例
E-Mailを用いた
通知先設定例
サポートベンダ別
通知先設定
• 定義されたイベントを通知
‒ イベントタイプ, メッセージID, IPアドレス,
WWN, 閾値によるイベント管理
‒ ユーザ作成のフィルターによるイベント管理
• 多種類な通知方法
‒ SNMP, Syslog, SNMP Trap, E-Mail, ユー
ザー定義のスクリプトによる通知
• 障害発生時の通知機能
‒ サポートベンダへの自動通知機能
• モデム/E-Mail
‒ イベント/SNMP/Supportsaveの発生
時にCall Homeにより通知を行う

23. BNAの主な機能 (SAN: 続き)
ファブリックの状態表示・パフォーマンスモニタリング
23
Top Talkersによる、経路毎
のパフォーマンス監視
リアルタイムおよびヒストリ
カルなパフォーマンス表示
製品リスト
接続マップ
ログ表示
ミニマップ
パフォーマンスの
表示例
• ファブリックの状態表示では、
下記項目の確認が可能
‒ デバイスの状態
‒ ISL毎の帯域使用状況
‒ 接続デバイスの一覧
‒ イベント情報の表示
• Performance Monitoringでは、下記項目
の確認が可能
‒ End-to-Endのパフォーマンス表示
• 経路毎にトラフィック計測・表示が可能
‒ リアルタイムおよびヒストリカルなパ
フォーマンス表示
• ポート毎および経路毎での表示が可能

24. その他の運用管理手法
VMware vRealizeとの連携
24
インテリジェントSANオペレーション
統合管理
SANに対するポリシーの自動化
• 包括的にSANを分析することで可用性を最
大化し、トラブルシューティングの時間を
短縮し、管理をシンプルに。
• SANファブリックに対するより深い洞察と
可視化が、素早い回復とVMのパフォーマン
スとアップタイムの向上に 貢献
• vR Opsで、15年におよぶBrocade のSANベ
ストプラクティスを活用した視覚的な監視
vRealize
Operation
s
vRealize Automation
VMware vSphere
Network Virtualization
and Security (NSX)

25. Brocade SAN Analytics Pack for vRealize Operations
可視性とアクショナブルな分析
ファブリックに接続している仮想マシンが低い
ヘルススコアを表示
Health
70
74
Health
ファブリックに接続している仮想マシンが読み
込み遅延と読み込み転送率の劣化を確認
SAN管理者が低健康状態のスイッチをドリルダウ
ンし、どのポートに問題があるのかを確認仮想マシンが接続しているスイッチに戻り、
輻輳によるボトルネックを確認 25

26. Brocade SAN Content Pack for vRealize Log Insight
アクショナブルな分析によるトラブルシューティングの迅速化
26
SAN
強力なフィルタリング
大量に発生するログから不必要なものを排除し、
トラブルシューティングに役立つ重要な SAN
アラートのみを抽出
SANの問題発生箇所の特定を容易に
Brocade Fabric Vision Technologyによる監視に
より、問題の早期発見および隔離による予防的
な監視で、インフラの健康状態を管理
統合管理
15年におよぶBrocadeのSANベスト・プラク
ティスを活用した直観的かつユーザーフレンド
リーなダッシュボード

27. その他の運用管理手法
OpenStack連携: Cinder FC Zone Manager Plugin
• Brocadeは2012年よりコーポレート・
スポンサーとしてOpenStackに貢献
• OpenStack CinderからFC SANのゾーニ
ングを制御
‒ Cinder: OpenStackにおけるブロック・ス
トレージ・サービス
• ホストがストレージボリューム
を”attach” (もしくはdetach)する際に必
要なゾーン情報をFC SANに設定
‒ FC SANでゾーンを「事前定義」しておく
必要なし
‒ 「ゾーンを設定しない」ことによるリス
クを回避
27

28. 次回の予告
28
• FC SANを運用しはじめた千太くん
• 日常の運用手法を確立
‒ Web Tools/BNA/vRealize (VMware)によるGUIでの運用
‒ Brocade SAN Healthによる定期的なレポーティング
‒ 将来的にはFC SANの「SDN化」も視野 (?)
• 次回 (第6弾: 最終回)は「トラブルシューティング」編！
‒ FC SANの障害発生時に「何をしたらいいか」「何を見ればいいか」をご紹介！
‒ 開催日時は、別途ご案内します。
‒ 是非、お楽しみに！
？？？

29. Q&A

30. Thank you
本件に関するお問合せ
http://www.brocade.com/ja/forms/contact-us.html
ブロケード コミュニケーションズ システムズ株式会社