Más contenido relacionado
La actualidad más candente (16)
Similar a VIOPS06: ここまで身近に!10Gbpsを越えるネットワークの世界 (20)
Más de VIOPS Virtualized Infrastructure Operators group ARCHIVES (20)
VIOPS06: ここまで身近に!10Gbpsを越えるネットワークの世界
- 4. System Area Network の特徴
• RDMA, I/O の特徴
• メモリ間データ転送をベースに、バス(SCSIやメモリチャネル)を経由して
DMAでデータをブロックで読み書きする
• メモリ、ディスクの Read/Write ではロスレスは暗黙の仮定
ロスレス性はなぜ必要か?
© 2011 Brocade Communications Systems, Inc.
CPU
MemoryNorth
SCSI
controller
South
かつてのサーバ内
サーバ内でメモリ通信の
損失は無いと仮定
SAN
LAN IPC
Converged
Network
Adapter拡張
Ethernet
現在
DC全体がシステム
SAN/IPC のロスレスを実現
NIC
- 5. Datacenter 内のEthernet以外のネットワーク
• InfiniBand
• 低遅延(300ns)、広帯域
(10Gbps/Lane)
次世代 Ethernet が実装しなくてはならない技術
• Fibre Channel
• 低遅延(450ns)、広帯域
(16Gbps/Lane)
© 2011 Brocade Communications Systems, Inc.
Clos
Topology
Core-Edge
Topology
どちらも
Lossless/ECMP
が備わったネットワーク
- 6. 今日の DC ネットワークでの挑戦
• Layer 2 性能と信頼性の向上
• 等価コストマルチパス技術の実現
• ロスレス
• ブロードキャスト トラフィック の最適化
• MAC 学習の最適化
• 高速収束
• 自動化による管理オーバヘッドの削減
• 自律的ファブリック形成
• 自動的発見、構成
• VM 移動性への対応
• シンプル化
• 次ページ参照
通常の Ethernet の限界
© 2011 Brocade Communications Systems, Inc.
Data Center
- 9. ロスレス性の実現
• “Data Center Bridging” とはデータセンタ向けに拡張された Ethernet
• 下記の複数の標準を含む
• Priority-based Flow Control (802.1Qbb)
• Enhanced Transmission Selection (802.1Qaz)
• Data Center Bridging eXchange (802.1Qaz)
Data Center Brdinging 技術
© 2011 Brocade Communications Systems, Inc.
FCoE
10G リンクを仮想的に
8本のチャネル(Priority)
に分割し、フロー制御
- 10. Equal Cost Multi-Path の実現
Transparent Interconnection of Lots of Links
• 何故 TRILL が必要なのか?
• 従来のEthernetでは実現できな
いマルチパスの実現
(redundant path failover)
• 最短経路へのルーティング
• ルーティングなどのゼロ設定
• FCoE などのレジリエント構成に必
要
© 2011 Brocade Communications Systems, Inc.
TRILLなし
TRILL
ループとなる
リンクは
使用できない
A
B
C
D
A
B
C
D
E
E
注意事項で説明
等価コスト
パスをバラ
ンスさせて
使用可能
- 11. Fibre Channel over Ethernet
(RDMA over Converged Ethernet)
6/30/2011 11© 2011 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only
- 12. FCoE の利点
• 従来の FC のインフラがそのま
ま使用できる
• 既存の設備投資がそのまま生
きる
• 従来の管理スキームがそのま
ま使用できる
• ストレージメーカの提供する既
存の管理ソフトウェアがそのま
ま使用できる
• 新技術ではない
• iSCSI のような新しい技術と違
い iqn や SLP/iSNS などを知ら
なくても構成できる
• そもそも IP は zero 設定ではな
い
© 2011 Brocade Communications Systems, Inc.
ストレージメーカや
サーバメーカの
既存の管理ソフト
FCoE SW
FCoE SW
FC SW
サーバ
サーバ
- 13. Fibre Channel over Ethernet
• DCB 上にマッピングした上位
プロトコルのひとつ
• ANSI T11 FC-BB-5 v2.0 で標準化
• FC フレーム(2112 bytes)を
Ethernet フレームでカプセル
化
• ジャンボフレーム(2500bytes)
• FC フレームと Ethernet フレー
ムは1:1でマッピング
• RFC3643 Fibre Channel Frame
Encapsulation が標準として使
用されている
© 2011 Brocade Communications Systems, Inc.
FC-4
FC-3
FC-2
DCB Layer-2
DCB Layer-1
Upper layer (SCSI-3)
FC Generic Service
Link Service
BLS/ELS
DCB layer-2
64b/66b encoding, others
10Gbps Ethernet phy
- 14. FCoE の構成と言葉
• FCoE Node (ENode)
• DCBのインターフェースを持
ちFCノードとして振舞うこと
が可能な統合ネットワークア
ダプタ(CNA)がこれに当たる
• FCoE Forwarder
• FCスイッチとして動作するこ
とができるDCBスイッチを表
す
• FCoE Mapper (FCM)
• ファイバチャネルフレームを
イーサネットフレームにカプ
セル化/非カプセル化を行う
機能
© 2011 Brocade Communications Systems, Inc.
ENode
FCoE Forwarder
(FCF) FCoE Mapper (FCM)
FC
Port
FC
Port
FC
Port
FC
Port
FC Switch
DCB
Port
DCB
Port
DCB
Port
DCB
Port
DCB Switch
- 15. FCoE Initialization Protocol
• FIP の役割
• DCB ファブリックにおけるFCFの発
見
• DCB ファブリックに対するFCファブ
リックサービスの提供
• FCoE ファブリックパラメータの交換
• Discovery Phase
• ENode による FCF の発見
• FCoE VLAN の発見
• アドレッシング方式の提供
• Login Phase
• ENode と FCF の関連付け
• 既存の FLOGI, FLOGI_ACC, LOGO
をそのまま使用
• Data Transfer Phase
• PLOGI/PRLI
• その他のすべての FC プロトコルフ
レーム
• ELS, FC4 ULP
© 2011 Brocade Communications Systems, Inc.
FIPFCoE
FCFFCF
DCB
FIP
- 16. FCoE アドレッシング
• DCB ファブリック内では MAC アドレスベースで通信するため、旧
来の FC のアドレスだけでは通信できない
• そのため FCoE では MAC アドレスを動的にアサインする仕組みが必要
• Fabric Provided MAC Address (FPMA) によりアドレスを確保
• MAC アドレスの上位3バイトは “0x0E, 0xFC, 0x00”
• MAC アドレスの下位3バイトは FID (FC fabric 内のアドレス)
© 2011 Brocade Communications Systems, Inc.
FCF
FCストレージの
FCoEアドレス空間
への写像
0E:FC:00:05:01:01
FCストレージCNA
NIC の MAC と
FCoE HBA の
Session MAC は別
FCドメイン
ナンバ : 5
FID : 050101FID : 050201
session MAC : 0E:FC:00:05:02:01
CNAの
FCアドレス
空間への写像
050201
- 17. FIP の手順
© 2011 Brocade Communications Systems, Inc.
Host FCF
Multicast(FIP),
MAC(host),capability
Unicast(FIP advertisement),MAC(FCF),
Priority, switch name, fabric name,
capability
FLOGI (FIP),MAC(host),
FC header,
Proposed MAC
LS_ACC (FIP),MAC(host), MAC(FCF),
FC header, approved MAC
ENode は与えられた
MAC を使用(FIP完了)
ENode は FCF, DCB
属性を認識する
必要があればさらに
FDISC を行う
LS_ACC (FIP),MAC(host’), MAC(FCF),
FC header, approved MAC
FIP 完了後は Ethertype = FCoE で通信可能
version 1.0.1
- 18. DCB/FCoE のリンク初期化の流れ
© 2011 Brocade Communications Systems, Inc.
DCB ポートの動作
電源オン
PowerOnSelfTest
Light/Signaling
Character/Word
Synchronization
リンク初期化
アクティブ状態
DCBXexchange
DCBPortActive
FCoE ポートの動作
FIPDiscovery
FIPFLOGI
FCPLOGI
Nameserver登録等
10GbE ポート初期化 DCBポート初期化 FCoE 初期化 FC 初期化
FCPLOGI
End-to-Endlogin
FCPRLI
I/O 開始
- 20. RDMA over Converged Ethernet (ロッキー)
• 詳細は Mellanox の津村さんに!
• TLV 形式は?
• EtherType は?
• そもそもどうやって RDMA Verb を発見するの?
© 2011 Brocade Communications Systems, Inc.
RDS MPI
SDP
RDMA Verbs
iWARP
TCP
IPRoCE
DCB
Socket
Application
SCSI
iSCSI
TCP
IP FCoE
FCP
- 22. FCoE と ECMP の関係
Spanning Tree の問題点
• Link Failure が起こった場合、上
の Path(SW1/SW2/SW3/FCF)に
non-disruptive に切り替わる
か?
• そもそもマルチパスドライバからみ
てマルチパスになっていないため、
冗長パスとして設定すらできない
• だから初めから Multi-Path が可
能なトポロジが必要
Block
port
SW1
SW4
SW2
SW5
SW3
FCF
Link
Failure
SW1
SW4
SW2
SW5
SW3
FCF
FIP
FLOGI
Data
Flow
再度
FLOGIが
必要
STP による
L2構成
STP による
L2構成
DCB only スイッチ
DCB + FCF スイッチ
© 2011 Brocade Communications Systems, Inc.
- 23. FCoE 環境でのカスケードの危険性
FCoE Keep-Alive のスケーラビリティとマルチホップ FCoE
© 2011 Brocade Communications Systems, Inc.
FCF
lossless
Ethernet
lossless
Ethernet
lossless
Ethernet
物理サーバ
仮想サーバ
FCFFCFFCFFCF
物理サーバ
仮想サーバ
すべてのスイッチにFCoE forwarder がないとネットワークを拡張できない
FCF:FCoEに対応したスイッチ
Lossless Ethernet:単にDCB対応しただけのスイッチ
FCoE
Keep-alive
FCoE SW に
よる構成
DCB only SW
と FCoE SW
の混在
負荷
- 24. マルチプロトコルサポートと ECMP
• Ethernet に IB/FC を統合すると
すると、ルーティングプロトコ
ルは何を使用する?
• 実は標準上は未解決
© 2011 Brocade Communications Systems, Inc.
Ethernet
ECMP
IB/FC
ルーティングプロトコル
TRILL/SPB IS-IS
InfiniBand SubnetManager の実装次第
(MINHOP/UPDN等)
Fibre Channel Fabric Shortest Path First
- 26. Everything over Ethernet
• Ethernet によるデータセンタ内インタコネクトの集約の前提条件
• DCB
• TRILL
• XoE のメリット
• 共通 : LAN/SAN/IPC が1本のワイヤに統合できるため、TCOを削減可能
• FCoE : 従来の FC 基盤が活かせる
• RoCE : Ethernet でも IB と同じことができる
• ただし同じ性能というわけではない
• 注意点
• とりわけ FCoE には multi-path やLink Level Service にまつわる注意点が多
いので、接続性のサポートは要確認
© 2011 Brocade Communications Systems, Inc.