低遅延Ethernetとファブリックによるデータセンタ・ネットワーク

Infiniband DAY [06]
Business Conference for Enterprise/Web Service

低遅延Ethernetとファブリックによる
データセンタ・ネットワーク

ブロケードコミュニケーションズシステムズ

© 2013 Brocade Communications Systems, Inc. IB DAY 06 1

Legal Disclaimer

All or some of the products detailed in this presentation may still be under
development and certain specifications, including but not limited to, release dates,
prices, and product features, may change. The products may not function as
intended and a production version of the products may never be released. Even if a
production version is released, it may be materially different from the pre-release
version discussed in this presentation.
Nothing in this presentation shall be deemed to create a warranty of any kind, either
express or implied, statutory or otherwise, including but not limited to, any implied
warranties of merchantability, fitness for a particular purpose, or non-infringement of
third-party rights with respect to any products and services referenced herein.
ADX, AnyIO, Brocade, Brocade Assurance, the B-wing symbol, DCX, Fabric OS, ICX,
MLX, MyBrocade, OpenScript, SAN Health, VCS, VDX, and Vyatta are registered
trademarks, and HyperEdge, NET Health, The Effortless Network, and The On-
Demand Data Center are trademarks of Brocade Communications Systems, Inc., in
the United States and/or in other countries. Other brands, products, or service
names mentioned may be trademarks of their respective owners.


会社紹介
ブロケード米国本社ビル

ブロケード米国本社 - 相互接続性検証ラボ


元 Xsigo の CEO
会社紹介

• Brocade Communications • ブロケードコミュニケーションズ
Systems システムズ株式会社
• 社長兼CEO Lloyd Carney • 社長青葉雅和
• 本社:カリフォルニア州サンノゼ • 2001年4月設立/従業員数 80名
• 1995年設立 • 東京・大阪にビジネス拠点
• 従業員数 4500名 • パートナ、OEMの技術/営業サポート
• FY2012 売上実績: $2.23B やユーザへの提案活動を主体としたビ
ジネス
• Fibre Channel などのストレージ技
術とSoftware-Defined Network技
術をリード

• 事業内容
• 包括的なデータセンター/エンター
プライズ/サービスプロバイダネット
ワークソリューションの提供東京・霞ヶ関大阪・北浜


Datacenter Fabric と低遅延 Ethernet


データセンター・ネットワークの状況
CY2011の実績
日本国内データセンター・ネットワーク
インフラ市場ベンダシェア
Total 47,846 M Yen “ブロケードは、データセンター
向けネットワーク機器ベンダー
として、市場動向を左右する
Others, 15.9% ベンダー”（IDC Japan）

E社, 4.7%
A社, 31.8%

D社, 5.5%

C社, 5.5% 対象製品:
+30%(FY2012)
 Ethernet switch
 Layer 4–7 switch
B社, 7.4% Brocade, 29.2%  WAN Application Delivery
 Fibre Channel switch
+30%(FY2012)
出典: IDC Japan, 2012年9月「国内データセンター向けネットワーク機器市場
2011年の分析と2012年～2016年の予測」（J12010108）

なぜ Fabric なのか？

• シンプル
• 自動形成
• ループフリー
• 省設定

• 広帯域次頁以降で解説
• L1 ECMP (Brocade ISL Trunking)
• L2 ECMP (Brocade VCS/FCoE/FC)
• L3 ECMP (いわゆる L3/FC ECMP)

• 高信頼性ストレージアクセス
• Application Transparent Failover の実現

• (InfiniBandほどではないが) 低遅延
• 400ns (現行の Brocade Ethernet ASIC)

• Software Defined Network/Storage

シンプル

VCS ID = 1
RBridge ID = 1 Global IP = A VCS ID = 1
論理筐体

RBridge ID = 2 RBridge ID = 3

ルーティング確定
RBridge ID = 4 RBridge ID = 5 RBridge ID = 6 RBridge ID = 7 パス決定
ファブリックサービス同期

1. 自律動作 3. Software-Defined Network
(SDNコントローラからの制御)
2. マルチパス 4. Unified(Converged) Network

完全自動
ライセンスなし
広帯域化
完全自動、FCも入れると10年以上の実績
Brocade ISL Trunking Brocade Dynamic Path Selection
(VCS ECMP)

1Gbps
1Gbps
5Gbps
9Gbps
1Gbps

3Gbps
4Gbps

9Gbps
1Gbps

3Gbps
4Gbps
2Gbps
2Gbps

19Gbps
パスの帯域を加味
してトラフィックを分
Brocade VDX6720 Brocade VDX6720
散(Flow単位)
注)わかりやすいようにpath選択
共有バッファ共有バッファ共有バッファはRound-Robin で書いている

(実際はハッシュで分散)
リンクにフレーム
単位で分散共有バッファ共有バッファ
共有バッファ共有バッファ

最大8本
共有バッファ共有バッファ


高信頼性ストレージアクセス
FCブロックストレージ＋MPIOでのみ可能

論理 L0 L1 L2
S0 S1 S2

Distributed Network Name
マルチパスドライバ(MPIO) SMB 3.0 transparent failover
c1t0l0, c1t0l1, c1t0l2
¥¥node =
物理 0 1 2 c2t0l0, c2t0l1, c2t0l2 iSCSI/NFS では
¥¥node0,
3 4 5
c1t1l0, c1t1l1, c1t1l2
6 7 8 App. transparent
¥¥node1,
¥¥node2
failover ができない
FC Fabric FC Fabric Fabric Fabric
(もしくは困難)
¥¥node0 ¥¥node1 ¥¥node2

コントローラコントローラコントローラコントローラ

Vol0 Vol1 Vol2 Share0 Share1 Share2


低遅延 Ethernet
Brocade現行製品の値
Products # of 10G Pt-to-Pt Fabric L3 DCB/FC/FC
ports/ASIC Latency oE
Brocade 24 600ns Yes Yes Yes
VDX6720
Brocade 2 2us< Fabric N/A Yes
1860 aware
(N_Port
Trunking)

−現時点でこれより低遅延が欲しいのであれば InfiniBand をお勧め
−アダプタは RDMA 対応でないので、1usを切るのは難しい


なぜ Ethernet なのか


Ethernetである必要は？

• スイッチポート単価は？ • SAN は必要？
• $500 (実売はもっと安い) • 事実、今FCがとても売れている！
• Gigabit Ethernet のようにどんどん • “島”になっているFC-SANをネット
売れればどんどんさがるワーク化して統合することが加速さ
れている
• サーバ仮想化には現実的に共有スト
レージは必要
• 最終的なブロックデータに書くとこ
ろにSAN(FC/FCoE/iSCSI)は必要
• でも全ノードがI/Oノードである必要
はない→次ページ
Dell’Oro and Infonetics

アクセスの大半
はまだ1Gbps
IDC


これからの高信頼性ストレージアクセス
ブロックストレージ + ファイルストレージ(SMB3)

(RoCE/iWARP がくれば)
S1
－SMB direct で low CPU usage
SMB 3.0 transparent failover －SMB 3 で transparent failover を実現
“ストレージサービス”はethernetで！
¥¥fileshare¥S1 “ストレージインターコネクト”は最適なもので

今日の RNIC まだ早い？
Mellanox, Chelsio, その他
Fabric Fabric
fileshare この頃には
クラスタ
コントローラ
ノード1
コントローラ
ノード2
40GbE 時代の RNIC こなれる？
S1
(I/Oノード) Internal Fabric Intel, Broadcom, Emulex, Qlogic,
Mellanox, Chelsio, その他
Block
LUN1


SDN
とりわけ OpenFlow
• この流れは誰も無視できない
• Ethernet, TCP/IP への莫大な投資とエコシステム

• North bound API が標準化されるのであれば、Ethernet か
InfiniBand かという議論はなくなる(かも)

Open Networking Foundation
のメンバーのページ


まとめ


Fabric + 高速 Ethernet で DC networking

• Fabric は • 高速 Ethernet は
• 簡単確実、実用十分な高帯域、低 • 10Gbps@Server はこれから本格化
遅延 • BASE-T 技術が出てくれば、価格
• 真の Converged Network を実現は低減(低減スピードは GbE よりも
• OpenFlow ファブリックと共存し、速い)
SDNを実現 • 40Gbps@Server は2014年頃
• 100Gbps@Server は2017年以降??

InfiniBand はメモリインターコネクトに近い帯域、遅延を
ノード間に求める場合に最適

つまり住み分け


Thank You


低遅延Ethernetとファブリックによるデータセンタ・ネットワーク

Recomendados

Más contenido relacionado

Destacado

Destacado (20)

Similar a 低遅延Ethernetとファブリックによるデータセンタ・ネットワーク

Similar a 低遅延Ethernetとファブリックによるデータセンタ・ネットワーク (20)

Más de Naoto MATSUMOTO

Más de Naoto MATSUMOTO (20)

Último

Último (7)

低遅延Ethernetとファブリックによるデータセンタ・ネットワーク