ジュニパーネットワークス Multi Chassis LAGの概要、基本機能、設定方法についてご説明いたします。

1. Multi Chassis LAG
for Cloud builders
Juniper Japan
2015年9月

2. Agenda
• Muliti-chassis LAG 概要
• 導入のメリット
• 類似技術
• 対応プラットフォーム
• 基本機能
• 用語の整理と役割
• L3と組み合わせて使うには
• 設定方法
• ベーシック設定
• L2設定
• L3設定(Option)
• トラフィックの管理
• リファレンス

3. Multi-chassis LAG概要
Multi-chassis LAG (MC-LAG) とは
• Multi-chassis LAGは2台のスイッチをまたいで
LAGを構成する技術
• M-LAG, vPC等ベンダー毎にいろいろと呼び名はあるも
のの、各社ほぼ同様の機能を提供
• JuniperはMulti-Chassis LAG(MC-LAG)と呼んでいます。
MC-LAG
L3
L2
L3
L2
L2 L2 L2
LAG

4. MC-LAG導入のメリット
導入のメリット
従来のネットワーク
L
3
L
2
L
3
L
2
L
2
L
2
L
2
MC-LAG
L3
L2
L3
L2
L2 L2 L2
• Loopしない冗長構成
• スパツリをやめられる
耐障害性
の向上
• ブロッキングポートが無くなり、帯域が
2倍
• メンバーリンクの追加で更に帯域増
経済性の
向上
• LAG(LACP)なので異なるベンダーでも
接続しやすい
• ベンダーロックインの排除
運用性の
向上

5. Juniperの提供する類似技術
スイッチまたぎのLAGが組める技術として、以下のアーキテクチャも提
供しています。
MC-LAG Virtual Chassis Virtual Chassis Fabric
仮想化基盤やHadoop基盤等、
Spine-Leafのファブリックト
ポロジーを構成したい方に
管理の負荷を下げたい、
スイッチ間の10Gリンクを
節約したい方
スパツリ、ループの悩みを卒
業したい方に
10台まで、1
台として管理
32台まで、1
台として管理

6. アーキテクチャ選択
MC-LAG vs Virtual Chassis
MC-LAG Virtual Chassis
1 2 1 10
MC-LAG Virtual Chassis
コントロールプレーン Active-Active Active-Standby
データプレーン Active-Active Active-Active
管理 2台別々 10台まで
1台として管理
設定同期 手動(※Roadmap） 自動
対向デバイスから見たL2ネイバー １台に見える １台に見える
対向デバイスから見たL3ネイバー ２台に見える １台に見える
バージョンアップ １台ずつ(ISSU) NSSU/ISSU(※Roadmap)
Active Active
それぞれが独立
して動き、
MAC、I/Fの状
態を交換
Hot-stanby
Configも常に
同期
スイッチ台数が
増えてくると、
管理面で差が
出てきます。

7. アーキテクチャ選択
Multi Tier MC-LAG vs Virtual Chassis Fabric
Multi Tier MC-LAG Virtual Chassis Fabric
トポロジーと広帯域化 ・LAG（渡りが必要)
・モジュラーシャーシ型へのアップグ
レード
・Ethernet Fabric
・1Uスイッチでより広帯域・均一な遅
延を提供
管理台数 スイッチ台数分 32台まで１台として管理
マルチベンダーでのファブリック構成 他社とも混在可能 Juniperのみで構成
バージョンアップ １台ごとに NSSU/ISSU(※Roadmap)
Multi Tier MC-LAG Virtual Chassis Fabric
Similar Technology
with
Non Juniper Devices
２台まで Spineも４台ま
で可能
スイッチ台数が
増えてくると、管
理面で差が出
てきます。
より広帯域な
ネットワークが
必要な場合

8. アーキテクチャ選択
Multi Tier MC-LAG vs Virtual Chassis Fabric
• Upgrade方法
(1) (2)
MC−LAGは１台ずつ、ISSUが可能 Virtual Chassis Fabricは２つのグループに分
けてアップグレード（NSSU)
オレンジ→グリーンのグループ毎にバージョンアップされる。
コマンドは１行
隣接のデバイスからは常にLAGのどちらかがUpしている状態。
ISSUのパケットロスはSubSecond!!
OS現行バージョン Junos VM
(Backup)
OS新バージョン
x86 Hardware パケット転送部
Linux Kernel
ルーティング
フォワーディング
ポート
リセット無し！

9. QFX5100シリーズ
Spine 1 Spine 2 Spine 3 Spine 4
スイッチ ３２台まで
Virtual Chassis FabricVirtual Chassis
スイッチ１０台まで スイッチ １２８台まで
QFabric
L3 Fabric
Layer 3 IP Fabric
…
MC-LAG
様々なトポロジーに柔軟に対応. サービスの成長に合わせてネットワークも成長できる.

10. • 資料まとめサイト
http://www.juniper.net/jp/jp/dm/cloud-builder/docs.html
【コンテンツ】
• JUNOSはじめの一歩 DayOneブックレット
• 技術説明資料
• Virtual Chassis for Cloud Builders
• Juniper NetworkGuru Plugin ～EX/QFX Switch CloudStack Integration～
• vSRX on Your Laptop ～JUNOSをさわってみよう！～
• Virtual Chassis Fabric for Cloud Builders（準備中）
• Qfabric for Cloud Builders（準備中）
• 共同検証資料
• ホワイトペーパー
• インフォグラフィクス
• 素材集
• データシート
Virtual Chassis、Virtual Chassis Fabricの
資料もこちらにございます。

11. 戻りまして、
MC-LAG対応プラットフォーム
QFX 10000
QFX 5100
MX Series
EX 9200
EX 4600
EX 4300

12. MC-LAG対応プラットフォーム
MXシリーズ QFXシリーズ EX9200 EX4600シリーズ EX4300シリーズ その他のEXシ
リーズ
MC-LAG
Active/Active構成
Active/Standby構
成
VRRPとの組合せ
L2VPN(MPLS)との
組合せ
VPLSとの組合せ
本ドキュメントではActive/Active構成とVRRPとの組合せについて解説していきます。

13. MC-LAG基本構成
MC-LAGを構成する上での基本
• Node1・2の間はMACアドレス
やLinkのステータスを同期して
います。
(ICCP)
• MC-LAGにつながるLAG機器と
はLACPでステータスを交換しま
す。
Node1 Node2
LACP
ICCP
MC-LAGを構成するスイッチはどちらもActive (Master/Backup等の関係
では無い)ので、ここではNode1、Node2と呼びましょう。

14. MC-LAG基本構成
• スイッチTOR1から見るとMC-LAGは
単なるLAGにしか見えません。
• LACPで見ても、どちらのMACも同じ
MACが見えます。
Node1 Node2
TOR1
LACP info: Role System System Port Port Port
priority identifier priority number key
et-0/0/48.0 Actor 127 54:1e:56:69:4e:00 127 1 3
et-0/0/48.0 Partner 127 00:00:ae:00:00:02 127 2 1002
et-0/0/49.0 Actor 127 54:1e:56:69:4e:00 127 2 3
et-0/0/49.0 Partner 127 00:00:ae:00:00:02 127 32770 1002
et-0/0/49.0et-0/0/48.0
TOR1のLACPのステータス出力例
(Node1)
(Node2)
LACP

15. 用語の整理
MC-LAGは各ベンダーで用語が異なるので、ここで一旦整理しましょう。
• ICCP(Inter-chassis control protocol)とい
い、MACやLinkの状態をNode間で共有す
る為の制御通信で、TCPセッションです。
• ICL(Inter-Chassis Link)：スイッチ間の物
理Link。ICL-PLとも言います。帯域拡張、
冗長性が必要な為LAGにします。(次で詳述
します)
• MC-AE(またはMC-links)：スイッチまたぎ
のLAGを指します。AEはAggregated
Ethernetの略です。
• S-LINK(Single-homed Link)：冗長されて
ないLinkです。既存の収容、NW移行やメ
ンテ等で一時的にこの構成になるかと思い
ます。
MC-AE
MC-links
S-Link
Node1 Node2
ICL
ICCP

16. 用語の整理(つづき)
ICLは結構重要です。
• ICLはS-link向けやMC-linksがダ
ウンした際のBackup経路として
使われます。
• 上記を除くと、ユーザトラ
フィックはICLを使わず、スイッ
チ自身で折り返します。(これを
Local Biasと呼びます)
• ICL自体もLAGが組めますので、
Linkを増やして帯域を増やすこ
とができます。
MC-AE
MC-links
S-Link
Node1 Node2
ICL
ICCP

17. 用語の整理(つづき)
念のため、管理セグメントも使いましょう。
• ICCPが切れてしまう状況は、Sprit
Brainという絶対に避けたい状況です。
• ICLのバックアップとして、管理セグ
メントを使ったICCPのやりとりができま
す。(backup-liveness-detection)
• ただし、ユーザパケットは転送しま
せん。あくまでSprit状態を避ける為
のラストリゾートです。
MC-AE
MC-links
S-Link
Node1 Node2
ICL
ICCP
管理用セグメント
ICL故障発生時の動作の詳細は以下で確認できます。
https://www.juniper.net/techpubs/en_US/junos15.1/topics
/concept/lag-multichassis-feature-summary.html#jd0e106

18. L3の冗長構成は?
ではデフォルトGWはどうやって冗長するの?
• 方式は2つあります。
• VRRP over IRB方式
• Node同士でVRRPを構成
• MAC Sync方式
• Node同士で同じIP、MACを構成
TOR1
別セグメント 別セグメント
実IP 192.168.1.253/24
仮想IP(Active) 192.168.1.254
実IP 192.168.1.252/24
仮想IP(Backup) 192.168.1.254
Default GW
192.168.1.254
VRRP方式の構成例
irb.1 irb.1
irb.2 irb.2

19. L3の冗長構成は?
Juniperでは以下の理由からVRRP方式を推奨しています。
1. TOR1からみると結局Uplinkは
LAGなので、トラフィックは分
散できる。
2. VRRP Backup側でも受け取っ
たユーザトラフィックは転送で
きる実装の為、ICLを通ったり、
Uplinkが偏ったりしない。
3. MAC Sync方式では、Routing
Protocolが話せない。(あくまで
Node間で同期しているのはMC-
LAG関連情報だけなのです) TOR1
別セグメント 別セグメント
実IP 192.168.1.253/24
仮想IP 192.168.1.254 実IP 192.168.1.252/24
Default GW
192.168.1.254
VRRP方式の構成例
(1)LAGなので
分散されます。
(2)VRRP
Backupでも転
送Irb.1
Irb.1
Irb.2 Irb.2

20. 設定方法解説
少し前置きが長くなりましたが、ここから設定解説です。
基礎となる
設定
MC−Linksの
設定(L2)
L3設定の追
加（Option)

21. 設定方法解説
基礎となる設定 設定項目 Node1 Node2 備考
Device-count 10 10 必要なMC-LAG数+1を設定
switch-options
service-id
16384 16384 2台とも同じ値
ネットワーク内ではユニークな値
に設定してください。
ICCP用I/F irb.4000 irb.4000 irb + unit 番号
(とりあえずVlan-idと一緒がおす
すめ)
ICCP用Vlan 4000 4000 渡りのLAGにもこのVlanを所属さ
せる
ICCP用IPアドレス 192.168.254.26/24 192.168.254.27/24 ICCPだけで使いますので/30とか
でも可
et-0/0/0 et-0/0/0
et-0/0/22
et-0/0/23
Node1 Node2
ICCP
set chassis aggregated-devices ethernet device-count 10
set switch-options service-id 16384
set interfaces irb unit 4000 family inet address 192.168.254.26/24
set vlans VLAN4000 vlan-id 4000
set vlans VLAN4000 l3-interface irb.4000
例はNode1だけですが、値を入れ替えれば、動作します。
どちらか一方にだけ投入する設定はありません。
Node1設定コマンド

22. 基礎設定その2 設定項目 Node1 Node2 備考
ICCP用IPアドレス 192.168.254.26/24 192.168.254.27/24 VLAN4000だけで使いますので
/30とかでも可
ICL InterceのID ae0 ae0 aeはaggregated-ethernetの略で、
LAG用仮想I/F名
ae0に所属させる
物理I/F
et-0/0/22
et-0/0/23
et-0/0/22
et-0/0/23
その他 LACP Fastモード
Vlan4000
LACP Fastモード
Vlan4000
LACPとVlan4000をae0に設定
et-0/0/0 et-0/0/0
et-0/0/22
et-0/0/23
ae0
Node1 Node2
ICCP
set multi-chassis multi-chassis-protection 192.168.254.27 interface ae0
Node2のアドレスを設定
set interfaces et-0/0/22 ether-options 802.3ad ae0
set interfaces et-0/0/23 ether-options 802.3ad ae0
set interfaces ae0 aggregated-ether-options lacp active periodic fast
set interfaces ae0 unit 0 family ethernet-switching interface-mode trunk
set interfaces ae0 unit 0 family ethernet-switching vlan members VLAN4000
Node1設定コマンド

23. 基礎設定その3
設定項目 Node1 Node2 備考
ICCP用IPアドレス 192.168.254.26/24 192.168.254.27/24 VLAN4000だけで使いますので
/30とかでも可
session-
establishment-
hold-time
100 100 ICCPセッション確立までの時間
(秒)
BFD minimum-
interval
1000 1000 お互いのICCP間で行うBFD死活
監視の間隔(msec) 1000以上に
してください
BFD multiplier 3 3 回数
minimum-interval x multiplier =
ダウンまでの時間
backup-liveness-
detection
172.27.113.26 172.27.113.27 管理I/Fに付与したIPアドレスを
指定
et-0/0/0 et-0/0/0
et-0/0/22
et-0/0/23
ae0
Node1 Node2ICCP
set protocols iccp local-ip-addr 192.168.254.26
set protocols iccp peer 192.168.254.27 session-establishment-hold-time 100
set protocols iccp peer 192.168.254.27 liveness-detection minimum-interval 1000
set protocols iccp peer 192.168.254.27 liveness-detection multiplier 3
set protocols iccp peer 192.168.254.27 backup-liveness-detection backup-peer-ip 172.27.113.27
管理用セグメント
Node1設定コマンド

24. • 接続が間違えていなければ次のようにみえるはずです。
• よくあるうっかりミス：そもそもLAG(ae0)がUpしていない。
▶最初にLAGの数を登録する必要があります。
10とするとae0～ae9までI/Fが作られます。
基本設定の確認
et-0/0/0 et-0/0/0
et-0/0/22
et-0/0/23
ae0
Node1 Node2ICCP
lab@node1# run show iccp
Redundancy Group Information for peer 192.168.254.27
TCP Connection : Established
Liveliness Detection : Up
Backup liveness peer status: Up
Client Application: MCSNOOPD
Client Application: l2ald_iccpd_client
Client Application: lacpd
set chassis aggregated-devices ethernet device-count 10

25. • 次にTORスイッチを収容す
るLAGを設定します。
MC-Linksの設定
et-0/0/0 et-0/0/0
et-0/0/22
et-0/0/23
Node1 Node2
ae1
設定項目 Node1 Node2 備考
LAG I/F名 ae1 ae1
LACP system-id 00:00:ae:00:00:01 00:00:ae:00:00:01 同じ値を設定します。LAG毎に変更し
ます。
LACP admin-key 1001 1001 同じ値を設定します。
LAG毎に変更します。
mc-ae mc-ae-id 1001 1001 同じ値を設定します。
LAG毎に変更します。
mc-ae chassis-id 0 1 Node毎に変えます。
mc-ae status-control Active standby
mc-ae init-delay-time 60 60 I/FがUpとなってからLACPが
distributingになるまでの時間です。
電源投入時など、ProtocolがUpする
までの時間待たせることができます。
set interfaces et-0/0/0 ether-options 802.3ad ae1
set interfaces ae1 aggregated-ether-options lacp active periodic fast
set interfaces ae1 aggregated-ether-options lacp system-id 00:00:ae:00:00:01
set interfaces ae1 aggregated-ether-options lacp admin-key 1001
set interfaces ae1 aggregated-ether-options mc-ae mc-ae-id 1001
set interfaces ae1 aggregated-ether-options mc-ae chassis-id 0
set interfaces ae1 aggregated-ether-options mc-ae mode active-active
set interfaces ae1 aggregated-ether-options mc-ae status-control active
set interfaces ae1 aggregated-ether-options mc-ae init-delay-time 60
Node1設定コマンド

26. MC-Linksの確認
lab@node1# run show interfaces mc-ae id 1001
Member Link : ae1
Current State Machine's State: mcae active state
Local Status : active
Local State : up
Peer Status : active
Peer State : up
Logical Interface : ae1.0
Topology Type : bridge
Local State : up
Peer State : up
Peer Ip/MCP/State : 192.168.254.27 ae0.0 up
et-0/0/0 et-0/0/0
et-0/0/22
et-0/0/23
Node1 Node2
ae1
対向との設定が合っていて、正しく接続されていれば、次の様に表示されます。

27. MC-Linksの確認(つづき)
{master:0}[edit]
lab@node1# run show lacp interfaces ae1
Aggregated interface: ae1
LACP state: Role Exp Def Dist Col Syn Aggr Timeout Activity
et-0/0/0 Actor No No Yes Yes Yes Yes Fast Active
et-0/0/0 Partner No No Yes Yes Yes Yes Fast Active
LACP protocol: Receive State Transmit State Mux State
et-0/0/0 Current Fast periodic Collecting distributing
{master:0}[edit]
lab@node1# run show interfaces ae1 detail
Physical interface: ae1 (MC-AE-1001, active), Enabled, Physical link is Up
Interface index: 651, SNMP ifIndex: 537, Generation: 202
Link-level type: Ethernet, MTU: 1514, Speed: 40Gbps, BPDU Error: None,
:
: (中略)
LACP info: Role System System Port Port Port
priority identifier priority number key
et-0/0/0.0 Actor 127 00:00:ae:00:00:01 127 1 1001
et-0/0/0.0 Partner 127 54:1e:56:65:a7:00 127 1 2
LACP Statistics: LACP Rx LACP Tx Unknown Rx Illegal Rx
et-0/0/0.0 1288831 1345056 0 0
Marker Statistics: Marker Rx Resp Tx Unknown Rx Illegal Rx
et-0/0/0.0 0 0 0 0
Protocol eth-switch, MTU: 1514, Generation: 231, Route table: 4
Flags: Trunk-Mode

28. • VLAN1001をae1に追加します。ICL(ae0)にも追加するのを忘れないでくださ
い。
Mc-linksへのVlanの組み込み
et-0/0/0 et-0/0/0
et-0/0/22
et-0/0/23
Node1 Node2
ae1
set vlans v1001 vlan-id 1001
set interfaces ae1 unit 0 family ethernet-switching interface-mode trunk
set interfaces ae1 unit 0 family ethernet-switching vlan members v1001
set interfaces ae1 unit 0 family ethernet-switching storm-control default
set interfaces ae0 unit 0 family ethernet-switching vlan members v1001
設定項目 Node1 Node2 備考
Vlan名 V1001 V1001
Vlan-id 1001 1001
ae0
Node1設定コマンド

29. • Vlan1001にサーバのデフォルトゲートウェイとなるアドレスを設定します。
[Option]L3 Routing(Default Gateway)の設定
et-0/0/0 et-0/0/0
et-0/0/22
et-0/0/23
Node1 Node2
ae1
実IP 192.168.1.253/24
仮想IP 192.168.1.254
実IP 192.168.1.252/24
設定項目 Node1 Node2 備考
I/F名 irb unit 1001 irb unit 1001
実IP 192.168.1.253/24 192.168.1.252/24
仮想IP 192.168.1.254 192.168.1.254
Priority 200 100
Accept-data 設定する 設定する
set vlans v1001 l3-interface irb.1001
set interfaces irb unit 1001 family inet address 192.168.1.253/24 vrrp-group 1 virtual-address 192.168.1.254
set interfaces irb unit 1001 family inet address 192.168.1.253/24 vrrp-group 1 priority 100
set interfaces irb unit 1001 family inet address 192.168.1.253/24 vrrp-group 1 accept-data
Node1設定コマンド

30. • Default Gatewayアドレスが冗長されているか確認します。
• 下記の様になっていない場合
• ICL(ae0)にVLAN1001が設定されているか確認して下さい。
L3 Routing(Default Gateway)の確認
{master:0}[edit]
lab@node1# run show vrrp
Interface State Group VR state VR Mode Timer Type Address
irb.1001 up 1 master Active A 0.359 lcl 192.168.1.253
vip 192.168.1.254
et-0/0/0 et-0/0/0
et-0/0/22
et-0/0/23
Node1 Node2
ae1
実IP 192.168.1.253/24
仮想IP 192.168.1.254
実IP 192.168.1.252/24
lab@node2# run show vrrp
Interface State Group VR state VR Mode Timer Type Address
irb.1001 up 1 backup Active D 2.718 lcl 192.168.1.252
vip 192.168.1.254
mas 192.168.1.253
Node1
Node2
ae0

31. トラフィックの管理
• MC-LAGのトラフィックを確認するポイントは2つあります。
1. 物理Interfaceの流量を確認する。
2. MACアドレスをどちらのNodeで学習しているか確認する。

32. 1. 物理Interfaceで流量を確認する
トラフィックの確認
east-qfx Seconds: 6 Time: 12:38:24
Interface Link Input packets (pps) Output packets (pps)
et-0/0/0 Up 13455148 (1312) 13117094 (1314)
gr-0/0/0 Up 0 (0) 0 (0)
pfh-0/0/0 Up 0 0
et-0/0/1 Up 80669711 (1000) 80687764 (1001)
et-0/0/22 Up 44992 (0) 0 (0)
et-0/0/23 Up 69248151 (3) 69488086 (3)
ae0 Up 69248151 (3) 69488086 (3)
ae1 Up 13455148 (1312) 13117094 (1314)
ae2 Up 80669711 (1000) 80687764 (1001)
west-qfx Seconds: 4 Time: 12:39:34
Interface Link Input packets (pps) Output packets (pps)
et-0/0/0 Up 68907326 (1) 132087817 (2)
gr-0/0/0 Up 0 (0) 0 (0)
pfh-0/0/0 Up 0 0
et-0/0/1 Up 65331861 (0) 2037920 (1)
et-0/0/22 Up 0 (0) 58487 (0)
et-0/0/23 Up 70013141 (3) 132811136 (2)
ae0 Up 70013141 (3) 132811136 (2)
ae1 Up 68907326 (1) 132087817 (2)
ae2 Up 65331861 (0) 2037920 (1)
Node1 Node2
コマンド
lab@east-qfx> monitor interface traffic
Node1側のet-0/0/0でトラフィックが送受信されていることがわかります。

33. 2. MACアドレスの学習を確認する
トラフィックの確認
Node1 Node2
コマンド
lab@east-qfx> show ethernet-switching table
DLが動的なMACで自身が学習したことを示しています。
lab@node2> show ethernet-switching table
MAC flags (S - static MAC, D - dynamic MAC, L - locally learned, P - Persistent static
SE - statistics enabled, NM - non configured MAC, R - remote PE MAC, O - ovsdb MAC)
Ethernet switching table : 1 entries, 1 learned
Routing instance : default-switch
Vlan MAC MAC Age Logical
name address flags interface
v1001 00:00:1b:f9:b6:ae DR - ae1.0
lab@node1> show ethernet-switching table
MAC flags (S - static MAC, D - dynamic MAC, L - locally learned, P - Persistent static
SE - statistics enabled, NM - non configured MAC, R - remote PE MAC, O - ovsdb MAC)
Ethernet switching table : 1 entries, 1 learned
Routing instance : default-switch
Vlan MAC MAC Age Logical
name address flags interface
v1001 00:00:1b:f9:b6:ae DL - ae1.0
DRが動的なMACでICCPでNode1から学習したことを示しています。

34. リファレンス
• 設定方法
https://www.juniper.net/techpubs/en_US/junos15.1/information-
products/pathway-pages/mc-lag/multichassis-link-aggregation-groups.html
• IP Multicast設定(IGMP Snooping)
https://www.juniper.net/techpubs/en_US/junos15.1/topics/task/configuration/ig
mp-snooping-mc-lag-active-active-mx.html
• スイッチのOSをUpgradeする時の手順
https://www.juniper.net/techpubs/en_US/junos15.1/topics/concept/lag-
multichassis--guidelines.html#jd0e265

35. Thanks!