Más contenido relacionado
La actualidad más candente (20)
Similar a 2015.7.9 Juniper Cloud Builder Conference 2015 (20)
Más de Shuichi Ohkubo (6)
2015.7.9 Juniper Cloud Builder Conference 2015
- 1. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team
Interop Tokyo 2015
ShowNetにおける
マルチクラウド実証実験
ShowNet NOC チームメンバー
さくらインターネット株式会社
大久保 修一
2015.7.9 Juniper Cloud Builder Conference 2015
- 2. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 2
マルチクラウドの活用メリット
クラウドA クラウドB
オンプレミス
• 障害、災害対策(DR)
• ワークロード分散
• オンプレミスとの併用
• コスト削減
• ベンダーロックインの回避
• 異なる機能の組み合わせ
• ハイブリッド構成
CDN
- 3. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 3
インターネット
サーバ間連携トラフィックの問題
クラウドA クラウドB
オンプレミス CDN
インターネット経由だと・・
• 品質の保証ができない
• 障害時の切り分けが難しい
• セキュリティの不安
セキュアで堅牢なプライベート
接続のニーズが高まっている
- 5. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 5
商用クラウドプライベート接続も一般化
AWS Direct Connect Equinix Cloud Exchange
- 6. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 6
昨年のInterop2014での取り組み
クラウド間の
インターコネクトに
フォーカス
クラウドユーザ
との接続は?
- 7. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 7
コンセプト:Multi Cloud Fabric
様々なネットワークが接続可能なオープンな
プライベートコネクトプラットフォームを目指して
Multi Cloud Fabric
オンプレミス
クラウド
モバイル
エンター
プライズ
コンテンツ
プロバイダ
- 8. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 8
ShowNet 2015マルチクラウド構成
さくらのクラウド IDCFクラウド
ビットアイル
クラウド
OpenStack
幕張ShowNet
パブリック
クラウド
BBIX
Private Connect
エンター
プライズ
コンテンツ
プロバイダ
インターネット
ミクシィ
モンストスタジオ
- 9. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 9
ShowNet内の構成
BBIX
Private Connect
ボーダ(ASBR)
コア(P)
エッジ(PE)
Cisco Nexus7706
Juniper QFX10002
Huawei CE12800
Juniper MX240
古河電工
FITELnet FX1
サーバファーム
AS131154
Red Hat Enterprise Linux
OpenStack Platform
- 10. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 10
ボーダ(ASBR)
Cisco Nexus7706
Juniper QFX10002
- 15. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 15
古河電工 FX1
Juniper QFX10002
Juniper MX240
Huawei CE12800
Cisco Nexus7706
- 16. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 16
内部ルーティング構成
BBIX
Private Connect
ボーダ(ASBR)
コア(P)
エッジ(PE)
サーバファーム
AS131154
OSPF, LDPMPLS
VRF-A RD:1:131154 RT:131154:1
10.11.141.0/24
10.11.153.0/29
10.11.153.8/29
10.11.139.0/24
VRF-B RD:2:131154 RT:131154:2
10.11.142.0/24
インターネットの面に加え
IP-VPN網を構築
- 17. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 17
IPsec VPNでも乗り入れ可能
インターネット
Multi Cloud Fabric
ビットアイル
クラウド
テナントA
テナントB
VyOS
古河電工
FX1
一般的なIPsec VPNにて
特定テナントのVRFを接続可能
IPsec VPN
10.11.139.0/24
- 18. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 18
外部ルーティング構成
Interprovider IP-VPN
RFC4364 Section 10. Multi-AS Backbones Option-B
ShowNet(AS131154)
クラウド事業者
コンテンツ事業者
ASBRPE BBIX ASBR
MP-eBGPMP-iBGP
・IDCフロンティア(AS7488)
・さくらインターネット(AS9370)
・ミクシィ(AS38651)
サーバファーム
RT:131154:1
10.11.141.0/24 ・・
Label=16
RT:131154:2
10.11.142.0/24 ・・
Label=17
- 19. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 19
BBIXのマルチサービス構成
AS131154
qfx10k
n7706
BBIX Public Peers
Closed Peers
幕張 NTT DATA
大手町 SoftBank
IP Transit
v1151
v1025
v100
ip88s25
GRT
VRF
BBIX
- 20. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 20
構築中にはまったところ
• QFX10002にてMP-eBGPで受けた経路が
hiddenになる
- 21. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 21
> show route 10.11.140.0/24 table bgp.l3vpn.0 extensive hidden
bgp.l3vpn.0: 11 destinations, 14 routes (7 active, 0 holddown, 4 hidden)
9370:11:10.54.0.0/24 (1 entry, 0 announced)
BGP Preference: 170/-101
Route Distinguisher: 9370:11
Next hop type: Unusable, Next hop index: 0
Address: 0x95274a4
Next-hop reference count: 5
State: <Hidden Ext ProtectionPath ProtectionCand>
Peer AS: 9370
Age: 1:50:13
Validation State: unverified
Task: BGP_9370_131154.169.254.1.12
AS path: 9370 I
Communities: target:9370:11
Accepted
VPN Label: 16
Localpref: 100
Router ID: 169.254.1.12
set routing-options resolution rib bgp.l3vpn.0 resolution-ribs inet.3
set routing-options resolution rib bgp.l3vpn.0 resolution-ribs inet.0
下記設定を追加することで解決
- 22. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 22
参考:QFX10002の設定
interfaces {
xe-0/0/6:0 {
description xg-1-0-3.ip88s25.noc;
flexible-vlan-tagging;
mtu 9192;
unit 100 {
vlan-id 100;
family inet {
mtu 1500;
address 218.100.6.XXX/24;
}
family inet6 {
mtu 1500;
address 2001:de8:c::13:1154:2/64;
}
}
unit 1025 {
vlan-id 1025;
family inet {
address 169.254.XXX.XXX/24;
}
family mpls;
}
BBIX向け
10GbEインターフェイス
40GBASE-LR4 を 10GBASE-LR ×4に
- 23. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 23
参考:QFX10002の設定
interfaces {
et-0/0/1 {
description hg-4-0-1.ce12800.noc;
vlan-tagging;
mtu 9192;
unit 302 {
vlan-id 302;
family inet {
mtu 1500;
address 45.1.3.9/30;
}
family inet6 {
mtu 1500;
address 2001:3e8:1:302::22/64;
address fe80::302:22/64;
}
family mpls;
}
Huawei CE12800向け
100GbEインターフェイス
100GBase-LR4
QSFP28モジュール
- 24. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 24
参考:QFX10002の設定
protocols {
mpls {
interface et-0/0/11.303;
interface et-0/0/1.302;
interface xe-0/0/6:0.1025;
}
ldp {
track-igp-metric;
interface et-0/0/1.302;
interface et-0/0/11.303;
interface lo0.0;
}
bgp {
local-as 131154;
group 131154-inet-vpn {
type internal;
family inet-vpn {
unicast;
}
neighbor 45.1.0.25 {
description fx1-1;
}
neighbor 45.1.0.26 {
description fx1-2;
group BBIX-inet-vpn {
type external;
import rcvfrom-BBIX-inet-vpn;
family inet-vpn {
unicast;
}
export advto-BBIX-inet-vpn;
vpn-apply-export;
graceful-restart {
disable;
}
neighbor 169.254.XXX.XXX {
description sakura;
passive;
peer-as 9370;
bfd-liveness-detection {
minimum-interval 1000;
}
}
MP-iBGP MP-eBGP
Option-B方式で、
routing-instanceを
作らないので
本来不要
- 25. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 25
4Byte-ASでのMP-BGP
• BGPでのCapability(VPNv4 Unicast)交換は問題なし
• RDのフォーマットに注意が必要
• 4Byte-ASを埋め込むには、Type 2フォーマットの対応が必
要。今回は、Type 0フォーマットを利用。
• RD:1:131154, RD:2:131154
• Target Communityは特に問題なかった
• JUNOSの場合Lが必要
• set policy-options community shownet-vrf1 members
target:131154L:1;
- 26. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 26
マルチクラウドの機能要件
• クラウド間のプライベートコネクト
• データのレプリケーション、バックアップ機構
• 死活監視、リソース監視、品質監視
• 負荷分散制御機構
• フェイルオーバ機構
• クラウドの自動制御に必要な機構
• マルチクラウドコントローラ
- 27. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 27
Interop Tokyo Webサイトの
マルチクラウドロードバランシング
IDCFクラウド
さくらのクラウド
Multi Cloud Fabric
ロードバランサロードバランサ
インターネット
www.interop.jp
スケーリング
A10 Networks Thunder
F5 Networks BIG-IP
Citrix NetScaler MPX
GSLBGSLB AS290
NTT
SmartConnect
- 28. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 28
まとめ
• エンドユーザがマルチクラウド環境を手軽に利用可
能とするためのネットワークモデルを提唱
• オープンな閉域網接続 “Multi Cloud Fabric”
• 商用のInternet eXchange(BBIX)の上に、
Privateな面を切って実装
• MP-BGPによるクラウド間/ユーザとの接続
• 一般的なIPsec VPNでの乗り入れにも対応
• 閉域網のインターフェイスは複数の選択肢が必要