JANOG34_Fullrouteやめたら人生かわった@AS55394 20150526

Copyright © GREE, Inc. All Rights Reserved.Copyright © GREE, Inc. All Rights Reserved.
Full routeやめたら⼈人⽣生かわった
@AS55394
インフラストラクチャ本部　データセンターチーム　マネージャー　⿊黒河内倫倫

Copyright © GREE, Inc. All Rights Reserved.
⽒氏名
　⿊黒河内　倫倫（くろこうち　おさむ）
所属
　グリー株式会社　インフラストラクチャ本部
　データセンターチーム　マネージャー
⾃自⼰己紹介

会社紹介
従業員数
　1,894⼈人（グループ全体・2014年年03⽉月末時点）
事業内容
　ソーシャルゲーム事業
　ソーシャルメディア事業
　プラットフォーム事業
　広告・アドネットワーク事業
　ライセンス&マーチャンダイジング事業
　ベンチャーキャピタル事業

⽬目次
・グリー(AS55394)の話
　　・当時の背景
　　・決断
　　・問題
・ディスカッション
　　・RIRごとのIPv4移転ポリシー
　　・IPv4経路路の増加
　　・議論論

グリー(AS55394)の話

InternetBorderのBGPルーター8台があった
全台Full routeを受信しており、
　各BGPルーター間をiBGP PeerをFullMeshで張っていた
2012年年夏(当時の構成)
グリー環境
R
R
R
R
R
R
R
R

2012年年夏(障害発⽣生)
あるときTransit側の障害が発⽣生、PeerDownした
その際の経路路のConvergenceに時間がかかり、
　　　　　　　更更にRouterのCPUが張り付く事象が発⽣生
iBGP PeerもDownしはじめる、カオス状態
収束まで5分ほどの断が断続的に発⽣生(⾒見見守るしかない)

2012年年夏(障害原因)
主に3つの要因がある
　1.ハードウェアの処理理能⼒力力不不⾜足
　2.経路路数の増加
　3.iBGPのPeerの多さ(といってもそこまで多くないが)
上記3つの項⽬目のいずれか若若しくは複合的な要因

案1.ハードウェアの強化
　より性能の良良い機器を買う
案2.構成変更更
　RRを導⼊入してiBGP-‐‑‒Peer数を下げる
案3.経路路数を削減する
　何かしらの形で経路路数を削減して、
　　　　　　　BGP-‐‑‒Update時の負荷を削減する
当時考えた打開案

判断ポイント
全拠点のBGP Routerのリプレースも
　　　　　　　　　　　　考えたが労⼒力力的に難しい
また“検証 → 発注 → 納品 → メンテナンス調整”などを
　　　　　　考えるとスピード感がある対応ではなかった
　
ハードウェアとして解決することは難しいと判断

判断ポイント
案3にしぼって考えてみる
　弊社のビジネスモデル上、
　　モバイルからのアクセスが99%であった
　
　そもそもFull route⾃自体の必要性を再考し、
　　　　　　　　　　　　　　　　　以下の通りとした
　Full route → Partial route + Default route
　※Partial Route = 国内Mobile3キャリア

Transit Router
自社Router
Transit Router
1 自社内Filter方式
2 TransitFilter方式
Full route
Default route
Partial route
Default route
RIB
FIB
自社Router
RIB
FIB
Partial Route
Default Route
透過
GREEはこちらを採用
Partial routeも⼆二つある

各案のデメリット
案1.ハードウェアの強化
　より性能の良良い機器を買う
　　　　　→ 　検証が必要、納期がかかる
案2.構成変更更
　RRを導⼊入してiBGP-‐‑‒Peer数を下げる
　　　　　→ 　検証が必要、納期がかかる、直る確証がない
案3.経路路数を削減する
　何かしらの形で経路路数を下げて、
　　　　　　　　　　　　BGP-‐‑‒Update時の負荷を削減する
　　　　　→ 　これが短期的に解決ができ、かつ確実

課題解決
経路路数
　当時40万経路路 → 2600経路路ほどになった
どんとこい回線障害！
実際にやってみた
現在は更更に減って1800経路路ほど

裏裏話
Full route運⽤用やめるのは、
　　　　　　現場の抵抗がかなりあった

問題
2年間運用しているが、
ぶっちゃけない
一つを除いては。。。

IX
DataCenter
GREE
APIサーバ
ISP1
ISP2
キャリア
DC CDC BDC A
サーバ3サーバ2サーバ1
とある障害が。。。
障害前の構成
DC1
192.0.2.192/26
DC2 DC3
192.0.2.128/26
192.0.2.64/26
192.0.2.128/26192.0.2.64/26 192.0.2.192/26

IX
DataCenter
GREE
APIサーバ
ISP1
ISP2
キャリア
DC CDC BDC A
サーバ3サーバ2サーバ1
とある障害が。。。
障害後の構成
DC1 DC2 DC3
DC間回線を撤去
広報経路路を絞る
バックアップで⼤大きな経路路も広報
0.0.0.0 0.0.0.0
グリー上位ISPではDefaultになる
192.0.2.128/26192.0.2.64/26 192.0.2.192/26
192.0.2.0/24
192.0.2.192/26
192.0.2.0/24
192.0.2.128/26
192.0.2.0/24
192.0.2.64/26
192.0.2.0/24
192.0.2.128/26

互いの⾔言い分
相⼿手側
　グリーがFull routeじゃないとは思わなかった
グリー側
　リーチしないPreﬁxを送られるとは思わなかった

対策
グリーAS55394がFull route運⽤用ではないことを
　　　　　　　　どこかに明⾔言したほうが良良いと思った
　PeeringDB？
　PeeringPolicy？
　Peering依頼のメール？
とはいいつつも、他社様もグリーのことだけ
　　　考えて運⽤用してるわけではないので、なかなか難しい

総括：⼈人⽣生かわった部分
“有るもの”を”無くす”のは勇気がいるけど、
　　　勇気をもってチャレンジすることも⼤大事
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　※弊社は追い込まれただけだけど。。。
2年年間でIGP/EGP周りのトラブルは1件だけ
コントロールしたいASの経路路をもっていればよい
　※Traﬃc量量であったり、ビジネス上重要であったり
いまとなっては
“Full routeなくても⼗十分サービス維持はできる”と感じる

ディスカッション

RIRごとのIPv4アドレス移転ポリシー
引用 : JPOPM22 IPv4アドレス移転に関する動向から
http://venus.gr.jp/opf-jp/opm22/jpopm22-03.pdf

参照 http://www.cidr-‐‑‒report.org
IPv4経路路の増加
現在のIPv4経路路は約500,000経路路突破！！
15 16 17
60万経路路までは
　あと2.5-‐‑‒3年年ぐらい

議論論
ALL
　“Full route”運⽤用で困ってる⼈人いますか？
　“Full route”やめたけど、こんなFilter書いてます的な⼈人
　AS取得者=“Full route”という概念念、どこかにありますか？
　BGP-‐‑‒Routerを減価償却終了了まで維持できてますか？
キャリアさん
　なぜみなFull route持ちたがるか不不思議に思ってませんか？

JANOG34_Fullrouteやめたら人生かわった@AS55394 20150526

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (20)

JANOG34_Fullrouteやめたら人生かわった@AS55394 20150526