More Related Content
Similar to Internetトラフィックエンジニアリングの現実 (20)
More from J-Stream Inc. (12)
Internetトラフィックエンジニアリングの現実
- 1. © J-Stream Inc. All Rights Reserved.
2017年8月27日
鍋島公章
株式会社Jストリーム
Internetトラフィック
エンジニアリングの現実
July Tech Festa 2017@産業技術大学院大学
- 2. 2© J-Stream Inc. All Rights Reserved.
はじめに
本資料の目的
トラフィックエンジニアリングの説明
大規模配信側視点
BGPではなくCDN
マネージャ視点
技術詳細ではなく、社会的背景、技術概要、効果
- 3. 3© J-Stream Inc. All Rights Reserved.
エンジニアリング
サイエンスとエンジニアリング
サイエンス エンジニアリング
目的 真理の探究 人類の幸福
アウトプット 論文 ビジネス
大学 理学部 工学部
キャッチフレーズ
It’s beautiful
(体系・数式の美しさ)
It works
(動いてなんぼ)
イメージ 洗練 泥臭さ
- 4. 4© J-Stream Inc. All Rights Reserved.
Internetトラフィックエンジニアリング
速度制御
・シェーピング
・ペーシング
透過型プロキシー
・コンテンツ変換
複製(網側)
・TCP Proxy
経路制御
・BGP
CDN
・リクエストルーティング
・コンテンツ複製(サーバ側)
広義:IPネットワーク運用における
パフォーマンス評価と最適化
狭義:(大量の)Internetトラフィックを
上手くコントロール(経路制御)すること
優先処理
・VoLTE
グローバルDC
・エニキャスト
- 5. 5© J-Stream Inc. All Rights Reserved.
Internetトラフィックエンジニアリング
関連
閉域網(VPN):MPLS TE 交通(土木工学):交通制御
(Traffic Engineering)
RFC 2702 Requirements for Traffic Engineering Over MPLS
RFC 3346 Applicability Statement for Traffic Engineering with MPLS
- 6. 6© J-Stream Inc. All Rights Reserved.
Internetトラフィック管理の難しさ
Internet
ネットワークを相互接続させたネッ
トワーク(分散協調ネットワーク)
ピアリング、トランジット
Internetトラフィック
複数の事業者・ネットワークを通過
配信、DC、IX、トランジット、ISP
トラフィック取引
トラフィック=お金
- 7. 7© J-Stream Inc. All Rights Reserved.
ネットワークの中立性問題(コスト負担問題)
誰がInternetのコストを負担するか?
ユーザ(ISP)とサーバ(OTT)のパワーゲーム(費用の押し付け合い)
による全体最適化
パワーゲーム=ユーザを人質としたチキンゲーム
例:OTTとISP間の回線容量が足りない
OTT→ISP:このままだとISPユーザ減るよ!
ISP→OTT:このままだとOTTユーザ減るよ!
Internet
配信費用ネット利用料
- 8. 8© J-Stream Inc. All Rights Reserved.
米国事例
2010~2014年(自社CDN以前)
巨人2社
VoD:Netflix (2014末:約4,000万加入(2016末約5,100万加入) )
ブロードバンド接続:Comcat(2014末約2,200万加入(2016末約2,400万加入))
両社間の接続
対等(無料ピアリング)
Netflixトラフィック増加とともに接続性が悪化(2013年10月ごろ)
Comcastがピアリングの有料化をNetflixに要求
Netflixが配信料をComcastに支払うことで合意(2014年2月)
- 9. 9© J-Stream Inc. All Rights Reserved.
コスト負担問題
現状とトレンド
国内固定網:だいたいバランス?
消費者ISP市場規模:数千億円※1
配信市場規模:数千億円※2
国内モバイル網:ユーザがInternetを維持
データ通信市場規模:数兆円
配信市場規模:数千億円
ゼロレーティング
モバイルネット利用料を配信側が負担
Internet
配信費用ネット利用料
※1:足回り(光ファイバ)含めると2兆円弱
※2:配信市場規模:DC等回線+CDN
(CDN単体市場は数百億程度)
- 10. 10© J-Stream Inc. All Rights Reserved.
トランジット
トランジット( ):Internet全体への接続性を購入
国際(Tire1)ISP
日本(大手)
海外
ISP
国際(アジア等)
日本(地方)
- 11. 11© J-Stream Inc. All Rights Reserved.
ピアリング
ピアリング( ):ISP間の相互トラフィック交換
プライベート・ピア
(直接接続)
パブリック・ピア
(IX経由)
ISP ISP ISP ISP
IX
費用折半
ISPDC
ペイド
(Paid)
IX
ISPDC
トラフィックはIX経由
費用は直接支払
主にDCとISP間
- 12. 12© J-Stream Inc. All Rights Reserved.
トラフィック取引(マネーフロー)
概要
国際(Tire1)
国際(アジア等)
国内(全国)
国内(地方)
IX
ユーザのみ DCのみユーザ+DC
ローカルISP・DC
ピアリング
トランジット
グローバルDC
(Google等)
- 13. 13© J-Stream Inc. All Rights Reserved.
グローバルDC
特徴
自社だけで全世界をカバー
だれとでも無料ピアリング(トランジット販売無し)
技術
エニキャスト:網内に同一IPサーバを複数配置
コールドポテト:できるだけユーザに近い所からトラフィックを出す
ISP ISP
8.8.8.8 8.8.8.8
ISP
コールドポテト
ホットポテト
- 14. 14© J-Stream Inc. All Rights Reserved.
インタラクティブ通信のエンジニアリング
ローバルDC:コールドポテト
最大限、グローバルDCの国際ネットワークを使う
品質管理が容易(一般に高品質)
ホップ(中継ルータ)数が減る(レイテンシ向上)
CDN:CDNサーバ間の特殊処理
CDN専用バックボーン
専用(わがまま:公平性無視)プロトコル
オリジンサーバCDNサーバ CDNサーバ
TCP TCP
特殊プロトコル
CDN専用バックボーン
- 15. 15© J-Stream Inc. All Rights Reserved.
BGP
BGP基本
1、それぞれのネットワークが経路情報(+ポリシー)を外部に広報
受け取りたい:経路広報
受け取りたくない:PATHプリペンド(ダミーパス追加)
2、それぞれは(1が正しいと信じて)経路テーブルを作成
経路情報
経路情報
経路情報
経路情報
経路情報
経路情報
経路情報
経路情報
経路
テーブル
経路
テーブル
経路
テーブル
経路
テーブル
- 16. 16© J-Stream Inc. All Rights Reserved.
BGPの特徴
BGP
受信トラフィック
Internet全体に対しある程度のコントロールが可能
ポリシーは伝播される
受信ポリシーの広報
分散協調システムにおける「ある1つのネットワークの希望する経路」
送信側がそのポリシーを遵守しない場合もある
送信トラフィック
Internet全体に対するコントロールはできない
ポリシーの伝播なし
送信ポリシーは自ネットワークの出口制御まで、その先の制御は、その先のネッ
トワークにお願い
- 17. 17© J-Stream Inc. All Rights Reserved.
配信事業者の視点
BGPトラフィックエンジニアリング
できること
出来るだけ多くのISPとピアリング(一般なコスト:トランジット>ピアリング)
(配信事業者に)安いトランジットISPを上手く使う
送信トラフィックの制御は難しい
まだまだ頑張りたい
配信コストの9割以上を占める回線費用を圧縮
配信コストの内訳
サーバ費用:回線・ルータ費用=1:10~
CDN技術の積極活用
アグレッシブな送信制御
- 18. 18© J-Stream Inc. All Rights Reserved.
CDN基本
特徴
地理分散された多数の配信サーバ
リクエストナビゲーション(GSLB、GTM)
トラフィックエンジニアリング
ユーザの近くにサーバ配置
回線を出来るだけ使わない
配信の柔軟性
いろいろな場所かから
いろいろなパターンで配信
- 19. 19© J-Stream Inc. All Rights Reserved.
CDN運用
運用テクニック※
Tire1 ISPからの配信
ISP無償コロケーション
配信拠点のオークション調達
海外からの配信
活用テクニック
巨大キャリアのCDN活用
※注意点
一般論であり、現在は通用しないテクニックも含む
- 20. 20© J-Stream Inc. All Rights Reserved.
CDN運用:運用テクニック
Tire1 ISPに配信サーバを(格安で)置く
Tire 1 ISPは、そのトラフィックを国際トランジットとして販売
Tire 1 (国際)ISP
日本国内
ローカルISP
海外
- 21. 21© J-Stream Inc. All Rights Reserved.
CDN運用:運用テクニック
ISP無償コロケーション
ローカルISPに無償でサーバを置いてもらう
ローカルISPにとっては上位ISPへの回線負担が減る
無償で置かせたサーバから近傍のISPに配信する
Tire 1 (国際)ISP
日本国内
ローカルISP
- 22. 22© J-Stream Inc. All Rights Reserved.
CDN運用:運用テクニック
配信拠点のオークション調達
CDNでは配信拠点の移設が容易
CDN=安価で使える網構成を追い続けるための技術
100円/Mbps 200円/Mbps 300円/Mbps
(オープン)
入札
- 23. 23© J-Stream Inc. All Rights Reserved.
海外
CDN運用:運用テクニック
海外から配信する
配信費用:1/10程度
動画:数Mbps程度なら問題なし(バッファリング)
マルチCDN:パフォーマンスが落ちたら国内から配信
バッチ系ダウンロード:非インタラクティブ
Tire 1 (国際)ISP
日本国内
- 24. 24© J-Stream Inc. All Rights Reserved.
CDN活用:巨大キャリアのCDNコントロール
国内ISP
CDNサーバは、国内ISPではなく、国際ISPに置かせる
国際ISP
①CDNサーバから配信料を徴収
②CDNが配信したトラフィックを他のISPにトランジットとして販売
巨大キャリア
③そのCDNの有力代理店
国際ISP日本国内
国内ISP
ISPs
ISPs
巨大キャリア
・国内ISP(AS)と国際ISP(AS)を持つ通信キャリア
一粒で3度美味しい
- 25. 25© J-Stream Inc. All Rights Reserved.
CDN利用方法
OTT事業者のCDN利用形態
単独CDNから、マルチCDN、自社CDNへの移行が進む
出典:OTT Video Services (2017)
http://www.streamingmedia.com/Research/7064-OTT-VIDEO-SERVICES-INNOVATION-
OPPORTUNITY-MATURATION--TECHNOLOGY-TRENDS-IN-OTT-DELIVERY.htm
利用形態 OTT事業者数
単独(汎用)CDN 30%
マルチ(汎用)CDN 48%
自社CDN 22%
- 26. 26© J-Stream Inc. All Rights Reserved.
マルチCDN
複数のCDNを使ったトラフィックエンジニアリング
ユースケース 概要
ラウンドロビン 一定比率で複数のCDNを利用
国別切替 国別に使用するCDNを選択
ベストパフォーマンス 地域別、時間別で最速のCDNを利用
バックアップ プライマリCDNがダウンした時にバックアップCDNを利用
オーバーフロー
プライマリCDNの利用量が一定以上になった時、セカンダ
リCDNのみを利用
バースト対応
(ハイブリッドCDN)
オンプレミス設備or自社CDNの帯域を使い切った時、汎
用CDNを追加利用
最小コスト 一定条件(最低速度)の元で最小コストのCDNを利用
- 27. 27© J-Stream Inc. All Rights Reserved.
自社専用CDNの普及(北米、2016年下期)
ハイパージャイアントは自社専用CDNを構築、運用
固定網: 56.94%
(マルチCDN利用も含むと61.74%)
モバイル網: 24.59%
(マルチCDN利用も含むと41.58%)
背景
配信トラフィック
自社トラフィック > 汎用CDN
固定:56.94% モバイル:24.59%
Netflix 35.15 % Youtube 20.87 %
Youtube 17.53 % Facebook 13.97 %
Amazon Video 4.26 % HTTP - Other 9.36 %
HTTP - Other 4.19 % SSL - Other 6.85 %
iTunes 2.91 % Instagram 6.66 %
Hulu 2.68 % Snapchat 5.17 %
SSL - Other 2.53 % Netflix 3.72 %
Xbox One 2.18 % iTunes 3.02 %
Facebook 1.89 % Google Cloud 2.87 %
BitTorrent 1.73 % MPEG - Other 2.37 %
サービス別トラフィック出典:Sandvine Global Internet Phenomena
https://www.sandvine.com/trends/global-internet-phenomena/
- 28. 28© J-Stream Inc. All Rights Reserved.
自社専用CDN
2010年ごろまで
ハイパージャイアントも汎用CDNサービス(Akamai等)を使用
汎用CDNがInternetを支配(半分程度のトラフィックを配信)
2017年現在
Internetのビデオ化が顕著(トラフィックの7割以上はビデオ)
一部OTTがビデオマーケットを寡占
有料VoD:Netflix
無料VoD:Youtube
自社専用CDNへ切り替え
自社専用CDNがInternetを支配(半分以上のトラフィックを配信)
- 29. 29© J-Stream Inc. All Rights Reserved.
自社専用CDN背景
背景・メリット・デメリット
大項目 補足
背景
CDNサーバの低廉化
・オープンソースHTTPサーバソフトウェア
の成熟(Cacheモード)
動画のHTTP化 ・オープンソースHTTPサーバが利用可能
メリット
柔軟・詳細・シンプルな
運用
・共用運用の煩雑さ無し
・設定コンソール不要
・コンフィグ直設定による詳細設定
・消費者行動分析による複製管理
デメリット 規模が必要
- 30. 30© J-Stream Inc. All Rights Reserved.
複製管理のトレンド
CDNトレンド:単純配信から全体管理へ
背景
自社専用CDNの普及
汎用CDN
設備が余る⇒大幅ディスカウント(Akamaiでもメディア配信は減収減益)
配信のみでは儲からない⇒サービス全体の受託を目指す
垂直統合(CDN+OVP(Online Video Platform)+顧客DB)
配信管理+コンテンツ管理+ユーザ管理
複製はハイブリッド(ミラー+キャッシュ)利用
予測可能な人気コンテンツ:ミラー
コンテンツの属性分析、ユーザ行動分析
その他(ロングテール):キャッシュ
- 31. 31© J-Stream Inc. All Rights Reserved.
CDNによるInternetの単純化
CDN配信サーバのスペック
配信キャパ:1台で数十Gbps
SSDとメモリの塊←高価
配信サーバの配置
一定規模以上のISPのみ
中小ISPは切り捨て
- 32. 32© J-Stream Inc. All Rights Reserved.
ネットワーク構造の今後
CDN/OTTを中心とした、シンプルなネットワーク構造
CDNサーバを置いてもらえないISPは大手に吸収される
- 33. 33© J-Stream Inc. All Rights Reserved.
おわりに
Internetトラフィックエンジニアリング
パワーゲームの武器
Internetトラフィックエンジニアリングのトレンド
BGP→汎用CDN→マルチCDN→自社CDN
Internetの今後
メディア配信プラットフォームへ
双方向通信はおまけ
パワーゲームによる単純化、集約
基本構造の変化
より高度な配信・複製管理
ユーザの行動分析(ビッグデータ解析)
- 34. 34© J-Stream Inc. All Rights Reserved.
参考文献その他
講演サポートページ
https://tech.jstream.jp/blog/meeting/jtf2017_te/