Más contenido relacionado Similar a ブロードバンド品質計測に関する考察 (20) Más de Toshiya Jitsuzumi (20) ブロードバンド品質計測に関する考察1. ブロードバンド品質計測に関する考察
A Discussion on an Optimal Framework for Broadband Quality Measurement
九州大学 実積寿也
Toshiya Jitsuzumi, Kyushu University
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 1
3. 1. 問題の背景(1/5)
• ブロードバンドインターネットは先進各国において経
済社会活動のインフラとなりつつあり、わが国にお
いても高速なインターネット接続の存在を所与の前
提条件としたエコシステムの構築がすすんでいる。
• 2012年3月末時点で、超高速ブロードバンド が利用
可能な世帯は5,235万世帯、利用可能率は97.3%。
3.5世代携帯電話を含むブロードバンド の利用可能
率は100%。
• 固定網の最高速度は1Gbpsに、近年進展が著しいモ
バイルの分野では150Mbpsに達している。
• ただし、これらのブロードバンド環境はそのほとんど
がベストエフォートと呼ばれる品質基準で提供。
• 実効速度が上限速度を大幅に下回っても、利用者は
契約上の義務の不履行を主張することが困難。
• ベストエフォート品質については詐欺的な過大広告
や虚偽表示が蔓延する可能性が指摘。
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 3
136.3
95.0
89.7
76.3
74.5
68.3
66.8
63.9
53.6
52.3
52.0
48.9
44.7
44.4
41.3
41.3
36.5
35.7
34.5
33.5
32.0
31.7
31.4
30.5
29.4
29.2
26.2
25.7
24.9
23.3
22.7
22.1
21.9
17.5
11.2
0 20 40 60 80 100 120 140 160
Sweden
Japan
Netherlands
Portugal
Norway
Korea
Canada
Slovenia
Finland
Denmark
France
United Kingdom
United States
OECD
Spain
Luxembourg
Australia
Belgium
Czech Republic
Estonia
Slovak Republic
Italy
New Zealand
Austria
Poland
Hungary
Iceland
Chile
Germany
Switzerland
Ireland
Israel
Greece
Turkey
Mexico
出典:OECD Broadband statistics [http://oecd.org/internet/broadband/oecdbroadbandportal.htm]
上限ダウンロード速度の平均値(2012年9月)
4. 1. 問題の背景(2/5)
• 優秀なブロードバンド環境が整っているとされる
わが国では、実効速度は高水準であるものの、
速度表示に関する誠実性は他国に比して劣る。
• 同様の事態は近年利用が急速に進んでいるモバ
イルブロードバンドの分野でも発生。
• 問題解決を市場メカニズムを通じて実現するには、
実効品質情報をネットワーク利用者に示し、その
購買行動に影響を与えることでプロバイダのネッ
トワーク投資行動を最適化することが必要
• 総務省では、2013年11月より「インターネットの
サービス品質計測等の在り方に関する研究会」を
開催し、モバイルブロードバンドの実行品質計測
方法に関する検討を進めている。
• 本来は同様の検討を固定網に関しても行う必要が
ある。とくに近年、携帯電話端末にWi-Fi機能が備
えられていることが通常である点を考慮すれば、
利用者にとってモバイル網の実効品質と固定網の
それを区別すべき必然性は存在しない。
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 4
0%
10%
20%
30%
40%
50%
60%
70%
0 5 10 15 20 25 30 35 40
表示速度と
実効速度の
比率(%)
平均実効速度(Mbps)
Actual QoS
日本(2009年11月)
日本(2011年1月)
日本(2012年3-4月)
日本(2013年3月)
米国(2009年)
英国(2010年5月)
豪州(2008年Q4)
アイルランド(2008年)
注:測定方法や対象が一定ではないので国際比較については参考値である。
出典:Akamai、Epitiro、FCC資料等より作成
日本(2014年3月)
8. 2. 固定環境下における計測(1/7)
• 固定環境下におけるブロードバンドの実効品質計測については、FCCやEUにおいて既に先行事例が存在。
• ユーザー宅内に特別のハードウェアを設置してサーバーとの間での実効品質を計測する手法(ハードウェア型)
と、ユーザーの所有のパソコン等の端末機器に予めインストールした専用ソフトウェアあるいはウェブブラウザを
介して計測サーバーとのやり取りを行って実効品質を計測する手法(ソフトウェア型)が存在。
• サンプル数についてはある程度妥協しつつも、個々の計測の精密さを優先するのであれば、ハードウェア型の計測手法
を、個々の計測のばらつきはサンプル数でカバーするという方針を採用するのであればソフトウェア型を選択することが
望ましい。
• 実効品質は計測環境に大きく左右されてしまうことから、そういった要因をできるだけ排除できるハードウェア型の方がより統計的に
頑健な結果が期待できる。
• ソフトウェア型はハードウェア型と比較して計測コストを大きく節減できるため、投入可能資源が限られている中でサンプル数をでき
る限り確保したいケースにおいては合理的な選択。
• 今回採用したのはソフトウェア型の計測方法であり、Ookla社が提供する実行品質計測サービス(speedtest.net)
を利用し、計測サーバーをアカロク㈱が提供している東京サーバーに指定したうえで、平日と週末を含む午後2
時からの30分間を原則的な計測時点とし、複数の端末機器を利用して可能な限り大量に反復計測を実施。
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 8
9. 2. 固定環境下における計測(2/7):計測パラメータ
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 9
計測パラメーター 研究室での計測 自宅での計測
計測日時 Sat., Jan. 18, 2014, 14:00-14:30; Mon., Jan. 20, 2014, 14:00-14:30;
Wed., Jan. 22, 2014, 14:10-14:40; Thu., Jan. 23, 2014, 15:10-15:40;
Fri., Jan. 24, 2014, 14:00-14:30; Sat., Jan. 25, 2014, 14:00-14:30;
Sun., Jan. 26, 2014, 14:00-14:30; Wed., Jan. 29, 2014, 14:00-14:30;
Thu., Jan. 30, 2014, 14:00-14:30; Fri., Jan. 31, 2014, 14:00-14:30;
Sat., Feb. 1, 2014, 14:00-14:30; Sun., Feb. 2, 2014, 14:00-14:30;
Sun, Mar. 2, 2014, 14:00-14:30
Mon., Jan. 27, 2014, 14:00-14:30; Tue., Jan. 28, 2014, 14:00-14:30;
Mon., Feb. 3, 2014, 14:00-14:30; Tue., Feb. 4, 2014, 14:00-14:30;
Wed., Feb. 5, 2014, 14:00-14:30; Thu., Feb. 6, 2014, 14:00-14:30;
Fri., Feb. 7, 2014, 14:00-14:30; Sat., Feb. 8, 2014, 14:00-14:30;
Sun., Feb. 9, 2014, 14:00-14:30; Mon., Feb. 17, 2014, 14:00-14:30;
Tue., Feb. 18, 2014, 14:00-14:30; Wed., Feb. 19, 2014, 14:00-14:30;
Thu., Feb. 20, 2014, 14:00-14:30; Fri., Feb. 21, 2014, 14:00-14:30;
Sat., Feb. 22, 2014, 14:00-14:30; Sun, Mar. 2, 2014, 14:00-14:30
計測場所 九州大学箱崎キャンパス経済学部棟6Fの研究室 福岡市東区の自宅マンション
ブロードバンド環境 有線LANおよび無線LAN
学内LAN
有線LANおよび無線LAN
NTT西日本フレッツ光プレミアム、マンションタイププラン1
プロバイダ Kyushu University hi-ho
計測サービス Speedtest.net
計測サーバー アロカク株式会社(東京都)が設置するサーバー
計測項目 ダウンロード速度; アップロード速度; レスポンス時間(latency)
端末機器(有線接続) DELL XPS 8500; DELL XPS 420 DELL Inspiron
端末機器(Wi-Fi接続) MacBook Air; Surface 2 Surface 2
Wi-Fi ルーター LYNKSIS Wireless-N Home Router (WRT150N) BUFFALO AirStation NFINITI (WZR2-G300N)
10. 2. 固定環境下における計測(3/7):Ooklaシステムの性質
• レスポンス時間(Latency)
• 10回計測を行い、最速値を出力
• ダウンロード速度(Download )
• 最高8本のHTTPスレッドを設定した上で、一秒間に最大30回計測
• 計測自体は10秒間実施
• 計測値順に20の計測結果にグルーピングし、速い方の10%と遅
い方の30%をカットし、平均値を計算して出力
• Flash利用による計測雑音、および、接続当初のランプアップを考慮
• アップロード速度(Upload)
• 最高8本のHTTPスレッドを設定した上で、計測を実施
• 速い方の半分の平均値を出力(つまり、遅いほうの半分をカット)
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 10
http://www.ookla.com/support/a21110547/what+is+the+test+flow+and
• Ookla社の提供するspeedtestはサーバーとクライアント間で以下の三つを計測
11. 2. 固定環境下における計測(4/7):計測結果の集約
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 11
Download Speed (Mbps) Upload Speed (Mbps) Latency (ms)
N Average s.d. Average s.d. Average s.d.
研究室での計測
Weekday 1672 20.09 12.36 18.13 10.35 29.08 14.10
Mon 228 19.63 10.77 18.26 8.83 28.50 9.52
Wed 498 20.77 13.19 18.20 11.07 27.78 9.59
Thu 486 19.93 11.59 18.61 9.35 27.89 9.72
Fri 460 19.74 12.94 17.47 11.19 32.02 21.61
Weekend 1283 22.55 11.65 20.52 9.26 27.78 8.26
Sun 620 21.99 11.97 20.34 9.04 27.84 8.56
Sat 663 23.07 11.32 20.68 9.46 27.72 7.98
Wired 1503 31.28 8.28 26.99 7.66 21.55 5.12
XPS 420 729 30.35 7.68 22.56 6.34 17.63 4.25
XPS 8500 774 32.17 8.73 31.15 6.35 25.24 2.40
Wi-Fi 1452 10.67 3.38 11.07 3.49 35.72 12.67
Macbook Air 792 10.67 3.63 11.32 3.23 33.24 13.89
Surface 2 660 10.66 3.04 10.77 3.76 38.70 10.29
All Samples 2955 21.15 12.11 19.17 9.96 28.51 11.94
自宅での計測
Weekday 1510 31.74 19.26 34.88 20.30 32.24 6.71
Mon 375 31.39 19.24 36.45 21.36 32.70 6.85
Tue 373 31.48 19.85 35.16 21.63 32.31 6.77
Wed 258 31.54 18.16 31.21 17.26 33.09 6.82
Thu 254 32.72 20.67 35.18 19.62 31.00 6.28
Fri 250 31.86 18.09 35.63 19.89 31.82 6.52
Weekend 511 31.12 17.74 35.78 20.57 32.86 6.83
Sun 255 31.27 17.80 35.23 20.59 33.45 6.85
Sat 256 30.97 17.72 36.32 20.57 32.28 6.77
Wired Inspiron 1032 49.49 6.04 54.39 6.97 28.03 1.98
Wi-Fi Surface 2 989 12.90 2.60 14.99 1.89 36.95 6.94
All Samples 2021 31.58 18.88 35.11 20.36 32.40 6.74
• 研究室よりも自宅での方が、
latencyをのぞけば、高品質なブ
ロードバンド環境が実現
• 午後の早い時間帯の計測におい
ては、曜日差は有意ではない
• 以前行った計測では、時間
帯により大きな実効速度の
変動を観測
• 端末機器による差はほとんど観
察されない
• 一方で有線接続はWi-Fi接続より
も有意に良好なパフォーマンスを
記録
• 速度計測の標準偏差が大きい
12. 2. 固定環境下における計測(5/7):時間変化
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 12
• アップロード速度、レ
スポンス時間でも同じ
傾向
• 日時との相関は観察
できない
0
20
40
60
80
100
0 40 80 120 160 200 240 280 320 360 400 440 480 520 560 600 640 680 720 760 800 840 880 920 960 1000 1040 1080 1120 1160
Download Speed (Mbps)
XPS8500 XPS420 Inspiron MacbookAir Surface2
From my office From my home
Sat.,Jan.18,2014,14:00-14:30
Mon.,Jan.20,2014,14:00-14:30
Wed.,Jan.22,2014,14:10-14:40
Thu.,Jan.23,2014,15:10-15:40
Fri.,Jan.24,2014,14:00-14:30
Sat.,Jan.25,2014,14:00-14:30
Sun.,Jan.26,2014,14:00-14:30
Wed.,Jan.29,2014,14:00-14:30
Thu.,Jan.30,2014,14:00-14:30
Fri.,Jan.31,2014,14:00-14:30
Sat.,Feb.1,2014,14:00-14:30
Sun.,Feb.2,2014,14:00-14:30
Sun,Mar.2,2014,14:00-14:30
Mon.,Jan.27,2014,14:00-14:30
Tue.,Jan.28,2014,14:00-14:30
Mon.,Feb.3,2014,14:00-14:30
Tue.,Feb.4,2014,14:00-14:30
Wed.,Feb.5,2014,14:00-14:30
Thu.,Feb.6,2014,14:00-14:30
Fri.,Feb.7,2014,14:00-14:30
Sat.,Feb.8,2014,14:00-14:30
Sun.,Feb.9,2014,14:00-14:30
Mon.,Feb.17,2014,14:00-14:30
Tue.,Feb.18,2014,14:00-14:30
Wed.,Feb.19,2014,14:00-14:30
Thu.,Feb.20,2014,14:00-14:30
Fri.,Feb.21,2014,14:00-14:30
Sat.,Feb.22,2014,14:00-14:30
Sun,Mar.2,2014,14:00-14:30
13. 2. 固定環境下における計測(6/7):計測のばらつき
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 13
• アップロード速度、レスポンス時間
でも同じ傾向
0
100
200
300
400
500
Frequency
Download Speed (Mbps)
Wired
Wi-Fi
Measurement site: Speedtest.net
Measurement place: my office at Kyushu University, Fukuoka, Japan
ISP: Kyushu University
Access Line: University LAN
DELL XPS420 and DELL XPS8500
MacBook Air and Surface2
研究室
0
100
200
300
400
500
600
700
Frequwency
Download Speed (Mbps)
Wired
Wi-Fi
Measurement site: Speedtest.net
Measurement place: my home in Fukuoka, Japan
ISP: hi-ho
Access Line: FTTH for multi-dwelling unit provided by NTT West, 100Mbps
DELL Inspiron 17R Special Edition
Surface 2
自宅
16. 3. モバイル環境下における計測(2/4):計測パラメータ
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 16
計測パラメーター KDDI端末を用いた計測 ソフトバンク端末を用いた計測
計測日時 Fri., Jan. 24, 2014, 16:00-18:00
Fri., Jan. 31, 2014, 16:00-18:00
計測場所 九州大学箱崎キャンパス経済学部棟5Fの教室
ブロードバンド環境 KDDIの提供する3G回線(iPhone4S)
およびLTE回線(iPhone5)
ソフトバンクの提供するLTE回線
プロバイダ au ソフトバンク
計測サービス 独自ソフトを利用
計測サーバー 計測協力者が東京都内に設置するサーバー
計測項目 以下の項目については10分間隔で自動計測
• レスポンス速度:往復遅延時間(RTT)を0.2秒間隔で150回計測
• ダウンロード速度:10秒間の総スループット量より計算
• TCPストリームを1本、3本、5本設定したものを各1回、計3回計測
• アップロード速度:10秒間の総スループット量より計算
上記に加え、tracerouteを三回計測し、計測サーバーまでのホップ数を記録
端末機器 iPhone4S(iOSについては最新バージョンを使用)
iPhone5(iOSについては最新バージョンを使用)
iPhone5(iOSについては最新バージョンを使用)
iPhone5S(iOSについては最新バージョンを使用)
17. 3. モバイル環境下における計測(3/4):計測結果の集約
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 17
N
Download Speed (Mbps) Upload Speed
(Mbps)
Median RTT
(ms)
Number of hops
1 TCP stream 3 TCP streams 5 TCP streams
Average s.d. Average s.d. Average s.d. Average s.d. Average s.d. Average s.d.
KDDI
Jan. 24, 2014 5.13 4.04 5.06 4.18 5.49 4.61 1.82 1.62 79.9 31.0 14.2 0.89
iPhone4S 17 1.85 0.84 1.82 0.84 2.05 2.06 0.80 0.17 104.7 22.9 13.8 0.54
iPhone5 17 8.40 3.18 8.30 3.59 8.93 3.79 2.84 1.78 53.6 7.8 14.8 0.99
Jan. 31, 2014 10.66 8.79 11.14 8.88 11.10 8.90 4.92 8.04 70.0 26.6 14.5 1.08
iPhone4S 5 8.98 16.20 11.60 16.56 11.31 16.69 8.23 15.24 97.0 27.1 13.3 1.35
iPhone5 12 11.36 3.89 10.95 3.84 11.02 3.74 3.54 1.57 58.8 17.3 15.1 0.23
Softbank
Jan. 24, 2014 15.42 9.10 17.22 10.56 17.41 11.16 9.13 6.06 62.9 35.0 23.8 6.10
iPhone5 75 15.48 8.42 16.99 8.25 17.73 9.04 10.20 5.97 62.6 40.3 24.8 5.27
iPhone5S 29 15.26 10.81 17.81 15.16 16.58 15.52 6.34 5.48 64.0 14.2 21.2 7.33
Jan. 31, 2014 17.85 10.72 18.37 11.83 19.47 11.22 16.67 14.16 58.9 13.3 20.2 7.47
iPhone5 63 18.27 8.23 18.56 10.22 20.44 9.40 15.44 10.29 59.3 13.7 23.2 6.62
iPhone5S 25 16.78 15.48 17.88 15.40 17.01 14.80 19.76 20.96 57.8 12.5 12.4 1.46
18. 3. モバイル環境下における計測(4/4):計測値の分散
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 18
0.0
10.0
20.0
30.0
40.0
50.0
950 980 1010 1040 1070 1100 1130
TIME(s)
KDDI-4S
KDDI-5
SB-5
SB-5S
16:00-, Jan. 24, 2014
0.0
10.0
20.0
30.0
40.0
50.0
1950 1980 2010 2040 2070 2100 2130
TIME(s)
KDDI-4S
KDDI-5
SB-5
SB-5S
16:00-, Jan. 31, 2014
KDDI iPhone4S
KDDI iPhone5
Softbank iPhone5
Softbank iPhone5S
16:00 17:00 18:00 19:00 16:00 17:00 18:00 19:00
0
10
20
30
40
50
60
70
Download speed (Mbps)
0
10
20
30
40
50
60
70
0 1 2 3 4 5 6 7 8
• 平均値はソフトバンクの方が高く、さらに標準偏差についてもレ
スポンス時間を唯一の例外としてソフトバンクの方が高水準を
記録。すなわち、KDDIの実効品質は安定的であるものの、その
絶対水準はソフトバンクと比較して下回る
• アップロード速度についても同傾向
19. 4. 政策提言(1/9):有意な結果を得るための計測回数
• 固定環境下における計測から判明したこと
• 計測結果の分散を考慮すると、90%の信頼区間がプラスマイナス10%に収まるような平均値を導出するためにはそれぞ
れ以下のサンプルを取得する必要がある。研究室での計測と比較すると、より分散の小さい自宅での計測の方が要求さ
れるサンプル数は少ない。
• ラストマイル末端においてWi-Fiを利用している場合の方と、そうでない場合は実効品質の格差が大きく、ダウンロード速
度は三分の一から四分の一に、アップロード速度は約4割に低下し、レスポンス速度は1.3倍から1.6倍に増加する。
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 19
ダウンロード速度 アップロード速度 レスポンス速度
研究室での計測 有線環境 19サンプル
最大3420有効サンプル、5700計測
22サンプル
最大3960有効サンプル、6600計測
16サンプル
最大2880有効サンプル、4800計測
Wi-Fi環境 28サンプル
最大5040有効サンプル、8400計測
27サンプル
最大4860有効サンプル、8100計測
35サンプル
最大6300有効サンプル、10500計測
自宅での計測 有線環境 5サンプル
最大900有効サンプル、1500計測
5サンプル
最大900有効サンプル、1500計測
2サンプル
最大360有効サンプル、600計測
Wi-Fi環境 11サンプル
最大1980有効サンプル、3300計測
5サンプル
最大900有効サンプル、1500計測
10サンプル
最大1800有効サンプル、3000計測
20. 4. 政策提言(2/9):有意な結果を得るための計測回数
• モバイル環境下における計測から判明したこと
• 計測結果の分散を考慮すると、90%の信頼区間がプラスマイナス10%に収まるような平均値を導出するためにはそれぞ
れ以下のサンプルを取得する必要がある。
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 20
ダウンロード速度
アップロード速度 レスポンス速度
1 TCP 3 TCP 5 TCP
KDDI
Jan. 24, 2014
iPhone4S 56サンプル 58 274 13 13
iPhone5 39 51 49 107 6
Jan. 31, 2014
iPhone4S 881 552 590 928 22
iPhone5 32 34 32 54 24
SoftBank
Jan. 24, 2014
iPhone5 81 64 71 93 113
iPhone5S 136 197 238 203 14
Jan. 31, 2014
iPhone5 55 83 58 121 15
iPhone5S 231 201 205 305 13
24. 4. 政策提言(6/9):通信事業者がふさわしくない5つの理由
1. 計測されるのは利用者目線からみたend-to-end(e2e)の通信品質
• 通信事業者はe2e品質をコントロールできる地位にはないため、折角得られた情報を有効活用できる見込みがなく、計測
結果の有効活用や計測方法の改善、さらには計測作業継続のインセンティブを期待できない。
2. 実効速度計測結果は測定場所や使用機種、周辺環境によって大きく影響を受ける
• 実施プロセスの共通化は必須であるが、全てのパラメータを事前に確定しておくことは困難
• 「より良い計測条件」を追及しようという各社の恣意的行動を排除することは不可能
3. 計測費用を各社負担とする場合、トライアルを数多く行う資源を有する事業者が「より望ましい計測結果」を入手
• 当該数値を用いた広告キャンペーンが結果的には競争中立性にそぐわない
4. e2eの品質改善にはコンテンツ・アプリ事業者や、バックボーン事業者の協力が不可欠
• 通信事業者が主体となった計測ではその公平性に疑義が生じる恐れあり
• また、事後的な協力体制の確立は、「犯人探し」の要素が加わるため達成が困難
5. 既存の実効速度計測市場との競合サービス
• 計測アプリの開発等においてノウハウを既に蓄積している既存事業者の協力が効率的な計測体制確立に必須
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 24
27. 4. 政策提言(9/9):目指すべき方向性
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 27
A社による計測
計測条件
計測サーバーの位置 ………….
計測方法 ……….
計測サンプル数 ………….
計測期間・頻度 ………….
………..
計測結果
地点AにおけるISP α 利用者の実効品質
電波強度
平均ダウンロード速度 ○○Mbps
平均アップロード速度 ○○Mbps
ジッタ(通信ゆらぎ) 最大○○ms
パケットロス ××%
通信遅延 □□ms
………….
地点AにおけるISP β 利用者の実効品質
……….
B社による計測
C社による計測
D社による計測
品質計測.com
(各社の計測結果を比較表示
する情報サイト)
プロフェッショナルな利用者は
詳細な実測データを直接利用
一般利用者に、個別事情を
考慮し、かつ、理解容易な
形にまとめた情報を提供
し、ブロードバンド環境を改
善
ISPソムリエ
各ISPの契約条件の情報
各利用者の利用実態に対する独自調査
ソムリエ相互の競争
28. ブロードバンド品質計測に関する考察
A Discussion on an Optimal Framework for Broadband Quality Measurement
九州大学 実積寿也
Toshiya Jitsuzumi, Kyushu University
2014/6/29第31回情報通信学会大会@大阪大学中之島センター 28