Este documento presenta los resultados de una evaluación de la calidad subjetiva de juegos online según el dispositivo de acceso. Se simuló un escenario con varios jugadores compartiendo una conexión y se midieron parámetros como el retardo, jitter y pérdidas para diferentes tamaños de buffer y anchos de banda. Los resultados muestran que el retardo y jitter aumentan significativamente con el tráfico de fondo, superando los límites de calidad para la experiencia de juego. El modelo G permite calcular un MOS que refleja la degradación

1. EVALUACIÓN DE LA CALIDAD
SUBJETIVA DE JUEGOS ONLINE
SEGÚN EL DISPOSITIVO DE
ACCESO
GTC
Communication
Technologies Group
José Mª Saldaña
Julián Fernández-Navajas
José Ruiz-Mas
Luis Casadesus
Universidad de Zaragoza

2. Índice
-
I. Introducción
II. Trabajos relacionados
III. Pruebas y resultados
IV. Conclusiones

3. Índice
-
I. Introducción
II. Trabajos relacionados
III. Pruebas y resultados
IV. Conclusiones

4. Introducción
- Internet no fue diseñada para
servicios con requerimientos de
tiempo real.
- Primeros servicios: e-mail,
transferencia de ficheros
URSI 2012, Elche

5. Introducción
- Pero estos servicios se están
usando cada vez más: VoIP,
videoconferencia, juegos online
URSI 2012, Elche

6. Introducción
-
Problema: usamos una red best effort
para un servicio de tiempo real.
Los usuarios demandan una calidad
similar a la que están acostumbrados
(p. ej. Teléfono vs VoIP)
Debemos encontrar la relación entre
la calidad subjetiva y los parámetros
de red:
-
Retardo, pérdidas, ancho de banda,
jitter.
URSI 2012, Elche

7. Introducción
- E-Model: Herramienta de la ITU para
estimar la calidad en función del
retardo, pérdidas, codec.
- Baterías de encuestas para elaborar
un modelo de MOS (Mean Opinion
Score)
URSI 2012, Elche

8. Juegos FPS online
- Requerimientos de tiempo real
muy estrictos:
- Interactividad (ver vídeo)
- Los jugadores son (muy) exigentes
URSI 2012, Elche

9. FPS online games
- Características del tráfico:
-
-
UDP
Paquetes pequeños (100 bytes máximo)
Alta frecuencia (de 25 a 85 pps)
No existe un MOS para todos los juegos
-
Algunos son más sensibles al retardo, otros
a las pérdidas o al jitter, etc.
URSI 2012, Elche

10. Índice
-
I. Introducción
II. Trabajos relacionados
III. Pruebas y resultados
IV. Conclusiones

11. II. Trabajos Relacionados
- Dimensionado del buffer
- Medir la calidad subjetiva para
juegos online

12. II. Trabajos Relacionados
- Dimensionado del buffer
- Medir la calidad subjetiva para
juegos online

13. Dimensionado del buffer
- Los jugadores usan redes de acceso
- Consideraremos por tanto router de
gama media-baja
-
Buffer pequeños (decenas de kilobytes)
Políticas Drop-tail FIFO
URSI 2012, Elche

14. Dimensionado del buffer
- Propuestas de dimensionado:
- Rule of the thumb: C x RTT
-
Maximiza la ocupación del buffer
Añade mucho retardo
- Stanford model: C x RTT / sqrt(N)
- Tiny buffer: 20 a 50 paquetes
URSI 2012, Elche

15. Dimensionado del buffer
Mayor
retardo
Buffer
más
grande
Mayor
jitter
Menores
pérdidas
URSI 2012, Elche
Menores
pérdidas
Buffer
más
pequeño
Menor
jitter
Mayores
pérdidas

16. II. Trabajos Relacionados
- Dimensionado del buffer
- Medir la calidad subjetiva para
juegos online

17. Calidad subjetiva en FPS
- MOS en función del retardo (dependencia lineal)
C. Schaefer, T. Enderes, H. Ritter, M. Zitterbart. “Subjective quality assessment
for multiplayer real-time games”. In Proc 1st workshop on Network and system
support for games (NetGames '02). ACM, New York, NY, USA, 74-78. 2002.
- Influencia del retardo y pérdidas (sin proponer
un MOS)
S. Zander, G. Armitage, “Empirically Measuring the QoS Sensitivity of Interactive
Online Game Players”. In Proc. Australian Telecommunications Networks &
Applications Conference (ATNAC 2004), Sydney, Australia, Dec. 2004.
Diferente comportamiento frente a pérdidas:
URSI 2012, Elche
Halo: Deja de funcionar con 4% de pérdidas
Quake III: Funciona hasta con 35%

18. Calidad subjetiva en FPS
- Retardo y jitter, por separado
M. Dick, O. Wellnitz, L. Wolf. “Analysis of factors affecting players' performance
and perception in multiplayer games”. In Proc. 4th ACM SIGCOMM workshop on
Network and system support for games (NetGames '05). ACM, New York, NY,
USA, 1-7, 2005.
- Primer MOS, adaptado del E-model
A. F. Wattimena, R. E. Kooij, J. M. van Vugt, O. K. Ahmed, “Predicting the
perceived quality of a first person shooter: the Quake IV G-model”. In Proc. 5th
SIGCOMM workshop Network and system support for games (NetGames '06),
ACM, New York, NY, USA, 2006.
-
Sólo consideran retardo y jitter
Juego estudiado: Quake IV
G-model: Es el que usaremos
URSI 2012, Elche

19. Índice
-
I. Introducción
II. Trabajos relacionados
III. Pruebas y resultados
IV. Conclusiones

20. Resultados previos VoIP
- El E-Model usa el retardo y las
pérdidas.
- No se usa el jitter, porque se
implementa un buffer de dejitter
URSI 2012, Elche

21. Resultados previos VoIP
-
El MOS decrece monótonamente al aumentar
el tráfico de fondo:
E-Model MOS
5
4.5
4
MOS
3.5
3
2.5
1 call
5 calls
10 calls
15 calls
20 calls
2
1.5
1
400
450
500
550
600
650
700
750
background traffic (kbps)
URSI 2012, Elche
800
850
900
950
1000

22. Escenario considerado
Un número de jugadores comparte
la conexión (mismo router)
Tráfico del juego
+ tráfico de fondo
buffer
Internet
.
.
.
Usuarios
URSI 2012, Elche
Router
Servidor del
juego

23. Metodología
- El mismo escenario que en VoIP
- Juego FPS: Quake IV
- Trazas de tráfico obtenidas del
CAIA project
- Consideramos el tráfico cliente-aservidor (el más restrictivo, que
coincide on el uplink)
URSI 2012, Elche

24. Metodología
- Histogramas de tiempo entre
paquetes y pps:
-
40.7 kbps / usuario
40 50 60 70 80 90 100 110
bytes
79.5 bytes media
URSI 2012, Elche
0
10 20 30 40 50 60 70
ms
64 pps

25. Metodología
- 20 jugadores comparten una
conexión
- Buffer: Drop-tail, tamaño medido
en kB
Ancho de banda Tamaños
2 Mbps
3 Mbps
URSI 2012, Elche
10 kB
20 kB
50 kB
100 kB

26. Metodología
-
Tráfico de fondo compartiendo la
conexión
-
-
50% paquetes: 40 bytes
10% paquetes: 576 bytes
40% paquetes: 1500 bytes
RTT de la red (30 ms) añadido offline
Tráfico del juego
+ tráfico de fondo
buffer
Internet
.
.
.
Usuarios
URSI 2012, Elche
Router
Servidor del
juego

27. Resultados: Retardo
RTT, 2 Mbps
450
10 kB
20 kB
400
50 kB
100 kB
350
300
ms
250
200
150
100
50
0
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

28. Resultados: Retardo
RTT, 2 Mbps
450
10 kB
20 kB
400
50 kB
100 kB
350
300
ms
250
200
Límite ancho banda:
40.7 x 20 = 814 kbps
150
100
50
0
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

29. Resultados: Retardo
RTT, 2 Mbps
450
10 kB
20 kB
400
50 kB
Retardo inaceptable
100 kB
350
300
ms
250
200
150
100
50
0
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

30. Resultados: Retardo
RTT, 3 Mbps
450
10 kB
20 kB
400
50 kB
100 kB
350
300
ms
250
200
150
100
50
0
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

31. Resultados: Retardo
RTT, 3 Mbps
450
10 kB
20 kB
400
50 kB
100 kB
350
300
ms
250
200
Límite ancho banda:
40.7 x 20 = 814 kbps
150
100
50
0
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

32. Resultados: Retardo
RTT, 3 Mbps
450
10 kB
20 kB
400
50 kB
Retardo inaceptable
100 kB
350
300
ms
250
200
150
100
50
0
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

33. Resultados: jitter
Jitter, 2 Mbps
110
10kB
100
20 kB
50 kB
90
100kB
80
ms
70
60
50
40
30
20
10
0
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

34. Resultados: jitter
Jitter, 2 Mbps
110
10kB
100
20 kB
50 kB
90
Por encima del límite,
el jitter baja, porque el
buffer está siempre
lleno
100kB
80
ms
70
60
50
Ancho de banda
40.7 x 20 = 814 kbps
40
30
20
10
0
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

35. Resultados: jitter
Jitter, 3 Mbps
110
10kB
100
20 kB
50 kB
90
100kB
80
ms
70
60
50
40
30
20
10
0
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

36. Resultados: jitter
Jitter, 3 Mbps
110
10kB
100
20 kB
El pico baja al aumentar
el ancho de banda
50 kB
90
100kB
80
ms
70
60
50
40
30
20
10
0
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

37. Resultados: Pérdidas
Pérdidas de paquetes, buffer 10kB, 2 Mbps
45%
juego (79 bytes media)
40 bytes
40%
576 bytes
1500 bytes
35%
30%
25%
20%
15%
10%
5%
0%
0
200
400
600
800
1000
1200
1400
1600
1800
tráfico de fondo (kbps)
URSI 2012, Elche
2000
2200
2400
2600
2800
3000

38. Resultados: Pérdidas
Pérdidas de paquetes, buffer 10kB, 2 Mbps
45%
juego (79 bytes media)
40 bytes
40%
576 bytes
1500 bytes
35%
30%
Los paquetes pequeños
tienen ventaja en el buffer
medido en bytes
25%
20%
15%
10%
5%
0%
0
200
400
600
800
1000
1200
1400
1600
1800
tráfico de fondo (kbps)
URSI 2012, Elche
2000
2200
2400
2600
2800
3000

39. Resultados: Pérdidas
Pérdidas de paquetes, buffer 10kB, 3 Mbps
45%
juego (79 bytes media)
40 bytes
40%
576 bytes
1500 bytes
35%
30%
25%
20%
15%
10%
5%
0%
0
200
400
600
800
1000
1200
1400
1600
1800
tráfico de fondo (kbps)
URSI 2012, Elche
2000
2200
2400
2600
2800
3000

40. Resultados: MOS
-
Fórmula del MOS en el G-Model:
x = 0.104*ping_average + jitter_average
MOS = -0.00000587 x3 + 0.00139 x2- 0.114 x + 4.37
-
Las pérdidas no se consideran mientras
no sobrepasen el 35%
URSI 2012, Elche

41. Resultados: MOS
MOS G-Model, 2 Mbps
5
4.5
4
MOS
3.5
3
2.5
2
10 kB
20 kB
1.5
50 kB
100 kB
1
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

42. Resultados: MOS
MOS G-Model, 2 Mbps
5
4.5
Buena calidad
4
MOS
3.5
Calidad media
3
2.5
2
Mala calidad
10 kB
20 kB
1.5
50 kB
100 kB
1
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

43. Resultados: MOS
MOS G-Model, 2 Mbps
5
El retardo y el
jitter crecen
4.5
El retardo crece y
el jitter baja
No decrecimiento
monótono
4
MOS
3.5
3
2.5
2
10 kB
20 kB
1.5
50 kB
100 kB
1
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

44. Resultados: MOS
MOS G-Model, 2 Mbps
5
Los buffer pequeños
presentan el mejor
comportamiento
4.5
4
MOS
3.5
3
2.5
2
10 kB
20 kB
1.5
50 kB
100 kB
1
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

45. Resultados: MOS
MOS G-Model, 3 Mbps
5
4.5
4
MOS
3.5
3
2.5
2
10 kB
20 kB
1.5
50 kB
100 kB
1
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

46. Resultados: MOS
MOS G-Model, 3 Mbps
5
4.5
Buena calidad
4
MOS
3.5
Calidad media
3
2.5
2
Mala calidad
10 kB
20 kB
1.5
50 kB
100 kB
1
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

47. Resultados: MOS
MOS G-Model, 3 Mbps
5
Valores aceptables
de MOS por encima
del límite de ancho
de banda
4.5
4
MOS
3.5
3
2.5
2
10 kB
20 kB
1.5
50 kB
100 kB
1
0
200
URSI 2012, Elche
400
600
800
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)

48. Índice
-
I. Introducción
II. Trabajos relacionados
III. Pruebas y resultados
IV. Conclusiones

49. Conclusions
-
-
Access networks with low-end routers
Importance of the buffer size
Small buffers are better for real-time apps
Buffer implementation can penalyze big
packets
We cannot separately study each network
impairment
Need for subjective quality estimators to
calculate MOS
If delay and jitter are the considered
impairments, the jitter peak produces a MOS
valley
URSI 2012, Elche

50. Muchas gracias
GTC
Communication
Technologies Group
jsaldana@unizar.es