«Mejorando la evaluación de juegos serios aplicando analíticas de aprendizaje y técnicas de minería de datos». Cristina Alonso

1. Mejorando la evaluación de juegos serios
aplicando analíticas de aprendizaje y
técnicas de minería de datos
Universidad Complutense de Madrid
Cristina Alonso Fernández
Seminario eMadrid sobre
Juegos Serios
12 de noviembre de 2021

2. Índice
01
03
04
02
Introducción Proceso de evaluación
Casos de estudio Conclusiones
2

3. Introducción
01
Juegos Serios
Evaluación
Analíticas de Aprendizaje

4. Juegos que no tienen como objetivo principal entretener
➔ Enseñar
➔ Crear concienciación
➔ Cambiar actitud
Juegos Serios
exploración libre y
segura
feedback y
adaptación
interactivo e
interesante
progreso y
terminación
motivación,
aprendizaje activo
4

5. Experimentos pre-post
➔ Validación formal del juego
➔ Evaluación de los jugadores
Inconvenientes:
➔ Cuestionarios previamente validados
➔ Aumento esfuerzo y tiempo
➔ Evaluación realizada fuera del entorno de
aprendizaje
Alternativa: stealth assessment
Evaluación de juegos serios y jugadores
5

6. Analíticas de Aprendizaje (Learning Analytics):
"medición, recopilación, análisis y comunicación de
datos sobre los alumnos y sus contextos, con el fin
de comprender y optimizar el aprendizaje y los
entornos en los que se produce"
Analíticas de Juego (Game Analytics): la aplicación
de la analítica para "el desarrollo y la investigación
de juegos" con el objetivo de proporcionar "apoyo a
la toma de decisiones en todos los niveles (...) desde
el diseño al arte, la programación al marketing, la
gestión a la investigación de usuarios"
Analíticas de Aprendizaje y de Juego
6

7. Analíticas de Aprendizaje para Juegos
Game Learning Analytics: combinación de los objetivos de Learning Analytics
con las técnicas de Game Analytics en el contexto de Juegos Serios
7

8. Recolección de datos de juegos: xAPI-SG
El Perfil de Experience API para Juegos Serios (xAPI-SG)
define verbos, tipos de actividad y extensiones usados en
juegos serios.
➔ Completables
➔ Accessibles
➔ Alternatives
➔ GameObjects
Simplifica recolección, análisis,
integración con otros sistemas...
8
xAPI estándar IEEE
https://adlnet.gov/news/2021/10/20/IEEE-to-Stan
dardize-xAPI-v2.0-as-an-International-Standard/

9. Proceso de
evaluación
02
Validación del juego
Recolección interacciones
Análisis de los datos
Modelos predictivos
Despliegue del juego

10. Proceso de evaluación: validación del juego
10
1. Recogida de datos
GLA en xAPI-SG

11. 11
Proceso de evaluación: validación del juego
2. Análisis de los datos
Variables GLA por defecto
con xAPI-SG

12. Variables GLA por defecto usando xAPI-SG
12

13. Análisis y visualizaciones por defecto (independientes de juego)
Ayudar en la selección de variables GLA
T-MON: monitor de trazas xAPI-SG
13
https://github.com/e-ucm/t-mon

14. T-MON: visualizaciones por defecto
14

15. 15
Proceso de evaluación: validación del juego
3. Modelos de predicción
Variable objetivo aprendizaje (post-pre)
Modelos xAI

16. 16
Proceso de evaluación: despliegue del juego

17. Casos de
estudio
03
First Aid Game
Conectado

18. Simulación para enseñar maniobras de
reanimación cardiopulmonar en 3 casos:
1. Dolor torácico
2. Inconsciencia
3. Atragantamiento
Juego previamente validado en colegios y con
grupo de control (2012)
Objetivo: predecir conocimiento final (post-test)
➔ Comparando modelos con y sin pre-test
(pre+game vs game-only)
First Aid Game: el juego
18

19. 227 estudiantes de 12-17 años de un colegio de Madrid
➔ Pre-post validados, 15 preguntas múltiples sobre primeros auxilios
➔ Datos de interacción (xAPI-SG)
First Aid Game: datos recogidos
19

20. First Aid Game: variables GLA
20

21. ➔ Alta precisión en los modelos predictivos
● Juegos similares con estructura narrativa
➔ Interacciones son suficientes para predecir aprendizaje
➔ Recogida de interacciones guiada por diseño educativo del juego
● Beneficios del uso de xAPI-SG
First Aid Game: predicciones y resultados
21
Mejores resultados con
pre-test, pero solo con
interacciones modelos
suficientemente precisos

22. Juego para aumentar concienciación de acoso y
ciberacoso. 1era persona como nuevo estudiante en
un colegio durante 5 días de juego:
➔ acoso en colegio
➔ ciberacoso en casa
3 finales posibles según las decisiones tomadas
Juego validado en colegios (2020)
Objetivo: predecir aumento de concienciación
(diferencia entre pre y post)
Conectado: el juego
22

23. 1109 estudiantes de 12-17 años de 11 colegios de España
➔ Pre-post validados, 18 preguntas Likert sobre (ciber)acoso
➔ Datos de interacción (xAPI-SG)
Conectado: datos recogidos
23

24. Conectado: variables GLA
24

25. Conectado: predicciones y resultados
25
Mayoría de modelos con
precisión similar
Más impacto en aprendizaje:
final del juego e interacciones
con otros personajes
➔ Alta precisión en distinto contexto
● Predicción de aumento de concienciación
● Mayor conjunto de datos y distintos modelos
➔ Beneficios de uso de xAPI-SG
● Simplificar recogida, procesamiento y análisis
● Apoyo selección de variables de GLA

26. Conclusiones
04
Limitaciones
Trabajo futuro

27. ➔ Proceso de evaluación basado en evidencias
○ Utilizando estándar xAPI-SG
○ Herramienta de apoyo T-MON visualizaciones por defecto
➔ Casos de estudio ejemplificando proceso completo:
Limitaciones
➔ Estructura casi lineal de los juegos
➔ Modelos predictivos creados ad-hoc y xAI
➔ xAPI-SG puede omitir información dependiente de juego
Conclusiones
27
diseño educativo
y diseño de juego
recogida de
datos de
interacción
definición de
variables
GLA
modelos
predictivos

28. ➔ Juegos para educar en igualdad de género
○ Estudio de las propuestas actuales
○ Nuevos juegos para combatir estereotipos
● Juego “La entrevista” desarrollado
➔ Juegos geolocalizados utilizando uAdventure
○ Analíticas integradas
○ Extensión del perfil xAPI-SG
○ Nuevos análisis y visualizaciones en T-MON
➔ Integración con SIMVA
○ Simplificar experimentos
○ Datos recogidos: pre-post e interacciones
Trabajo futuro
28

29. ● Proceso de evaluación:
● Caso de estudio First Aid Game:
● Caso de estudio Conectado:
● T-MON:
Referencias
29
Cristina Alonso-Fernández, Manuel Freire, Iván Martínez-Ortiz, Baltasar Fernández-Manjón:
Improving evidence-based assessment of players using serious games.
Telematics and Informatics (2021). DOI: 10.1016/j.tele.2021.101583.
Cristina Alonso-Fernández, Iván Martínez-Ortiz, Rafael Caballero, Manuel Freire, Baltasar Fernández-Manjón:
Predicting students’ knowledge after playing a serious game based on learning analytics data: A case study.
Journal of Computer Assisted Learning (2020). DOI: 10.1111/jcal.12405.
Cristina Alonso-Fernández, Antonio Calvo-Morata, Manuel Freire, Iván Martínez-Ortiz, Baltasar Fernández-Manjón:
Evidence-based evaluation of a serious game to increase bullying awareness.
Interactive Learning Environments (2020). DOI: 10.1080/10494820.2020.1799031.
Cristina Alonso-Fernández, Antonio Calvo-Morata, Manuel Freire, Iván Martínez-Ortiz, Baltasar Fernández-Manjón:
Data science meets standardized game learning analytics.
IEEE Global Engineering Education Conference (EDUCON), 2021.

30. 30
¡Gracias!
Cristina Alonso Fernández
calonsofernandez@ucm.es
@calonsofdez
www.e-ucm.es/