XII Jornadas eMadrid: «Educación 4.0»
30 de junio de 2022
Mejorando la evaluación de juegos serios
aplicando analíticas de aprendizaje y
técnicas de minería de datos
Cristina Alonso Fernández
Tesis doctoral dirigida por
Baltasar Fernández Manjón,
Manuel Freire Morán e
Iván Martínez Ortiz

Índice
01
03
04
02
Introducción Proceso de evaluación
Casos de estudio Conclusiones
2

Introducción
01
Juegos Serios
Evaluación
Analíticas de Aprendizaje

Juegos que no tienen como objetivo principal entretener
➔ Enseñar
➔ Crear concienciación
➔ Cambiar actitud
Juegos Serios
exploración libre y
segura
feedback y
adaptación
interactivo e
interesante
progreso y
terminación
motivación,
aprendizaje activo
4

Experimentos pre-post
➔ Validación formal del juego
➔ Evaluación de los jugadores
Inconvenientes:
➔ Cuestionarios previamente validados
➔ Aumento esfuerzo y tiempo
➔ Evaluación realizada fuera del entorno de
aprendizaje
Alternativa: stealth assessment
Evaluación de juegos serios y jugadores
5

Analíticas de Aprendizaje para Juegos
Game Learning Analytics: combinación de los objetivos de Learning Analytics
con las técnicas de Game Analytics en el contexto de Juegos Serios
6

Recolección de datos de juegos: xAPI-SG
El Perfil de Experience API para Juegos Serios (xAPI-SG)
define verbos, tipos de actividad y extensiones usados en
juegos serios.
➔ Completables
➔ Accessibles
➔ Alternatives
➔ GameObjects
Simplifica recolección, análisis,
integración con otros sistemas...
7
xAPI estándar IEEE
https://adlnet.gov/news/2021/10/20/IEEE-to-Stan
dardize-xAPI-v2.0-as-an-International-Standard/

Proceso de
evaluación
02
Validación del juego
Recolección interacciones
Análisis de los datos
Modelos predictivos
Despliegue del juego

Proceso de evaluación: validación del juego
9
1. Recogida de datos
GLA en xAPI-SG

10
Proceso de evaluación: validación del juego
2. Análisis de los datos
Variables GLA por defecto
con xAPI-SG

Análisis y visualizaciones por defecto (independientes de juego)
Ayudar en la selección de variables GLA
T-MON: monitor de trazas xAPI-SG
11
https://github.com/e-ucm/t-mon

12
Proceso de evaluación: validación del juego
3. Modelos de predicción
Variable objetivo aprendizaje (post-pre)
Modelos xAI

13
Proceso de evaluación: despliegue del juego

Casos de
estudio
03
First Aid Game
Conectado

Simulación para enseñar maniobras de
reanimación cardiopulmonar en 3 casos:
1. Dolor torácico
2. Inconsciencia
3. Atragantamiento
Juego previamente validado en colegios y con
grupo de control (2012)
Objetivo: predecir conocimiento final (post-test)
➔ Comparando modelos con y sin pre-test
(pre+game vs game-only)
First Aid Game: el juego
15

227 estudiantes de 12-17 años de un colegio de Madrid
➔ Pre-post validados
➔ Datos de interacción (xAPI-SG)
First Aid Game: datos recogidos
16
➔ Variables GLA

➔ Alta precisión en los modelos predictivos
● Juegos similares con estructura narrativa
➔ Interacciones son suficientes para predecir aprendizaje
➔ Recogida de interacciones guiada por diseño educativo del juego
● Beneficios del uso de xAPI-SG
First Aid Game: predicciones y resultados
17
Mejores resultados con
pre-test, pero solo con
interacciones modelos
suficientemente precisos

Juego para aumentar concienciación de acoso y
ciberacoso. 1era persona como nuevo estudiante en
un colegio durante 5 días de juego:
➔ acoso en colegio
➔ ciberacoso en casa
3 finales posibles según las decisiones tomadas
Juego validado en colegios (2020)
Objetivo: predecir aumento de concienciación
(diferencia entre pre y post)
Conectado: el juego
18

1109 estudiantes de 12-17 años de 11 colegios de España
➔ Pre-post validados
➔ Datos de interacción (xAPI-SG)
Conectado: datos recogidos
19
➔ Variables GLA

Conectado: predicciones y resultados
20
Mayoría de modelos con
precisión similar
Más impacto en aprendizaje:
final del juego e interacciones
con otros personajes
➔ Alta precisión en distinto contexto
● Predicción de aumento de concienciación
● Mayor conjunto de datos y distintos modelos
➔ Beneficios de uso de xAPI-SG
● Simplificar recogida, procesamiento y análisis
● Apoyo selección de variables de GLA

Conclusiones
04

➔ Proceso de evaluación basado en evidencias
○ Utilizando estándar xAPI-SG
○ Herramienta de apoyo T-MON visualizaciones por defecto
➔ Casos de estudio ejemplificando proceso completo:
Limitaciones
➔ Estructura casi lineal de los juegos
➔ Modelos predictivos creados ad-hoc y xAI
➔ xAPI-SG puede omitir información dependiente de juego
Conclusiones
22
diseño educativo
y diseño de juego
recogida de
datos de
interacción
definición de
variables
GLA
modelos
predictivos

➔ Juegos para educar en igualdad de género
○ Estudio de las propuestas actuales
○ Nuevos juegos para combatir estereotipos
● Juego “La entrevista” desarrollado
➔ Juegos geolocalizados utilizando uAdventure
○ Analíticas integradas
○ Extensión del perfil xAPI-SG
○ Nuevos análisis y visualizaciones en T-MON
➔ Integración con SIMVA
○ Simplificar experimentos
○ Datos recogidos: pre-post e interacciones
Trabajo futuro
23

● Proceso de evaluación:
● Caso de estudio First Aid Game:
● Caso de estudio Conectado:
● T-MON:
Referencias
24
Cristina Alonso-Fernández, Manuel Freire, Iván Martínez-Ortiz, Baltasar Fernández-Manjón:
Improving evidence-based assessment of players using serious games.
Telematics and Informatics (2021). DOI: 10.1016/j.tele.2021.101583.
Cristina Alonso-Fernández, Iván Martínez-Ortiz, Rafael Caballero, Manuel Freire, Baltasar Fernández-Manjón:
Predicting students’ knowledge after playing a serious game based on learning analytics data: A case study.
Journal of Computer Assisted Learning (2020). DOI: 10.1111/jcal.12405.
Cristina Alonso-Fernández, Antonio Calvo-Morata, Manuel Freire, Iván Martínez-Ortiz, Baltasar Fernández-Manjón:
Evidence-based evaluation of a serious game to increase bullying awareness.
Interactive Learning Environments (2020). DOI: 10.1080/10494820.2020.1799031.
Cristina Alonso-Fernández, Antonio Calvo-Morata, Manuel Freire, Iván Martínez-Ortiz, Baltasar Fernández-Manjón:
Data science meets standardized game learning analytics.
IEEE Global Engineering Education Conference (EDUCON), 2021.

¡Gracias!
Cristina Alonso Fernández
cristina.alonsof@uam.es
@calonsofdez