02_07_2018 VIII Jornadas eMadrid sobre «Cyberlearning» Premio eMadrid al mejor trabajo fin de Máster (TFM)

1. Applying data mining techniques to
Game Learning Analytics
Cristina Alonso Fernández
Jornadas eMadrid, 2 Julio 2018
Trabajo de Fin de Máster

2. Juegos Serios
Juegos cuyo objetivo principal es:
● enseñar
● cambiar una actitud o comportamiento
● crear conciencia sobre algún asunto
Pero manteniendo las ventajas de los juegos
de entretenimiento: orientados a objetivos,
cautivador.
Aplicados con éxito en múltiples dominios:
medicina, ciencia, arte, educación.

3. Normalmente realizada en experimentos pre-post:
Juegos Serios: evaluación
¿La mejora entre
el pre y el post es
estadísticamente
significativa?
¿Cumple
el juego
sus
objetivos?

4. El juego
First aid game enseña maniobras de primeros auxilios a estudiantes de instituto.
Tres situaciones iniciales:
- dolor torácico
- inconsciencia
- atragantamiento
Juego previamente validado
con experimentos pre-post.
Experimentos original de
validación con grupo de control vs
grupo experimental:
Video-game instruction in basic life support
maneuvers. Marchiori EJ, Ferrer G,
Fernandez-Manjon B, Povar Marco J, Suberviola
Gonźalez JF, Gimenez Valverde A. (2012)

5. Captura de datos: experimentos
227 estudiantes de 12 a 17 años de 1º, 2º, 3º y 4º curso de
ESO y 1º de BACHILLERATO
Cada estudiante completó:
1. Pre-test
2. Partida del juego (trazas xAPI-SG)
3. Post-test

6. Captura de datos GLA: perfil xAPI-SG
Los datos de interacción se capturan en
trazas siguiendo el perfil estándar
xAPI-S.
El estándar xAPI-SG fue desarrollado e
implementado en Experience API
(xAPI) en colaboración con ADL
(Ángel Serrano et al, 2017).
El modelo define un conjunto de
interacciones comunes de juegos serios
y simplifica la compartición de datos.

7. Aprendizaje con el juego
El aprendizaje en el juego se mide
comparando las puntuaciones entre el
pre-test y el post-test.
● Media de puntuación pre-test: 8/15
● Media de puntuación post-test: 9.8/15
El aumento en el conocimiento es
estadísticamente significativo (Wilcoxon
Signed Rank Test, p < 0.05)

8. Aprendizaje con el juego
● Experimento original
(juego)
● Experimento original
(grupo de control)
● Experimento actual
Menor aprendizaje que en el
experimento original pero
todavía significativo.

9. Mejorando la evaluación de los juegos serios
Idealmente, querríamos encontrar un método mejor de
evaluación para juegos serios, evitando los
experimentos pre-post, que tienen un alto coste en tiempo
y esfuerzo.
Nuestra aproximación: utilizar técnicas de minería de
datos para predecir las puntuaciones en el pre-test y el
post-test utilizando los datos recogidos de las
interacciones con el juego.
- Para medir conocimiento adquirido.
- Pero también podría utilizarse para medir cambio de
actitud o aumento de conciencia.

10. Mejorando la evaluación de los juegos serios
Utilizar técnicas de minería de datos para predecir las
puntuaciones en el pre-test y el post-test utilizando los
datos recogidos de las interacciones con el juego.
1. Para evitar el pre-test:
- Determinar la influencia del conocimiento previo en
los resultados del juego.
2. Para evitar post-test:
- Determinar la capacidad de las interacciones con el
juego junto con la información del pre-test para
predecir los resultados del post-test.
- Comparar esta capacidad con las de las interacciones
en solitario para predecir los resultados del post-test.

11. Mejorando la evaluación de los juegos serios
Para evitar pre-test:
Para evitar post-test:
- Modelos de predicción de la puntuación en post-test utilizando pre-test +
datos de interacciones con el juego.
- Modelos de predicción de la puntuación en post-test utilizando sólo datos de
interacciones con el juego.
Predicción de los resultados:
- Como valor numérico (de 1 a 15)
- Como categoría binaria (aprobado / suspenso)
Utilizando modelos de predicción: árboles, regresión, Naïve Bayes.
Method Precision Recall
Naive Bayes 0.69 0.84

12. Predicciones de resultados en el post-test
Para evitar post-test: resumen de los resultados obtenidos.
-Predicción de puntuación (1 a 15) -Predicción de aprobado/suspenso
Predicciones ligeramente peores sin datos del pre-test pero predicciones
aceptables en ambos casos.
Method Pre-test ASE
Regression trees Yes 4.92
No 5.68
Linear regression Yes 5.81
No 5.71
Method Pre-test Precision Recall
Decision trees Yes 0.81 0.94
No 0.88 0.92
Logistic regression Yes 0.89 0.98
No 0.87 0.98
Naive Bayes Yes 0.92 0.89
No 0.89 0.90

13. Juegos sin pre-post
- Eliminando el pre-test: Juegos como método de evaluación
- Eliminando el post-test: Juegos para enseñar y medir el aprendizaje
Con o sin pre-test.

14. ● Resultados de alta precisión para predecir puntuaciones en el post-test
○ Resultados ligeramente mejor con información del pre-test, pero las
diferencias no son significativas
○ Mejor resultados prediciendo aprobado / suspenso que puede ser
suficiente en algunas situaciones
● Eliminando los pre-post:
○ Se puede aumentar el tiempo de juego en una clase
○ Simplificando el despliegue de juegos
Trabajo futuro:
● Probar esta aproximación con más experimentos / grupos
● Probar nuevas técnicas de minería de datos (e.g. support vector machines for
regression (SVR) for score predictions)
Conclusiones

15. GLA:
● Manuel Freire, Ángel Serrano-Laguna, Borja Manero, Iván Martínez-Ortiz, Pablo Moreno-Ger,
Baltasar Fernández-Manjón (2016): Game Learning Analytics: Learning Analytics for Serious
Games. In Learning, Design, and Technology (pp. 1–29). Cham: Springer International Publishing.
http://doi.org/10.1007/978-3-319-17727-4_21-1.
Perfil xAPI-SG:
● Ángel Serrano-Laguna, Iván Martínez-Ortiz, Jason Haag, Damon Regan, Andy Johnson, Baltasar
Fernández-Manjón (2017): Applying standards to systematize learning analytics in serious
games. Computer Standards & Interfaces 50 (2017) 116–123,
http://dx.doi.org/10.1016/j.csi.2016.09.014 [IF, 1,633, Q2 in COMPUTER SCIENCE, SOFTWARE
ENGINEERING].
Referencias principales

16. ● Email: crisal03@ucm.es
● Google Scholar: https://scholar.google.es/citations?user=h2f9YIgAAAAJ&hl=es
● ResearchGate: https://www.researchgate.net/profile/Cristina_Alonso-Fernandez
● SlideShare: https://www.slideshare.net/CristinaAlonso58
¡Gracias!