SlideShare una empresa de Scribd logo
1 de 33
Descargar para leer sin conexión
Soporte a la validación de juego
serios con SIMVA y TxMon
Iván Martínez Ortiz
@imartinezortiz
imartinez@fdi.ucm.es
Seminario eMadrid sobre «Analíticas de Aprendizaje y Juegos Serios». 13/11/2020
Contexto: Juegos Serios - Serious Games (SG)
● Cualquier juego cuyo objetivo principal no sea únicamente el entretenimiento
● Juegos con propósito educativo: Aprender, Concienciar, Cambiar actitud
● Habitualmente son “cajas negras” que no comunican información al exterior
○ Nota final
○ No hay información sobre el progreso.
● Método de evaluación habitual:
cuestionarios pre-post
Calderón, Alejandro & Ruiz, Mercedes. (2015). A systematic literature review on serious games evaluation: An
application to software project management. Computers & Education. 87. 10.1016/j.compedu.2015.07.011.
Contexto: Analíticas
● Learning Analytics (LA)
○ Mejora de la educación basado en datos
○ Mejora del proceso educativo basado en
evidencias
■ evidence-based education
● Game Analytics (GLA)
○ Aplicación de analíticas al desarrollo,
validación e investigación de juegos
○ Telemetría, Métricas de juego
○ Propósitos comerciales
■ monetization, churn, user funnels
Contexto: Analíticas
● Game Learning Analytics: LA + GA
○ Recopilar, analizar y visualizar los datos de interacción de los
jugadores con los SGs
○ Evaluar y mejorar los juegos
○ Proporcionar información que ayude a los
profesores
● ¿Cuándo analizar?
○ Después de jugar
○ Durante el juego
Trabajo en e-UCM con Juegos Serios y Analíticas
uAdventure: Herramienta de autoría de juegos serios evolucionada de
eAdventure
● Libre, gratuito y de código abierto
● Programado sobre Unity3D (2019 LTS)
● Disponible en https://github.com/e-ucm/uAdventure/
Desarrollo de Juegos Serios en diferentes ámbitos de aplicación:
- Salud
- Educación
- Teatro
- ...
First Aid y First Aid redux
Qué aprendimos del juego de primeros auxilios ?
● Se pueden validar juegos serios de manera
efectiva
● Con un diseño y juegos validados el
experimento se puede reproducir
● Tuvimos que desplazarnos varias jornadas a la
región de Aragón
○ gran variabilidad entre colegios
● Coordinar el despliegue y validación con un
número elevado de es complejo (340
participantes)
Replicabilidad
Qué aprendimos del juego de la Dama Boba ?
● Ámbito de aplicación poco común en el
momento del desarrollo
● Gran aceptación e impacto
● Las analíticas juegan un papel relevante
○ Facilitan y complementan los datos obtenidos en los
cuestionarios
○ Te llevas sorpresas al explorar los datos
● Escalado: Cuanto más grande es el
experimento más complejo es de coordinar
○ ~750 participantes
● Trabajo ingente por parte de los investigadores
○ procesar los pre-post en papel, propenso a errores
Qué aprendimos de Downtown Madrid ?
● Downtown Madrid y en “La gran fiesta” tienen
como público objetivo a personas con diversidad
intelectual
○ ¿Cómo evaluar cuando los jugadores no pueden darte
un feedback efectivo?
● Las analíticas juegan un papel principal para
entender el impacto del juego:
○ Game Analytics -> Se puede Jugar ?
○ Game Learning Analytics -> Tiene impacto
Qué aprendimos del juego de los 15 objetos?
● La UX para participar en los
experimentos debe ser simple
○ personas mayores de 60 años con poca
experiencia en el uso de ordenadores
● El juego serio debe ser flexible y
configurable externamente
○ => adaptable al diseño experimental.
¿Qué aprendimos con Conectado ?
● Necesitamos herramientas que nos ayuden en la validación
● Para escalar tenemos que poder realizar experimentos en remoto
● Hay que tener un plan B para llevar a cabo los experimentos
○ El equipamiento y conectividad de los colegios es muy variable
Validación de Juegos Serios
Juegos Serios: Herramienta efectiva en múltiples ámbitos.
Aun así necesitan tener:
● Evidencia de Efectividad
● Validación del diseño del SG
¿Qué metodologías hay para conseguir esto?:
● Cuestionarios Pre-Post => la más aceptada
● Encuestas
● Análisis de los datos de Interacción (GLA)
Proceso muy complejo: Tiempo, coste, errores humanos...
Validación de Juegos Serios: problemas
● Antes de los experimentos:
○ Gestión de los cuestionarios y de los usuarios
○ Proporcionar identificadores (anónimos) únicos a los usuarios
● Durante los experimentos:
○ Asegurarnos que los usuarios realizan la actividad completa:
PreTest-Juego-PostTest
○ Recopilar, correlacionar y almacenar los resultados de cada uno de los jugadores
● Después de los experimentos
○ Transcripción o volcado y análisis de todos los datos del experimento
Problemas del Pre-Post: Recolección
En papel:
● Malgasto en impresión y papel. Pérdida de tiempo en la distribución.
● Transcribir las respuestas: Ardua tarea, larga, tediosa, y propensa a errores.
En PC:
● Acceso a internet obligatorio
● Si son offline hay que hacer la recolección, similar a papel.
Problemas del Pre-Post
En papel:
● Almacenamiento seguro de grandes cantidades de papel
● Cómo, cuándo y dónde se destruirán
En PC:
● Hacen falta backups por seguridad.
y todo esto se complica más cuando se combinan con los datos de
analíticas de juegos basadas en las interacciones de los usuarios
con los juegos
Trabajo en e-UCM con Juegos Serios y Analíticas
BEACONING, RAGE ANALYTICS: Evaluación
de juegos serios mediante el uso de game
learning analytics
xAPI SG profile: Perfil de aplicación la
especificación de xAPI para Juegos serios
● xAPI 2.0 próximamente estándar IEEE
IMPRESS: Improving Engagement of Students in
Software Engineering
● gamificación + juegos + analíticas
Problemas Pre-Post: Interconectar los datos.
Cómo relacionamos todos los datos del mismo usuario?
Hay múltiples elementos recogidos:
● Cuestionarios Pre-post
● Datos de interacción (Trazas)
¿Cómo identificamos a los usuarios?
● ¿Nombre o DNI? No sería anónimo
● Identificadores aleatórios Datos Anónimos
¿Qué es Simva?
● Soporte en diseños experimentales para validación de juegos
○ Pretest-juego-postest
○ Creación de los grupos experimentales y cuestionarios
○ Gestión del estado de las fases del experimento
○ Recopilación de GLA durante la fase de juego
● Pasos a seguir
1. Desarrollo del juego
2. Creación de los cuestionarios
3. Generación de los grupos experimentales
○ Sólo se permite la participación si se
dispone un TOKEN
Diferentes tipos de estudio
Modelo conceptual de SIMVA
Breve pincelada de la interacción entre componentes
¿Podemos aprovechar aún más las GLA?
¿Podemos predecir el impacto sólamente
utilizando GLA?
- Es posible => First Aid redux
- Requiere tener el juego validado.
- Es necesario aplicar técnicas de
data science para definir y validar los
modelos de predicción
Permite simplificar despliegue en colegios
Nuevos modelos de aplicación de SG basados en GLA
T-mon: Monitoring xAPI-SG traces in Python
Experience API Profile
for Serious Games
(xAPI-SG)
T-mon (Traces monitor)
xAPI-SG Processor
Jupyter Notebooks
Default set of analysis
and visualizations
Simplificar el acceso de los expertos en ciencia de datos al análisis de los datos de los juegos
T-mon Jupyter Notebooks
Procesamiento de trazas xAPI-SG:
1. local, remota y desde SIMVA
2. Subida de archivo xAPI-SG
3. Ejecutar el análisis!
It allows to configure the data:
- filter players
- filter game parameters (e.g. only data of one level)
and configure the visualizations:
- order data
- view percentage/total
- plot only partial data per graphic, etc.
Análisis y visualizaciones por defecto de las trazas xAPI
Completion Progress Choices
InteractionsResults (scores) Results (times)
and more!
Análisis y visualizaciones por defecto de las trazas xAPI
Serious game completion
initialized and
completed traces
with object-type
serious-game
Serious game progress
initialized, progressed and
completed traces
with object-type
serious-game,
result.progress and
timestamp
Choices in alternatives
selected traces with
object-type alternative,
result.response and
result.success
Completable progress
progressed traces in any
completable object type,
with result.progress
Análisis y visualizaciones por defecto de las trazas xAPI
Interactions
interacted traces with
any object type;
bar chart per item, and
each bar per player
Completable results (scores)
completed trace of any
completable with
result.score
Completable results (max and min times)
difference in timestamp
of initialized and
completed traces of
each completable
Interactions (heatmap)
interacted traces
grouped by item
(object)
and player
Proyectos Open-source en GitHub
T-mon disponible en:
https://github.com/e-ucm/t-mon
● Local mode para ejecutar en tu Jupyter local.
● Remote mode para ejecutar en un servidor Jupyter
gestionado => Puedes lanzar la demo en Binder
○ Including launch with binder from GitHub
no installation or configuration required!
El instalador SIMVA disponible en:
https://github.com/e-ucm/simva-infra
● El resto de componentes también se encuentra en
GitHub
Una cosa más ...
… si el juego está hecho con uAdventure …
uAdventure genera automáticamente y de forma transparente trazas xAPI para los
juegos
las trazas por defecto de uAdventure se pueden complementar con otras específicas
que añade el creador del juego para mejorar la analítica de aprendizaje
uAdventure
Conclusiones
● El proceso de validación de los juegos serios es complejo y propenso a errores
● Las herramientas Simva + Txmon solucionan parte de los problemas
○ Antes de los experimentos:
■ Gestión de los usuarios & cuestionarios
■ Proporcionar identificadores anónimos a los usuarios
○ Durante los experimentos:
■ Recolectar y almacenar todos los datos
■ Relacionar los datos de los diferentes usuarios
■ Proporcionar metadatos adicionales
○ Después de los experimentos:
■ Simplificación de la descarga en compleos de los datos
GRACIAS!!
Iván Martínez Ortiz @imartinezortiz
imartinez@fdi.ucm.es

Más contenido relacionado

Similar a 2020_11_13 «Soporte a la validación de juego serios con SIMVA y TxMon» - Iván Martínez-Ortiz

Inteligencia Artificial para Videojuegos
Inteligencia Artificial para VideojuegosInteligencia Artificial para Videojuegos
Inteligencia Artificial para VideojuegosFederico Peinado
 
Aprendizaje y juegos - Transmedia UMB
Aprendizaje y juegos - Transmedia UMBAprendizaje y juegos - Transmedia UMB
Aprendizaje y juegos - Transmedia UMBJorge Rubiano
 
Preproducción y diseño del juego
Preproducción y diseño del juegoPreproducción y diseño del juego
Preproducción y diseño del juegoFederico Peinado
 
Propuesta metodológica de gamificación en la enseñanza técnica superior
Propuesta metodológica de gamificación en la enseñanza técnica superiorPropuesta metodológica de gamificación en la enseñanza técnica superior
Propuesta metodológica de gamificación en la enseñanza técnica superiorCarina Soledad Gonzalez
 
Propuesta metodológica de gamificación en la enseñanza superior
Propuesta metodológica de gamificación en la enseñanza superiorPropuesta metodológica de gamificación en la enseñanza superior
Propuesta metodológica de gamificación en la enseñanza superiorAlberto Mora
 
Juegos de Producción y Estadística para la Promoción de las Metodologías Ágiles
Juegos de Producción y Estadística para laPromoción de las Metodologías ÁgilesJuegos de Producción y Estadística para laPromoción de las Metodologías Ágiles
Juegos de Producción y Estadística para la Promoción de las Metodologías ÁgilesLuiz C. Parzianello
 
GCV 03 Herramientas de desarrollo: Específicas para Videojuegos - Gestión de ...
GCV 03 Herramientas de desarrollo: Específicas para Videojuegos - Gestión de ...GCV 03 Herramientas de desarrollo: Específicas para Videojuegos - Gestión de ...
GCV 03 Herramientas de desarrollo: Específicas para Videojuegos - Gestión de ...Federico Peinado
 
2022_10_07 «Juegos serios para enseñanza en ingenierías: dónde, cómo y para qué»
2022_10_07 «Juegos serios para enseñanza en ingenierías: dónde, cómo y para qué»2022_10_07 «Juegos serios para enseñanza en ingenierías: dónde, cómo y para qué»
2022_10_07 «Juegos serios para enseñanza en ingenierías: dónde, cómo y para qué»eMadrid network
 
Videojuegos o gamificación para el aprendizaje: Similitudes, diferencias y ej...
Videojuegos o gamificación para el aprendizaje: Similitudes, diferencias y ej...Videojuegos o gamificación para el aprendizaje: Similitudes, diferencias y ej...
Videojuegos o gamificación para el aprendizaje: Similitudes, diferencias y ej...Ruth S. Contreras Espinosa
 
Laboratorio práctico: La sazón del científico de datos
Laboratorio práctico: La sazón del científico de datosLaboratorio práctico: La sazón del científico de datos
Laboratorio práctico: La sazón del científico de datosSoftware Guru
 
Uso de tecnología de juegos para automatizar pruebas neuropsicológicas e inve...
Uso de tecnología de juegos para automatizar pruebas neuropsicológicas e inve...Uso de tecnología de juegos para automatizar pruebas neuropsicológicas e inve...
Uso de tecnología de juegos para automatizar pruebas neuropsicológicas e inve...Baltasar Fernández-Manjón
 
Producción y documentación
Producción y documentaciónProducción y documentación
Producción y documentaciónFederico Peinado
 
Presentacion actividades
Presentacion actividadesPresentacion actividades
Presentacion actividadesMareli Campos
 
Nuevos desarrollos en tecnologías educativas: juegos serios y analíticas de ...
Nuevos desarrollos en tecnologías educativas: juegos serios y analíticas de ...Nuevos desarrollos en tecnologías educativas: juegos serios y analíticas de ...
Nuevos desarrollos en tecnologías educativas: juegos serios y analíticas de ...Baltasar Fernández-Manjón
 
Presentación en Moodle Moot Bogota 2013 sobre Gamificación
Presentación en Moodle Moot Bogota  2013 sobre GamificaciónPresentación en Moodle Moot Bogota  2013 sobre Gamificación
Presentación en Moodle Moot Bogota 2013 sobre GamificaciónFernando Santamaría
 
"Como gamificar un curso" - Fernando Santamaria
"Como gamificar un curso" - Fernando Santamaria"Como gamificar un curso" - Fernando Santamaria
"Como gamificar un curso" - Fernando SantamariaNivel 7
 
Cómo gamificar un curso (Taller en MoodleMoot Colombia 2014)
Cómo gamificar un curso  (Taller en MoodleMoot Colombia 2014)Cómo gamificar un curso  (Taller en MoodleMoot Colombia 2014)
Cómo gamificar un curso (Taller en MoodleMoot Colombia 2014)Fernando Santamaría
 

Similar a 2020_11_13 «Soporte a la validación de juego serios con SIMVA y TxMon» - Iván Martínez-Ortiz (20)

Inteligencia Artificial para Videojuegos
Inteligencia Artificial para VideojuegosInteligencia Artificial para Videojuegos
Inteligencia Artificial para Videojuegos
 
Aprendizaje y juegos - Transmedia UMB
Aprendizaje y juegos - Transmedia UMBAprendizaje y juegos - Transmedia UMB
Aprendizaje y juegos - Transmedia UMB
 
Preproducción y diseño del juego
Preproducción y diseño del juegoPreproducción y diseño del juego
Preproducción y diseño del juego
 
Propuesta metodológica de gamificación en la enseñanza técnica superior
Propuesta metodológica de gamificación en la enseñanza técnica superiorPropuesta metodológica de gamificación en la enseñanza técnica superior
Propuesta metodológica de gamificación en la enseñanza técnica superior
 
Propuesta metodológica de gamificación en la enseñanza superior
Propuesta metodológica de gamificación en la enseñanza superiorPropuesta metodológica de gamificación en la enseñanza superior
Propuesta metodológica de gamificación en la enseñanza superior
 
Juegos de Producción y Estadística para la Promoción de las Metodologías Ágiles
Juegos de Producción y Estadística para laPromoción de las Metodologías ÁgilesJuegos de Producción y Estadística para laPromoción de las Metodologías Ágiles
Juegos de Producción y Estadística para la Promoción de las Metodologías Ágiles
 
GCV 03 Herramientas de desarrollo: Específicas para Videojuegos - Gestión de ...
GCV 03 Herramientas de desarrollo: Específicas para Videojuegos - Gestión de ...GCV 03 Herramientas de desarrollo: Específicas para Videojuegos - Gestión de ...
GCV 03 Herramientas de desarrollo: Específicas para Videojuegos - Gestión de ...
 
CoSECiVi 2020 - Descubrimiento de modelos de comportamiento de perfiles de ju...
CoSECiVi 2020 - Descubrimiento de modelos de comportamiento de perfiles de ju...CoSECiVi 2020 - Descubrimiento de modelos de comportamiento de perfiles de ju...
CoSECiVi 2020 - Descubrimiento de modelos de comportamiento de perfiles de ju...
 
Investigación en tecnología educativa e-ucm
Investigación en tecnología educativa e-ucmInvestigación en tecnología educativa e-ucm
Investigación en tecnología educativa e-ucm
 
2022_10_07 «Juegos serios para enseñanza en ingenierías: dónde, cómo y para qué»
2022_10_07 «Juegos serios para enseñanza en ingenierías: dónde, cómo y para qué»2022_10_07 «Juegos serios para enseñanza en ingenierías: dónde, cómo y para qué»
2022_10_07 «Juegos serios para enseñanza en ingenierías: dónde, cómo y para qué»
 
Investigacion en Juegos Serios
Investigacion en Juegos SeriosInvestigacion en Juegos Serios
Investigacion en Juegos Serios
 
Videojuegos o gamificación para el aprendizaje: Similitudes, diferencias y ej...
Videojuegos o gamificación para el aprendizaje: Similitudes, diferencias y ej...Videojuegos o gamificación para el aprendizaje: Similitudes, diferencias y ej...
Videojuegos o gamificación para el aprendizaje: Similitudes, diferencias y ej...
 
Laboratorio práctico: La sazón del científico de datos
Laboratorio práctico: La sazón del científico de datosLaboratorio práctico: La sazón del científico de datos
Laboratorio práctico: La sazón del científico de datos
 
Uso de tecnología de juegos para automatizar pruebas neuropsicológicas e inve...
Uso de tecnología de juegos para automatizar pruebas neuropsicológicas e inve...Uso de tecnología de juegos para automatizar pruebas neuropsicológicas e inve...
Uso de tecnología de juegos para automatizar pruebas neuropsicológicas e inve...
 
Producción y documentación
Producción y documentaciónProducción y documentación
Producción y documentación
 
Presentacion actividades
Presentacion actividadesPresentacion actividades
Presentacion actividades
 
Nuevos desarrollos en tecnologías educativas: juegos serios y analíticas de ...
Nuevos desarrollos en tecnologías educativas: juegos serios y analíticas de ...Nuevos desarrollos en tecnologías educativas: juegos serios y analíticas de ...
Nuevos desarrollos en tecnologías educativas: juegos serios y analíticas de ...
 
Presentación en Moodle Moot Bogota 2013 sobre Gamificación
Presentación en Moodle Moot Bogota  2013 sobre GamificaciónPresentación en Moodle Moot Bogota  2013 sobre Gamificación
Presentación en Moodle Moot Bogota 2013 sobre Gamificación
 
"Como gamificar un curso" - Fernando Santamaria
"Como gamificar un curso" - Fernando Santamaria"Como gamificar un curso" - Fernando Santamaria
"Como gamificar un curso" - Fernando Santamaria
 
Cómo gamificar un curso (Taller en MoodleMoot Colombia 2014)
Cómo gamificar un curso  (Taller en MoodleMoot Colombia 2014)Cómo gamificar un curso  (Taller en MoodleMoot Colombia 2014)
Cómo gamificar un curso (Taller en MoodleMoot Colombia 2014)
 

Más de eMadrid network

Recognizing Lifelong Learning Competences: A Report of Two Cases - Edmundo Tovar
Recognizing Lifelong Learning Competences: A Report of Two Cases - Edmundo TovarRecognizing Lifelong Learning Competences: A Report of Two Cases - Edmundo Tovar
Recognizing Lifelong Learning Competences: A Report of Two Cases - Edmundo TovareMadrid network
 
A study about the impact of rewards on student's engagement with the flipped ...
A study about the impact of rewards on student's engagement with the flipped ...A study about the impact of rewards on student's engagement with the flipped ...
A study about the impact of rewards on student's engagement with the flipped ...eMadrid network
 
Assessment and recognition in technical massive open on-line courses with and...
Assessment and recognition in technical massive open on-line courses with and...Assessment and recognition in technical massive open on-line courses with and...
Assessment and recognition in technical massive open on-line courses with and...eMadrid network
 
Recognition of learning: Status, experiences and challenges - Carlos Delgado ...
Recognition of learning: Status, experiences and challenges - Carlos Delgado ...Recognition of learning: Status, experiences and challenges - Carlos Delgado ...
Recognition of learning: Status, experiences and challenges - Carlos Delgado ...eMadrid network
 
Bootstrapping serious games to assess learning through analytics - Baltasar F...
Bootstrapping serious games to assess learning through analytics - Baltasar F...Bootstrapping serious games to assess learning through analytics - Baltasar F...
Bootstrapping serious games to assess learning through analytics - Baltasar F...eMadrid network
 
Meta-review of recognition of learning in LMS and MOOCs - Ruth Cobos
Meta-review of recognition of learning in LMS and MOOCs - Ruth CobosMeta-review of recognition of learning in LMS and MOOCs - Ruth Cobos
Meta-review of recognition of learning in LMS and MOOCs - Ruth CoboseMadrid network
 
Best paper Award - Miguel Castro
Best paper Award - Miguel CastroBest paper Award - Miguel Castro
Best paper Award - Miguel CastroeMadrid network
 
eMadrid Gaming4Coding - Possibilities of game learning analytics for coding l...
eMadrid Gaming4Coding - Possibilities of game learning analytics for coding l...eMadrid Gaming4Coding - Possibilities of game learning analytics for coding l...
eMadrid Gaming4Coding - Possibilities of game learning analytics for coding l...eMadrid network
 
Seminario eMadrid_Curso MOOC_Antonio de Nebrija_Apología del saber.pptx.pdf
Seminario eMadrid_Curso MOOC_Antonio de Nebrija_Apología del saber.pptx.pdfSeminario eMadrid_Curso MOOC_Antonio de Nebrija_Apología del saber.pptx.pdf
Seminario eMadrid_Curso MOOC_Antonio de Nebrija_Apología del saber.pptx.pdfeMadrid network
 
eMadrid-Opportunities and Design Challenges in the Gaming4Coding Project_Pete...
eMadrid-Opportunities and Design Challenges in the Gaming4Coding Project_Pete...eMadrid-Opportunities and Design Challenges in the Gaming4Coding Project_Pete...
eMadrid-Opportunities and Design Challenges in the Gaming4Coding Project_Pete...eMadrid network
 
Open_principles_and_co-creation_for_digital_competences_for_students.pdf
Open_principles_and_co-creation_for_digital_competences_for_students.pdfOpen_principles_and_co-creation_for_digital_competences_for_students.pdf
Open_principles_and_co-creation_for_digital_competences_for_students.pdfeMadrid network
 
Competencias_digitales_del_profesorado_universitario_para_la_educación_abiert...
Competencias_digitales_del_profesorado_universitario_para_la_educación_abiert...Competencias_digitales_del_profesorado_universitario_para_la_educación_abiert...
Competencias_digitales_del_profesorado_universitario_para_la_educación_abiert...eMadrid network
 
eMadrid_KatjaAssaf_DigiCred.pdf
eMadrid_KatjaAssaf_DigiCred.pdfeMadrid_KatjaAssaf_DigiCred.pdf
eMadrid_KatjaAssaf_DigiCred.pdfeMadrid network
 
Presentazione E-Madrid - 12-01-2023 Ruth Kerr.pdf
Presentazione E-Madrid - 12-01-2023 Ruth Kerr.pdfPresentazione E-Madrid - 12-01-2023 Ruth Kerr.pdf
Presentazione E-Madrid - 12-01-2023 Ruth Kerr.pdfeMadrid network
 
EDC-eMadrid_20230113 Ildikó Mázár.pdf
EDC-eMadrid_20230113 Ildikó Mázár.pdfEDC-eMadrid_20230113 Ildikó Mázár.pdf
EDC-eMadrid_20230113 Ildikó Mázár.pdfeMadrid network
 
2022_12_16 «“La informática en la educación escolar en Europa”, informe Euryd...
2022_12_16 «“La informática en la educación escolar en Europa”, informe Euryd...2022_12_16 «“La informática en la educación escolar en Europa”, informe Euryd...
2022_12_16 «“La informática en la educación escolar en Europa”, informe Euryd...eMadrid network
 
2022_12_16 «Informatics – A Fundamental Discipline for the 21st Century»
2022_12_16 «Informatics – A Fundamental Discipline for the 21st Century»2022_12_16 «Informatics – A Fundamental Discipline for the 21st Century»
2022_12_16 «Informatics – A Fundamental Discipline for the 21st Century»eMadrid network
 
2022_12_16 «Efecto del uso de lenguajes basados en bloques en el aprendizaje ...
2022_12_16 «Efecto del uso de lenguajes basados en bloques en el aprendizaje ...2022_12_16 «Efecto del uso de lenguajes basados en bloques en el aprendizaje ...
2022_12_16 «Efecto del uso de lenguajes basados en bloques en el aprendizaje ...eMadrid network
 
2022_11_11 «AI and ML methods for Multimodal Learning Analytics»
2022_11_11 «AI and ML methods for Multimodal Learning Analytics»2022_11_11 «AI and ML methods for Multimodal Learning Analytics»
2022_11_11 «AI and ML methods for Multimodal Learning Analytics»eMadrid network
 
2022_11_11 «The promise and challenges of Multimodal Learning Analytics»
2022_11_11 «The promise and challenges of Multimodal Learning Analytics»2022_11_11 «The promise and challenges of Multimodal Learning Analytics»
2022_11_11 «The promise and challenges of Multimodal Learning Analytics»eMadrid network
 

Más de eMadrid network (20)

Recognizing Lifelong Learning Competences: A Report of Two Cases - Edmundo Tovar
Recognizing Lifelong Learning Competences: A Report of Two Cases - Edmundo TovarRecognizing Lifelong Learning Competences: A Report of Two Cases - Edmundo Tovar
Recognizing Lifelong Learning Competences: A Report of Two Cases - Edmundo Tovar
 
A study about the impact of rewards on student's engagement with the flipped ...
A study about the impact of rewards on student's engagement with the flipped ...A study about the impact of rewards on student's engagement with the flipped ...
A study about the impact of rewards on student's engagement with the flipped ...
 
Assessment and recognition in technical massive open on-line courses with and...
Assessment and recognition in technical massive open on-line courses with and...Assessment and recognition in technical massive open on-line courses with and...
Assessment and recognition in technical massive open on-line courses with and...
 
Recognition of learning: Status, experiences and challenges - Carlos Delgado ...
Recognition of learning: Status, experiences and challenges - Carlos Delgado ...Recognition of learning: Status, experiences and challenges - Carlos Delgado ...
Recognition of learning: Status, experiences and challenges - Carlos Delgado ...
 
Bootstrapping serious games to assess learning through analytics - Baltasar F...
Bootstrapping serious games to assess learning through analytics - Baltasar F...Bootstrapping serious games to assess learning through analytics - Baltasar F...
Bootstrapping serious games to assess learning through analytics - Baltasar F...
 
Meta-review of recognition of learning in LMS and MOOCs - Ruth Cobos
Meta-review of recognition of learning in LMS and MOOCs - Ruth CobosMeta-review of recognition of learning in LMS and MOOCs - Ruth Cobos
Meta-review of recognition of learning in LMS and MOOCs - Ruth Cobos
 
Best paper Award - Miguel Castro
Best paper Award - Miguel CastroBest paper Award - Miguel Castro
Best paper Award - Miguel Castro
 
eMadrid Gaming4Coding - Possibilities of game learning analytics for coding l...
eMadrid Gaming4Coding - Possibilities of game learning analytics for coding l...eMadrid Gaming4Coding - Possibilities of game learning analytics for coding l...
eMadrid Gaming4Coding - Possibilities of game learning analytics for coding l...
 
Seminario eMadrid_Curso MOOC_Antonio de Nebrija_Apología del saber.pptx.pdf
Seminario eMadrid_Curso MOOC_Antonio de Nebrija_Apología del saber.pptx.pdfSeminario eMadrid_Curso MOOC_Antonio de Nebrija_Apología del saber.pptx.pdf
Seminario eMadrid_Curso MOOC_Antonio de Nebrija_Apología del saber.pptx.pdf
 
eMadrid-Opportunities and Design Challenges in the Gaming4Coding Project_Pete...
eMadrid-Opportunities and Design Challenges in the Gaming4Coding Project_Pete...eMadrid-Opportunities and Design Challenges in the Gaming4Coding Project_Pete...
eMadrid-Opportunities and Design Challenges in the Gaming4Coding Project_Pete...
 
Open_principles_and_co-creation_for_digital_competences_for_students.pdf
Open_principles_and_co-creation_for_digital_competences_for_students.pdfOpen_principles_and_co-creation_for_digital_competences_for_students.pdf
Open_principles_and_co-creation_for_digital_competences_for_students.pdf
 
Competencias_digitales_del_profesorado_universitario_para_la_educación_abiert...
Competencias_digitales_del_profesorado_universitario_para_la_educación_abiert...Competencias_digitales_del_profesorado_universitario_para_la_educación_abiert...
Competencias_digitales_del_profesorado_universitario_para_la_educación_abiert...
 
eMadrid_KatjaAssaf_DigiCred.pdf
eMadrid_KatjaAssaf_DigiCred.pdfeMadrid_KatjaAssaf_DigiCred.pdf
eMadrid_KatjaAssaf_DigiCred.pdf
 
Presentazione E-Madrid - 12-01-2023 Ruth Kerr.pdf
Presentazione E-Madrid - 12-01-2023 Ruth Kerr.pdfPresentazione E-Madrid - 12-01-2023 Ruth Kerr.pdf
Presentazione E-Madrid - 12-01-2023 Ruth Kerr.pdf
 
EDC-eMadrid_20230113 Ildikó Mázár.pdf
EDC-eMadrid_20230113 Ildikó Mázár.pdfEDC-eMadrid_20230113 Ildikó Mázár.pdf
EDC-eMadrid_20230113 Ildikó Mázár.pdf
 
2022_12_16 «“La informática en la educación escolar en Europa”, informe Euryd...
2022_12_16 «“La informática en la educación escolar en Europa”, informe Euryd...2022_12_16 «“La informática en la educación escolar en Europa”, informe Euryd...
2022_12_16 «“La informática en la educación escolar en Europa”, informe Euryd...
 
2022_12_16 «Informatics – A Fundamental Discipline for the 21st Century»
2022_12_16 «Informatics – A Fundamental Discipline for the 21st Century»2022_12_16 «Informatics – A Fundamental Discipline for the 21st Century»
2022_12_16 «Informatics – A Fundamental Discipline for the 21st Century»
 
2022_12_16 «Efecto del uso de lenguajes basados en bloques en el aprendizaje ...
2022_12_16 «Efecto del uso de lenguajes basados en bloques en el aprendizaje ...2022_12_16 «Efecto del uso de lenguajes basados en bloques en el aprendizaje ...
2022_12_16 «Efecto del uso de lenguajes basados en bloques en el aprendizaje ...
 
2022_11_11 «AI and ML methods for Multimodal Learning Analytics»
2022_11_11 «AI and ML methods for Multimodal Learning Analytics»2022_11_11 «AI and ML methods for Multimodal Learning Analytics»
2022_11_11 «AI and ML methods for Multimodal Learning Analytics»
 
2022_11_11 «The promise and challenges of Multimodal Learning Analytics»
2022_11_11 «The promise and challenges of Multimodal Learning Analytics»2022_11_11 «The promise and challenges of Multimodal Learning Analytics»
2022_11_11 «The promise and challenges of Multimodal Learning Analytics»
 

Último

Trabajo de tecnología excel avanzado.pdf
Trabajo de tecnología excel avanzado.pdfTrabajo de tecnología excel avanzado.pdf
Trabajo de tecnología excel avanzado.pdfedepmariaperez
 
Tecnologias Starlink para el mundo tec.pptx
Tecnologias Starlink para el mundo tec.pptxTecnologias Starlink para el mundo tec.pptx
Tecnologias Starlink para el mundo tec.pptxGESTECPERUSAC
 
Análisis de los artefactos (nintendo NES)
Análisis de los artefactos (nintendo NES)Análisis de los artefactos (nintendo NES)
Análisis de los artefactos (nintendo NES)JuanStevenTrujilloCh
 
Slideshare y Scribd - Noli Cubillan Gerencia
Slideshare y Scribd - Noli Cubillan GerenciaSlideshare y Scribd - Noli Cubillan Gerencia
Slideshare y Scribd - Noli Cubillan Gerenciacubillannoly
 
Presentación sobre la Inteligencia Artificial
Presentación sobre la Inteligencia ArtificialPresentación sobre la Inteligencia Artificial
Presentación sobre la Inteligencia Artificialcynserafini89
 
AREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPO
AREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPOAREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPO
AREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPOnarvaezisabella21
 
Herramientas que posibilitan la información y la investigación.pdf
Herramientas que posibilitan la información y la investigación.pdfHerramientas que posibilitan la información y la investigación.pdf
Herramientas que posibilitan la información y la investigación.pdfKarinaCambero3
 
PLANEACION DE CLASES TEMA TIPOS DE FAMILIA.docx
PLANEACION DE CLASES TEMA TIPOS DE FAMILIA.docxPLANEACION DE CLASES TEMA TIPOS DE FAMILIA.docx
PLANEACION DE CLASES TEMA TIPOS DE FAMILIA.docxhasbleidit
 
Guía de Registro slideshare paso a paso 1
Guía de Registro slideshare paso a paso 1Guía de Registro slideshare paso a paso 1
Guía de Registro slideshare paso a paso 1ivanapaterninar
 
Red Dorsal Nacional de Fibra Óptica y Redes Regionales del Perú
Red Dorsal Nacional de Fibra Óptica y Redes Regionales del PerúRed Dorsal Nacional de Fibra Óptica y Redes Regionales del Perú
Red Dorsal Nacional de Fibra Óptica y Redes Regionales del PerúCEFERINO DELGADO FLORES
 
La Electricidad Y La Electrónica Trabajo Tecnología.pdf
La Electricidad Y La Electrónica Trabajo Tecnología.pdfLa Electricidad Y La Electrónica Trabajo Tecnología.pdf
La Electricidad Y La Electrónica Trabajo Tecnología.pdfjeondanny1997
 
Análisis de Artefactos Tecnologicos (3) (1).pdf
Análisis de Artefactos Tecnologicos  (3) (1).pdfAnálisis de Artefactos Tecnologicos  (3) (1).pdf
Análisis de Artefactos Tecnologicos (3) (1).pdfsharitcalderon04
 
Viguetas Pretensadas en concreto armado
Viguetas Pretensadas  en concreto armadoViguetas Pretensadas  en concreto armado
Viguetas Pretensadas en concreto armadob7fwtwtfxf
 
tarea de exposicion de senati zzzzzzzzzz
tarea de exposicion de senati zzzzzzzzzztarea de exposicion de senati zzzzzzzzzz
tarea de exposicion de senati zzzzzzzzzzAlexandergo5
 
Agencia Marketing Branding Google Workspace Deployment Services Credential Fe...
Agencia Marketing Branding Google Workspace Deployment Services Credential Fe...Agencia Marketing Branding Google Workspace Deployment Services Credential Fe...
Agencia Marketing Branding Google Workspace Deployment Services Credential Fe...Marketing BRANDING
 
GonzalezGonzalez_Karina_M1S3AI6... .pptx
GonzalezGonzalez_Karina_M1S3AI6... .pptxGonzalezGonzalez_Karina_M1S3AI6... .pptx
GonzalezGonzalez_Karina_M1S3AI6... .pptx241523733
 
CommitConf 2024 - Spring Boot <3 Testcontainers
CommitConf 2024 - Spring Boot <3 TestcontainersCommitConf 2024 - Spring Boot <3 Testcontainers
CommitConf 2024 - Spring Boot <3 TestcontainersIván López Martín
 
TALLER DE ANALISIS SOLUCION PART 2 (1)-1.docx
TALLER DE ANALISIS SOLUCION  PART 2 (1)-1.docxTALLER DE ANALISIS SOLUCION  PART 2 (1)-1.docx
TALLER DE ANALISIS SOLUCION PART 2 (1)-1.docxobandopaula444
 
Documentacion Electrónica en Actos Juridicos
Documentacion Electrónica en Actos JuridicosDocumentacion Electrónica en Actos Juridicos
Documentacion Electrónica en Actos JuridicosAlbanyMartinez7
 

Último (20)

Trabajo de tecnología excel avanzado.pdf
Trabajo de tecnología excel avanzado.pdfTrabajo de tecnología excel avanzado.pdf
Trabajo de tecnología excel avanzado.pdf
 
El camino a convertirse en Microsoft MVP
El camino a convertirse en Microsoft MVPEl camino a convertirse en Microsoft MVP
El camino a convertirse en Microsoft MVP
 
Tecnologias Starlink para el mundo tec.pptx
Tecnologias Starlink para el mundo tec.pptxTecnologias Starlink para el mundo tec.pptx
Tecnologias Starlink para el mundo tec.pptx
 
Análisis de los artefactos (nintendo NES)
Análisis de los artefactos (nintendo NES)Análisis de los artefactos (nintendo NES)
Análisis de los artefactos (nintendo NES)
 
Slideshare y Scribd - Noli Cubillan Gerencia
Slideshare y Scribd - Noli Cubillan GerenciaSlideshare y Scribd - Noli Cubillan Gerencia
Slideshare y Scribd - Noli Cubillan Gerencia
 
Presentación sobre la Inteligencia Artificial
Presentación sobre la Inteligencia ArtificialPresentación sobre la Inteligencia Artificial
Presentación sobre la Inteligencia Artificial
 
AREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPO
AREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPOAREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPO
AREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPO
 
Herramientas que posibilitan la información y la investigación.pdf
Herramientas que posibilitan la información y la investigación.pdfHerramientas que posibilitan la información y la investigación.pdf
Herramientas que posibilitan la información y la investigación.pdf
 
PLANEACION DE CLASES TEMA TIPOS DE FAMILIA.docx
PLANEACION DE CLASES TEMA TIPOS DE FAMILIA.docxPLANEACION DE CLASES TEMA TIPOS DE FAMILIA.docx
PLANEACION DE CLASES TEMA TIPOS DE FAMILIA.docx
 
Guía de Registro slideshare paso a paso 1
Guía de Registro slideshare paso a paso 1Guía de Registro slideshare paso a paso 1
Guía de Registro slideshare paso a paso 1
 
Red Dorsal Nacional de Fibra Óptica y Redes Regionales del Perú
Red Dorsal Nacional de Fibra Óptica y Redes Regionales del PerúRed Dorsal Nacional de Fibra Óptica y Redes Regionales del Perú
Red Dorsal Nacional de Fibra Óptica y Redes Regionales del Perú
 
La Electricidad Y La Electrónica Trabajo Tecnología.pdf
La Electricidad Y La Electrónica Trabajo Tecnología.pdfLa Electricidad Y La Electrónica Trabajo Tecnología.pdf
La Electricidad Y La Electrónica Trabajo Tecnología.pdf
 
Análisis de Artefactos Tecnologicos (3) (1).pdf
Análisis de Artefactos Tecnologicos  (3) (1).pdfAnálisis de Artefactos Tecnologicos  (3) (1).pdf
Análisis de Artefactos Tecnologicos (3) (1).pdf
 
Viguetas Pretensadas en concreto armado
Viguetas Pretensadas  en concreto armadoViguetas Pretensadas  en concreto armado
Viguetas Pretensadas en concreto armado
 
tarea de exposicion de senati zzzzzzzzzz
tarea de exposicion de senati zzzzzzzzzztarea de exposicion de senati zzzzzzzzzz
tarea de exposicion de senati zzzzzzzzzz
 
Agencia Marketing Branding Google Workspace Deployment Services Credential Fe...
Agencia Marketing Branding Google Workspace Deployment Services Credential Fe...Agencia Marketing Branding Google Workspace Deployment Services Credential Fe...
Agencia Marketing Branding Google Workspace Deployment Services Credential Fe...
 
GonzalezGonzalez_Karina_M1S3AI6... .pptx
GonzalezGonzalez_Karina_M1S3AI6... .pptxGonzalezGonzalez_Karina_M1S3AI6... .pptx
GonzalezGonzalez_Karina_M1S3AI6... .pptx
 
CommitConf 2024 - Spring Boot <3 Testcontainers
CommitConf 2024 - Spring Boot <3 TestcontainersCommitConf 2024 - Spring Boot <3 Testcontainers
CommitConf 2024 - Spring Boot <3 Testcontainers
 
TALLER DE ANALISIS SOLUCION PART 2 (1)-1.docx
TALLER DE ANALISIS SOLUCION  PART 2 (1)-1.docxTALLER DE ANALISIS SOLUCION  PART 2 (1)-1.docx
TALLER DE ANALISIS SOLUCION PART 2 (1)-1.docx
 
Documentacion Electrónica en Actos Juridicos
Documentacion Electrónica en Actos JuridicosDocumentacion Electrónica en Actos Juridicos
Documentacion Electrónica en Actos Juridicos
 

2020_11_13 «Soporte a la validación de juego serios con SIMVA y TxMon» - Iván Martínez-Ortiz

  • 1. Soporte a la validación de juego serios con SIMVA y TxMon Iván Martínez Ortiz @imartinezortiz imartinez@fdi.ucm.es Seminario eMadrid sobre «Analíticas de Aprendizaje y Juegos Serios». 13/11/2020
  • 2. Contexto: Juegos Serios - Serious Games (SG) ● Cualquier juego cuyo objetivo principal no sea únicamente el entretenimiento ● Juegos con propósito educativo: Aprender, Concienciar, Cambiar actitud ● Habitualmente son “cajas negras” que no comunican información al exterior ○ Nota final ○ No hay información sobre el progreso. ● Método de evaluación habitual: cuestionarios pre-post Calderón, Alejandro & Ruiz, Mercedes. (2015). A systematic literature review on serious games evaluation: An application to software project management. Computers & Education. 87. 10.1016/j.compedu.2015.07.011.
  • 3. Contexto: Analíticas ● Learning Analytics (LA) ○ Mejora de la educación basado en datos ○ Mejora del proceso educativo basado en evidencias ■ evidence-based education ● Game Analytics (GLA) ○ Aplicación de analíticas al desarrollo, validación e investigación de juegos ○ Telemetría, Métricas de juego ○ Propósitos comerciales ■ monetization, churn, user funnels
  • 4. Contexto: Analíticas ● Game Learning Analytics: LA + GA ○ Recopilar, analizar y visualizar los datos de interacción de los jugadores con los SGs ○ Evaluar y mejorar los juegos ○ Proporcionar información que ayude a los profesores ● ¿Cuándo analizar? ○ Después de jugar ○ Durante el juego
  • 5. Trabajo en e-UCM con Juegos Serios y Analíticas uAdventure: Herramienta de autoría de juegos serios evolucionada de eAdventure ● Libre, gratuito y de código abierto ● Programado sobre Unity3D (2019 LTS) ● Disponible en https://github.com/e-ucm/uAdventure/ Desarrollo de Juegos Serios en diferentes ámbitos de aplicación: - Salud - Educación - Teatro - ...
  • 6. First Aid y First Aid redux
  • 7. Qué aprendimos del juego de primeros auxilios ? ● Se pueden validar juegos serios de manera efectiva ● Con un diseño y juegos validados el experimento se puede reproducir ● Tuvimos que desplazarnos varias jornadas a la región de Aragón ○ gran variabilidad entre colegios ● Coordinar el despliegue y validación con un número elevado de es complejo (340 participantes) Replicabilidad
  • 8. Qué aprendimos del juego de la Dama Boba ? ● Ámbito de aplicación poco común en el momento del desarrollo ● Gran aceptación e impacto ● Las analíticas juegan un papel relevante ○ Facilitan y complementan los datos obtenidos en los cuestionarios ○ Te llevas sorpresas al explorar los datos ● Escalado: Cuanto más grande es el experimento más complejo es de coordinar ○ ~750 participantes ● Trabajo ingente por parte de los investigadores ○ procesar los pre-post en papel, propenso a errores
  • 9. Qué aprendimos de Downtown Madrid ? ● Downtown Madrid y en “La gran fiesta” tienen como público objetivo a personas con diversidad intelectual ○ ¿Cómo evaluar cuando los jugadores no pueden darte un feedback efectivo? ● Las analíticas juegan un papel principal para entender el impacto del juego: ○ Game Analytics -> Se puede Jugar ? ○ Game Learning Analytics -> Tiene impacto
  • 10. Qué aprendimos del juego de los 15 objetos? ● La UX para participar en los experimentos debe ser simple ○ personas mayores de 60 años con poca experiencia en el uso de ordenadores ● El juego serio debe ser flexible y configurable externamente ○ => adaptable al diseño experimental.
  • 11. ¿Qué aprendimos con Conectado ? ● Necesitamos herramientas que nos ayuden en la validación ● Para escalar tenemos que poder realizar experimentos en remoto ● Hay que tener un plan B para llevar a cabo los experimentos ○ El equipamiento y conectividad de los colegios es muy variable
  • 12. Validación de Juegos Serios Juegos Serios: Herramienta efectiva en múltiples ámbitos. Aun así necesitan tener: ● Evidencia de Efectividad ● Validación del diseño del SG ¿Qué metodologías hay para conseguir esto?: ● Cuestionarios Pre-Post => la más aceptada ● Encuestas ● Análisis de los datos de Interacción (GLA) Proceso muy complejo: Tiempo, coste, errores humanos...
  • 13. Validación de Juegos Serios: problemas ● Antes de los experimentos: ○ Gestión de los cuestionarios y de los usuarios ○ Proporcionar identificadores (anónimos) únicos a los usuarios ● Durante los experimentos: ○ Asegurarnos que los usuarios realizan la actividad completa: PreTest-Juego-PostTest ○ Recopilar, correlacionar y almacenar los resultados de cada uno de los jugadores ● Después de los experimentos ○ Transcripción o volcado y análisis de todos los datos del experimento
  • 14. Problemas del Pre-Post: Recolección En papel: ● Malgasto en impresión y papel. Pérdida de tiempo en la distribución. ● Transcribir las respuestas: Ardua tarea, larga, tediosa, y propensa a errores. En PC: ● Acceso a internet obligatorio ● Si son offline hay que hacer la recolección, similar a papel.
  • 15. Problemas del Pre-Post En papel: ● Almacenamiento seguro de grandes cantidades de papel ● Cómo, cuándo y dónde se destruirán En PC: ● Hacen falta backups por seguridad. y todo esto se complica más cuando se combinan con los datos de analíticas de juegos basadas en las interacciones de los usuarios con los juegos
  • 16. Trabajo en e-UCM con Juegos Serios y Analíticas BEACONING, RAGE ANALYTICS: Evaluación de juegos serios mediante el uso de game learning analytics xAPI SG profile: Perfil de aplicación la especificación de xAPI para Juegos serios ● xAPI 2.0 próximamente estándar IEEE IMPRESS: Improving Engagement of Students in Software Engineering ● gamificación + juegos + analíticas
  • 17. Problemas Pre-Post: Interconectar los datos. Cómo relacionamos todos los datos del mismo usuario? Hay múltiples elementos recogidos: ● Cuestionarios Pre-post ● Datos de interacción (Trazas) ¿Cómo identificamos a los usuarios? ● ¿Nombre o DNI? No sería anónimo ● Identificadores aleatórios Datos Anónimos
  • 18.
  • 19. ¿Qué es Simva? ● Soporte en diseños experimentales para validación de juegos ○ Pretest-juego-postest ○ Creación de los grupos experimentales y cuestionarios ○ Gestión del estado de las fases del experimento ○ Recopilación de GLA durante la fase de juego ● Pasos a seguir 1. Desarrollo del juego 2. Creación de los cuestionarios 3. Generación de los grupos experimentales ○ Sólo se permite la participación si se dispone un TOKEN
  • 22. Breve pincelada de la interacción entre componentes
  • 23. ¿Podemos aprovechar aún más las GLA? ¿Podemos predecir el impacto sólamente utilizando GLA? - Es posible => First Aid redux - Requiere tener el juego validado. - Es necesario aplicar técnicas de data science para definir y validar los modelos de predicción Permite simplificar despliegue en colegios
  • 24. Nuevos modelos de aplicación de SG basados en GLA
  • 25. T-mon: Monitoring xAPI-SG traces in Python Experience API Profile for Serious Games (xAPI-SG) T-mon (Traces monitor) xAPI-SG Processor Jupyter Notebooks Default set of analysis and visualizations Simplificar el acceso de los expertos en ciencia de datos al análisis de los datos de los juegos
  • 26. T-mon Jupyter Notebooks Procesamiento de trazas xAPI-SG: 1. local, remota y desde SIMVA 2. Subida de archivo xAPI-SG 3. Ejecutar el análisis! It allows to configure the data: - filter players - filter game parameters (e.g. only data of one level) and configure the visualizations: - order data - view percentage/total - plot only partial data per graphic, etc.
  • 27. Análisis y visualizaciones por defecto de las trazas xAPI Completion Progress Choices InteractionsResults (scores) Results (times) and more!
  • 28. Análisis y visualizaciones por defecto de las trazas xAPI Serious game completion initialized and completed traces with object-type serious-game Serious game progress initialized, progressed and completed traces with object-type serious-game, result.progress and timestamp Choices in alternatives selected traces with object-type alternative, result.response and result.success Completable progress progressed traces in any completable object type, with result.progress
  • 29. Análisis y visualizaciones por defecto de las trazas xAPI Interactions interacted traces with any object type; bar chart per item, and each bar per player Completable results (scores) completed trace of any completable with result.score Completable results (max and min times) difference in timestamp of initialized and completed traces of each completable Interactions (heatmap) interacted traces grouped by item (object) and player
  • 30. Proyectos Open-source en GitHub T-mon disponible en: https://github.com/e-ucm/t-mon ● Local mode para ejecutar en tu Jupyter local. ● Remote mode para ejecutar en un servidor Jupyter gestionado => Puedes lanzar la demo en Binder ○ Including launch with binder from GitHub no installation or configuration required! El instalador SIMVA disponible en: https://github.com/e-ucm/simva-infra ● El resto de componentes también se encuentra en GitHub
  • 31. Una cosa más ... … si el juego está hecho con uAdventure … uAdventure genera automáticamente y de forma transparente trazas xAPI para los juegos las trazas por defecto de uAdventure se pueden complementar con otras específicas que añade el creador del juego para mejorar la analítica de aprendizaje uAdventure
  • 32. Conclusiones ● El proceso de validación de los juegos serios es complejo y propenso a errores ● Las herramientas Simva + Txmon solucionan parte de los problemas ○ Antes de los experimentos: ■ Gestión de los usuarios & cuestionarios ■ Proporcionar identificadores anónimos a los usuarios ○ Durante los experimentos: ■ Recolectar y almacenar todos los datos ■ Relacionar los datos de los diferentes usuarios ■ Proporcionar metadatos adicionales ○ Después de los experimentos: ■ Simplificación de la descarga en compleos de los datos
  • 33. GRACIAS!! Iván Martínez Ortiz @imartinezortiz imartinez@fdi.ucm.es