Seminario eMadrid sobre "Aprendizaje de la programación en diversos niveles educativos". Ana Isabel Molina, UCLM. Evaluación de recursos educativos para el aprendizaje de la programación mediante técnicas de seguimiento ocular. 22/01/2016.

1. Evaluación de recursos
educativos para el aprendizaje
de la programación mediante
técnicas de seguimiento ocular
Ana Isabel Molina Díaz
Grupo de Investigación CHICO
Universidad de Castilla-La Mancha

2. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Grupo CHICO http://chico.inf-cr.uclm.es/cms
 CHICO (Computer Human Interaction and COllaboration)
 Líneas de Investigación
 Informática Educativa y Sistemas para la Colaboración
 Aplicación de nuevos paradigmas de interacción a la educación
 Modelado instruccional
 Análisis de la colaboración y consejo inteligente (ITS)
 Diseño y evaluación de sistemas e-learning y m-learning
 Aprendizaje Colaborativo (CSCL)
 Interacción Persona-Ordenador (IPO)
 Interfaces de usuario colaborativas
− Diseño (awareness)
− Evaluación
 Evaluación de sistemas interactivos
− Laboratorio de Usabilidad del grupo CHICO
 Ámbitos
 Enseñanza de idiomas, domótica, programación, …
 Desarrollos (en el ámbito de la enseñanza
de la programación): COALA, COLE-Programming,
COLLECE, …

3. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Introducción / Motivación
 Evaluación de sistemas y materiales educativos
 Medidas indirectas (subjetivas)
 Cuestionarios de percepción subjetiva
 Entrevistas
 Thinking aloud
 Medidas directas (objetivas)
 Métricas
 Logging automático

4. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Introducción / Motivación
 Usabilidad pedagógica
 Cuestionarios empleados en el ámbito
educativo
 TAM (Technology Acceptance
Model)
− Perceived Usefulness (PU)
− Intention to Use (ITU)
− Perceived Ease of Use (PEU)
 CLT (Cognitive Load Theory)
− Intrinsic cognitive load
− Extraneous cognitive load
 Usabilidad tecnológica
 SUS (System Usability Scale)
 QUIS (Questionnaire for User
Interface Satisfaction)
 CSUQ (Computer System Usability
Questionnaire)
 ...

5. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Motivación - Objetivo
 Inconveniente de las medidas subjetivas:
 Sesgos
 Deseabilidad social
 Combinación de técnicas
• Subjetivas + Objetivas
• Esfuerzo de exploración visual  Técnicas de seguimiento
ocular (eye tracking)

6. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Introducción al eye tracking
¿¿¿Eye-qué???

7. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Introducción al Eye Tracking
 Equipamiento

8. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Introducción al Eye Tracking
 Hipótesis: “Existe un vínculo entre el comportamiento de exploración
visual y la actividad cognitiva”
 Añadir evidencias de naturaleza física a la evaluación de aspectos
como la comprensión de información visual, el esfuerzo visual y el
interés
 Responder cuestiones:
 ¿Dónde miran las personas cuando
analizan o tratan de comprender
información gráfica?
 ¿En qué partes fijan más su
atención?
 ¿Cómo exploran y examinan la
información mostrada en pantalla?
¿Orden de exploración?
 …

9. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Introducción al Eye Tracking
 Terminología

10. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Introducción al Eye Tracking
 Terminología
 AOI (Áreas de
Interés)

11. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
 Terminología
 Fijaciones
 Número,
duración,…
 Scan path (ruta
de escaneo)
Introducción al Eye Tracking

12. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
 Terminología
 Heat maps
(mapa de calor)
Introducción al Eye Tracking

13. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Uso de las técnicas de Eye Tracking
 Evaluación de la usabilidad web
 Ceguera al banner
 Patrón F
 Patrón Z de Guttenberg

14. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Uso de las técnicas de Eye Tracking
 Publicidad

15. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Uso de las técnicas de Eye Tracking
 Marketing y Packaging

16. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Uso de las técnicas de Eye Tracking
 Conducción segura
 Detección de fatiga
 Distractores
 …

17. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Equipamiento en CHICO (ESI – UCLM)
 Laboratorio Usabilidad (CHICO-UCLM)

18. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Experimentación con ET en CHICO
GreedEx
GreedExTab
Notación para diseños instruccionales (CSCL)

19. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Experimentación con niños
 Distintas edades
 Educación Primaria
 Necesidades especiales
 …

20. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
 Algunos estudios realizados en el grupo CHICO
 Evaluación de técnicas de visualización de algoritmos en sistemas de
aprendizaje (GreedEx)
 Evaluación de COLLECE (un sistema colaborativo para la enseñanza de la
programación)
 Evaluación de transparencias y recursos educativos multimedia en el ámbito
de la enseñanza de la programación
 ...
En el ámbito de la enseñanza de la programación...

21. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
COLLECE
 COLLECE (COLLaborative Edition, Compilation and
Execution of programs)
http://161.67.140.44:8080/collece/
 Edición, compilación y
ejecución colaborativa
síncrona de programas
en Java y C
 Awareness
 Evaluado en múltiples
ocasiones (estudiantes,
investigadores,
profesionales del ámbito
del desarrollo del
software)OBJETIVO: Evaluar empíricamente el soporte al
awareness y las herramientas de coordinación del sistema
de soporte a la programación colaborativa síncrona
distribuida COLLECE (combinando técnicas de evaluación
subjectivas y objetivas)

22. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
22
ChatChat
Panel de turnosPanel de turnos
Soporte al awareness
Barras multiscrollBarras multiscroll
Num. líneaNum. línea
Usuario editorUsuario editor
Panel de sesiónPanel de sesión
Estado globalEstado global

23. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Evaluación de COLLECE – Primer experimento piloto
 Participantes
 10 sujetos
 Alumnos de la UCLM – Asignatura
“Sistemas para la Colaboración” (5º
Curso de Ingeniería Informática)
 Conocen terminología de
groupware (awareness)
 Buenos conocimientos en
programación en Java (ICE)
 Participación voluntaria
 Tarea
 Modificar un programa en ICE (Internet
Communication Engine)
 Tiempo: 15 min. máx
 Grupos de 2 alumnos (creados de
forma aleatoria)
 Diseño experimental
 Recomendaciones metodológicas de
Nielsen y Pernice
 Pre-test > Intervención > Post-test

24. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Sesión de Eye tracking - Métricas
 Métricas de utilidad
# fijaciones en una AOI
Tiempo de inspección de una AOI (duración total de las fijaciones)
% del tiempo de inspección de una AOI
Métricas de utilidad

25. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Contrastando valoración subjetiva y objetiva
Framework
TAM PreTest PostTest
AOI-awareness Utilidad (PU)
Intención de
uso (ITU)
Utilidad (PU)
AOI-Panel de sesión 4,80 (0,45) 4,80 (0,45) 4,60 (0,89)
AOI-Editor 4,00 (1,22) 4,00 (1,22) 4,00 (1,00)
AOI-MultiScroll 3,60 (1,67) 3,60 (1,67) 3,80 (1,79)
AOI-Semáforos 4,80 (0,45) 4,60 (0,55) 4,60 (0,55)
AOI-Estado global 4,00 (1,00) 4,00 (1,00) 3,00 (1,00)
AOI-Línea 4,40 (0,89) 4,20 (0,84) 3,60 (1,95)
AOI-awareness
#Fijaciones en
la AOI
Tiempo de
inspección
de la AOI
% Tiempo
Insp. de la AOI
AOI-Panel de sesión 26,00 (17,82) 6,35 (4,15) 0,52 (0,31)
AOI-Editor 16,20 (10,43) 4,56 (3,30) 0,41 (0,30)
AOI-MultiScroll 13,20 (13,66) 4,23 (4,78) 0,35 (0,38)
AOI-Semáforos 11,40 (8,17) 2,01 (1,39) 0,16 (0,10)
AOI-Estado global 5,60 (2,41) 1,14 (0,65) 0,10 (0,06)
AOI-Línea 2,00 (2,35) 0,32 (0,33) 0,03 (0,03)
Medida subjetiva (cuestionario)
Medida objetiva (eye tracker)

26. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Réplica del experimento con COLLECE
 Participantes
 94 alumnos (47 parejas)
 Alumnos de la UCLM

27. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
 Algunos estudios realizados en el grupo CHICO
 Evaluación de técnicas de visualización de algoritmos en sistemas de
aprendizaje (GreedEx)
 Evaluación de COLLECE (un sistema colaborativo para la enseñanza de la
programación)
 Evaluación de transparencias y recursos educativos multimedia en el ámbito
de la enseñanza de la programación
 ...
En el ámbito de la enseñanza de la programación...

28. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Evaluación de materiales docentes
 Recursos docentes (transparencias) para la enseñanza
de la programación
 Contexto: Asignatura de Ampliación de Programación (2º Curso del Grado
en Ingeniería Informática)
 Evaluar distintas técnicas de visualización/explicación del problema de la
recursividad
OBJETIVO: Evaluar empíricamente el mejor formato de
presentación y explicación de la recursividad con alumnos de
Programación (combinando técnicas de evaluación
subjectivas y objetivas)

29. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Evaluación de materiales docentes
 Participantes
 97 sujetos
 distribuidos aleatoriamente
 6 ejercicios
 3 representaciones distintas
 Tiempo de resolución del ejercicio: 10 min

30. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Evaluación de materiales docentes

31. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Nueva problemática: Analizar los grafos
 Responder cuestiones:
 ¿Dónde miran las personas cuando
analizan o tratan de comprender
información gráfica?
 ¿En qué partes fijan más su
atención?
 ¿Cómo exploran y examinan la
información mostrada en pantalla?
¿Orden de exploración?
 …

32. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Nueva problemática: Analizar los grafos
 Aplicación iTrackEye
 Reducción de los grafos
 Otras técnicas de visualización / transición de atención entre AOIs

33. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Nueva problemática: Analizar los grafos
 Patrones de análisis
 Texto
 Simulación
 Gráfico

34. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Nueva problemática: Analizar los grafos
 Aplicación iTrackEye

35. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Nueva problemática: Analizar los grafos
 Aplicación iTrackEye

36. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Nuevos retos: Incluir nuevas técnicas objetivas
 Combinación de Eyetracking y EEG

37. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Combinación de técnicas: medidas
 ¿Qué nos permite medir
el Eye Tracking?
 Interés
 Activación emocional
 Rendimiento
 Esfuerzo mental
 Localización de objetos
 Reconocimiento de
objetos
 ¿Qué nos permite medir
el EEG?
 Percepción
 Aprendizaje
 Memoria
 Atención
 Motivación
 Emociones y sentimientos

38. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Combinación de técnicas: medidas
 Incluir EEG en el
análisis
Modelo de los cuadrantes cerebrales de Herrmann

39. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
Combinación de técnicas: medidas
 Permite responder a
cuestiones como…
En cuanto al contenido de una
presentación, recurso educativo o
web (MOOC):
¿Cómo tenemos que presentar
nuestros contenidos? ¿formatos
eficientes vs. no eficientes?
¿Qué formatos imponen una mayor
carga cognitiva en el usuario?
¿Qué formatos les resultan más
agradables?
¿Cuántas veces tenemos que
repetir un contenido para que sea
asimilado y cuáles son los medios
más efectivos para presentarlo?

40. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
40
Algunos inconvenientes
EMPLEODEMEDIDAS
FISIOLÓGICAS(EyeTracking,EEG)
• Costos elevados
• Tamaño de la
muestra
• Falta de
estandarización
• Consideraciones
éticas
• Recelo del uso
de la
información
• Costos elevados
• Tamaño de la
muestra
• Falta de
estandarización
• Consideraciones
éticas
• Recelo del uso
de la
información
INVESTIGACIÓNTRADICIONAL
(cuestionarios,…)
• Accesible en
costos y
tiempo
• Aplicable a
muestras
mayores
• Tradición,
métodos
estandarizad
os
• Accesible en
costos y
tiempo
• Aplicable a
muestras
mayores
• Tradición,
métodos
estandarizad
os

41. Evaluación de recursos educativos para el
aprendizaje de la programación mediante
técnicas de seguimiento ocular
 Necesidad de evaluar (información visual)
 Sistemas de aprendizaje
 Materiales educativos
 Realizar estudios empíricos:
 Varias fuentes de información
 Percepción subjetiva de los usuarios
 Medidas objetivas
 Combinación de técnicas. Medir...
 Percepción / Atención
 Estímulos agradables / desagradables
 Carga cognitiva
 Aplicaciones
 Evaluación de materiales y SW
 Diseño de materiales y software educativo efectivo
 Investigación de experiencia del usuario (alumno) al interaccionar con
una GUI
 Usabilidad tecnológica y pedagógica
Conclusiones

42. Evaluación de recursos educativos para
el aprendizaje de la programación
mediante técnicas de seguimiento ocular
Contacto
Ana I. Molina
http://chico.inf-cr.uclm.es/aimolina
AnaIsabel.Molina@uclm.es
Tfno. 926295300 ext. 6479