2021_07_01 Mesa redonda eMadrid_URJC

1. Educación online y evaluaciones
educativas
J. Ángel Velázquez Iturbide
Laboratorio de Tecnologías de la Información en la Educación (LITE)
Universidad Rey Juan Carlos
Madrid, 24 septiembre 2020

2. Introducción
El cambio a educación online en estos dos cursos
académicos ha tenido consecuencias sobre las
evaluaciones:
 Dificultad o imposibilidad de realizar ciertas clases de evaluación
cualitativa, sobre todo basadas en observación
 Variable extra en la evaluación
 Menos control sobre la realización de las pruebas de evaluación
Dos casos concretos

3. Evaluación de emociones
AlgorEx es una herramienta para experimentar con
propiedades de los algoritmos (optimalidad, eficiencia
en tiempo, etc.)

4. Evaluación de emociones
• Queríamos estudiar las emociones de los alumnos:
• Octubre de 2020, asignatura “Algoritmos Avanzados”, optativa de 4º
curso, Grados en Ingeniería de Computadores e Ingeniería Informática
• Preguntas de la investigación:
• ¿Cuál es el nivel emocional de los alumnos en la actual situación
pandémica?
• ¿Cuál es el impacto emocional sobre los alumnos del sistema de
experimentación AlgorEx?

5. Evaluación de emociones
• Metodología:
• Sesión de familiarización con el sistema AlgorEx en
Buenas condiciones:
• Sistema que se usará en futuras prácticas
• Primera sesión presencial en el aula informática
• Asistencia voluntaria
• Debían entregar un pequeño informe, pero no se calificaba

6. Evaluación de emociones
Metodología:
 Cuestionario PANAS
 Pretest
 Posttest
 Dos preguntas abiertas
Interesado Tenso, agobiado
Animado, emocionado Disgustado, molesto
Vital, con energía Culpable
Entusiasmado Asustado
Satisfecho, orgulloso de lo que hago Enfadado
Dispuesto Irritable
Inspirado Avergonzado
Decidido Nervioso
Atento Intranquilo, preocupado
Activo Temeroso

7. Evaluación de emociones
• Niveles emocionales, de bajos a moderados:
• Los alumnos presenciales experimentaron niveles emocionales
más altos, tanto al comienzo como al final de la sesión
• Nivel más alto de emociones positivas que negativas
• Efecto aparentemente positivo de la sesión con AlgorEx:
• En el grupo presencial aumentaron las emociones positivas
• Las emociones negativas disminuyeron en ambos grupos
• Disminución global significativa de las emociones negativas
“Tenso, agobiado” e “Intranquilo, preocupado”

8. Evaluación de emociones
Dudas sobre los resultados obtenidos:
 Los comentarios positivos no aludían a la herramienta sino a
la sesión:
 Repensar qué factor tuvo más influencia emocional
 Factor extra con claro efecto emocional en pandemia:
presencialidad
 Emociones inesperadas: vergüenza, culpabilidad
Se repetirá la evaluación en octubre del curso
2021-22 bajo condición presencial exclusivamente

9. Aprendizaje de la programación
Un factor clave para el aprendizaje de la
programación es la enseñanza de la ejecución de
los programas:
 Hacer explícito el efecto de cada instrucción (sobre
una máquina virtual hipotética)

10. Aprendizaje de la programación
• Queríamos conocer el grado de aprendizaje de las alumnas de
esta materia:
• Mayo de 2021, asignatura “Las TICs en la Educación”, obligatoria
de 1º curso, Grado en Educación Infantil, grupo online
• Lenguajes de programación Code.org y ScratchJr

11. Aprendizaje de la programación
• Metodología:
• Test de conocimientos y resolución de problemas:
• Individual, necesario para entregar la práctica 4
• 10 preguntas (8 con una única respuesta correcta, 2 con
múltiples respuestas correctas)
• Grupo de control: otro grupo presencial
• Práctica 4:
• Grupal, programa relacionado con un tema asignado al grupo

12. Aprendizaje de la programación
• Metodología:
• Resultados erróneos en el test (N=46, preguntas con una
única respuesta válida):
P.1 P.2 P.4 P.5 P.6 P.8 P.9 P.10
Grupo
experimental
2,2% 6,5% 6,5% 10,9% 4,3% 2,2% 6,5% 0,0%
Grupo de
control
9,1% 10,6% 30,3% 56,1% 18,2% 36,4% 30,3% 15,2

13. Aprendizaje de la programación
• Metodología:
• Resultados impresionantes ¿demasiado?:
• Sorpresa en el examen…
P.1 P.2 P.4 P.5 P.6 P.8 P.9 P.10
Grupo
experimental
2,2% 6,5% 6,5% 10,9% 4,3% 2,2% 6,5% 0,0%
Grupo de
control
9,1% 10,6% 30,3% 56,1% 18,2% 36,4% 30,3% 15,2

14. Aprendizaje de la programación
• Metodología:
• Examen presencial:
• 10 preguntas cortas (7 con una única respuesta correcta, 3 con
múltiples respuestas correctas)
• Pregunta relacionada con la Pr.6 del test:
• ¡54’3% de respuestas incorrectas!
• Dos alumnas me dijeron que no entendían la pregunta…
¡aunque la habían respondido bien en el test!

15. Aprendizaje de la programación
• Dudas metodológicas:
• Perfil de los alumnos (grado, curso)
• Condiciones del test (sin restricción de tiempo de
realización, consulta permitida de apuntes)
• Posible plagio o consulta irreflexiva de los apuntes
• Rehaciendo el análisis a partir de datos más fiables:
• Examen
• Prácticas (análisis de contenido)

16. ¡Muchas gracias!