eMadrid 2015 04 17 (URJC) Marcos Román - Test de Pensamiento Computacional: principios de diseño, validación de contenido y análisis de ítems.

1. TEST DE PENSAMIENTO
COMPUTACIONAL
Principios de diseño, validación de contenido y
análisis de ítems
Seminario eMadrid sobre Pensamiento Computacional
Madrid, 17 de abril de 2015
Marcos Román (UNED, Facultad de Educación)

2. Introducción
Vivimos inmersos en un
ecosistema digital lleno
de objetos programables
controlados por software
Si el
ordenador es
un ‘metamedio’
El software se
convierte en
‘metalenguaje’

3. Introducción
En este contexto, ser capaz
de manejar el lenguaje de las
computadoras emerge como
una habilidad indispensable,
un nuevo alfabetismo, que
nos permite participar de
manera plena y efectiva en la
realidad digital que nos
rodea: se trata de
‘programar o ser
programado’; de ser ‘app
capacitado o app
dependiente’

4. Introducción
Code-literacy = codigoalfabetización
Procesos de enseñanza-aprendizaje de la lectoescritura
con los lenguajes informáticos de programación

5. Introducción

6. Introducción
Aprender
Inglés
Inglés para
aprender
Learn to code Code to learn
En un mundo globalizado…
En un mundo digitalizado…

7. Introducción
Se considera que una persona está
codigoalfabetizada cuando es capaz de leer y
escribir en el lenguaje de los ordenadores y otras
máquinas, y de pensar computacionalmente
Nuevas
prácticas
comunicativas
de
lectoescritura
Proceso
cognitivo
subyacente de
resolución de
problemas

8. Introducción
¿Es posible y deseable incorporar la
codigoalfabetización en el sistema educativo
español, en concreto en el primer ciclo de la
Educación Secundaria Obligatoria (ESO)?
Evaluar la eficacia del programa-curso
‘K-8 Intro to Computer Science’
(Code.org) en primer ciclo de la ESO:
http://studio.code.org/s/20-hour
Diseñar y validar un instrumento que
mida el nivel de pensamiento
computacional de estudiantes de
primer ciclo de la ESO, o Test de
Pensamiento Computacional (TPC):
http://goo.gl/IYEKMB

9. Pensamiento computacional (PC)
En este nueva realidad invadida por lo digital, no es sorprendente que haya un
renovado interés en muchos países por introducir el PC como un conjunto de
habilidades de solución de problemas que debe ser adquirido por la nueva
generación de estudiantes;
Aún más, el PC se está empezando
a considerar como un elemento
central de todas las disciplinas
STEM
Bulgaria, Chipre,
Dinamarca, Estonia,
Grecia, Irlanda, Polonia,
Portugal & UK
¿Brecha digital de
2ª generación?

10. Pensamiento computacional (PC): definiciones
Todavía hay poco consenso sobre una definición formal del PC, y
discrepancias sobre cómo debería ser integrado en los currículos
educativos…
El PC implica la resolución de problemas, el diseño
de sistemas, y la comprensión de la conducta
humana, haciendo uso de los conceptos
fundamentales de la informática (Wing, 2006)
El PC es el proceso de pensamiento involucrado en la
formulación de problemas de tal manera que sus
soluciones puedan ser representadas como pasos
computacionales discretos y algoritmos (Aho, 2012)

11. CT Operational definition (CSTA & ISTE, 2011)

12. Pensamiento computacional (PC): definiciones
Incluso Google ha aportado su propia definición de PC como “un conjunto de
habilidades y técnicas de solución de problemas, que los ingenieros de software
usan para escribir los programas informáticos que subyacen a las aplicaciones que
usamos a diario (…)”
https://www.google.com/edu/resources/programs/exploring-computational-thinking/
Descomposición de un problema o
tarea en pasos discretos
Reconocimiento de
patrones
(regularidades)
Generalización de dichos patrones y
abstracción (descubrir las leyes o
principios que causan dichos
patrones)
Diseño algorítmico
(desarrollar instrucciones
precisas para resolver el
problema y sus análogos)

13. Pensamiento computacional (PC): definiciones
Sin la atención suficiente sobre la medida y evaluación del PC, será muy difícil que éste se
abra camino exitosamente en cualquier currículum (…) para poder juzgar la efectividad
de cualquier currículum que incorpore el PC, es necesario validar previamente
instrumentos de medida que permitan a los educadores evaluar en qué grado los
estudiantes han desarrollado esa habilidad de pensamiento (Grover & Pea, 2013)
Hay un enorme vacío sobre cómo medir y evaluar el PC,
hecho que debe ser abordado…
http://www.bebras.org/
http://www.beaver-comp.org.uk/
http://www.olympiad.org.za/talent-search/

14. Método
Nuestro ‘Test de Pensamiento Computacional’ (TPC) fue diseñado
inicialmente (versión 1.0, de octubre de 2014) bajo los siguientes principios:
 Objetivos: medir el nivel de desarrollo del pensamiento computacional en el
sujeto.
 Definición operativa del constructo medido: el pensamiento
computacional es la capacidad de formular y solucionar problemas apoyándose
en los conceptos fundamentales de la computación, y usando la lógica-sintaxis
de los lenguajes informáticos de programación: secuencias básicas, bucles,
iteraciones, condicionales, funciones y variables.
 Población objetivo: el TPC está diseñado y dirigido a población escolar
española de entre 12 y 13 años (1º y 2º ESO)
 Tipo de instrumento: prueba objetiva de elección múltiple con 4 opciones
de respuesta (sólo 1 correcta)
 Longitud: 40 ítems
 Tiempo estimado de realización: 45 minutos

15. Repetir
veces
(repeat
times)
Repetir
hasta
(repeat
until)
Condicional
simple (if)
Condicional
compuesto
(if/else)
Mientras
que
(while)
Funciones
simples
Funciones
con
parámetros
Item 1 Laberinto Visual por flechas Sí No No No No No No No No Secuenciación
Item 2 Laberinto Visual por flechas Sí No No No No No No No No Completamiento
Item 3 Laberinto Visual por bloques Sí No No No No No No No No Depuración
Item 4 Laberinto Textual Sí No No No No No No No No Secuenciación
Item 5 Lienzo Visual por bloques Sí No No No No No No No No Secuenciación
Item 6 Laberinto Visual por flechas Sí Sí No No No No No No No Secuenciación
Item 7 Laberinto Visual por flechas Sí Sí No No No No No No No Completamiento
Item 8 Laberinto Visual por bloques Sí Sí No No No No No No Sí Secuenciación
Item 9 Lienzo Textual Sí Sí No No No No No No No Depuración
Item 10 Lienzo Visual por bloques Sí Sí No No No No No No Sí Completamiento
Item 11 Laberinto Visual por flechas Sí No Sí No No No No No No Secuenciación
Item 12 Laberinto Visual por bloques Sí No Sí No No No No No No Completamiento
Item 13 Laberinto Textual Sí No Sí No No No No No No Secuenciación
Item 14 Laberinto Visual por flechas Sí Sí Sí No No No No No Sí Depuración
Item 15 Lienzo Visual por bloques Sí Sí Sí No No No No No Sí Secuenciación
Item 16 Laberinto Visual por flechas Sí No Sí Sí No No No No Sí Secuenciación
Item 17 Laberinto Visual por bloques Sí No Sí Sí No No No No Sí Secuenciación
Item 18 Laberinto Textual Sí No Sí Sí No No No No Sí Completamiento
Item 19 Laberinto Visual por flechas Sí Sí Sí Sí No No No No Sí Completamiento
Item 20 Laberinto Visual por bloques Sí No Sí Sí No No No No Sí Depuración
Item 21 Laberinto Visual por bloques Sí No Sí No Sí No No No Sí Secuenciación
Item 22 Laberinto Textual Sí No Sí No Sí No No No Sí Secuenciación
Item 23 Laberinto Visual por bloques Sí No Sí No Sí No No No Sí Depuración
Item 24 Laberinto Textual Sí No Sí No Sí No No No Sí Completamiento
Item 25 Laberinto Visual por bloques Sí No Sí No Sí No No No Sí Completamiento
Item 26 Laberinto Visual por bloques Sí Sí No No No Sí No No Sí Secuenciación
Item 27 Laberinto Textual Sí Sí No No No Sí No No Sí Secuenciación
Item 28 Laberinto Visual por bloques Sí Sí No No No Sí No No Sí Depuración
Item 29 Laberinto Textual Sí No No Sí No Sí No No Sí Completamiento
Item 30 Laberinto Visual por bloques Sí No No Sí No Sí No No Sí Completamiento
Item 31 Lienzo Visual por bloques Sí Sí No No No No Sí No Sí Secuenciación
Item 32 Lienzo Visual por bloques Sí Sí No No No No Sí No Sí Completamiento
Item 33 Lienzo Visual por bloques Sí Sí No No No No Sí No Sí Depuración
Item 34 Laberinto Visual por bloques Sí Sí No No No No Sí No Sí Secuenciación
Item 35 Laberinto Visual por bloques Sí Sí No No No No Sí No Sí Completamiento
Item 36 Laberinto Visual por bloques Sí Sí No No Sí No No Sí Sí Secuenciación
Item 37 Laberinto Visual por bloques Sí Sí No No Sí No No Sí Sí Completamiento
Item 38 Laberinto Visual por bloques Sí Sí No No Sí No No Sí Sí Depuración
Item 39 Lienzo Visual por bloques No No No No No No No Sí Sí Secuenciación
Item 40 Lienzo Visual por bloques Sí No No No No No No Sí Sí Completamiento
Tarea requerida
Direcciones
Bucles (loops) Condicionales (conditionals) Funciones (functions)Entorno -
Interfaz del
reactivo
Estilo de las
alternativas de
respuesta
Existencia de
anidamiento
Concepto computacional abordado
5 dimensiones de diseño

16. Método
‘El Laberinto’;Visual por bloques; Bucles – repetir veces;
Con anidamiento; Secuenciación.

17. Método
‘El Lienzo’;Textual; Bucles – repetir veces; Sin anidamiento;
Depuración.

18. Método
‘El Laberinto’;Visual por flechas; Bucles – repetir hasta + Condicional
simple; Con anidamiento; Completamiento.

19. Método
‘El Lienzo’;Visual por bloques; Bucles – repetir veces + Funciones simples;
Con anidamiento; Secuenciación.

20. Método
Para el procedimiento de validación de contenido de nuestro TPC, 39 expertos
fueron invitados a colaborar en la emisión de juicio y valoración sobre el
instrumento. Finalmente, 20 expertos aceptaron. Este panel de expertos tiene
las siguientes características: 14 hombres y 6 mujeres; edad media 36,9 años.
Colectivo profesional
Nº de
expertos
Profesores de Informática de Educación Secundaria 11
Profesores de Informática de Bachillerato 8
Profesores de Informática de Formación Profesional 5
Profesores de Informática de Universidad 5
Ganadores de la ‘I Edición Premios Apps FundaciónTelefónica’ 4
Miembros del colectivo Programamos.es 3
Miembros de la Asociación de Profesores de Informática de la
ComunidadValenciana
3

21. Resultados: validación de expertos
+70 % de los expertos valoraron la versión inicial delTPC como
‘muy larga’ o ‘algo larga’
Longitud ideal: 28-30 ítems
Tiempo ideal: 45-50 minutos (1,5 minutos por ítem)
Se eliminan por su
excesiva dificultad
(funciones con
parámetros)

22. Resultados: validación de expertos
Se conservan para
versiones futuras del
test con sujetos de
mayor edad
(funciones con
parámetros)
Se elimina el ítem con
menos índice de
aceptación de cada
bloque

23. Resultados: validación de expertos
Adicionalmente, se
revisan algunas
cuestiones de los
ítems que
quedan…
Versión final TPC (2.0)  28 ítems (+3 ejemplos)  ON-LINE

24. Resultados: muestra y análisis de ítems
Red de innovación ‘ITTeaching’ de la ComunidadValenciana
Hicieron el curso K-8 de Code.org durante 10 semanas
Prueba de
validez aparente

25. Resultados: muestra y análisis de ítems
La tasa de acierto
promedio a lo largo
de los 28 ítems es de
0,59 (índice de
dificultad medio)
La distribución de las
puntuaciones totales en el test se
ajustan a la curva normal
(Z k-s=1,235; p=0,094>0,05)
Tal y como cabe esperar en un
test que mide una aptitud de tipo
cognitivo

26. Resultados: psicometría general
La fiabilidad, como consistencia interna, del TPC en su
conjunto medida a través del estadístico alfa de Cronbach
arroja un valor de α = 0,74 (sube hasta 0,84 en muestras
complementarias que lo hicieron en tableta)

27. Resultados: diferencias por edad
Tal y como era de esperar el
rendimiento en elTPC mejora
significativamente con la edad

28. Resultados: diferencias por género
No hay diferencias significativas
debidas al género en el
rendimiento en elTPC

29. Resultados: autoeficacia y género
Aunque chicos y chicas rinden igual en elTPC, las chicas
muestran significativamente un menor sentimiento de
autoeficacia en el test
“Debugging de Gender Gap” = https://vimeo.com/123004482
No significativo
p(t) = 0,5 > 0,05
Sí significativo
p(t) = 0,002 < 0,05

30. Resultados preliminares: validez concurrente
Como fuentes de validez concurrente del TPC estamos utilizando medidas ya
validadas relativas a variables supuestamente próximas al PC, tales como
‘razonamiento lógico’, ‘resolución de problemas’ o ‘aptitudes perceptuales-
atencionales’…
n = 56

31. Resultados preliminares: validez concurrente
Como fuentes de validez concurrente del TPC estamos utilizando medidas ya
validadas relativas a variables supuestamente próximas al PC, tales como
‘razonamiento lógico’, ‘resolución de problemas’ o ‘aptitudes perceptuales-
atencionales’…
n = 63

32. Resultados preliminares: validez concurrente
…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que
vienen siendo utilizados en concursos internacionales de promoción del
talento computacional ‘International Bebras Contest’
n = 76

33. Resultados preliminares: validez concurrente
…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que
vienen siendo utilizados en concursos internacionales de promoción del
talento computacional ‘International Bebras Contest’
Problema I de Bebras
Lógica condicional
Estructuras discretas

34. Resultados preliminares: validez concurrente
…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que
vienen siendo utilizados en concursos internacionales de promoción del
talento computacional ‘International Bebras Contest’
Problema II de Bebras
Paralelización
Control de flujo

35. Resultados preliminares: validez concurrente
…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que
vienen siendo utilizados en concursos internacionales de promoción del
talento computacional ‘International Bebras Contest’
Problema III de Bebras
Descomposición
Abstracción
Algoritmos

36. Resultados preliminares: validez predictiva
Como fuentes de validez predictiva, pretendemos correlacionar las
puntuaciones en el TPC de nuestros sujetos con sus medidas de desempeño en
el programa ‘K-8 Intro to Computer Science’ (número de niveles superados)
CORRELACIÓN GENERAL TPC * NIVELES K-8 SUPERADOS = +0,37
(n=96)

37. Resultados preliminares: sensibilidad pretest-postest

38. ConclusionesTPC
PUNTOS FUERTES
• Test ‘clásico’ de aptitud
• Dificultad apropiada para la población objetivo (1º y 2º ESO)
• Correcta psicometría: dificultad creciente, distribución normal y simétrica.
• Buena variabilidad que permite la construcción de baremos
• Progresión evolutiva y ausencia de sesgo por género
• Fiabilidad adecuada (especialmente en tabletas) e indicadores adecuados de
validez concurrente y predictiva
• Aplicación colectiva y on-line
• Usos posibles: detección masiva / cribado de talento computacional,
diagnóstico, orientación académica y profesional, evaluación de currículos
de PC
LIMITACIONES
• Muy centrado en conceptos computacionales (no en procesos y
productos), y en pensamiento algorítmico
• Sólo ítems de elección múltiple: se mide el PC en sus niveles más
bajos de complejidad cognitiva (‘reconocer’ y ‘comprender’)
• Para medir el PC en sus niveles superiores (‘aplicar’ y ‘asimilar’)
habría que incluir ítems de evocación y/o tareas complejas que
exijan transferir el PC de manera creativa a distintos ámbitos

39. Líneas futuras de investigación
TPC
• Evaluación
aptitudinal y
diagnóstica
Dr. Scratch
• Evaluación formativa
de proyectos

40. Muchas gracias por su atención
MARCOS ROMÁN GONZÁLEZ
Profesor e Investigador
UNED - Facultad de Educación (Dpto. MIDE I)
C/ Juan del Rosal, nº14. Despacho: 2.18
Tfno.: 91 398 90 37
Web: http://goo.gl/oox5Qn
E-mail: mroman@edu.uned.es
Blog: http://codigoalfa.hypotheses.org/