TEST DE PENSAMIENTO
COMPUTACIONAL
Principios de diseño, validación de contenido y
análisis de ítems
Seminario eMadrid sobr...
Introducción
Vivimos inmersos en un
ecosistema digital lleno
de objetos programables
controlados por software
Si el
ordena...
Introducción
En este contexto, ser capaz
de manejar el lenguaje de las
computadoras emerge como
una habilidad indispensabl...
Introducción
Code-literacy = codigoalfabetización
Procesos de enseñanza-aprendizaje de la lectoescritura
con los lenguajes...
Introducción
Introducción
Aprender
Inglés
Inglés para
aprender
Learn to code Code to learn
En un mundo globalizado…
En un mundo digital...
Introducción
Se considera que una persona está
codigoalfabetizada cuando es capaz de leer y
escribir en el lenguaje de los...
Introducción
¿Es posible y deseable incorporar la
codigoalfabetización en el sistema educativo
español, en concreto en el ...
Pensamiento computacional (PC)
En este nueva realidad invadida por lo digital, no es sorprendente que haya un
renovado int...
Pensamiento computacional (PC): definiciones
Todavía hay poco consenso sobre una definición formal del PC, y
discrepancias...
CT Operational definition (CSTA & ISTE, 2011)
Pensamiento computacional (PC): definiciones
Incluso Google ha aportado su propia definición de PC como “un conjunto de
ha...
Pensamiento computacional (PC): definiciones
Sin la atención suficiente sobre la medida y evaluación del PC, será muy difí...
Método
Nuestro ‘Test de Pensamiento Computacional’ (TPC) fue diseñado
inicialmente (versión 1.0, de octubre de 2014) bajo ...
Repetir
veces
(repeat
times)
Repetir
hasta
(repeat
until)
Condicional
simple (if)
Condicional
compuesto
(if/else)
Mientras...
Método
‘El Laberinto’;Visual por bloques; Bucles – repetir veces;
Con anidamiento; Secuenciación.
Método
‘El Lienzo’;Textual; Bucles – repetir veces; Sin anidamiento;
Depuración.
Método
‘El Laberinto’;Visual por flechas; Bucles – repetir hasta + Condicional
simple; Con anidamiento; Completamiento.
Método
‘El Lienzo’;Visual por bloques; Bucles – repetir veces + Funciones simples;
Con anidamiento; Secuenciación.
Método
Para el procedimiento de validación de contenido de nuestro TPC, 39 expertos
fueron invitados a colaborar en la emi...
Resultados: validación de expertos
+70 % de los expertos valoraron la versión inicial delTPC como
‘muy larga’ o ‘algo larg...
Resultados: validación de expertos
Se conservan para
versiones futuras del
test con sujetos de
mayor edad
(funciones con
p...
Resultados: validación de expertos
Adicionalmente, se
revisan algunas
cuestiones de los
ítems que
quedan…
Versión final T...
Resultados: muestra y análisis de ítems
Red de innovación ‘ITTeaching’ de la ComunidadValenciana
Hicieron el curso K-8 de ...
Resultados: muestra y análisis de ítems
La tasa de acierto
promedio a lo largo
de los 28 ítems es de
0,59 (índice de
dific...
Resultados: psicometría general
La fiabilidad, como consistencia interna, del TPC en su
conjunto medida a través del estad...
Resultados: diferencias por edad
Tal y como era de esperar el
rendimiento en elTPC mejora
significativamente con la edad
Resultados: diferencias por género
No hay diferencias significativas
debidas al género en el
rendimiento en elTPC
Resultados: autoeficacia y género
Aunque chicos y chicas rinden igual en elTPC, las chicas
muestran significativamente un ...
Resultados preliminares: validez concurrente
Como fuentes de validez concurrente del TPC estamos utilizando medidas ya
val...
Resultados preliminares: validez concurrente
Como fuentes de validez concurrente del TPC estamos utilizando medidas ya
val...
Resultados preliminares: validez concurrente
…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que
v...
Resultados preliminares: validez concurrente
…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que
v...
Resultados preliminares: validez concurrente
…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que
v...
Resultados preliminares: validez concurrente
…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que
v...
Resultados preliminares: validez predictiva
Como fuentes de validez predictiva, pretendemos correlacionar las
puntuaciones...
Resultados preliminares: sensibilidad pretest-postest
ConclusionesTPC
PUNTOS FUERTES
• Test ‘clásico’ de aptitud
• Dificultad apropiada para la población objetivo (1º y 2º ESO)...
Líneas futuras de investigación
TPC
• Evaluación
aptitudinal y
diagnóstica
Dr. Scratch
• Evaluación formativa
de proyectos
Muchas gracias por su atención
MARCOS ROMÁN GONZÁLEZ
Profesor e Investigador
UNED - Facultad de Educación (Dpto. MIDE I)
C...
Próxima SlideShare
Cargando en…5
×

eMadrid 2015 04 17 (URJC) Marcos Román - Test de Pensamiento Computacional: principios de diseño, validación de contenido y análisis de ítems.

4.491 visualizaciones

Publicado el

eMadrid 2015 04 17 (URJC) Marcos Román - Test de Pensamiento Computacional: principios de diseño, validación de contenido y análisis de ítems.

Publicado en: Educación
0 comentarios
2 recomendaciones
Estadísticas
Notas
  • Sé el primero en comentar

Sin descargas
Visualizaciones
Visualizaciones totales
4.491
En SlideShare
0
De insertados
0
Número de insertados
3.496
Acciones
Compartido
0
Descargas
34
Comentarios
0
Recomendaciones
2
Insertados 0
No insertados

No hay notas en la diapositiva.

eMadrid 2015 04 17 (URJC) Marcos Román - Test de Pensamiento Computacional: principios de diseño, validación de contenido y análisis de ítems.

  1. 1. TEST DE PENSAMIENTO COMPUTACIONAL Principios de diseño, validación de contenido y análisis de ítems Seminario eMadrid sobre Pensamiento Computacional Madrid, 17 de abril de 2015 Marcos Román (UNED, Facultad de Educación)
  2. 2. Introducción Vivimos inmersos en un ecosistema digital lleno de objetos programables controlados por software Si el ordenador es un ‘metamedio’ El software se convierte en ‘metalenguaje’
  3. 3. Introducción En este contexto, ser capaz de manejar el lenguaje de las computadoras emerge como una habilidad indispensable, un nuevo alfabetismo, que nos permite participar de manera plena y efectiva en la realidad digital que nos rodea: se trata de ‘programar o ser programado’; de ser ‘app capacitado o app dependiente’
  4. 4. Introducción Code-literacy = codigoalfabetización Procesos de enseñanza-aprendizaje de la lectoescritura con los lenguajes informáticos de programación
  5. 5. Introducción
  6. 6. Introducción Aprender Inglés Inglés para aprender Learn to code Code to learn En un mundo globalizado… En un mundo digitalizado…
  7. 7. Introducción Se considera que una persona está codigoalfabetizada cuando es capaz de leer y escribir en el lenguaje de los ordenadores y otras máquinas, y de pensar computacionalmente Nuevas prácticas comunicativas de lectoescritura Proceso cognitivo subyacente de resolución de problemas
  8. 8. Introducción ¿Es posible y deseable incorporar la codigoalfabetización en el sistema educativo español, en concreto en el primer ciclo de la Educación Secundaria Obligatoria (ESO)? Evaluar la eficacia del programa-curso ‘K-8 Intro to Computer Science’ (Code.org) en primer ciclo de la ESO: http://studio.code.org/s/20-hour Diseñar y validar un instrumento que mida el nivel de pensamiento computacional de estudiantes de primer ciclo de la ESO, o Test de Pensamiento Computacional (TPC): http://goo.gl/IYEKMB
  9. 9. Pensamiento computacional (PC) En este nueva realidad invadida por lo digital, no es sorprendente que haya un renovado interés en muchos países por introducir el PC como un conjunto de habilidades de solución de problemas que debe ser adquirido por la nueva generación de estudiantes; Aún más, el PC se está empezando a considerar como un elemento central de todas las disciplinas STEM Bulgaria, Chipre, Dinamarca, Estonia, Grecia, Irlanda, Polonia, Portugal & UK ¿Brecha digital de 2ª generación?
  10. 10. Pensamiento computacional (PC): definiciones Todavía hay poco consenso sobre una definición formal del PC, y discrepancias sobre cómo debería ser integrado en los currículos educativos… El PC implica la resolución de problemas, el diseño de sistemas, y la comprensión de la conducta humana, haciendo uso de los conceptos fundamentales de la informática (Wing, 2006) El PC es el proceso de pensamiento involucrado en la formulación de problemas de tal manera que sus soluciones puedan ser representadas como pasos computacionales discretos y algoritmos (Aho, 2012)
  11. 11. CT Operational definition (CSTA & ISTE, 2011)
  12. 12. Pensamiento computacional (PC): definiciones Incluso Google ha aportado su propia definición de PC como “un conjunto de habilidades y técnicas de solución de problemas, que los ingenieros de software usan para escribir los programas informáticos que subyacen a las aplicaciones que usamos a diario (…)” https://www.google.com/edu/resources/programs/exploring-computational-thinking/ Descomposición de un problema o tarea en pasos discretos Reconocimiento de patrones (regularidades) Generalización de dichos patrones y abstracción (descubrir las leyes o principios que causan dichos patrones) Diseño algorítmico (desarrollar instrucciones precisas para resolver el problema y sus análogos)
  13. 13. Pensamiento computacional (PC): definiciones Sin la atención suficiente sobre la medida y evaluación del PC, será muy difícil que éste se abra camino exitosamente en cualquier currículum (…) para poder juzgar la efectividad de cualquier currículum que incorpore el PC, es necesario validar previamente instrumentos de medida que permitan a los educadores evaluar en qué grado los estudiantes han desarrollado esa habilidad de pensamiento (Grover & Pea, 2013) Hay un enorme vacío sobre cómo medir y evaluar el PC, hecho que debe ser abordado… http://www.bebras.org/ http://www.beaver-comp.org.uk/ http://www.olympiad.org.za/talent-search/
  14. 14. Método Nuestro ‘Test de Pensamiento Computacional’ (TPC) fue diseñado inicialmente (versión 1.0, de octubre de 2014) bajo los siguientes principios:  Objetivos: medir el nivel de desarrollo del pensamiento computacional en el sujeto.  Definición operativa del constructo medido: el pensamiento computacional es la capacidad de formular y solucionar problemas apoyándose en los conceptos fundamentales de la computación, y usando la lógica-sintaxis de los lenguajes informáticos de programación: secuencias básicas, bucles, iteraciones, condicionales, funciones y variables.  Población objetivo: el TPC está diseñado y dirigido a población escolar española de entre 12 y 13 años (1º y 2º ESO)  Tipo de instrumento: prueba objetiva de elección múltiple con 4 opciones de respuesta (sólo 1 correcta)  Longitud: 40 ítems  Tiempo estimado de realización: 45 minutos
  15. 15. Repetir veces (repeat times) Repetir hasta (repeat until) Condicional simple (if) Condicional compuesto (if/else) Mientras que (while) Funciones simples Funciones con parámetros Item 1 Laberinto Visual por flechas Sí No No No No No No No No Secuenciación Item 2 Laberinto Visual por flechas Sí No No No No No No No No Completamiento Item 3 Laberinto Visual por bloques Sí No No No No No No No No Depuración Item 4 Laberinto Textual Sí No No No No No No No No Secuenciación Item 5 Lienzo Visual por bloques Sí No No No No No No No No Secuenciación Item 6 Laberinto Visual por flechas Sí Sí No No No No No No No Secuenciación Item 7 Laberinto Visual por flechas Sí Sí No No No No No No No Completamiento Item 8 Laberinto Visual por bloques Sí Sí No No No No No No Sí Secuenciación Item 9 Lienzo Textual Sí Sí No No No No No No No Depuración Item 10 Lienzo Visual por bloques Sí Sí No No No No No No Sí Completamiento Item 11 Laberinto Visual por flechas Sí No Sí No No No No No No Secuenciación Item 12 Laberinto Visual por bloques Sí No Sí No No No No No No Completamiento Item 13 Laberinto Textual Sí No Sí No No No No No No Secuenciación Item 14 Laberinto Visual por flechas Sí Sí Sí No No No No No Sí Depuración Item 15 Lienzo Visual por bloques Sí Sí Sí No No No No No Sí Secuenciación Item 16 Laberinto Visual por flechas Sí No Sí Sí No No No No Sí Secuenciación Item 17 Laberinto Visual por bloques Sí No Sí Sí No No No No Sí Secuenciación Item 18 Laberinto Textual Sí No Sí Sí No No No No Sí Completamiento Item 19 Laberinto Visual por flechas Sí Sí Sí Sí No No No No Sí Completamiento Item 20 Laberinto Visual por bloques Sí No Sí Sí No No No No Sí Depuración Item 21 Laberinto Visual por bloques Sí No Sí No Sí No No No Sí Secuenciación Item 22 Laberinto Textual Sí No Sí No Sí No No No Sí Secuenciación Item 23 Laberinto Visual por bloques Sí No Sí No Sí No No No Sí Depuración Item 24 Laberinto Textual Sí No Sí No Sí No No No Sí Completamiento Item 25 Laberinto Visual por bloques Sí No Sí No Sí No No No Sí Completamiento Item 26 Laberinto Visual por bloques Sí Sí No No No Sí No No Sí Secuenciación Item 27 Laberinto Textual Sí Sí No No No Sí No No Sí Secuenciación Item 28 Laberinto Visual por bloques Sí Sí No No No Sí No No Sí Depuración Item 29 Laberinto Textual Sí No No Sí No Sí No No Sí Completamiento Item 30 Laberinto Visual por bloques Sí No No Sí No Sí No No Sí Completamiento Item 31 Lienzo Visual por bloques Sí Sí No No No No Sí No Sí Secuenciación Item 32 Lienzo Visual por bloques Sí Sí No No No No Sí No Sí Completamiento Item 33 Lienzo Visual por bloques Sí Sí No No No No Sí No Sí Depuración Item 34 Laberinto Visual por bloques Sí Sí No No No No Sí No Sí Secuenciación Item 35 Laberinto Visual por bloques Sí Sí No No No No Sí No Sí Completamiento Item 36 Laberinto Visual por bloques Sí Sí No No Sí No No Sí Sí Secuenciación Item 37 Laberinto Visual por bloques Sí Sí No No Sí No No Sí Sí Completamiento Item 38 Laberinto Visual por bloques Sí Sí No No Sí No No Sí Sí Depuración Item 39 Lienzo Visual por bloques No No No No No No No Sí Sí Secuenciación Item 40 Lienzo Visual por bloques Sí No No No No No No Sí Sí Completamiento Tarea requerida Direcciones Bucles (loops) Condicionales (conditionals) Funciones (functions)Entorno - Interfaz del reactivo Estilo de las alternativas de respuesta Existencia de anidamiento Concepto computacional abordado 5 dimensiones de diseño
  16. 16. Método ‘El Laberinto’;Visual por bloques; Bucles – repetir veces; Con anidamiento; Secuenciación.
  17. 17. Método ‘El Lienzo’;Textual; Bucles – repetir veces; Sin anidamiento; Depuración.
  18. 18. Método ‘El Laberinto’;Visual por flechas; Bucles – repetir hasta + Condicional simple; Con anidamiento; Completamiento.
  19. 19. Método ‘El Lienzo’;Visual por bloques; Bucles – repetir veces + Funciones simples; Con anidamiento; Secuenciación.
  20. 20. Método Para el procedimiento de validación de contenido de nuestro TPC, 39 expertos fueron invitados a colaborar en la emisión de juicio y valoración sobre el instrumento. Finalmente, 20 expertos aceptaron. Este panel de expertos tiene las siguientes características: 14 hombres y 6 mujeres; edad media 36,9 años. Colectivo profesional Nº de expertos Profesores de Informática de Educación Secundaria 11 Profesores de Informática de Bachillerato 8 Profesores de Informática de Formación Profesional 5 Profesores de Informática de Universidad 5 Ganadores de la ‘I Edición Premios Apps FundaciónTelefónica’ 4 Miembros del colectivo Programamos.es 3 Miembros de la Asociación de Profesores de Informática de la ComunidadValenciana 3
  21. 21. Resultados: validación de expertos +70 % de los expertos valoraron la versión inicial delTPC como ‘muy larga’ o ‘algo larga’ Longitud ideal: 28-30 ítems Tiempo ideal: 45-50 minutos (1,5 minutos por ítem) Se eliminan por su excesiva dificultad (funciones con parámetros)
  22. 22. Resultados: validación de expertos Se conservan para versiones futuras del test con sujetos de mayor edad (funciones con parámetros) Se elimina el ítem con menos índice de aceptación de cada bloque
  23. 23. Resultados: validación de expertos Adicionalmente, se revisan algunas cuestiones de los ítems que quedan… Versión final TPC (2.0)  28 ítems (+3 ejemplos)  ON-LINE
  24. 24. Resultados: muestra y análisis de ítems Red de innovación ‘ITTeaching’ de la ComunidadValenciana Hicieron el curso K-8 de Code.org durante 10 semanas Prueba de validez aparente
  25. 25. Resultados: muestra y análisis de ítems La tasa de acierto promedio a lo largo de los 28 ítems es de 0,59 (índice de dificultad medio) La distribución de las puntuaciones totales en el test se ajustan a la curva normal (Z k-s=1,235; p=0,094>0,05) Tal y como cabe esperar en un test que mide una aptitud de tipo cognitivo
  26. 26. Resultados: psicometría general La fiabilidad, como consistencia interna, del TPC en su conjunto medida a través del estadístico alfa de Cronbach arroja un valor de α = 0,74 (sube hasta 0,84 en muestras complementarias que lo hicieron en tableta)
  27. 27. Resultados: diferencias por edad Tal y como era de esperar el rendimiento en elTPC mejora significativamente con la edad
  28. 28. Resultados: diferencias por género No hay diferencias significativas debidas al género en el rendimiento en elTPC
  29. 29. Resultados: autoeficacia y género Aunque chicos y chicas rinden igual en elTPC, las chicas muestran significativamente un menor sentimiento de autoeficacia en el test “Debugging de Gender Gap” = https://vimeo.com/123004482 No significativo p(t) = 0,5 > 0,05 Sí significativo p(t) = 0,002 < 0,05
  30. 30. Resultados preliminares: validez concurrente Como fuentes de validez concurrente del TPC estamos utilizando medidas ya validadas relativas a variables supuestamente próximas al PC, tales como ‘razonamiento lógico’, ‘resolución de problemas’ o ‘aptitudes perceptuales- atencionales’… n = 56
  31. 31. Resultados preliminares: validez concurrente Como fuentes de validez concurrente del TPC estamos utilizando medidas ya validadas relativas a variables supuestamente próximas al PC, tales como ‘razonamiento lógico’, ‘resolución de problemas’ o ‘aptitudes perceptuales- atencionales’… n = 63
  32. 32. Resultados preliminares: validez concurrente …Y medidas alternativas de PC, tales como selecciones de ítems y tareas que vienen siendo utilizados en concursos internacionales de promoción del talento computacional ‘International Bebras Contest’ n = 76
  33. 33. Resultados preliminares: validez concurrente …Y medidas alternativas de PC, tales como selecciones de ítems y tareas que vienen siendo utilizados en concursos internacionales de promoción del talento computacional ‘International Bebras Contest’ Problema I de Bebras Lógica condicional Estructuras discretas
  34. 34. Resultados preliminares: validez concurrente …Y medidas alternativas de PC, tales como selecciones de ítems y tareas que vienen siendo utilizados en concursos internacionales de promoción del talento computacional ‘International Bebras Contest’ Problema II de Bebras Paralelización Control de flujo
  35. 35. Resultados preliminares: validez concurrente …Y medidas alternativas de PC, tales como selecciones de ítems y tareas que vienen siendo utilizados en concursos internacionales de promoción del talento computacional ‘International Bebras Contest’ Problema III de Bebras Descomposición Abstracción Algoritmos
  36. 36. Resultados preliminares: validez predictiva Como fuentes de validez predictiva, pretendemos correlacionar las puntuaciones en el TPC de nuestros sujetos con sus medidas de desempeño en el programa ‘K-8 Intro to Computer Science’ (número de niveles superados) CORRELACIÓN GENERAL TPC * NIVELES K-8 SUPERADOS = +0,37 (n=96)
  37. 37. Resultados preliminares: sensibilidad pretest-postest
  38. 38. ConclusionesTPC PUNTOS FUERTES • Test ‘clásico’ de aptitud • Dificultad apropiada para la población objetivo (1º y 2º ESO) • Correcta psicometría: dificultad creciente, distribución normal y simétrica. • Buena variabilidad que permite la construcción de baremos • Progresión evolutiva y ausencia de sesgo por género • Fiabilidad adecuada (especialmente en tabletas) e indicadores adecuados de validez concurrente y predictiva • Aplicación colectiva y on-line • Usos posibles: detección masiva / cribado de talento computacional, diagnóstico, orientación académica y profesional, evaluación de currículos de PC LIMITACIONES • Muy centrado en conceptos computacionales (no en procesos y productos), y en pensamiento algorítmico • Sólo ítems de elección múltiple: se mide el PC en sus niveles más bajos de complejidad cognitiva (‘reconocer’ y ‘comprender’) • Para medir el PC en sus niveles superiores (‘aplicar’ y ‘asimilar’) habría que incluir ítems de evocación y/o tareas complejas que exijan transferir el PC de manera creativa a distintos ámbitos
  39. 39. Líneas futuras de investigación TPC • Evaluación aptitudinal y diagnóstica Dr. Scratch • Evaluación formativa de proyectos
  40. 40. Muchas gracias por su atención MARCOS ROMÁN GONZÁLEZ Profesor e Investigador UNED - Facultad de Educación (Dpto. MIDE I) C/ Juan del Rosal, nº14. Despacho: 2.18 Tfno.: 91 398 90 37 Web: http://goo.gl/oox5Qn E-mail: mroman@edu.uned.es Blog: http://codigoalfa.hypotheses.org/

×