Jornadas de Evaluación Educativa: Estudios Internacionales Facultad de Educación - UAH Instituto Nacional de Evaluación Educativa - MECD 12-13 de marzo de 2014

1. Jornadas de Evaluación Educativa:
Estudios internacionales
http://www.mecd.gob.es/inee
Facultad de Educación, UAH
Lis Cercadillo Joaquín Vera
Alba Reboredo Chema Sánchez
Instituto Nacional de
Evaluación Educativa, MECD

2. http://www.mecd.gob.es/inee
La evaluación de la Lectura en
Infantil, Primaria y Secundaria
Lis Cercadillo
Alba Reboredo
Jornadas de Evaluación Educativa:
Estudios internacionales

3. Evaluaciones internacionales
¿Por qué participan los países en estudios
internacionales de evaluación?
• Para recabar datos a nivel nacional
• Para compararse con otros países
• Para intervenir y contribuir al desarrollo de mejoras
e innovaciones en educación

5. La evaluación en el mundo
La evaluación en el mundo
Educación Infantil: ECES (IEA), ECEC (OCDE)
Educación Primaria: PIRLS (IEA)
Educación Secundaria: PISA (OCDE)

6. ¿Qué es el Early Childhood Education Study?
ECES es un estudio de la IEA
Su finalidad es analizar transnacionalmente la provisión de la
educación preprimaria en los distintos países participantes y
conocer cómo afecta a los resultados de los alumnos
El módulo de evaluación/observación de alumnos de
preprimaria, se llevaría a cabo con alumnos del último curso de
Educación Infantil (5 años)
Educación Infantil: ECES

7. Objetivos del estudio ECES
Elaborar un marco teórico e indicadores realistas acerca de
las competencias adquiridas por los alumnos al final de la
etapa preprimaria
Ofrecer información acerca del sistema educativo en general
de cada país, de las distintas políticas educativas, prácticas
pedagógicas empleadas, así como las características de los
centros, profesores y del entorno
Educación Infantil: ECES

8. Resultados
de los niños
Contexto
político
nacional
Maestros/Cuidadores
de Educación Infantil
Experiencias
de aprendizaje
Centro de
Educación
Infantil
Hogares
¿Cómo se lleva a cabo
ECES?

9. Etapas del estudio ECES
•Desarrollo del marco teórico del estudio.Desde Enero de 2013
•Cuestionario de políticas educativas disponible en un número
reducido de países.
Noviembre – Diciembre 2013
•Aplicación del cuestionario de políticas educativas.Noviembre – Diciembre 2014
•Publicación del informe sobre políticas educativas.Agosto 2015
•Aplicación de los cuestionarios de evaluación del niño y del
centro educativo.
Septiembre 2015 – Marzo 2016
•Publicación del marco teórico del estudio.Agosto 2016
• Estudio Principal en los países del hemisferio sur: aplicación de los
cuestionarios de evaluación del niño y del centro educativo.
Septiembre – Noviembre 2016
• Estudio Principal en los países del hemisferio norte: aplicación de los
cuestionarios de evaluación del niño y del centro educativo.
Abril – Junio 2017
•Publicación de los informes de resultados y de contexto.Septiembre 2018
•Publicación de los informes relacionales de resultados y
liberación de la base de datos.
Diciembre 2018

10. ECEC
ECEC “Review of Policies and Practices for Monitoring and Evaluating
Quality in Early Learning and Development” es un estudio de la OCDE
Surge para dar respuesta a qué es realmente “calidad” en Educación
Infantil, para analizar las políticas que mejor funcionan (y las que no)
Se tienen en cuenta 5 áreas de referencia en el sistema educativo:
Objetivos de calidad y estándares mínimos
Currículo y estándares de aprendizaje
Calidad de los trabajadores
Compromiso de la familia y resto de la comunidad
Recopilación de datos, investigación y observación
¿Qué es Early Childhood Education and Care?
Educación Infantil: ECEC

11. Early Childhood Education and Care
Muchos países han acordado incluir el rango de edad entre 0-8/10
años
ECEC reconoce la diversidad existente en la Educación Infantil
Analizará*:
Educación Infantil/Preprimaria, programas de Educación
Infantil y guarderías.
Cuidado infantil en centros
Educación Infantil y cuidados (integrado)
*No analiza el cuidado de los niños a manos de sus familiares, amistades, vecinos, otros niños,
etc.
ECEC

12. ¿Qué es Early Childhood Education and Care?
ECEC se divide en 3 fases:
ECEC
Fase 3
Revisiones
por país en
Educación
Infantil
Fase 2
Análisis de
Datos
Fase 1
Control de
Calidad
ECEC

13. Educación Primaria: PIRLS
PIRLS define la comprensión lectora como la capacidad para entender y
utilizar todas las formas de lenguaje escrito que son necesarias para
comunicarse socialmente y/o que son de valor para la persona
Progress in International Reading Literacy Study / Estudio
Internacional de Progreso en Comprensión Lectora
4º de Primaria
Última
edición
49 países
2011
• Próxima
edición
¿? Países2016

14. Educación Primaria: PIRLS
Se cambia de “aprender a leer” a “leer para aprender”
Propósitos de la lectura:
Leer como una experiencia literaria
Leer para adquirir y utilizar información
Características de los textos:
Historias completas y cortas
Entre 600 y 900 palabras
De temática y estilo variados
Interesantes para chicos y chicas de 10 años

15. Marcos Teóricos
Evaluaciones internacionales
¿Qué es un marco teórico?
• Explica lo que trata de medir la evaluación
• Objetivos del marco teórico:
 Servir de guía para la elaboración de unidades y preguntas
 Compartir un lenguaje sobre el que los implicados puedan
discutir el tema
 Asegurar una continuidad en un estudio a largo plazo
como éste
 Establecer y hacer públicas las características del programa
de evaluación

16. El Estudio PISA: Marco Teórico
Definición de LECTURA en PISA
Lectura (competencia lectora) es la comprensión, el
uso, la reflexión y el interés por los textos escritos,
para conseguir los propios objetivos, desarrollar el
conocimiento y el potencial individuales, y participar
en la sociedad

17. El Estudio PISA: Marco Teórico
Para elaborar las preguntas, PISA atiende a
4 características de los textos:
– Contexto (escolar, personal, profesional, etc)
– Tipo (continuo, discontinuo, mixto, múltiple)
– Aspecto (acceder y recabar, integrar e interpretar,
reflexionar y valorar)
– Formato (impreso o digital)

18. El Estudio PISA: Marco Teórico
Tipos de texto
Continuo
Discontinuo
Mixto
Múltiple
Aspecto
 Acceder y recabar información
 Integrar e interpretar
 Reflexionar y valorar

19. El Estudio PISA: Marco Teórico
Tipos de texto
Continuo
La información se presenta
en frases y párrafos
– Argumentativo
– Descriptivo
– Expositivo
– Narrativo
Mixto
Discontinuo
La información se presenta
en otros formatos
- Tablas
- Gráficos
- Diagramas
- Mapas

20. El Estudio PISA: Marco Teórico
Ejemplo de texto mixto
Formado por textos
continuos
y discontinuos

21. El Estudio PISA: Marco Teórico
Aspectos:
 Acceder y recabar información
 Integrar e interpretar
 Reflexionar y valorar

22. El Estudio PISA: Marco Teórico
Ejemplo de “acceder y recabar información”
MACONDO
Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía
por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas
bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo
viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se
indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi
proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y
sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción,
reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba
dos centavos para compartir las vicisitudes de los personajes, no pudo soportar
aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno
Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no
merecía los desbordamientos pasionales del público. Ante la desalentadora
explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso
asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que
ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres
imaginarios.
¿Cuánto costaba ir al cine en
Macondo?
o Un centavo
o Dos centavos
o Tres centavos
o Cuatro centavos

23. El Estudio PISA: Marco Teórico
Ejemplo de “integrar e interpretar ”
MACONDO
Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía
por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas
bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo
viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se
indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi
proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y
sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción,
reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba
dos centavos para compartir las vicisitudes de los personajes, no pudo soportar
aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno
Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no
merecía los desbordamientos pasionales del público. Ante la desalentadora
explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso
asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que
ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres
imaginarios.
Al final del pasaje, ¿por qué la gente
de Macondo decide no volver al
cine?

24. El Estudio PISA: Marco Teórico
Ejemplo de “reflexionar y valorar”
MACONDO
Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía
por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas
bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo
viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se
indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi
proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y
sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción,
reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba
dos centavos para compartir las vicisitudes de los personajes, no pudo soportar
aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno
Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no
merecía los desbordamientos pasionales del público. Ante la desalentadora
explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso
asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que
ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres
imaginarios.
¿Estás de acuerdo con el criterio final de la
gente de Macondo sobre el valor del cine?
Explica tu respuesta comparando tu propia
actitud hacia el cine con la de ellos.

25. La LECTURA en PISA
 Sí, estoy de acuerdo, ya hay bastante sufrimiento en el
mundo sin que haya que inventárselo.
 No, la gente no entiende que cuando vas al cine lo
que ocurre en la pantalla no es de verdad.
 Depende. Si la peli es una me dan ganas de irme, pero si es
buena te enganchas y no me importa si no es de verdad.
Ejemplo de respuestas de alumnos a la pregunta de “reflexionar y valorar”
¿Estás de acuerdo con el criterio final de
la gente de Macondo sobre el valor del
cine?
Explica tu respuesta comparando tu
actitud hacia el cine con la de ellos.

26. La LECTURA en PISA
Educación Secundaria: PISA digital
¿Qué es la lectura digital?
 En el siglo XXI, la competencia lectora incluye saber
leer en los formatos impreso y digital (o electrónico)
 La lectura digital no es sólo leer texto impreso en una
pantalla de ordenador
 La lectura digital añade al proceso de textos una
faceta específica: la navegación

27. CBA en PISA
Educación Secundaria: PISA digital
Preguntas liberadas CBA (Computer-Based
Assessment)
(navegador: Firefox)
Lectura
http://erasq.acer.edu.au/index.php?cmd=home
Matemáticas
http://erasq.acer.edu.au/index.php?cmd=toMaths
Resolución de Problemas
http://erasq.acer.edu.au/index.php?cmd=toProble
mSolving

28. La Lectura en PISA: Ejemplo de
unidad

29. La Lectura en PISA: Ejemplo de
unidad

30. La Lectura en PISA: Ejemplo de
unidad

31. La Lectura en PISA: Ejemplo de
unidad

32. La Lectura en PISA: Ejemplo de
unidad

33. La Lectura en PISA: Ejemplo de
unidad

34. La Lectura en PISA: Ejemplo de
unidad

35. La Lectura en PISA: Ejemplo de
unidad

36. La Lectura en PISA: Ejemplo de
unidad

37. Elaboración de unidades y
preguntas
La elección de textos y la elaboración de preguntas para
evaluar la comprensión lectora
¿Cómo hacer?

38. Elaboración de preguntas para un
estudio a gran escala
Redacción
preliminar de
preguntas
Revisión de
preguntas
Laboratorios cognitivos
(Cog Labs)
Revisiones de
preguntas
Revisión externa (países) Pregunta aceptada o
rechazada (después
de Cog Labs))
Estudio Piloto
Análisis
psicométrico y
revisión
Elaboración del
marco teórico
Pregunta para
el Estudio
Principal

39. Elaboración de unidades y
preguntas
Textos que no sirven: lo que tenemos que evitar
Ofender o molestar:
• Trauma (accidentes de tráfico, violencia)
• Sexo, religión, política u otros temas polémicos o
delicados
• Mal comportamiento, agresividad, racismo,
inmoralidad o irresponsabilidad
• Modelos indeseables (drogas, alcohol, inducción a
diversos posibles peligros)
• Palabrotas
Esperar demasiado o demasiado poco de los alumnos:
• Textos con lenguaje enrevesado
• Textos que ofrecen un conocimiento que los alumnos
ya deberían saber
• Textos aburridos!!

40. Elaboración de unidades y
preguntas
Lo importante es saber elegir un texto
Un buen texto…
• tiene enjundia y es interesante
• plantea retos – no es muy fácil ni muy difícil
• no plantea retos artificiales (lenguaje retorcido,
p.e.)
• es (más o menos) igualmente accesible para
diferente tipo de alumnos
• ofrece oportunidades para plantear cuestiones
inquisitivas, cuya respuesta no sea obvia

41. Elaboración de unidades y
preguntas

42. Elaboración de unidades y
preguntas

43. Elaboración de unidades y
preguntas
MACONDO
Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no
sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas
bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el
segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo
acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante
don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un
personaje muerto y sepultado en una película y por cuya desgracia se derramaron
lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente.
El público que pagaba dos centavos para compartir las vicisitudes de los personajes,
no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias
de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de
ilusión que no merecía los desbordamientos pasionales del público. Ante la
desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo
y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine,
considerando que ya tenían bastante con sus propias penas, para llorar por fingidas
desventuras de seres imaginarios.
Una frase inicial que nos
intriga...
¿¿Qué invenciones??
¿De qué va esto? ... Algo
familiar desde una perspectiva
extraña
Esto es de locos... ¿Pero hay
algo de cierto en ello?

44. Elaboración de unidades y
preguntas
Y, por último, lo importante es redactar unidades
Una unidad es un grupo de preguntas construidas a
partir de un texto / estímulo o parte del mismo

45. Elaboración de unidades y
preguntas
¿Qué caracteriza a una buena unidad?
• Las preguntas cubren un amplio espectro de
dificultad
• Las preguntas responden a distintos aspectos del
marco teórico
• Cada pregunta es independiente de las demás
• El grupo de preguntas consigue llegar al “corazón”
del texto
¡¡Manos a la obra!!

46. Síguenos en Twitter:
@educaINEE
En nuestro blog:
http://blog.educalab.es/inee/
Y en slideshare:
http://www.slideshare.net/INEE_MECD
http://www.mecd.gob.es/inee/
¡¡Muchas gracias!!