El documento describe los rasgos comunes de los estudios de evaluación internacionales PIRLS y TIMSS. Estos estudios evalúan las competencias de lectura, matemáticas y ciencias de estudiantes de 4o grado a través de pruebas estandarizadas y cuestionarios de contexto. Los resultados comparan el rendimiento entre países y permiten medir tendencias a lo largo del tiempo. En 2011, los estudiantes de Madrid obtuvieron resultados similares al promedio de la OCDE en lectura y matemáticas.

2.  Evaluaciones muestrales, cíclicas, a gran escala
 Cuadernillo de prueba + cuestionarios de contexto
 Rigor metodológico:
• Marco teórico: Qué evaluar, elaboración de ítems,
distribución de ítems y cuadernillos…
• Selección de la muestra
• Traducción de materiales, aplicación, corrección,
limpieza de datos…
• Análisis TRI de las respuestas  Dificultad de los
ítems y puntuación lograda por los alumnos
 Informes internacionales comparativos
RASGOS COMUNES DE LOS ESTUDIOS DE
EVALUACIÓN INTERNACIONALES

3. EJEMPLO DE CONSTRUCCIÓN DE PRUEBAS

4. DESCRIPTOR
BLOQUES DE CONTENIDOS
• Números
• Álgebra
• Geometría
• Funciones y Gráficas
• Estadística y Probabilidad
• Contenidos comunes
Ejemplo: Contenidos y Procesos
para Matemáticas 2º ESO

5. ítems
Prepilotaje
Pilotaje
Estudio principal
Análisis de resultados
Elaboración de una prueba
Respuesta de elección múltiple
Respuesta cerrada
Respuesta abierta construida
Respuestas abiertas
Matriz de
especificaciones
estímulo
UNIDAD

6. OBJETIVO DE LOS ESTUDIOS
PIRLS Y TIMSS
 Evaluar la comprensión lectora (PIRLS) y el rendimiento en
matemáticas y ciencias (TIMSS) tras cuatro años de
escolarización obligatoria (4º de Educación Primaria en España)
¿Qué evaluar? Contenidos curriculares comunes en todos los países
participantes en la evaluación
 Obtener información comparada entre los distintos países
participantes y medir las tendencias entre ciclos.
 Proporcionar información sobre:
El contexto de aprendizaje: alumno, familia y centro escolar.
Las actitudes de los alumnos hacia la lectura, las
matemáticas y las ciencias.
El uso que hacen los alumnos del tiempo libre.
Factores que favorecen el entorno de aprendizaje y la
eficacia de la escuela (recursos, métodos, clima, etc.)

7. PIRLS
PIRLS Progress in International Reading Literacy Study
Estudio Internacional de Progreso en Comprensión Lectora
Periodicidad Cada cinco años
Organización IEA (Asociación Internacional para la Evaluación del Rendimiento
Educativo)
Edad/Nivel educativo 4º Educación Primaria (9 – 10 años)
Último año aplicación 2011
Cuestionarios de
contexto
Alumno, profesores, centro y padres
Otras informaciones  Competencia evaluada: Comprensión lectora.
 Próxima aplicación: 2016
La IEA, fundada en 1958, lleva a cabo estudios internacionales de evaluación educativa a
gran escala.

8. TIMSS
TIMSS Trends in International Mathematics and Science Study
Estudio Internacional de Matemáticas y Ciencias
Periodicidad Cada cuatro años
Organización IEA (Asociación Internacional para la Evaluación del Rendimiento
Educativo)
Edad/Nivel educativo 4º Educación Primaria (9 – 10 años)
Último año aplicación 2015. Informe en noviembre de 2016
Cuestionarios de
contexto
Alumno, profesores, centro y padres
Otras informaciones  Competencias evaluadas: Matemáticas y Ciencias.
 Próxima aplicación: 2019

9. MARCO TEÓRICO DEL
ESTUDIO PIRLS
La noción
de lectura
en PIRLS
Habilidad para
comprender
Habilidad para
construir significados
Aprender a leer
Leer para aprender
y disfrute personal

10. Evalúa tres aspectos en la comprensión lectora
PROPÓSITOS DE
LECTURA
• Leer para informarse y
aprender (50%)
• Leer para disfrutar (50%)
PROCESOS COGNITIVOS
•Obtener información (10%+10%)
•Hacer inferencias (15%+15%)
•Interpretar e integrar (15%+15%)
•Analizar y evaluar (10%+10%)
ACTITUD Y
HÁBITOS DE
LECTURA
CUESTIONARIOS DE
CONTEXTO
• Alumnos
• Padres o tutores legales
• Profesores
• Directores de centro
CUADERNILLOS DE LA PRUEBA
•Textos literarios
(50%)
•Textos informativos
(50%)
Preguntas o ítems
para evaluar los
procesos cognitivos
Cada texto:
• 750 a 900 palabras (3 a 5 páginas)
• 10 a 15 preguntas
MARCO TEÓRICO DEL
ESTUDIO PIRLS

11. DOMINIOS DE
CIENCIAS
DOMINIOS DE
MATEMÁTICAS
DOMINIOS
COGNITIVOS COMUNES
• Conocer (40%)
• Aplicar (40%)
• Razonar (20%)
DOMINIOS DE
CONTENIDO
• Números (50%)
• Formas y mediciones
geométricas (35%)
• Representación de
datos (15%)
ÁREAS
TEMÁTICAS
CAPACIDADES
EVALUABLES
HABILIDADES Y
DESTREZAS
DOMINIOS DE CONTENIDO
• Ciencias de la vida (40%)
• Ciencias físicas (40%)
• Ciencias de la Tierra (20%)
ÁREAS
TEMÁTICAS
CAPACIDADES
EVALUABLES
MARCO TEÓRICO DEL
ESTUDIO TIMSS

12. La obtención de resultados
representativos y fiables, y la
distribución por niveles requiere gran
número de ítems
Distribución de cuadernillos por
bloques (Balanced Incomplete Block -
BIB)
• Textos literarios: PRLit1 a 5 + PLLit3
• Textos informativos: PRInf1 a 5 + PLInf3
• Cuadernillo “Lecturas”: triple frecuencia
• Seis textos (3+3) de anclaje para medir
tendencias
DISEÑO DE LAS
PRUEBAS EN PIRLS

13. APLICACIÓN DE LAS PRUEBAS
Preparación
de los
alumnos
(10 minutos)
Primer texto
40 minutos
Descanso
15 minutos
Preparación
(5 minutos)
Segundo
texto
40 minutos
Cuestionario
del alumno
(10-30
minutos)
Preparación
de los
alumnos
(10 minutos)
Primera
parte
36 minutos
Descanso
15 minutos
Preparación
(5 minutos)
Segunda
parte
36 minutos
Cuestionario
del alumno
(10-30
minutos)
INSTRUMENTOS PARA CONOCER LOS FACTORES DE CONTEXTO
CUESTIONARIOS DE CONTEXTO
• Alumnos
• Padres o tutores legales
• Directores de los centros
• Profesores
ENCYCLOPEDIA
Información de cada país sobre su
sistema educativo y el currículo de
Lectura, Matemáticas y Ciencias
PIRLS
TIMSS

14. Contexto personal, social, escolar
Sexo, fecha de nacimiento, lengua hablada en casa, número de libros en casa, recursos en
casa y frecuencia de uso, interés de los padres en las tareas escolares, opinión sobre el
colegio y bienestar en el mismo.
Hábitos de lectura (PIRLS)
Lectura fuera del colegio: tiempo de lectura, motivación para leer, tipos de lectura y
frecuencia de lectura de cada una, frecuencia de asistencia a bibliotecas, frecuencia de
préstamos de bibliotecas, etc.
Lectura en clase: frecuencia, hábitos en clase, métodos del profesorado, gusto por la
lectura, interés por los temas leídos, autoconcepto en lectura, autoevaluación de su
propia lectura, interés de sus padres, etc.
Aprendizaje de las matemáticas y de las ciencias (TIMSS)
Gusto por las matemáticas y las ciencias, autoconcepto, percepción de su utilidad,
percepción de la clase de matemáticas y ciencias y de la metodología del profesorado, etc.
CUESTIONARIOS DE CONTEXTO

15. CUESTIONARIOS DE CONTEXTO

16. Contexto personal, antecedentes, satisfacción general
Edad, años de experiencia como docente, sexo, nivel de estudios, especialidad en educación,
matemáticas, ciencias o lengua, entorno del centro, satisfacción general, recursos, uso de
ordenadores, participación y colaboración con el profesorado, formación continua, trabajo en
equipo, etc.
Trabajo general con la clase PIRLS/TIMSS
Número de alumnos (y en 4º primaria), alumnos con dificultades en lengua evaluada, materia
que enseña, hábitos de trabajo, distribución del tiempo de clase, dificultades que entorpecen
su tarea docente (alumnos con sueño, ACNEE, problemáticos, sin interés, etc.), frecuencia en
la relación con los padres.
Trabajo con la clase PIRLS/TIMSS en lectura, matemáticas y ciencias
Materiales, hábitos, distribución de los tiempos, alumnos que necesitan refuerzo de la materia,
tipos de lectura, tiempo dedicado a corrección, felicitación, tipo de deberes para casa,
importancia concedida a los distintos aspectos del currículo, modo de evaluación, recursos
(biblioteca, ordenadores, calculadoras, etc.)
CUESTIONARIOS DE CONTEXTO

17. CUESTIONARIOS DE CONTEXTO

18. Características generales del centro
Número total de alumnos y en cuarto de primaria, entorno socioeconómico, tipo de
población, lengua materna de los alumnos, horario lectivo y de apertura del centro,
número de ordenadores disponibles para los alumnos, existencia de biblioteca y su
dotación, laboratorio de ciencias, recursos generales del centro y en particular para la
enseñanza de la lectura las matemáticas y las ciencias, etc.
Funcionamiento del centro
Tipo y frecuencia de la relación con los padres, ambiente general del centro (disciplina,
puntualidad, respeto, interés del alumnado, expectativas del profesorado, instrumentos
de evaluación del profesorado, distribución del tiempo de actividades de la dirección etc.
¿Qué saben los alumnos antes de entrar al colegio?
Actividades relacionadas con lectura, matemáticas y ciencias
Preparación de los alumnos al entrar en el colegio, curso en que se incide en diferentes
hábitos y estrategias lectoras, atención dedicada a la lectura y escritura, medidas para
alumnos con otra lengua materna, etc.
CUESTIONARIOS DE CONTEXTO

19. CUESTIONARIOS DE CONTEXTO

20. Contexto general
Persona que rellena el cuestionario, lengua hablada en casa, asistencia a Educación
Infantil del hijo, edad al entrar en el colegio, nivel de estudios, tipo de trabajo,
expectativas sobre los estudios de su hijo, número de libros generales e infantiles en
casa, frecuencia de uso de algunos recursos en casa (enciclopedias, ordenadores,
DVD, Internet, etc.)
Actividades relacionadas con el colegio
Actividades y “logros” al entrar en el colegio, tiempo empleado por su hijo en hacer los
deberes, hábitos con los hijos, ayuda prestada, interés por las actividades
relacionadas con el colegio, opiniones sobre el colegio, etc.
Actividades personales y con los hijos en relación con la lectura
Hábitos familiares relacionados con la lectura con los hijos antes de entrar en el colegio
(leer, cantar, contar cuentos, juegos de letras, de construcción, puzzles, etc.),
frecuencia de lectura personal, tipos de lectura, gusto por la lectura, etc.

23. PREGUNTAS LIBERADAS
Todas las preguntas liberadas en
http://www.mecd.gob.es/inee/Preguntas-liberadas.html
Preguntas liberadas TIMSS y PIRLS
http://evaluacion.educalab.es/timsspirls/

24. Titularidad del centro
Tamaño
Modalidad de enseñanza
lengua cooficial
Comunidad Autónoma
Otros
SELECCIÓN DE LA MUESTRA

25. MUESTRA DE PIRLS Y TIMSS:
2011
PIRLS 2011 Madrid España Internacional
Alumnos 643 8.580 254.914
Centros 20 312 1.756
Profesores 28 402 3.263
Grupos 28 403 4.173
TIMSS 2011 Madrid España Internacional
Alumnos 655 4.183 261.339
Centros 20 151 923
Profesores 28 200 2.854
Grupos 28 200 2.953

26. RESULTADOS PIRLS Y TIMSS
EN 2011
568
558
556
554
552
552
548
546
545
542
541
541
541
541
539
539
538
535
531
530
529
528
527
526
520
513
507
506
Finlandia
Irlanda del Norte
Estados Unidos
Dinamarca
Irlanda
Inglaterra
Canadá
Países Bajos
República Checa
Suecia
Italia
Alemania
Portugal
Israel
Hungría
Madrid
MEDIA OCDE
República Eslovaca
Nueva Zelanda
Eslovenia
Austria
Lituania
Australia
Polonia
Francia
España
Noruega
Bélgica (C. francesa)
PIRLS 2011: Lectura
PAÍSES PARTICIPANTES OCDE
…Finlandia consigue el mejor rendimiento de los
participantes de la OCDE, con 30 puntos por encima
de la media.
…Madrid obtiene una puntuación igual a la media de
la OCDE.
… España, junto con Noruega y Bélgica (Comunidad
Francesa) son los países con puntuaciones más bajas
De la OCDE.

27. RESULTADOS PIRLS Y TIMSS
EN 2011
605
562
549
545
542
541
540
537
534
532
528
527
522
516
515
513
511
508
508
507
507
504
495
486
482
481
469
462
Corea
Irlanda del Norte
Bélgica (C. Flamenca)
Finlandia
Inglaterra
Estados Unidos
Países Bajos
Dinamarca
Lituania
Portugal
Alemania
Irlanda
MEDIA OCDE
Australia
Hungría
Eslovenia
República Checa
Italia
Austria
Madrid
República Eslovaca
Suecia
Noruega
Nueva Zelanda
España
Polonia
Turquía
Chile
TIMSS 2011: Matemáticas
PAÍSES PARTICIPANTES OCDE
… Corea consigue el mejor rendimiento de los
Países de la OCDE con 83 puntos por encima de
La media.
…Madrid obtiene una puntuación igual al promedio
de Italia, Austria, República Eslovaca y Suecia y a 15
puntos de distancia por debajo de la OCDE.
… La distancia de España con la media OCDE es mayor
en TIMSS-matemáticas (40 puntos) que en PIRLS-
lectura (25 puntos).

28. RESULTADOS PIRLS Y TIMSS EN
2011
587
570
559
544
536
534
533
533
532
532
531
529
528
528
524
523
522
520
517
516
516
515
509
505
505
497
494
480
463
Corea
Finlandia
Japón
Estados Unidos
República Checa
Hungría
Suecia
Madrid
Austria
República Eslovaca
Países Bajos
Inglaterra
Dinamarca
Alemania
Italia
MEDIA OCDE
Portugal
Eslovenia
Irlanda del Norte
Irlanda
Australia
Lituania
Bélgica (C. Flamenca)
España
Polonia
Nueva Zelanda
Noruega
Chile
Turquía
TIMSS 2011: Ciencias
PAÍSES PARTICIPANTES OCDE
… Corea consigue el mejor rendimiento de los países
de la OCDE.
…Madrid obtiene una puntuación superior en Ciencias
que la media de la OCDE (10 puntos) y en Lengua y
Matemáticas.
… España está a menor distancia de la media OCDE en
Ciencias que en Lengua y Matemáticas

29. MUESTRA DE PIRLS 2016 EN LA
COMUNIDAD DE MADRID
Diseño Muestra PIRLS - BILINGÜE 2016
Programa Nº de Centros - Grupos
(1 Grupo en cada Centro)
Idioma de la
prueba
Nº de
submuestras
Ordinario 80 Español 80
Bilingüe
(2012 y
anteriores)
80
Español (1º día) 80
Inglés (2º día) 80
TOTAL 160 240
Muestra Madrid 2016 (Estimación)
Referencias:
- Nivel 4º de Educación Primaria (Exentos E.E. e Internacionales)
- Centros Bilingües: Inicio programa 2012 y anteriores
Públicos Concertados/Privados
No bilingües 496 427
Bilingües 276 96 (Concertados)
TOTAL 772 523

30. GRACIAS