El documento describe un congreso sobre la evaluación PISA que tuvo lugar en Madrid del 1 al 2 de abril de 2014. El congreso se centró en la evaluación por ordenador y la resolución de problemas. También proporciona información sobre diferentes evaluaciones internacionales del sistema educativo como PISA, PIRLS, TIMSS y TALIS, y explica los procesos y marcos teóricos utilizados para construir las pruebas de estas evaluaciones.

1. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD#pisa @educainee INEE_MECD
Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
Evaluaciones Internacionales
del Sistema Educativo
@educainee INEE_MECD
Madrid, 9 de julio de 2014

2. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
¿QUÉ ES EL INEE?
● El Instituto Nacional de Evaluación Educativa es el organismo responsable de
la evaluación del sistema educativo en el MECD.
● Sus funciones son:
 Coordinación de las políticas de evaluación general del Sistema Educativo.
 Coordinación de la participación del Estado español en las evaluaciones
internacionales.
 Elaboración del Sistema Estatal de Indicadores de la Educación.
 Participación en la elaboración de los indicadores internacionales de la
educación.
 Revista de Educación: publicación científica del MECD para la difusión de
los avances en la investigación y en la innovación educativa.
 Boletín EducaINEE: resumen de los temas educativos relevantes.
Evaluaciones Internacionales del
Sistema Educativo

3. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD#pisa @educainee INEE_MECD
Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
¿Evaluaciones internacionales?
Evaluaciones Internacionales del
Sistema Educativo

4. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
PISA Programme for International Student Assessment
Programa para la Evaluación Internacional de Estudiantes
Periodicidad Cada tres años
Organización OCDE (Organización para Cooperación y Desarrollo Económico)
Edad/Nivel educativo 15 años (cumplen 16 años en el año en el que se realiza la aplicación)
Último año aplicación 2012
Cuestionarios de
contexto
Alumno y centro. En 2015 se introducirán los de profesores y padres.
Otras informaciones Competencias evaluadas: matemáticas, lectura y ciencias. Cada edición
se dedica especial atención a una de ellas. En 2012 ha incluido
resolución de problemas y competencia financiera.
En 2012, además de la aplicación en papel, se ha evaluado matemáticas
y lectura en ordenador. La aplicación de 2015 se hará íntegramente en
por ordenador.
Evaluaciones Internacionales del
Sistema Educativo

5. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
PIRLS Progress in International Reading Literacy Study
Estudio Internacional de Progreso en Comprensión Lectora
Periodicidad Cada cinco años
Organización IEA (Asociación Internacional para la Evaluación del Rendimiento
Educativo)
Edad/Nivel educativo 4º Educación Primaria (9 – 10 años)
Último año aplicación 2011
Cuestionarios de
contexto
Alumno, profesores, centro y padres
Otras informaciones Competencia evaluada: Comprensión lectora.
Próxima aplicación: 2016
Evaluaciones Internacionales del
Sistema Educativo

6. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
TIMSS Trends in International Mathematics and Science Study
Estudio Internacional de Matemáticas y Ciencias
Periodicidad Cada cuatro años
Organización IEA (Asociación Internacional para la Evaluación del Rendimiento
Educativo)
Edad/Nivel educativo 4º Educación Primaria (9 – 10 años)
Último año aplicación 2011
Cuestionarios de
contexto
Alumno, profesores, centro y padres
Otras informaciones Competencias: Matemáticas y ciencias.
Próxima aplicación: 2014
Evaluaciones Internacionales del
Sistema Educativo

7. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
TALIS Teaching and Learning International Survey
Estudio Internacional de Enseñanza y Aprendizaje
Periodicidad Inicialmente, cada 5 años (2008 y 2013)
Organización OCDE (Organización para Cooperación y Desarrollo Económico)
Edad/Nivel educativo Estudio cíclico: Primer ciclo centrado en Profesores y directores de
Educación Secundaria (ISCED 2)
Último año aplicación 2013
Otras informaciones Ofrece información sobre los procesos educativos a través de encuestas
a profesores y directores sobre formación, ambiente de trabajo,
motivación y aplicación de política educativa.
TALIS – PISA link (Contexto PISA unido a respuestas subjetivas TALIS)
Evaluaciones Internacionales del
Sistema Educativo

8. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
EECL o ESLC European Survey on Language Competence
Estudio Europeo de Competencia Lingüística
Periodicidad Cada cinco años
Organización Unión Europea
Edad/Nivel educativo 4º Educación Secundaria Obligatoria, ISCED 2, grado 10 (15 – 16 años)
Último año aplicación 2011
Otras informaciones Destrezas evaluadas: Comprensión lectora, comprensión oral y
expresión escrita en dos lenguas extranjeras (entre inglés, alemán,
francés, español e italiano).
Sigue las escalas del Marco Común Europeo de Referencia de las
Lenguas en sus cuatro primeros niveles (A1 a B2) y utiliza “target
testing” (dificultad adaptada al alumno).
Evaluaciones Internacionales del
Sistema Educativo

9. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Evaluaciones Internacionales del
Sistema Educativo
TIMSS Advanced Trends in International Mathematics and Science Study
Estudio Internacional de Matemáticas y Ciencias
Periodicidad Sin determinar
Organización IEA (Asociación Internacional para la Evaluación del Rendimiento
Educativo)
Edad/Nivel educativo ISCED 12 (2º Bachillerato)
Último año aplicación 2008
Cuestionarios de
contexto
Alumno, profesores, centro y padres
Otras informaciones Competencias: Matemáticas avanzadas y Física. En España, la población
objetivo está compuesta por los alumnos matriculados en Matemáticas
II y/o Física (2º Bachillerato)
Próxima aplicación: 2014

10. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD#pisa @educainee INEE_MECD
Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
Estudios
internacionales
Evaluaciones Internacionales del
Sistema Educativo

11. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
 Evaluaciones muestrales, cíclicas, a gran
escala
 Cuadernillo de prueba + cuestionarios de
contexto
 Rigor metodológico:
• Marco teórico: Qué evaluar, elaboración de
ítems, distribución de ítems y cuadernillos…
• Selección de la muestra
• Traducción de materiales, aplicación,
corrección, limpieza de datos…
• Análisis TRI de las respuestas  Dificultad de
los ítems y puntuación lograda por los
alumnos
 Informes internacionales comparativos
RASGOS COMUNES DE LOS ESTUDIOS DE EVALUACIÓN
Evaluaciones Internacionales del
Sistema Educativo

12. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
LO DESEABLE DE UN SISTEMA EDUCATIVO
EVALUACIONES EDUCATIVAS
Currículo
Competencias
y habilidades
para la vida
Evaluación
Evaluaciones Internacionales del
Sistema Educativo

13. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN
Currículo
Competencias y
habilidades
para la vida
Evaluación
EVALUACIONES EDUCATIVAS
Evaluaciones Internacionales del
Sistema Educativo

14. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
El MARCO DE LA EVALUACIÓN
+
Currículo-Conocimientos
qué se espera que los estudiantes
hayan aprendido
TIMSS, PIRLS, TIMSS Advanced
Competencias
con qué éxito los estudiantes pueden
extrapolar lo que han aprendido y
aplicar sus conocimientos y
habilidades en nuevos contextos
PISA, EECL, ECES
Contexto
Todos los estudios y TALIS
¿Qué evaluar?
Evaluaciones Internacionales del
Sistema Educativo

15. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Estímulo
Ítem
Pilotaje
Aplicación
principal
Explotación
de datos
Tipo respuesta:
• Elección múltiple
• Cerrada
• Abierta construida
• Abierta
MATRIZ
ESPECIFICACIONES
PROCESO DE CONSTRUCCIÓN DE PRUEBAS
Evaluaciones Internacionales del
Sistema Educativo

16. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
ANÁLISIS DE LA COMPETENCIA
Niveles cognitivos
(Niveles de complejidad en la resolución de la tarea)
Ponderación
Procesos
Dimensiones/Dominios Proceso I Proceso II Proceso III
Dominio 1 Descriptores Descriptores Descriptores %
Dominio 2 Descriptores Descriptores Descriptores %
Dominio 3 Descriptores Descriptores Descriptores %
Ponderación % % %
Competencia
Dimensiones/Dominios
Áreas temáticas
Temas de contenido
Contextos
Nivel de dificultad
Descriptores:
Formulaciones sintéticas de las
competencias/capacidades que medirán los ítems
Evaluaciones Internacionales del
Sistema Educativo

17. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
TIMSS. CONTENIDOSNúmeros
Números naturales
•Demostrar el conocimiento del valor de la posición,
incluyendo el reconocimiento y la escritura de
números en forma expandida; y la representación de
números naturales utilizando texto, diagramas o
símbolos.
•Comparar, ordenar y redondear números naturales.
•Calcular (+,-,x,÷) con números naturales.
•Resolver problemas contextualizados, incluyendo los
que implican medidas, uso de monedas y
proporciones simples.
Fracciones y decimales
•Reconocer las fracciones como parte de un natural,
de un conjunto, o en posiciones de líneas numéricas,
y representarlas usando números, modelos o
palabras.
•Identificar fracciones simples equivalentes,
compararlas y ordenarlas, sumarlas y restarlas,
incluidas las dadas en problemas.
•Demostrar el conocimiento del valor de la posición de
un decimal incluyendo la representación de decimales
usando números, palabras o modelos; compararlos,
ordenarlos y redondearlos; sumarlos y restarlos.
Expresiones, ecuaciones simples y
relaciones
•Encontrar el número o símbolo que falta en un
enunciado numérico.
•Identificar y escribir expresiones o enunciados
numéricos que representan problemas con
incógnitas.
•Identificar y utilizar relaciones en patrones bien
definidos.
Formasymediciones
geométricas
Puntos, líneas y ángulos
•Medir y estimar longitudes.
•Identificar y dibujar líneas
paralelas y perpendiculares.
•Identificar, comparar y dibujar
distintos tipos de ángulos.
•Utilizar sistemas de coordenadas
no formales para localizar
puntos en un plano.
Formas bi y
tridimensionales
•Usar propiedades elementales
para describir y comparar
formas geométricas bi y
tridimensionales comunes,
incluyendo simetría lineal y
rotacional.
•Relacionar formas
tridimensionales con sus
representaciones
bidimensionales.
•Calcular perímetros de
polígonos; áreas de cuadrados y
rectángulos; y estimar áreas y
volúmenes de figuras
geométricas cubriendo con una
forma dada o rellenando con
cubos.
Representacióndedatos
Leer, interpretar y
representar
•Leer, comparar y representar
datos de tablas, pictogramas,
gráficos de barras, gráficos de
líneas y gráficos de porciones.
•Utilizar información de
representaciones de datos para
contestar a preguntas que van
más allá de la lectura directa de
los datos representados.
Evaluaciones Internacionales del
Sistema Educativo

18. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
TIMSS. PROCESOS COGNITIVOS.
Conocer
•Recordar
•Reconocer
•Clasificar / ordenar
•Calcular
•Recuperar
•Medir
Aplicar
•Determinar
•Representar
•Implementar
Razonar
•Analizar
•Integrar
•Evaluar
•Sacar conclusiones
•Generalizar
•Justificar
Evaluaciones Internacionales del
Sistema Educativo

19. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
EJEMPLO DE CONSTRUCCIÓN
DE PRUEBAS
Evaluaciones Internacionales del
Sistema Educativo
X. Conocer Y. Aplicar Z. Razonar
a. Números a.X.1. Demostrar el conocimiento del valor de la
posición de números naturales, incluyendo el
reconocimiento y la escritura de números en forma
expandida.
a.X.2. Comparar, ordenar y redondear números
naturales.
a.X.3. Calcular (+,-,x,÷) con números naturales.
a.X.4. Reconocer las fracciones como parte de un
natural, de un conjunto, o en posiciones de líneas
numéricas.
a.X.5. Identificar fracciones simples equivalentes,
compararlas y ordenarlas, sumarlas y restarlas,
incluidas las dadas en problemas.
a.X.6. Comparar, ordenar y redondear decimales;
sumarlos y restarlos.
a.Y.1. Representar números naturales
utilizando texto, diagramas o símbolos.
a.Y.2. Representar fracciones usando
números, modelos o palabras.
a.Y.3. Demostrar el conocimiento del valor
de la posición de un decimal incluyendo la
representación de decimales usando
números, palabras o modelos.
a.Y.4. Encontrar el número o símbolo que
falta en un enunciado numérico.
a.Z.1. Resolver problemas
contextualizados, incluyendo los que
implican medidas, uso de monedas y
proporciones simples.
a.Z.2. Identificar y escribir expresiones o
enunciados numéricos que representan
problemas con incógnitas.
a.Z.3. Identificar y utilizar relaciones
en patrones bien definidos.
b. Formas y
mediciones
geométricas
b.X.1. Medir y estimar longitudes.
b.X.2. Identificar líneas paralelas y perpendiculares.
b.X.3. Identificar y comparar distintos tipos de
ángulos.
b.X.4. Calcular perímetros de polígonos; áreas de
cuadrados y rectángulos; y estimar áreas y
volúmenes de figuras geométricas cubriendo con
una forma dada o rellenando con cubos.
b.Y.1. Dibujar líneas paralelas y
perpendiculares.
b.Y.2. Dibujar distintos tipos de ángulos.
b.Y.3. Utilizar sistemas de coordenadas no
formales para localizar puntos en un plano.
b.Y.4. Usar propiedades elementales para
describir y comparar formas geométricas bi
y tridimensionales comunes, incluyendo
simetría lineal y rotacional.
b.Z.1. Relacionar formas
tridimensionales con sus
representaciones bidimensionales
c.
Representación
de datos
c.X.1. Leer y comparar datos de tablas, pictogramas,
gráficos de barras, gráficos de líneas y gráficos de
porciones.
c.Y.1. Representar datos en tablas,
pictogramas, gráficos de barras, gráficos de
líneas y gráficos de porciones
c.Z.1. Utilizar información de
representaciones de datos para
contestar a preguntas que van más
allá de la lectura directa de los datos
representados

20. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
MARCO TEÓRICO DEL
ESTUDIO TIMSS
MATEMÁTICAS
Números
50 %
Formas y mediciones geométricas
35%
Representación de datos
15%
Conocer – 40% 20% 14% 6%
Aplicar – 40% 20% 14% 6%
Razonar – 20% 10% 7% 3%
Evaluaciones Internacionales del
Sistema Educativo

21. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Recursos abiertos y disponibles
Evaluaciones Internacionales del
Sistema Educativo

22. Congreso PISA:
Evaluación por ordenador y resolución de problemas.
Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
joaquin.vera@mecd.es
http://www.mecd.gob.es/inee
Síguenos en Twitter: En nuestro blog:
@educaINEE http://blog.educalab.es/inee/
Y en slideshare:
http://www.slideshare.net/INEE_MECD
GRACIAS
Evaluaciones Internacionales del
Sistema Educativo