Este documento discute el tema de las evaluaciones externas y su relación con el rendimiento estudiantil. En primer lugar, resume los hallazgos de varios estudios que encuentran un efecto positivo de las pruebas externas en el rendimiento. Luego, analiza datos de la OCDE que muestran que los sistemas con este tipo de evaluaciones tienen puntajes superiores en lectura. Finalmente, explora cómo la combinación de autonomía escolar y accountability a través de exámenes externos parece ser la más efectiva para mejorar los resultados educativos.

1. 1
La evaluación externa para la mejora
de la educación.
Ismael Sanz
Instituto Nacional de Evaluación Educativa (MECD)
@sanz_ismael
II Desayuno con directores de centros educativos
de la Cátedra Nebrija Santander en Inteligencia
Ejecutiva y Educación, 20 de mayo 2015

2. Para más información:
http://www.mecd.gob.es/inee
Síguenos en Twitter:
@educaINEE
Y en nuestro blog:
http://blog.educalab.es/inee/

3. EVALUACIONES EXTERNAS

4. Introducción: Aplicación TIMSS-PIRLS

5. http://evaluacion.educalab.es/timsspirls/
Introducción: Aplicación TIMSS-PIRLS

6. Introducción: Aplicación TIMSS-PIRLS

7. C.Matemática
Competencia matemática
Contenidos
Procesos cognitivos
Números
MedidaGeometría
Incertidumbre
y datos
Conocer y
reproducir
Aplicar y
analizar
Razonar y
reflexionar
Marco General de la evaluación final de
Educación Primaria

8. Bloques de contenido
Números Medida Geometría Incertidumbre
y datos
Subt
otal
Total
Procesos
Conocer y
reproducir
Acceso e
identificación 15%
30
%
Comprensión 15%
Aplicar y
analizar
Aplicación 20%
40
%
Análisis 20%
Razonar y
reflexionar
Síntesis y
creación 15%
30
%
Juicio y
valoración 15%
Total 35% 20% 20% 25%
100%
Marco General de la evaluación final de
Educación Primaria

9. PISA para centros educativos
PISA for Schools
David Cervera
@dcerverao
14 de abril de 2015

10. Muestra
224 centros educativos
128 en Castellano
32 en Catalán
32 en Gallego
32 en Vasco
Alumnos de 15 años y a todos los alumnos de 4º de la
ESO –Grado 10 internacional– de cada centro.
15.527 alumnos en 469 grupos.
Prueba piloto
En promedio
70 alumnos por centro.

11. La evaluación para cada alumno y centro es semejante a
la de PISA:
Cada alumno:
1) responde a un cuadernillo de prueba durante 2 horas.
2) responde a un cuestionario de contexto durante 45
min.
3) la evaluación dura aproximadamente unas tres horas.
Características de la prueba
Prueba piloto
A diferencia del PISA, se evalúa a cada alumno con
la misma profundidad en las tres áreas
(Lectura, Matemáticas y Ciencias)

12. Ejemplos de informes de
centros de la prueba piloto de
2012 en Canadá, Estados
Unidos y Reino Unido
http://www.oecd.org/pisa/pisa-
basedtestforschools/OECD%20Test%20for
%20Schools%20-
%20Herndon%20High%20School.pdf
http://www.oecd.org/pisa/pisa-
basedtestforschools/OECD_TestforSchools
%20North%20Star%20Academy%20report
%20(ebook).pdf

13. IESAbcdefColegioBzyxwv

14. IESAbcdefColegioBzyxwv

15. Colegio Bzyxwv

16. OCDE 2013: Synergies for Better Learning. OECD Reviews of Evaluation and Assessment in Education. Página 64
La necesidad de hacer cambios en el sistema de evaluación en España
Usoderesultadosparalarendiciónde
cuentas
Uso de resultados para la mejora
Alto Moderado
Alto Australia, Chile México, Eslovaquia, Suecia
Moderado
Bélgica (Fl.), Canadá, Israel,
Corea, Nueva Zelanda
República Checa, Francia,
Hungría, Irlanda, Países Bajos,
Polonia, Portugal
Bajo
Dinamarca, Islandia,
Noruega
Austria, Bélgica (Fr), Estonia,
Finlandia, Italia, Luxemburgo,
Eslovenia, España
Se considera que un país hace un uso alto de los resultados de la evaluación para la mejora
(rendición de cuentas) si muchos de los componentes del marco de la misma están ligados de forma
sistemática a acciones para llevar a cabo la rendición de cuentas .
El uso es moderado si esos enlaces sistemáticos sólo existen en algunos de los componentes del
marco de la evaluación .
El uso de los resultados es bajo, si no se dan enlaces sistemáticos en las acciones de mejora.

17. 17
 Se observa una clara tendencia
hacía el uso de los resultados
académicos para comparar los
centros educativos con la media
nacional en la OCDE.
 En la OCDE se llevan a cabo
más prácticas de monitorización
de la actividad docente que en
España.
Debilidades del sistema educativo español
61,7
44,0
46,2
18,2
0,00
10,00
20,00
30,00
40,00
50,00
60,00
70,00
PromedioOCDE España
Porcentaje de alumnos que acuden a los centros donde
los resultados de la evaluación se utilizan para
compararlos con los puntos de referencia regionales y
nacionales
2012
2003

18. 18
La autonomía de los centros en la
gestión de recursos en combinación
con los mecanismos de rendición de
cuentas aumenta el rendimiento
educativo.
Mecanismos de rendición de cuentas
Autonomía del centro para asignar recursos (países de la OCDE)
Autonomía del centro para asignar recursos (países de la OCDE y economías asociadas)
Autonomía del centro en currículum y evaluación (países de la OCDE y economías asociadas)
-15
-10
-5
0
5
10
0 10 20 30 40 50 60 70 80 90 100
Diferenciadepuntuación
Porcentaje de alumnos en centros que publican datos de resultados (%)

19. Informe PISA 2010. Volumen IV. Pruebas externas y estandarizadas
PISA define las pruebas
externas como aquellas que
tienen consecuencias
académicas.
En el gráfico se observa
que en 24 de los 34 países
de la OCDE existe una
prueba externa y
estandarizada.
Dos de cada tres alumnos
de los países más
desarrollados del mundo se
encuentran en sistemas
educativos en los que se
realizan este tipo de
pruebas.
0.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.70.7
000000000000000000000000000000000000
000000000000000000000000000000000000
000000000000000000000000000000000000
000000000000000000000000000000000000
000000000000000000000000000000000000
000000000000000000000000000000000000
000000000000000000000000000000000000
000000000000000000000000000000000000
000000000000000000000000000000000000
0.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.1
0.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.4
0.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.5
0.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.80.8
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
111111111111111111111111111111111111
Promedio OCDE
Francia
Austria
Bélgica
Chile
Grecia
México
Portugal
España
Suecia
Suiza
Estados Unidos
Alemania
Canadá
Australia
Republica Checa
Dinamarca
Estonia
Finlandia
Hungría
Islandia
Irlanda
Israel
Italia
Japón
Corea del Sur
Luxemburgo
Países Bajos
Nueva Zelanda
Noruega
Polonia
Eslovaquia
Eslovenia
Turquía
Reino Unido
0.0 0.2 0.4 0.6 0.8 1.0

20. Relación entre el rendimiento del alumnado, la existencia
de exámenes externos y la autonomía de los centros
El gráfico de Hanushek y
Woessmann muestra que la
autonomía de los centros combinada
con la existencia de pruebas
externas y estandarizadas es la
combinación que proporciona
mejores resultados.
La segunda mejor combinación es
pruebas externas sin autonomía.

21. ¿Cómo se relacionan las evaluaciones externas y
estandarizadas con el desempeño de los estudiantes?
En los países cuyos
sistemas de evaluación
incluyen exámenes
externos y
estandarizados, la
puntuación de lectura
es 16 puntos superior
de media que en los
países que no se
aplican estas pruebas
Fuente: Education at a Glance, 2012, pag 527

22. ¿Cómo se relacionan las evaluaciones externas y estandarizadas
con el desempeño de los estudiantes?
Taken as a whole, the existing cross-country evidence suggests
that the effect of external exit exams on student achievement
may well be larger than a whole grade-level equivalent, or
between 20% and 40% of a standard deviation of the respective
international tests
Hanushek & Woessmann. (2011). The Economics of International Differences in Educational Achievement. Pp. 145.

24. Autores Conclusiones
Bishop (1995)
Los exámenes externos están relacionados con un mayor rendimiento del alumnado. También tienen un efecto
positivo en el comportamiento de los estudiantes, de sus familias y del profesorado.
Bishop (1995)
El rendimiento del alumnado y los salarios del profesorado son mayores en los países donde se aplican los
exámenes de acceso externos y estandarizados.
Bishop (1997)
Elevado impacto de los exámenes de acceso externos y estandarizados en el rendimiento del alumnado. Efectos
positivos en el comportamiento de las familias, profesores y administradores.
Woessmann (2003)
Los ajustes institucionales, como los exámenes externos, la autonomía de los centros y la competencia privada,
tienen un impacto mucho mayor que el que producen los recursos del centro.
Woessmann (2003)
El rendimiento del alumnado es superior en los sistemas educativos con exámenes externos; interacción positiva
con la autonomía del centro.
Woessmann (2005)
Los efectos de los exámenes centralizados en el rendimiento del alumnado son heterogéneos y varían en función
de los estudiantes, los centros y la dimensión temporal.
Bishop (2006)
Los exámenes de acceso externos y estandarizados tienen un impacto positivo en el rendimiento del alumnado.
No influyen en la asistencia a clase.
Fuchs y Woessmann (2007)
Una cuarta parte de la variación del rendimiento entre países se puede explicar por factores institucionales. Los
exámenes externos se relacionan positivamente con la autonomía. Efecto positivo de la gestión privada.
Woessmann, Luedemann,
Schuetz y West (2009)
Efecto positivo de las medidas de rendición de cuentas en el rendimiento del alumnado y en el impacto de la
autonomía.
Estudios sobre el impacto de los exámenes externos y
estandarizados en el rendimiento del alumnado

25. Rendición de cuentas, logros en educación postsecundaria y ganancias
Ganimian (2014)

26. Evidencia del impacto de los docentes resumida por Ganimian (2015)
Ganimian (2014)

27. Rendición de cuentas, logros en educación postsecundaria y ganancias
El estudio TSP (Texas Schools Project), a finales de los 90 demostró que los
centros reaccionan ante el riesgo de que los etiqueten como de bajo rendimiento,
de forma que aumentan el aprendizaje de alumnos en las pruebas estatales.
Alumnos de estos centros educativos aumentaros también la probabilidad de
acudir a la Universidad en 1% y mejoraron su salario a los 25 años también en un
1%.
Los centros con riesgo de ser clasificados como de “bajo Rendimiento” mejoran
un 4% de la DT sus resultados en matemáticas de sus alumnos, mientras que los
rezagados lo hacen en un 7% de la DT.
Importancia de que el resultado relevante sea el del sub-grupo con peor
rendimiento
Por el contrario, no parece haber repercusión global en los centros que se
enfrentan a una mayor presión por la rendición de cuentas.
Deming, D., Cohodes, S. ; Jennings, J. y Jencks(2013): School Accountability, Postsecondary
Attainment and Earnings

28. The impact of No Child Left Behind’s accounatbility sanctions
on School Performance (Ahn y Vigdor, 2014)
Ahn y Vigdor (2014) contrastan la evolución de los resultados de centros
educativos que, por muy poco margen, no han superado el umbral fijado de
mejora educativa y han recibido algún tipo de sanción
El diseño de regresión discontinua permite a Ahn y Vigdor (2014) encontrar
que la posibilidad de cambiar el equipo directivo y la gestión del centro
mejora el aprendizaje de los alumnos (hasta en un 5,5% de la desviación
típica en matemáticas).

Una evidencia que apunta a la relevancia de la dirección y gestión de los
centros en la calidad de la educación.
Alumnos por debajo de la media en centros que por dos años no han
cumplido los criterios por escaso margen tienen 11% de la DT más de
rendimiento que alumnos también por debajo de la media pero en centros
que el año superaron el umbral por muy poco.

29. School Accountability. Survey de Loeb y Figlio (2011)
La mayoría de los estudios encuentran un efecto positivo de la introducción
de pruebas externas y estandarizadas, sobre todo en matemáticas
El tratamiento por sub-grupos de NCLB ha sido muy positivo para ayudar a
alumnos rezagados
Las mejoras permanecen en el tiempo, con más tasas de graduación,
créditos tomados en matemáticas, desempeño laboral
Importante que las pruebas se introduzcan gradualmente, se cuide el diseño
y se monitoricen
Riesgo de que se estudie solo las competencias que se evalúan
Complementar pruebas externas con datos de graduados, absentismo
Relevante que sean percibidas por la comunidad educativa como justas
Posibilidad de “score inflation”

30. Otro estudio llevado a cabo en Nueva York en 2007, basado en el método del premio-
consecuencia empezó utilizando las pruebas propias de los estudiantes, así como otras
medidas para asignar a cada escuela un grado (A - F). Tanto los resultados de matemáticas
como de inglés mejoraron en las escuelas que recibieron calificaciones muy bajas en la
rendición de cuentas.
Estos resultados sugieren que la presión debida a la rendición de cuentas puede inducir
mejoras en el rendimiento de los estudiantes en un corto período de tiempo,
especialmente si no hay manipulación de la muestra de los estudiantes, ni reducciones en
la oferta de clases de asignaturas de las cuales no se van a examinar.
Rockoff, E. & Turner, L. (2008). Short run impacts of accountability on school quality
Impactos a corto plazo de la responsabilidad sobre la calidad escolar

31. Evaluaciones externas y estandarizadas y teaching to the test
 Los países o regiones, con un examen nacional externo y estandarizado,
obtienen mejores resultados en pruebas internacionales como PISA,
TIMSS y PIRLS, aunque éstas sean muy diferentes a ese examen nacional
(Hanushek y Woessmann, 2011)
 Las pruebas externas y estandarizadas NO reducen las actividades como
leer por placer o ver programas científicos (Bishop, 1998). Además,
aumentan actividades que “no entran en el examen”, como
• Hacer experimentos de ciencias en clase
• Leer por placer
• Ver programas científicos
Bishop, J. (1998). High School Diploma Examinations: Do Studentes learn more? Why?
Hanushek, E. & Woessmann, L. (2011). The Economics of International Differences in Educational Achievement

32. Evaluaciones externas y estandarizadas y el efecto sobre los
centros desfavorecidos
 El rendimiento medio alcanzado por los centros se ha de situar en
relación a la situación socioeconómica y características de sus alumnos.
(Chetty, Friedman & Rockoff, 2013, The long-term impacts of teachers.
Teacher value-added and student outcomes in adulthood)
 “Todos los alumnos se benefician de la existencia de las pruebas
externas y estandarizadas, independientemente de su nivel socio-
económico” (Woessmann, 2005, The effect heterogeneity of central
examination, Education Economics)
 “La existencia de pruebas externas y estandarizadas no perjudica la
equidad” (OCDE. Education at a Glance 2012).

33. Evaluaciones externas y estandarizadas y la publicación de los
resultados
 Los estudiantes de centros educativos que publican sus resultados
obtienen significativamente mejores resultados que los de los alumnos
de centros que no lo hacen. La mejora es equivalente a medio curso
escolar. (Informe PISA 2007. Volumen I, página 243 y 265)
 Cuando Gales dejó de publicar los resultados de las pruebas externas y
estandarizadas en 2001, el rendimiento académico de los estudiantes
se redujo en un 9 % de la desviación típica en comparación con
Inglaterra que continuó haciéndolos públicos. Análisis diferencias en
diferencias comparando rendimientos de Inglaterra y Gales (Burguess,
Wilson y Worth, 2013)

34. http://www.mecd.gob.es/inee/

35. http://www.mecd.gob.es/inee
Síguenos en Twitter:
@educaINEE
Y en nuestro blog:
http://blog.educalab.es/inee/