Análisis de los resultados de 8 años de evaluaciones e indicadores.

1. Josusierra's Blog/ Josusierraren Bloga/
Blog de Josusierra
Just a researcher/Nire lan eta iritziak/Trabajos y opiniones
¿ES BUENO EL SISTEMA EDUCATIVO VASCO?
ES EQUITATITIVO Y EFICAZ CON EL
ALUMNADO DESFAVORECIDO PERO POCO
EFICIENTE EN GENERAL Y CON EL ALUMNADO
DE ALTO NIVEL SOCIAL EN PARTICULAR
By josusierra1
Josu Sierra Orrantia (Ex director del ISEI-IVEI)
Tras 8 años de dedicación a la evaluación del Sistema Educativo vasco, y ante la
posibilidad real de los actuales gestores lo estropeen en vez de mejorarlo, creo
interesante hacer una valoración basada en los datos disponibles.
Este artículo está basado en una conferencia que di en 2008 (BIHE).
LA EVALUACIÓN DEL SISTEMA
Desde 2001 existe en Euskadi el ISEI-IVEI, organismo que se encarga de la evaluación
del sistema. Yo diría que hay un antes y un después a partir de esa fecha. Se pasa de
tomar decisiones a base de intuiciones a tomarlas con datos en la mano.
El Departamento de Educación, Universidades e Investigación del Gobierno Vasco
(DEUI) siempre tuvo claro que el ISEI-IVEI debía ser una organización profesional,
eficaz, de nivel internacional y que aportase conocimiento a través de la evaluación y la
investigación. La primera apuesta fue nuestra participación en las más importantes
evaluaciones educativas del mundo.
A partir de 2009, con la Evaluación Diagnóstica, se completará el ciclo que iniciamos
en 2001: existirá información de todos los centros para el Departamento de Educación,
Universidades e Investigación (DEUI en adelante) y cada uno de ellos recibirá los
resultados de evaluar las competencias básicas.
Este “feedback”, realizado con evaluadores externos a los centros (ISEI-IVEI) es
fundamental para la mejora continua del Sistema y nos coloca, de repente, en la
vanguardia de la evaluación educativa. ¿Cómo usará el actual DEUI esta fabulosa
herramienta de la que sus antecesores carecieron? Muy pronto lo sabremos. Lo que está
claro es que para llegar a este punto se han hecho enormes esfuerzos, laborales,
1

2. creativos, organizativos y económicos, durante los últimos 8 años por parte de todos los
que componíamos el Instituto y por parte de quien nos apoyaba económica y
políticamente.
EVALUACIONES DE LAS QUE DISPONEMOS,
HASTA HOY, PARA VALORAR NUESTRO
SISTEMA
EVALUACIONES PARA COMPARARNOS CON REFERENTES EXTERNOS:
 OCDE-PISA 2003
 IEA-TIMSS 2003
 OCDE-PISA 2006
 IEA-TIMSS 2007
EVALUACIONES INTERNAS
 1999-EDUCACIÓN PRIMARIA
 2000-EDUCACIÓN SECUNDARIA OBLIFATORIA
 2004-EDUCACIÓN PRIMARIA
EVALUACIONES RESPECTO A UNA REFERENCIA EUROPEA
 EUSKARAREN B2 MAILA/NIVEL B2 DEL EUSKERA
 EUSKARAREN B1 MAILA/NIVEL B1 DEL EUSKERA
UTILIDAD Y LIMITACIONES DE ESTAS
EVALUACIONES
 Las evaluaciones del Sistema citadas se basan en una muestra de alumnado y
centros.
 No son evaluaciones de centro ni evaluaciones de alumnos.
 Sirven para detectar los problemas generales del sistema.
 Pero no para localizar los problemas concretos.
 Las medidas que permiten adoptar son muy generales: horarios, formación,
normativas, programas de innovación…
 No pueden “verse” los centros (porque no existe una muestra suficiente de cada
uno). Pero sabemos que de un centro a otros los resultados varían, a veces
mucho, a pesar de que tengan el mismo “tipo” de alumnado (a nivel
socioeconómico por ejemplo).
 En este sentido, la Evaluación Diagnóstica cambiará la situación de raíz EN EL
FUTURO.
NUESTRAS FORTALEZAS Y DEBILIDADES
SEGÚN LAS EVALUACIONES
2

3.  Los datos siempre se pueden interpretar de varias maneras, por tanto yo haré
“mi interpretación”.
 Ciantos más datos tengamos para poder compararnos, más claro será el “dibujo”
de nustro sistema.
 Ni que decir tiene que ahora sabemos mucho más acerca de nosotros mismos
que en 2001.
 Pero, al mismo tiempo, el sistema SIEMPRE ESTÁ CAMBIANDO.
COMPARACIONES INTERNAS
El ISEI-IVEI ha utilizado estos 8 años la COMPARACIÓN POR ESTRATOS. Es
decir por la combinación de red/modelo lingüístico.
¿Porqué? Por que la agrupación solo por Modelo o solo por Red oculta información
importantísima y agrega los datos de, por ejemplo, el modelo A público y concertado
que son los dos extremos en nivel socioeconómico y en rendimiento, ocultando esta
realidad. Esto posiblementa cambie ahora, por intereses púramente políticos de los
socios que tienen la mayoría parlamentaria y que quieren impulsar el modelo A.
Gráfico: una presentación de resultados por estratos.
Lo más llamativo de los resultados por estratos, en prácticamente todas las
evaluaciones, es:
 Las grandes diferencias en Euskera entre el modelo A y el resto
 El bajo rendimiento del alumnado y el bajo nivel socioeconómico de las familias
del modelo A público (“guetización”).
 Cuando se controla el nivel socioeconómico del alumnado, muchas de las
diferencias de rendimiento desaparecen, excepto en euskera, cuya razón hay que
buscarla en la inutilidad del modelo A para el aprendizaje de lenguas.
 En mi opinión es una fortaleza del sistema las escasas diferencias de rendimiento
entre los estratos (quitando el A público) y el poco peso de la variable nivel
socioeconómico familiar (ISEC).
3

4. Gráfico: Resultados por estratos controlando el ISEC.
EL APRENDIZAJE DE LAS LENGUAS OFICIALES
EN UN SISTEMA BILINGÜE
Si tuviera que citar una debilidad, sería sin duda esta.
 Se han evaluado los niveles de euskera y castellano de nuestro alumnado desde
1983 (estudios EIFE e HINE).
 Pero a partir de las evaluaciones de los niveles B1 y B2 del euskera se dio un
paso de gigante: no comparar los modelos entre sí sino con un referente externo,
los niveles establecidos por el Marco de Referencia Europeo.
 Las primeras evaluaciones dejaron de manifiesto las diferencias entre modelos
que nunca se acortaban.
 Las últimas dejaron claro que existe mucho margen para la mejora en los
modelos B y D, ya que no se garantiza un buen nivel de euskera para un amplio
porcentaje de alumnado, y que el modelo A, de lengua como asignatura, no sirve
para aprender lenguas en su actual configuración.
4

5. Gráfico: Resultados B1, modelo D
 Una de las claves de las evaluaciones B1 y B2 fue la propuesta de establecer
estos niveles como objetivos oficiales en el Sistema, ya que hasta ese momento
no existían unos objetivos, unas competencias claras a conseguir. Esto produjo
una gran discusión, sobre todo política, que ahora se ha ido al traste gracias al
“cambio” y volveremos a la ausencia de objetivos claros, o peor, al
establecimiento de objetivos distintos para los diferentes modelos. Se obvia e
incumple el artículo 18 de la Ley de la Escuela pública Vasca, entre otros, y ya
está.
EVALUACIONES E INDICADORES
Además de los resultados de las evaluaciones, los INDICADORES son también muy
importantes. La tasa de repetición, el gasto por alumno o en relación al PIB, los niveles
socioeconómicos del alumnado, el porcentaje de alumnado ene l nivel más bajo de
lectura, la tasa de graduados…etc.
Conocer estos indicadores es importante, también, para interpretar correctamente los
resultados de rendimiento, dan una “fotografía” del Sistema.
Interpretando los indicadores aisladamente, nos hacemos una idea del sistema, pero
combinándolos con los datos de rendimiento esa idea puede cambiar enormemente.
INDICADORES Y NUESTRA SITUACIÓN CON RESPECTO AL
ESTADO
5

6. Gráfico: fuente CCOO.
Son muchos los indicadores a nuestro favor en comparación con el Estado Español.
 La tasa de alumnado escolarizado en Educación Infantil, con 2 años, es muy
alta en Euskadi.
 El porcentaje de alumnado con estudios superiores es alto, el segundo del
Estado.
 Tenemos una alta tasa de participación en Formación Permanente.
 Tenemos una pequeña tasa de abandono de la formación entre los jóvenes de
18-23 años.
 La tasa de graduados en la ESO es de las más altas del Estado. Por tanto,
tenemos comparativamente un bajo fracaso escolar.
 Unido a lo anterior, tenemos la mejor tasa de idoneidad: pocos repetidores y
mucho alumnado en donde corresponde a su edad.
 Tenemos una alta tasa de graduados en Postobligatoria.
 Nuestro gasto por alumno es eI más alto del Estado.
 El sueldo del profesorado de la red pública es de los más altos del Estado.
 El PIB de Euskadi, teniendo en cuenta el coste de la vida, es muy alto
comparando con Europa, EEUU y Japón.
 El nivel socioeconómico y cultural de nuestro alumnado PISA está casi en la
media de la OCDE.
PERO LOS INDICADORES DEBEN SER
COMPLETADOS POR LOS DATOS DE
RENDIMIENTO PARA PODER VER LA
EFICIENCIA
6

7. ¿A qué llamo eficiencia? Al estar situado, en cuanto a rendimiento del alumnado, por
encima o por debajo de la media teniendo en cuenta un nivel, tasa o gasto determinado.
PISA 2006: EVALUACIÓN DEL ALUMNADO DE 15 AÑOS EN
COMPETENCIAS CLAVE
Nos da gran poder de comparación con los países de la OCDE y con la mayoría de las
comunidades del Estado. Además posee índices muy elaborados para interpretar los
resultados: Índice Socioeconómico y cultural, niveles de rendimiento, datos
socioeconómicos…
7

8. PISA 2006: En Ciencias, Matemáticas y Lectura Euskadi se sitúa en la media de la
OCDE.
El nivel socioeconómico y cultural de nuestro alumnado, comparando con el de la
OCDE es -0,04 , el de la OCDE es 0,00. Por tanto, en las tres competencias evaluadas
deberíamos estar al menos en la puntuación de la OCDE. Sin embargo, solamente
estamos “donde nos corresponde” en Competencia Matemática. (en datos de 2006)
8

9. Gráfico: Indice Socioeconómico y Cultural en PISA
Gráfico: rendimiento en Ciencias e Índice SEC
TIMSS
En el estudio TIMSS 2007, además de mejorar con respecto a 2003, nos situamos en
Matemáticas y Ciencias en la media de la escala TIMSS que es 500.
9

10. En Matemáticas estamos a la par que R. Checa, Eslovenia o Australia.
En Ciencias, estamos igualados con Escocia o Italia.
RIQUEZA, GASTO Y RENDIMIENTO
Comprando nuestro PIB con el de otros países participantes en PISA, y el resultado en
Ciencias, nos situamos por debajo de lo esperado para ese PIB.
GASTO POR ALUMNO Y RESULTADO EN CIENCIAS POR
COMUNIDADES
Nos situamos claramente por debajo de lo esperado para nuestro nivel de gasto. Al
igual que Andalucía, Cataluña y la media de España.
10

11. En general, tenemos comparativamente un PROBLEMA DE EFICIENCIA.
 Comparando con las comunidades de nuestro entorno, teniendo en cuenta
nuestro gasto educativo, vemos una eficiencia baja o media en los resultados
PISA. Nuestro gasto y nuestro rendimiento no coinciden.
 Comparando nuestro rendimiento PISA con otros países de la OCDE o de
Europa con similar nivel de riqueza, tenemos una eficiencia baja.
NUESTRO PROBLEMA DE EFICIENCIA SE
CONCENTRA EN LOS NIVELES
SOCIOECONÓMICOS MEDIOS Y ALTOS
Contrariamente a lo que algunos piensan, somos eficientes con el alumnado de nivel
SEC bajo, pero nuestro alumnado más favorecido no rinde lo que se espera de él (se
espera que al menos esté en el rendimiento medio de la OCDE para su nivel SEC).
En el gráfico del informe PISA 2006 (http://www.isei-
ivei.net/cast/pub/PISA2006_cas_2.pdf), pueden verse los resultados de los centros
vascos y su nivel SEC medio. La línea negra representa la media de la OCDE. Euskadi
(línea naranja) le supera en el rendimiento en niveles SEC bajos pero la OCDE lo hace
mejor en los altos. A partir del nivel SEC cero (media de la OCDE) nuestros centros
comienzan a rendir menos. Estos centros de nivel SEC alto no son sólamente
concertados. También los hay públicos. Siempre me ha llamado la atención que nadie
haya querido nunca debatir sobre este tema. Sin embargo, en términos de dificultad, es
teóricamente mucho más facil mejorar por este lado. Es decir, elevar el nivel de
rendimiento de nuestro alumnado socialmente más favorecido sería lo más fácil para
mejorar nuestra media, aunque fuese, en el peor de los casos, a costa de la equidad,
medida en la diferencia entre los mejores y los peores. Para mantener también la
equidad deberían hacerse esfuerzos conjuntos con los dos tipos de alumnado.
Estoy convencido de que hasta ahora el DEUI ha centrado la mayoría de sus recursos
en el alumnado de nivel SEC más bajo. Y la verdad es que se nota, lo hacemos
francamente bien, aunque todo se puede mejorar (ver otras comunidades, Finlandia etc.
para ver que es posible y necesario). Creo que es es momento de que los centros que
11

12. atienden a alumnado de alto nivel social se planteen seriamente qué valor añadido
están aportando a su alumnado que “prácticamiente viene formado de casa“.
PERO ES CIERTO QUE NUESTRA FORTALEZA
ES LA EQUIDAD
Gráfico: diferencia en PISA entre los percentiles 5 y 95.
La influencia del nivel socioeconómico y cultural del alumnado en los resultados PISA
es baja y tenemos una gran equidad en los resultados. Equidad expresada en la
diferencia entre los resultados de los mejores y los peores alumnos.
12

13. Si comparamos el nivel de rendimiento de nuestro alumnado con el de la OCDE, vemos
que tenemos menos alumnos de bajo nivel que la OCDE (3,2-5,2) pero también menos
porcentaje de alumnado excelente (0,3-1,3). Esto refuerza lo dicho en el punto anterior
sobre los centros que atienden a alumnado socialmente favorecido.
COMPARACIÓN DEL ÍNDICE S.E.C. POR REDES
Y COMUNIDADES
Gráfico: Diferencias de ISEC en PISA por comunidades y redes educativas.
Las diferencias de nivel socioeconómico y cultural entre las redes pública y concertada
dejan claro que Euskadi quien menos diferencias tiene.
EN SÍNTESIS
 Tenemos indicadores muy positivos en formación de nuestra población, nivel de
renta, gasto, tasas de escolarización… pero en cuando a resultados en
evaluaciones nuestros resultados son “medios” o bajos.
 Tenemos un sistema de gran equidad (comparando con la OCDE) pero tenemos
alrededor mejores ejemplos de equidad.
 Nuestra eficiencia es menor comparando con algunas comunidades limítrofes y
nuestro problema se sitúa sobre todo en los niveles socioeconómicos medios y
altos, que rinden menos de lo esperado.
 Necesitamos otro tipo de evaluaciones para detectar mejor los problemas y
poner medidas de mejora más eficaces.
 Las medidas que se adopten no deben ser del tipo: decreto, orden, ley, etc. Hay
que implicar a los centros en la mejora de sus propias realidades, a los servicios
de apoyo y a las familias.
13