SlideShare una empresa de Scribd logo
Durante la última década del siglo pasado y la
primera del actual la evaluación experimentó un
desarrollo sin precedentes. De ser en los años
setenta una actividad marginal llevada a cabo
a tiempo parcial por académicos, como nos
recordaba Ernst House, pasó a convertirse en los
noventa en una pequeña industria profesionali-
zada, con sus propias revistas, premios, reunio-
nes, organizaciones y estándares (House, 1993).
Y desde entonces no ha dejado de crecer y de
expandirse hasta llegar a ser la gran empresa que
hoy conocemos. Por todas partes se han estable-
cido sistemas de evaluación y de acreditación de
la calidad, tanto en el ámbito empresarial como
en diversos sectores de la acción pública, se han
constituido sociedades de evaluación de ámbito
nacional, regional e internacional, se han puesto
en marcha ambiciosos proyectos de elaboración
ANALIZAR EL CONTEXTO PARA OBTENER
EL MÁXIMO BENEFICIO DE LA EVALUACIÓN
Analyzing context so as to optimize the benefits of assessment
ALEJANDRO TIANA FERRER
Catedrático de la UNED
La educación y la formación se han convertido en objeto destacado de evaluación durante las dos
últimas décadas, habiéndose desarrollado un gran número de iniciativas nacionales e internacio-
nales con esa finalidad. Entre ellas, ocupan un lugar destacado los estudios orientados a evaluar
el rendimiento de los sistemas educativos por medio de los resultados obtenidos por los estu-
diantes. La mejora de la educación plantea la necesidad no solo de medir dichos resultados, sino
de explicarlos adecuadamente. Y llevar a cabo esa explicación requiere identificar los principa-
les factores que tienen relación con los resultados. Este trabajo aborda el análisis de los factores
relativos al contexto, comenzando por subrayar la importancia que tiene tomarlos en considera-
ción. A continuación se distinguen dichos factores de contexto de los de entrada y proceso y se
identifican las principales variables que lo integran. Por último se presentan y comentan algunos
ejemplos de análisis llevados a cabo poniendo en relación los factores de contexto con los resul-
tados de los estudiantes.
Las reflexiones que se realizan en este trabajo se basan en las aportaciones de estudios interna-
cionales, como los desarrollados por la IEA (TIMSS, PIRLS…), la OCDE (Proyecto PISA), o el
Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE), en su Segun-
do Estudio Regional Comparativo y Explicativo (SERCE), entre otros.
Palabras clave: Evaluación del rendimiento, Evaluación de los sistemas educativos, Análisis del
contexto, Estudios de evaluación a gran escala, Explicación de los resultados de la educación.
Bordón 64 (2), 2012, 15-28, ISSN: 0210-5934 • 15Fecha de recepción: 20-3-2012 • Fecha de aceptación: 27-3-2012
17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 15
y difusión de indicadores en ámbitos muy diver-
sos, y se ha consolidado una pujante oferta de
formación académica en materia de evaluación.
El cambio ha sido muy notorio, afectando a di-
versas esferas de la acción pública, y entre ellas
muy singularmente a la educación. En efecto,
en estas dos décadas se ha generalizado la cons-
titución de sistemas nacionales de evaluación
educativa que desarrollan distintos tipos de
actividades. La aplicación de pruebas estan-
darizadas de rendimiento, la construcción de
sistemas nacionales o internacionales de indi-
cadores de la educación, la evaluación y autoe-
valuación de los centros educativos o la valora-
ción del desempeño docente son realidades que
se manifiestan en todos los continentes. Hoy
evaluamos (o al menos hablamos de evaluar)
todos los ámbitos que se refieren a la educa-
ción: los resultados logrados por los alumnos,
los currículos impartidos en las aulas, el fun-
cionamiento de los centros docentes e institu-
ciones educativas, los programas educativos
específicos o sectoriales y el trabajo del profe-
sorado. Como consecuencia de ese proceso sos-
tenido en el tiempo, la evaluación educativa ha
ido abarcando ámbitos progresivamente más
amplios, al tiempo que se ha diversificado,
reforzando así una tendencia que ya se apunta-
ba hace más de diez años (Tiana, 1996).
El interés de estudiar y explicar
el rendimiento de los sistemas
educativos
Entre las operaciones puestas en marcha en este
periodo, cabe destacar por su especial interés los
programas orientados a estudiar el rendimiento
de los sistemas educativos. La educación y la for-
mación se han convertido en objeto destacado de
evaluación, recurriendo a diversos instrumentos
y enfoques para llevar a cabo dicha tarea. Pero la
atención no se ha centrado solamente en los pro-
cesos de enseñanza y aprendizaje, por más que
constituyan el núcleo central de la tarea educati-
va, sino que los propios sistemas de educación
y formación se han convertido en objeto de
escrutinio público. Así, por no citar sino un par
de ejemplos actuales, hoy contamos con diversos
modelos de sistemas de indicadores, que nos pro-
porcionan una perspectiva muy completa acerca
del estado, la situación y la evolución de la edu-
cación a escala nacional o internacional, al igual
que disponemos de modelos de acreditación
y evaluación de las instituciones de educación
superior, que proporcionan una información
ciertamente valiosa acerca de la evolución de este
sector educativo considerado clave para el desa-
rrollo económico y social.
Pero hay un procedimiento utilizado habitual-
mente en la evaluación de los sistemas edu-
cativos que merece especial atención en el
contexto de este monográfico. Se trata de la
aplicación de pruebas estandarizadas para
estudiar el rendimiento de la educación. Aun-
que no supone la introducción de un modelo
nuevo, puesto que cuenta con antecedentes de
más de medio siglo de antigüedad, ha sido en
las dos últimas décadas cuando su utilización
se ha generalizado. Por una parte, han sido
innumerables los países que han comenzado
a aplicar a sus estudiantes de manera sistemá-
tica y periódica pruebas denominadas de resul-
tados, de logros o diagnósticas, con caracterís-
ticas parcialmente diferentes pero coincidentes
en su finalidad última: estudiar de manera ri-
gurosa el rendimiento conseguido por el sis-
tema educativo a través de los resultados obte-
nidos por los estudiantes. Por otra parte, en el
plano internacional, los estudios pioneros de
la International Association for the Evaluation
of Educational Achievement (IEA) han adqui-
rido regularidad y ampliado su grado de parti-
cipación, realidad especialmente patente en
los proyectos denominados TIMSS y PIRLS1,
mientras que, por su parte, la OCDE puso en
marcha a finales de los noventa el estudio
PISA, cuya primera aplicación se realizó en el
año 2000. En consecuencia, tanto a escala
nacional como internacional contamos con
ejemplos muy relevantes de esta práctica de
evaluación.
Alejandro Tiana Ferrer
16 • Bordón 64 (2), 2012, 15-28
17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 16
Estudiar los resultados obtenidos por los estu-
diantes y a partir de ellos el rendimiento logra-
do por los sistemas educativos tiene un indu-
dable interés, que en buena medida deriva de
la convicción que existe en nuestras socieda-
des de que las escuelas y el sistema educativo
en su conjunto deben responder a las deman-
das que los ciudadanos legítimamente les plan-
tean. Son muchos quienes creen que los sis-
temas y los establecimientos educativos han
funcionado a la manera de una caja negra, cuya
opacidad impide conocer qué ocurre en su
interior. En el momento actual, dicha imagen
resulta ampliamente insatisfactoria, siendo
numerosas las voces que reclaman una mayor
transparencia, en coherencia con los princi-
pios políticos democráticos y las demandas de
una gestión participativa.
El interés de estudiar y conocer los resulta-
dos obtenidos por los estudiantes deriva de
esos planteamientos. Cuando nuestra nor-
mativa establece que los estudiantes deben
alcanzar una serie de objetivos en las di-
ferentes etapas y niveles del sistema educati-
vo, parece lógico preguntarse por su grado
de logro. El conocimiento de la medida en
que se alcanzan los objetivos educativos pro-
puestos es una exigencia que, en democra-
cia, pueden legítimamente plantear los ciu-
dadanos y requiere respuesta. Además, dicho
conocimiento es fundamental para hacer el
mejor uso posible de los recursos disponibles
y para tomar las decisiones políticas y pedagó-
gicas más adecuadas (Badía y Vieites, 2011).
Tanto se ha extendido este planteamiento que
ha dado incluso lugar a nuevos modelos de
intervención en el ámbito educativo, distintos
de los modos tradicionales de control jerár-
quico, como es el caso del denominado pilotaje
por resultados (Tiana, 2003). En consecuen-
cia, no debe extrañar el auge experimentado
recientemente por la aplicación de pruebas
estandarizadas de resultados, dado que son
consideradas uno de los instrumentos más
adecuados para llevar a cabo la evaluación del
rendimiento.
Pero no puede pensarse que el único interés de
estos estudios de evaluación radique en el
conocimiento riguroso de los resultados de la
educación, por importante que sea dicho pro-
pósito. Desde que comenzaron a llevarse a cabo
este tipo de trabajos, se ha venido insistiendo
en la necesidad de explicar los resultados obte-
nidos por los estudiantes, tarea así convertida
en objetivo insoslayable. Además de medir y com-
parar dichos resultados, se trataría de expli-
carlos de manera convincente. La explicación
constituye el reverso de la medición, aportando
la información necesaria para orientar la acción.
De ahí deriva su interés.
Dar respuesta a esta cuestión requiere identifi-
car los factores más destacados que permiten
explicar las diferencias encontradas y analizar
el modo en que interactúan. Pero afrontar esa
tarea obliga necesariamente a reconocer la difi-
cultad que plantea la aplicación de procedi-
mientos experimentales en el ámbito educativo
para estudiar de manera fiable el impacto de
determinadas intervenciones y a actuar en con-
secuencia. Los investigadores y los evaluadores
suelen recurrir a otro tipo de métodos, muchas
veces de carácter empírico, pero raramente de
carácter estrictamente experimental. Por ejem-
plo, ese es el planteamiento que llevó a los fun-
dadores de la IEA a adoptar la propuesta de
Alan Purves de considerar el mundo como
un laboratorio educativo (Purves, 1993; Tiana,
2001). De acuerdo con esa concepción, los sis-
temas educativos deben ser considerados como
conglomerados complejos, compuestos por un
número elevado de escuelas, clases, profesores,
estudiantes y comunidades. Cada sistema com-
parte rasgos comunes con otros, pero también
presenta algunas características propias. Por lo
tanto, sería teóricamente posible comparar los
resultados conseguidos por los estudiantes de
distintos sistemas educativos, controlando tales
variables diferenciales que inciden en el rendi-
miento. Ese tipo de comparación permitiría
analizar y valorar la influencia de dichos facto-
res, contribuyendo a explicar sus efectos res-
pectivos (Tiana, 2011).
Analizar el contexto para obtener el máximo beneficio de la evaluación
Bordón 64 (2), 2012, 15-28 • 17
17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 17
La lógica aplicada en el ámbito nacional no es
exactamente idéntica a la expuesta, si bien
guarda cierta analogía con ella. Se supone, a mi
juicio acertadamente, que los resultados obte-
nidos por los estudiantes están influidos por
diversos factores. Unos tienen que ver con las
condiciones individuales y familiares de par-
tida, básicamente de carácter socieconómico
y cultural, mientras que otros guardan relación
con los procesos de enseñanza y aprendizaje
desarrollados en las aulas por estudiantes y do-
centes, y algunos se refieren a las condiciones
de organización y funcionamiento de los cen-
tros. Todos estos factores interactúan entre sí
para producir unos determinados resultados.
Analizar con rigor y detenimiento el efecto pro-
ducido por dichos factores constituye una
valiosa guía para la acción educativa. Si fuése-
mos capaces de saber con precisión cuál es el
papel que juegan las condiciones de partida,
qué impacto tienen los diversos estilos docen-
tes o el proceso seguido en el desarrollo del
currículo, cómo afectan al rendimiento aspec-
tos como el clima escolar o la composición
social del centro, por no citar sino algunos de
los más relevantes, podríamos contar con
orientaciones de gran valor para planificar la
actuación educativa y para adoptar políticas en
este ámbito. Como puede apreciarse, las pro-
mesas resultan muy atractivas.
El principal problema que se nos plantea cuan-
do nos adentramos en esta senda es que, frente
a promesas tan halagüeñas, los frutos obtenidos
son mucho menos cuantiosos. Si bien en otros
artículos de este monográfico se analizan con
detenimiento algunas de las razones de dicho
desequilibrio, no está de más recordar aquí que,
hablando en términos rigurosos, existe la con-
vicción generalizada de que no es sencillo ela-
borar modelos causales del rendimiento, pese
a los intentos que se han realizado en ese sentido
(Álvaro et al., 1990). La ausencia de un modelo
sólido de producción educativa actúa como una
importante limitación para llevar a cabo este
tipo de análisis orientados a la explicación y la
interpretación. En consecuencia, si bien esta-
mos ante un empeño relevante y de gran impor-
tancia, debemos adoptar una actitud necesa-
riamente modesta a la hora de abordar tales
análisis.
De qué hablamos cuando hablamos
del contexto
Entre los factores que inciden de manera más
patente en los resultados de los estudiantes,
muchos investigadores han destacado los que
tienen relación con el contexto individual y
social de la educación. La investigación socio-
lógica puso de relieve hace ya muchos años la
importancia que el origen y las condiciones so-
ciales tienen en el rendimiento escolar. Dado
que la educación afecta a los estudiantes indivi-
dualmente considerados, es necesario estudiar
aspectos tales como sus estilos de aprendizaje,
su conducta, sus actitudes o sus capacidades
en diversas áreas. Pero, dado que la educación
también consiste en una tarea de socialización,
no se puede dejar de lado el estudio de las con-
diciones socioeconómicas y culturales de los
estudiantes, el contexto familiar y social en que
estos se desenvuelven, las características de los
centros a los que asisten o el efecto que ejerce
sobre cada uno de ellos la comunidad educati-
va en su conjunto.
Junto a este tipo de motivos, derivados de la
investigación realizada acerca de la educación,
hay que reconocer que la importancia concedi-
da a los factores del contexto tiene también que
ver con las exigencias que plantea el respeto a la
justicia en el ámbito educativo. En efecto, si
una parte nada despreciable del rendimiento se
explica por factores no imputables a la libre
voluntad de los estudiantes, ni tan siquiera a su
diferencia de capacidades, sino a las condicio-
nes que impone su entorno, el respeto a la jus-
ticia obligará a extremar el cuidado para com-
pensar dichas desigualdades de origen y hacer
efectivo el principio de igualdad de oportunida-
des. En consecuencia, no debe extrañar que el
Alejandro Tiana Ferrer
18 • Bordón 64 (2), 2012, 15-28
17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 18
análisis de los factores relativos al contexto
haya cobrado gran importancia a medida que se
ha extendido una creciente preocupación por la
equidad en la educación (Hutmacher, Cochra-
ne y Bottani, 2001).
Ahora bien, cuando hablamos de analizar el
contexto comprobamos que no siempre existe
una idea muy clara acerca de qué tipo de varia-
bles deben quedar englobadas bajo dicha eti-
queta. En consecuencia, conviene analizar con
mayor detalle a qué tipo de factores nos esta-
mos refiriendo.
En un interesante estudio emprendido hace
algunos años para construir un modelo causal
del rendimiento académico (Álvaro et al.,
1990), en el contexto de la puesta en marcha de
la evaluación del sistema educativo español, se
distinguían dos grandes tipos de variables con-
textuales. Por una parte, estarían las variables
sociofamiliares, que aluden a los factores que
vienen dados al individuo «desde fuera», y por
otra las variables escolares, que abordan el mar-
co institucional, propiamente escolar, del
aprendizaje. Desde este punto de vista, los fac-
tores del contexto abarcarían tanto las condi-
ciones individuales y sociales de partida como
las características del entorno escolar.
En mi opinión, esta clasificación no resulta
plenamente satisfactoria, pues al hablar de la
influencia del contexto conviene distinguir más
claramente entre dos tipos de factores: aquellos
que le vienen dados al estudiante por parte de
su entorno familiar y social y aquellos otros que
derivan del entorno institucional en que recibe
la enseñanza. Hay muchas razones para adoptar
tal decisión, pero no es la menor el hecho de
que el primer grupo corresponda a variables
difícilmente alterables en cada caso individual,
mientras que las que componen el segundo
pueden variarse de forma tan simple como tras-
ladarse de centro. En consecuencia, no creo
que el análisis del efecto producido por ambos
tipos de variables deba equipararse y considero
que valdría la pena distinguir ambas categorías
de un modo más claro y explícito que el plan-
teado en esa propuesta.
Por otra parte, en un trabajo reciente que dedi-
qué a analizar las posibilidades y las limitacio-
nes que plantea la explicación de los resultados
proporcionados por los estudios internaciona-
les de evaluación, proponía la diferenciación
entre variables extrínsecas e intrínsecas (Tiana,
2010). Mientras que las primeras se refieren
a factores que no están directamente ligados al
funcionamiento de los sistemas educativos
o de los centros docentes, las segundas guar-
dan relación directa con el funcionamiento de
aquellos. Si bien es cierto que no llegaba a eti-
quetar a ninguna de las dos categorías como
contextuales, debo decir que hoy considero que
la distinción no era plenamente acertada ni
precisa.
Con el propósito de construir una clasificación
más rigurosa y convincente, y teniendo en
cuenta los modelos habitualmente utilizados
para llevar a cabo el análisis de la producción
educativa, creo que resulta más lógico distin-
guir entre tres tipos de factores:
• Factores de contexto, que se refieren a las
condiciones sociales, económicas y cultu-
rales de partida del estudiante y tienen
que ver con su entorno familiar y social.
Se englobarían aquí básicamente el nivel
socioeconómico y cultural de los estu-
diantes individualmente considerados, las
características de su entorno familiar, el
hábitat en que se desenvuelven y la com-
posición social del centro escolar al que
asisten.
• Factores de entrada o input (o insumo),
que se refieren a aquellas condiciones ge-
nerales del sistema educativo o del con-
junto de la población que inciden en la
tarea educativa, pero que ejercen una in-
fluencia no circunscrita al centro docente
concreto de que se trate. Se incluirían aquí
el nivel de desarrollo educativo y cultural
de la población, los recursos destinados
Analizar el contexto para obtener el máximo beneficio de la evaluación
Bordón 64 (2), 2012, 15-28 • 19
17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 19
a la educación y la organización general
del sistema educativo.
• Factores de proceso, que se refieren a las
condiciones institucionales en que se de-
senvuelve la tarea educativa. Se podrían
distinguir en esta categoría los denomina-
dos procesos de centro y de aula, vincula-
dos respectivamente a la organización y el
funcionamiento del centro escolar y a las
prácticas de enseñanza y aprendizaje que se
desarrollan en el aula en presencia de estu-
diantes y docentes. Ambos conjuntos de
procesos han sido objeto de atención cre-
ciente por parte de los investigadores de la
educación (Marchesi y Martín, 1998).
Si bien puede haber quien prefiera adoptar una
concepción más amplia del contexto y englo-
bar en el mismo los mencionados factores de
proceso, entiendo que resulta más claro y útil
distinguir ambas categorías. Algo más difícil
puede resultar excluir del contexto algunos fac-
tores de entrada como los apuntados, dado que
en cierto modo también se refieren al entorno,
aunque en este caso no sea principalmente in-
dividual sino colectivo. En todo caso, por co-
herencia con los argumentos expuestos, me
centraré en lo que sigue exclusivamente en los
factores incluidos en el primer grupo de los tres
señalados.
El análisis del contexto
en los estudios de evaluación
A la hora de explicar los resultados obtenidos
en los estudios de evaluación hay que comen-
zar subrayando que el contexto es un referente
muy amplio, que incluye variables de muy
diverso tipo. Pero aun siendo cierta esta obser-
vación, debemos reconocer que no todas las
variables que lo integran ejercen la misma
influencia sobre los resultados. Mientras que
algunas de ellas producen un efecto apreciable
y directo, otras solo influyen indirectamente
y en pequeña medida. Las primeras son las que
realmente nos interesan y la investigación
sociológica y pedagógica nos ha dado indica-
ciones acerca de cuáles puedan ser.
A efectos de desarrollar este análisis he distin-
guido cinco factores que me parecen especial-
mente interesantes y explicativos, de acuerdo
con la experiencia que hemos adquirido con la
aplicación de estudios nacionales e internacio-
nales de evaluación.
a) El origen social de los estudiantes
La necesidad de tener en cuenta el origen social
de los estudiantes ha sido tradicionalmente
destacada en la investigación educativa. Se tra-
ta de una exigencia que deriva de dos hechos
complementarios: la necesidad de considerar
la existencia de clases o categorías sociales y el
reconocimiento de que el origen social influye
sobre los resultados educativos.
Como es sabido, la posición social de una per-
sona viene condicionada por varios elementos,
entre los cuales cabe destacar los siguientes:
• su ocupación, que hace referencia tanto a la
posición profesional que ocupa como a su
situación laboral concreta;
• su situación económica, que incluye sus
propiedades, fuentes de renta y posibilida-
des de acceso a diversos tipos de bienes;
• los estudios cursados.
El contexto social de un estudiante viene mar-
cado por la posición social, profesional y econó-
mica de sus padres y, eventualmente, de otros
familiares con quienes conviva. En consecuen-
cia, la determinación del origen social de los
estudiantes suele hacerse a través del estudio de
las características sociales de sus respectivas
familias. Son numerosos los estudios que han
puesto de relieve la relación que posee el origen
social de los estudiantes con sus resultados edu-
cativos. Si bien no se puede interpretar que exis-
ta una correspondencia unívoca, la investiga-
ción ha demostrado la presencia de una relación
Alejandro Tiana Ferrer
20 • Bordón 64 (2), 2012, 15-28
17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 20
manifiesta entre ambas variables. Es precisa-
mente la existencia de dicha relación lo que ava-
la la necesidad de considerar esa variable a la
hora de interpretar los estudios de evaluación.
Esta consideración está en la base de la utiliza-
ción de metodologías complejas como las aplica-
das para determinar el valor añadido por los cen-
tros a los resultados de los estudiantes (Thomas,
1998). Aunque en la actualidad se utilizan dis-
tintos modelos para calcularlo, todos ellos com-
binan dos elementos fundamentales. El primero
consiste en tomar en consideración la posición
y el origen social de los estudiantes, lo que per-
mite comparar los resultados obtenidos con los
que cabría esperar estadísticamente en función
de las características del alumnado. Es el mode-
lo que se utilizó en los años noventa para evaluar
la eficacia de los liceos franceses (DEP, 1994). El
segundo consiste en comparar el resultado obte-
nido en dos momentos diferentes, lo que permi-
te valorar el progreso realizado. Los resultados
más interesantes derivados de la aplicación de
estas técnicas se consiguen acercando la escala
de análisis al tamaño del centro docente, aunque
hay que tener en cuenta que este tipo de aproxi-
mación no siempre resulta factible.
b) El medio sociocultural
El origen social hace referencia a una dimensión
muy importante, pero muchos estudios e inves-
tigaciones han subrayado que el nivel socioeco-
nómico no llega a explicar por sí solo las diferen-
cias de rendimiento encontradas y que se debe
tomar en consideración otro conjunto de indica-
dores. Pueden citarse como ejemplo los trabajos
de Basil Bernstein relativos a los códigos lingüís-
ticos o los de Pierre Bourdieu y Jean-Claude
Passeron acerca del denominado capital cultural,
que se adquiere a través de la escolarización y
constituye una de las claves de la reproducción
social.
Esta llamada de atención concuerda asimismo
con un fenómeno muchas veces observado por
los sociólogos, que consiste en la importancia
concedida por las familias de clase media y
media-alta a la educación de sus hijos, como
medio de suplir la carencia de otro tipo de capi-
tal que les asegure la reproducción social. Esa
actitud determina la aparición de unas actitu-
des más positivas hacia los bienes educativos
que entre otros grupos sociales, lo que suele
favorecer la construcción de entornos cultura-
les ricos, capaces de ofrecer estímulos numero-
sos y variados. Ese conjunto de circunstancias
produce habitualmente unas mayores expecta-
tivas de continuación de estudios de los hijos,
un mayor interés por su éxito académico y una
mayor implicación en las tareas escolares, lo
que suele redundar en mejores resultados.
Ese fenómeno ha sido bien analizado en algu-
nos estudios de evaluación de ámbito nacional.
Así, por ejemplo, en la evaluación de la enton-
ces nueva educación primaria que se llevó a ca-
bo en España en 1995 se aprovechó la ocasión
para construir dos índices complementarios
y parcialmente coincidentes, a partir de algu-
nas variables extrínsecas como las que aquí se
mencionan. El primero fue el índice socioeco-
nómico, compuesto por variables relativas a la
profesión de los padres y la posesión familiar
de bienes materiales. El segundo fue el índice
sociocultural, compuesto por variables relativas
a los estudios y la profesión de los padres, más
otras referidas a las expectativas educativas
para los hijos y el acceso a algunos bienes cul-
turales básicos (como libros, diccionarios u or-
denador). Los análisis estadísticos realizados
demostraron que la relación del segundo índice
con los resultados logrados por los alumnos era
claramente mayor que la del primero, lo que
avala la importancia que poseen y el carácter
predictivo que tienen las variables de tipo edu-
cativo y cultural por encima de las estrictamen-
te económicas (INCE, 1996). Dicho de otro mo-
do, el grado de riqueza material de la familia
parece influir menos en los resultados académi-
cos de los hijos que la riqueza del entorno edu-
cativo y cultural, lo que además concuerda con
nuestra experiencia cotidiana.
Analizar el contexto para obtener el máximo beneficio de la evaluación
Bordón 64 (2), 2012, 15-28 • 21
17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 21
Para la aplicación de esas conclusiones, los cues-
tionarios para las familias o los alumnos que
acompañan a los recientes estudios españoles
de evaluación, al igual que los del proyecto
PISA, incluyen preguntas acerca de aspectos
tales como el número de libros disponibles en
el hogar, la posesión de ordenador o dicciona-
rios, el nivel educativo de los padres o las expec-
tativas académicas hacia los hijos. La combina-
ción de estas variables culturales con otras más
clásicas como los bienes materiales en el hogar
o la situación laboral de los progenitores eleva
considerablemente el porcentaje explicado de la
varianza, por lo que su uso se ha convertido en
una práctica habitual.
Hoy en día es habitual combinar estos dos facto-
res, relativos al medio socioeconómico y cultu-
ral, dando así lugar a análisis de mayor comple-
jidad. Es, por ejemplo, el tipo de aproximación
que sigue el estudio PISA para calcular el Índice
Socio-Económico y Cultural (ISEC), que permi-
te llevar a cabo interesantes análisis acerca de la
equidad de la educación, ya que permite estimar
la correlación que existe entre el origen y la posi-
ción social de los estudiantes y sus resultados
escolares (OECD, 2001, 2004, 2007 y 2010).
c) El hábitat o medio de residencia
Descendiendo a un nivel más concreto, las per-
sonas no solo están condicionadas por su ori-
gen social y su medio sociocultural, sino tam-
bién por factores más cercanos a su vida
cotidiana, como el ambiente social en el que
viven, donde desarrollan múltiples interaccio-
nes. El lugar de residencia o el hábitat han sido
incluidos muchas veces entre las variables que
inciden en el rendimiento educativo, aunque
en la práctica no resulta sencillo determinar su
efecto. Es fácil entender que así suceda, pues a
la hora de hablar de la influencia del hábitat se
puede distinguir entre algunas variables externas
(localización de la residencia, tamaño de la po-
blación) y otras internas (ambiente de relacio-
nes, riqueza cultural, oportunidades de desarrollo
personal) y el análisis de estas últimas desem-
boca enseguida en el estudio de las posiciones
sociales o del medio sociocultural, cuyo impac-
to en el rendimiento es más claro.
Así pues, este factor del contexto resulta más
sugerente a primera vista de lo que realmente
suele aportar al análisis de los resultados educati-
vos. Su efecto es indirecto y matizado y, en con-
secuencia, no debe extrañar que tienda a utilizar-
se solamente cuando no resulta sencillo recurrir
a otras variables contextuales más determinantes.
d) La estructura y el clima familiar
Avanzando en el análisis, encontramos un con-
junto de variables relativas a las características
del núcleo familiar. El estudio de la incidencia
de dichas variables sobre el rendimiento educa-
tivo ha llamado la atención de los investigado-
res desde hace tiempo. Sin duda, el reconoci-
miento de que la escolarización es un proceso
de socialización secundaria, que se desarrolla
de forma paralela a los procesos de socializa-
ción primaria que tienen lugar en el ámbito
familiar, ha contribuido a atraer la atención
sobre la conexión que existe entre ambos.
La estructura familiar ha sido un primer factor
analizado, desglosándose en tres variables
complementarias: el tamaño de la familia, que
viene determinado por el número de ascen-
dientes y descendientes que conviven en el
hogar; el orden de nacimiento de los hijos y el
lugar concreto que ocupa cada uno de ellos;
y el intervalo de tiempo transcurrido entre los
nacimientos de dos hijos consecutivos. Al igual
que se mencionaba en el apartado anterior,
tampoco han dado mucho fruto los estudios
que han intentado poner en relación estos ele-
mentos con los resultados educativos. Los in-
vestigadores han encontrado una mayor rela-
ción con las consecuencias que la estructura
familiar produce sobre los hijos, como las cir-
cunstancias que disminuyen la interacción entre
padres e hijos, o que infantilizan el ambiente
Alejandro Tiana Ferrer
22 • Bordón 64 (2), 2012, 15-28
17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 22
doméstico. Estas constelaciones de variables,
tomadas en conjunto, producen mayor efecto
que la simple consideración de la estructura
familiar. Como algunos investigadores han
puesto de manifiesto, el «nivel intelectual abso-
luto» de los miembros de una familia parece
constituir un factor influyente en los resulta-
dos escolares (Zajonc y Markus, 1975), en rela-
ción con variables tales como el tamaño fami-
liar y el espaciamiento de los hijos.
Un segundo factor sobre el que se ha puesto el
acento se refiere a la incidencia del ambiente
o clima familiar sobre la educación de los hijos,
lo que tiene que ver con la fluidez de relacio-
nes, la vertebración de la vida familiar, la satis-
facción con las relaciones existentes o el clima
afectivo. Se trata de variables cuya incidencia
ha sido repetidamente puesta de manifiesto por
la psicología clínica, pero que no son fáciles de
utilizar en estudios empíricos. Más sencillas de
estudiar resultan otras variables, como las acti-
tudes de los padres hacia la educación de sus
hijos o las expectativas generadas acerca de su
éxito escolar. También se han tenido en cuenta
el grado de información de los padres acerca de
la educación de sus hijos o la implicación en
sus estudios. Aunque todas ellas son variables
que guardan relación con los resultados, su
incidencia no es siempre fácil de determinar ni
sus efectos tienen una interpretación sencilla.
e) La composición social del centro
El contexto en que se desenvuelven los estudian-
tes no está solamente constituido por el entorno
familiar, sino también por el escolar, lo que ha
llevado a tomar en consideración algunas varia-
bles relativas al contexto del centro docente.
Entre las variables relativas al contexto escolar,
dejando al margen los procesos de aula y de cen-
tro, con los que existen fronteras imprecisas, la
que ha adquirido más relieve se refiere a su com-
posición social. El análisis de la influencia del
contexto sociocultural en los resultados de un es-
tudiante determinado no puede tener solamente
en cuenta su origen social y familiar. Hoy sabe-
mos que la composición social del centro tam-
bién afecta a su rendimiento. Por ese motivo, se
debe considerar lo que algunos autores han
denominado el efecto composicional del centro,
calculado generalmente a partir de variables
relativas al origen social del conjunto de su
alumnado. En los casos en que no puede cal-
cularse directamente con exactitud suficiente,
se suelen utilizar otras variables indirectas tales
como la ubicación del centro o el porcentaje de
estudiantes becarios o que reciben algún tipo de
ayuda social (por ejemplo, en el Reino Unido,
los que reciben comida gratuita).
Además de estas últimas aproximaciones, tam-
bién se han utilizado alternativamente otros
datos relativos al contexto social del centro cuan-
do no ha resultado posible obtener información
directa acerca del origen social del alumnado. Si
bien la obtención de datos directos permite llevar
a cabo análisis estadísticos más completos y sofis-
ticados, esta aproximación sustitutiva se ha utili-
zado en ausencia de otra posibilidad.
Finalmente, hay que mencionar otra variable
relevante del contexto escolar, relativa a la titula-
ridad (pública o privada) del centro. Se trata de
una circunstancia que admite interpretaciones
diferentes en los diversos sistemas educativos,
pues tanto las dimensiones de ambos sectores
como los tipos concretos de escuelas varían con-
siderablemente de unos a otros. Por lo tanto, si
bien se trata de una variable que reviste induda-
ble interés, hay que tratarla con precaución a la
hora de analizar los resultados ofrecidos por los
estudios comparativos internacionales.
Utilizando los datos del contexto
para explicar los resultados: dos
ejemplos y algunas reflexiones finales
Como se afirmaba más arriba, las variables de
contexto realizan una contribución muy valio-
sa a la hora de explicar los resultados obtenidos
en los estudios de evaluación. El conocimiento
Analizar el contexto para obtener el máximo beneficio de la evaluación
Bordón 64 (2), 2012, 15-28 • 23
17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 23
y la valoración de los resultados de los estu-
diantes se consideran hoy indispensables con
vistas a mejorar la calidad y el rendimiento de
la educación, pero la contribución de dichos
estudios a la construcción de políticas educati-
vas será aún mayor en la medida en que seamos
capaces de identificar los factores que los deter-
minan y explicar su influencia. Por ese motivo,
los promotores de los estudios nacionales e in-
ternacionales de evaluación realizan notables
esfuerzos para diseñar instrumentos que permi-
tan recopilar información relevante acerca del
contexto de la educación y llevar a cabo análi-
sis estadísticos que iluminen la relación que
este tiene con los resultados de los estudiantes.
Pero también se ha apuntado la discrepancia que
existe entre las promesas apuntadas por este tipo
de análisis y los frutos efectivamente recolecta-
dos: mientras que aquellas suelen ser generosas,
estos resultan ser más limitados. En consecuen-
cia, merece la pena detenerse en algunos ejem-
plos concretos de análisis de los resultados a par-
tir de datos del contexto, para ver cómo se llevan
a cabo en la práctica esos intentos de explicación.
Para abordar ese asunto se han seleccionado dos
ejemplos de especial interés en el momento
actual y en nuestro entorno educativo y cultural.
El primero consiste en el uso que hace el estudio
PISA de la información de contexto con el fin de
valorar el grado de equidad de los sistemas edu-
cativos. El segundo consiste en la determinación
de algunos factores que inciden en los aprendiza-
jes de los estudiantes, llevada a cabo en el Segun-
do Estudio Regional Comparativo y Explicativo
(SERCE) promovido por el Laboratorio Latinoa-
mericano de Evaluación de la Calidad de la Edu-
cación (LLECE). Aunque dichos análisis sean
necesariamente sintéticos, espero que contribu-
yan a clarificar las ideas expuestas.
a) El análisis de la equidad en PISA
Una de las contribuciones más interesantes que
ha realizado el estudio PISA tiene que ver con
el análisis de la equidad de los sistemas educa-
tivos. Como es bien sabido, PISA es un estudio
que mide los resultados obtenidos por los jóve-
nes de 15 años de edad, independientemente
del curso en que se encuentren, en tres habili-
dades (skills) o competencias claves: compren-
sión lectora, competencia científica y compe-
tencia matemática. Las conocidas tablas que
recogen los resultados comparativos entre paí-
ses, bien se trate de datos brutos o escalas de
logro, tienen una enorme difusión y son refe-
rencia habitual en los medios de comunicación
y en el discurso pedagógico. Pero PISA ha rea-
lizado otra contribución muy valiosa, no siem-
pre suficientemente resaltada, que se refiere al
estudio del grado de equidad de los resultados
que consiguen los sistemas educativos (OECD,
2001, 2004, 2007 y 2010).
El análisis de la equidad se lleva a cabo por
medio de diferentes aproximaciones. La más
sencilla consiste en el estudio de la distribución
y dispersión de las puntuaciones obtenidas por
los estudiantes. Se trata de un procedimiento
bastante elemental, que permite apreciar el gra-
do de concentración de los resultados en torno
a algún punto de la escala. Es cierto que así se
puede realizar una primera estimación de la
equidad, pero todavía de forma muy trivial,
puesto que podría interpretarse como equidad
lo que no es sino una simple concentración de
puntuaciones.
Un segundo procedimiento, mucho más refina-
do y de mayor interés, consiste en estudiar la
relación existente entre las condiciones socioe-
conómicas y culturales de los estudiantes eva-
luados y los resultados que obtienen en las
pruebas. Se trata de un análisis mucho más fino
y significativo, pues apunta a la relación que
existe entre la categoría socioeconómica y cul-
tural y los resultados educativos. Como se indi-
caba más arriba, con el fin de emprender dicho
estudio PISA ha construido un Índice Socio-Eco-
nómico y Cultural (ISEC), que se calcula a par-
tir de los datos aportados por los propios estu-
diantes. El procedimiento es preciso y fiable,
Alejandro Tiana Ferrer
24 • Bordón 64 (2), 2012, 15-28
17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 24
puesto que no se basa en estimaciones sino en
datos individuales.
Aplicando ese procedimiento, PISA ha compro-
bado nuevamente el hecho bien conocido de que
el rendimiento educativo de los jóvenes está rela-
cionado de manera muy directa con el estatus
socioeconómico y cultural de sus familias. Pero
además de constatar la existencia de tal relación,
ha aportado un análisis detallado acerca de la
intensidad de la misma. Para ello ha recurrido al
cálculo de un gradiente que permite visualizar el
tipo concreto de relación que se establece entre
el ISEC y las puntuaciones de los estudiantes. Sin
entrar en grandes detalles, que están por otra par-
te perfectamente descritos en las publicaciones
resultantes de las sucesivas aplicaciones de PISA,
cuanto más horizontal aparezca dibujada la línea
resultante, más equidad se podrá atribuir al co-
rrespondiente sistema educativo.
El estudio que PISA realiza de la equidad de-
muestra a la perfección la riqueza y el interés del
análisis de los resultados que puede realizarse
utilizando algunas variables contextuales, en
este caso las relativas al entorno socioeconómico
y cultural de los estudiantes. Las conclusiones
extraídas van bastante más allá de la medición
del grado de adquisición de las tres competen-
cias mencionadas y la identificación de sus prin-
cipales puntos débiles. Por una parte, el análisis
pone en conexión los resultados obtenidos por
cada país con las condiciones socioeconómicas
y culturales de su población, permitiendo así
una comparación internacional más justa. Por
otra parte, ofrece la posibilidad de diseñar polí-
ticas educativas que combinen la dimensión de
la calidad con la de equidad, teniendo en cuen-
ta que las dos se consideran hoy indisociables.
b) El análisis de los factores contextuales en
SERCE
Un segundo ejemplo de utilización de datos de
contexto para explicar los resultados de la eva-
luación se encuentra en el Segundo Estudio
Regional Comparativo y Explicativo (SERCE),
promovido por el Laboratorio Latinoamericano
de Evaluación de la Calidad de la Educación
(LLECE) en el seno de la Oficina Regional de
Educación para América Latina y el Caribe
(UNESCO-OREALC). En este caso estamos
ante un tipo de estudio más habitual, que no se
diferencia excesivamente de otras iniciativas
similares, tanto nacionales como internaciona-
les (UNESCO-OREALC, 2008).
El modelo aplicado para diseñar el estudio y ana-
lizar posteriormente sus resultados es el CIPP
(contexto-insumo-proceso-producto), que asu-
me entre otras cosas que el aprendizaje está me-
diado por el contexto socioeconómico y cultu-
ral de los estudiantes y por la ubicación de los
centros educativos. De acuerdo con ese supues-
to de partida, la evaluación incluyó unos cues-
tionarios adicionales de contexto, con la inten-
ción de reunir, entre otros, datos acerca del
contexto socioeconómico y cultural de los estu-
diantes. La información recibida permitió llevar
a cabo diversos análisis acerca de los factores aso-
ciados al rendimiento que inciden en el apren-
dizaje de los estudiantes, que fueron poste-
riormente publicados y difundidos (UNESCO-
OREALC, 2010).
Entre las conclusiones alcanzadas, los autores
del estudio señalan que el contexto educativo
del hogar (caracterizado por la educación reci-
bida por los padres y las prácticas desarrolladas
en el hogar para facilitar la escolarización de los
hijos) es una variable significativa en el 84% de
los países participantes. A su vez, el contexto
educativo del hogar promediado por escuela
resulta ser la variable más consistente en rela-
ción con el aprendizaje. Se trata de resultados
que son coherentes con los obtenidos por la
investigación socioeducativa tradicional. Entre
las variables que el estudio asocia negativamen-
te con el aprendizaje destacan el trabajo infan-
til (que afecta a un 9% de los estudiantes lati-
noamericanos evaluados) y la pertenencia a un
grupo indígena (ampliamente asociada a una
desventaja social que se manifiesta en diversos
Analizar el contexto para obtener el máximo beneficio de la evaluación
Bordón 64 (2), 2012, 15-28 • 25
17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 25
Notas
1
Se puede encontrar una información más amplia acerca de la IEA y los estudios que desarrolla en su página web
(www.iea.nl).
Referencias bibliográficas
ÁLVARO, M. et al. (1990). Hacia un modelo causal del rendimiento académico. Madrid: Ministerio de Educación y Cien-
cia – Centro de Investigación, Documentación y Evaluación.
BADÍA, P. y VIEITES, M. (coords.) (2011). Evaluación, resultados escolares y sistemas educativos. Análisis y alternativas.
Las Rozas: Wolters Kluwer.
DEP (1994): Trois indicateurs de performance des lycées, Baccalauréat 1993, Résultats lycée par lycée. Paris: Ministère
de l’Education nationale – Direction de l’Evaluation et de la Prospective (2 tomos).
HOUSE, E. R. (1993). Professional Evaluation. Social Impact and Political Consequences. Newbury Park, London & New
Delhi: SAGE.
ámbitos). El análisis realizado permite concluir
que los resultados medios de las escuelas están
claramente relacionados con el índice socioeco-
nómico y cultural promedio de las mismas, si
bien hay que destacar que algunas de ellas con-
siguen resultados superiores o inferiores a los
que cabría esperar teniendo simplemente en
cuenta la posición social de su alumnado.
Si bien el estudio SERCE se ha esforzado nota-
blemente por identificar los factores que in-
ciden en los aprendizajes de los estudiantes
y por cuantificar su efecto, lo cierto es que las
aportaciones que ha conseguido realizar no
van mucho más allá de las conclusiones de
otros estudios similares nacionales o interna-
cionales. En todos ellos es una práctica habi-
tual incluir cuestionarios de contexto familiar,
así como otros cuestionarios dirigidos al pro-
fesorado o a los equipos directivos de los cen-
tros participantes. Pero, si bien la explicación
de los resultados en función del contexto
socioeconómico y cultural resulta convincen-
te, las conclusiones que aportan en otros órde-
nes no suelen resultar tan determinantes.
Estamos ante un tipo de estudios que no lle-
gan a proporcionar orientaciones rigurosas
para la construcción de políticas educativas,
debido a diversas razones, algunas de las cua-
les son presentadas en otros trabajos de este
monográfico.
Estos dos ejemplos ponen de manifiesto que
existen instrumentos, técnicas y métodos ade-
cuados para llevar a cabo análisis fructíferos de
la incidencia del contexto sobre los resultados
logrados por los estudiantes. El estudio de la
equidad a partir de los datos de PISA demues-
tra que la formulación precisa de una pregunta
bien planteada y suficientemente específica,
junto con una correcta selección, recogida y
tratamiento de los datos necesarios, permite
obtener respuestas convincentes y así orientar
la acción y la construcción de políticas. Pero
también demuestra que hoy por hoy no resul-
ta razonable esperar conclusiones incontesta-
bles de la mayor parte de los estudios de eva-
luación que realizamos. La impresión que
queda al final es que tenemos más dudas que
certezas. Es indudable que encontramos expli-
caciones a los resultados logrados por los estu-
diantes, pero sin poder llegar a explicar convin-
centemente y con rigor el rendimiento de la
educación.
Alejandro Tiana Ferrer
26 • Bordón 64 (2), 2012, 15-28
17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 26
HUTMACHER, W., COCHRANE, D. y BOTTANI, N. (eds.) (2001). In Pursuit of Equity in Education. Using International Indi-
cators to Compare Equity Policies. Dordrecht, Boston & London: Kluwer Academic Publishers.
INCE (1996). Evaluación de la Educación Primaria. Informe preliminar. Madrid: Instituto Nacional de Calidad y Eva-
luación (documento policopiado).
MARCHESI, A. y MARTÍN, E. (1998). Calidad de la enseñanza en tiempos de cambio. Madrid: Alianza Editorial.
OECD (2001). Knowledge and Skills for Life. First Results from PISA 2000. Paris: OECD.
OECD (2004). Learning for Tomorrow’s World. First results from PISA 2003. Paris: OECD.
OECD (2007). PISA 2006. Science Competencies for Tomorrow’s World. (2 vols.). Paris: OECD.
OECD (2010). PISA 2009 Results: Overcoming Social Background – Equity in Learning Opportunities and Outcomes (vol.
II). Paris: OECD.
PURVES, A. (1993). The World as an Educational Laboratory. En HAYES, W. A. (ed.), IEA Activities, Institutions and Peo-
ple. IEA Guidebook 1993-1994. The Hague: IEA, 57-64.
THOMAS, S. (1998). Medir el valor añadido de la eficacia de las escuelas en el Reino Unido. Perspectivas, 28 (1),101-
122.
TIANA, A. (1996): La evaluación de los sistemas educativos. Revista Iberoamericana de Educación, 10, 37-61.
TIANA, A. (2001). Le monde comme laboratoire éducatif. Politiques d’éducation et de formation. Analyses et comparai-
sons internationales, 2001/3, 47-57.
TIANA, A. (2003). Pilotage par les résultats et amélioration de l’éducation: deux réalités indissociables?. Administra-
tion et Éducation, 98, 19-29.
TIANA, A. (2010). En búsqueda de la explicación de los resultados educativos: posibilidades y limitaciones de los estu-
dios internacionales de evaluación. Gestión y Análisis de Políticas Públicas, 3, 35-65.
TIANA, A. (2011). Experiencing the World as an Educational Laboratory. En PAPANASTASIOU, C., PLOMP, T. y PAPANAS-
TASIOU, E. C. (eds.). IEA 1958-2008: 50 years of experiences and memories. Nicosia: Cultural Center of the Kykkos
Monastery, 2, 557-575.
UNESCO-OREALC. (2008). Los aprendizajes de los estudiantes de América Latina y el Caribe. Primer reporte de los
resultados del Segundo Estudio Regional Comparativo y Explicativo (SERCE). Santiago: Oficina Regional de Educa-
ción para América Latina y el Caribe de la UNESCO, Laboratorio Latinoamericano de Evaluación de la Calidad
de la Educación.
UNESCO-OREALC. (2010). Factores asociados al logro cognitivo de los estudiantes en América Latina y el Caribe. San-
tiago: Oficina Regional de Educación para América Latina y el Caribe de la UNESCO, Laboratorio Latinoameri-
cano de Evaluación de la Calidad de la Educación.
ZAJONC, R. B. y MARKUS, G. (1975). Birth order and intelectual development. Psychological Review, 82, 74-88.
Abstract
Analyzing context so as to optimize the benefits of assessment
Education and training has become an outstanding object of evaluation in the last two decades.
A number of national and international initiatives have been developed with this aim. In this
context, large-scale studies oriented to assess achievement by measuring students’ outcomes should
be underlined. Improvement of education implies moving forward from just measuring student’s
learning to explaining outcomes, which implies the need to identify the main factors related to
results. This paper deals with the analysis of contextual factors, starting by underlining how
important is taking them into account. Contextual factors are then differentiated from input and
process ones and their main variables are identified. Finally, some examples are presented and
discussed of analyses establishing relationships between contextual factors and students’ outcomes.
Analizar el contexto para obtener el máximo beneficio de la evaluación
Bordón 64 (2), 2012, 15-28 • 27
17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 27
Reflections carried out in this work are based on input from international studies, such as those
developed by the IEA (TIMSS, PIRLS…), the OECD (PISA project), or the Laboratory Latin
American of evaluation of the education quality (LLECE), in its second study Regional comparative
and explanatory (SERCE), among others.
Key words: Achievement assessment, Education system evaluation, Context analysis, Large-scale
evaluation studies, Educational outcomes’ explanation.
Résumé
Analyser le contexte pour obtenir un maximum profit de l’évaluation
L’éducation et la formation sont devenues un important facteur d’évaluation au cours des deux
dernières décennies, quand un grand nombre d’initiatives nationales et internationales ce sont
développées à cet effet. Parmi ces initiatives se trouvent les études orientées vers l’évaluation de la
performance des systèmes éducatifs à travers des résultats obtenus par les étudiants. L’amélioration de
l’éducation pose la question de la nécessité non seulement de mesurer ces résultats, mais de les
expliquer correctement. En plus, mener à bien une telle explication implique identifier les principaux
facteurs qui sont liés aux résultats. Ce travail confronte l’analyse des facteurs relatifs au contexte. Il
commence par souligner l’importance de les prendre en compte. Ensuite, les facteurs contextuels
d’entrée sont différentiés de ceux de procès et leurs principales variables sont identifiées.
Finalement, nous présentons et discutons quelques exemples d’analyses effectuées en reliant les
facteurs contextuels avec les résultats des étudiants.
Les réflexions que nous faisons dans cet article se basent sur les contributions de différentes études
internationales, telles que ceux développées par l’IEA (TIMSS, PIRLS…), l’OCDE (PISA), ou le
Laboratoire Latino-américain d’Évaluation de la Qualité de l’Éducation (LLECE), dans son
Deuxième Étude Régionale Comparative et Explicative (SERCE), entre autres.
Mots clés: Évaluation de la performance, Évaluations des systèmes éducatifs, Analyse du contexte, Etudes
d’évaluation à grande échelle, Explication des résultats de l’éducation.
Perfil profesional del autor
Alejandro Tiana Ferrer
Catedrático de Teoría e Historia de la Educación en la Universidad Nacional de Educación a Dis-
tancia (UNED) y director del Centro de Altos Estudios Universitarios de la Organización de Esta-
dos Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI). Entre los años 2004 y 2008
desempeñó el cargo de secretario general de Educación en el Ministerio de Educación y Ciencia de
España.
Correo electrónico: atiana@edu.uned.es
Alejandro Tiana Ferrer
28 • Bordón 64 (2), 2012, 15-28
17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 28
Introducción
La Asociación Internacional para la Evaluación
del Rendimiento Educativo (IEA) ha organizado
y desarrollado estudios internacionales compa-
rativos desde hace más de 50 años. La IEA reci-
bió fondos inicialmente de la UNESCO a fin de
financiar estudios internacionales comparati-
vos y a su vez los países participantes en estos
estudios contribuyeron cubriendo parte de los
costos nacionales, así como costos de la coordi-
nación internacional.
Durante la trayectoria de existencia de la IEA,
han sido muchos los estudios que ha realizado
y estos han generado un tesoro de información
en el campo de la educación internacional com-
parada. Estos estudios internacionales son bien
conocidos por proporcionar resultados del ren-
dimiento de las naciones participantes en las
áreas escolares de las matemáticas, ciencias, lec-
tura, conocimientos cívicos, etc. El tipo de infor-
mación proporcionada incluye, pero no se limi-
ta, al ordenamiento de las naciones en base a sus
resultados en la prueba académica. Desplegar un
CUESTIONARIOS DE CONTEXTO EN LOS ESTUDIOS
DE LA IEA
Background questionnaires in IEA studies
EUGENIO J. GONZÁLEZ NAGEL
Asesor estratégico de la IEA
Durante los últimos 50 años la Asociación Internacional para la Evaluación del Rendimiento Edu-
cativo (IEA, por sus siglas en holandés) ha diseñado y llevado a cabo estudios comparativos en
educación. El objetivo de estos estudios es recoger información que permita identificar elemen-
tos clave de calidad en la educación, a través de la comparación de los sistemas educativos de
diversos países. Estos estudios se han realizado en las áreas de matemáticas, ciencias, lectura y
educación cívica y ciudadanía, entre otras. Algunos de estos estudios (matemáticas, ciencias, lec-
tura) se han realizado de forma periódica, de modo que permiten analizar tendencias en la evo-
lución de los sistemas educativos de los países. Cada uno de estos estudios ha consistido en una
prueba que mide el rendimiento académico en el área de interés. De igual forma que se ha reali-
zado en otros proyectos de evaluación de sistemas educativos, en los estudios de la IEA estas
pruebas han ido acompañadas de cuestionarios de contexto que son aplicados a los alumnos, sus
maestros, los directores de las escuelas en las que estudian y, en algunos casos, sus padres. Este
artículo presenta una descripción breve de estos cuestionarios de contexto, su propósito, sus
posibles usos y algunas advertencias que hay que tener en cuenta en el momento de utilizar la
información recabada con estos cuestionarios.
Palabras clave: TIMSS, PIRLS, ICCS, IEA, Cuestionarios de contexto.
Bordón 64 (2), 2012, 29-39, ISSN: 0210-5934 • 29Fecha de recepción: 30-1-2012 • Fecha de aceptación: 19-3-2012
17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 29

Más contenido relacionado

La actualidad más candente

Evaluación centrada en los contenidos de enseñanza
Evaluación centrada en los contenidos de enseñanzaEvaluación centrada en los contenidos de enseñanza
Evaluación centrada en los contenidos de enseñanzaLily Lara
 
La evaluacion en el aula lorrie a. shepard
La evaluacion en el aula  lorrie a. shepardLa evaluacion en el aula  lorrie a. shepard
La evaluacion en el aula lorrie a. shepard
profecheito
 
Sesión 1 Evaluación Curricular, fundamentos críticos y reflexiones actuales d...
Sesión 1 Evaluación Curricular, fundamentos críticos y reflexiones actuales d...Sesión 1 Evaluación Curricular, fundamentos críticos y reflexiones actuales d...
Sesión 1 Evaluación Curricular, fundamentos críticos y reflexiones actuales d...
Miguel Del Rio
 
Planea 1
Planea 1Planea 1
Planea 1
David Mrs
 
La participación de las familias en la educación escolar
La participación de las familias en la educación escolarLa participación de las familias en la educación escolar
La participación de las familias en la educación escolar
Enrique Navarro
 
Diseño y aplicación de una prueba escrita corregida
Diseño y aplicación de una prueba escrita corregidaDiseño y aplicación de una prueba escrita corregida
Diseño y aplicación de una prueba escrita corregida
wifrido
 
Evaluaciones Externas
Evaluaciones ExternasEvaluaciones Externas
Diseño y aplicación de una prueba escrita2
Diseño y aplicación de una prueba escrita2Diseño y aplicación de una prueba escrita2
Diseño y aplicación de una prueba escrita2
emi22412424
 
Investigacion
InvestigacionInvestigacion
Investigacion
lourdesunach
 
91690103
9169010391690103
Programa pisa oportunidad para mejorar la educación mundial
Programa pisa oportunidad para mejorar la educación mundialPrograma pisa oportunidad para mejorar la educación mundial
Programa pisa oportunidad para mejorar la educación mundialospinacampojorge
 
Planea 6
Planea 6Planea 6
Planea 6
David Mrs
 
Dialnet la evaluacioninstitucionalenlauniversidad-4907899
Dialnet la evaluacioninstitucionalenlauniversidad-4907899Dialnet la evaluacioninstitucionalenlauniversidad-4907899
Dialnet la evaluacioninstitucionalenlauniversidad-4907899
Ester De Leon
 
Evaluacion autentica
Evaluacion autenticaEvaluacion autentica
Evaluacion autentica
Roberto Ramirez
 
historia de wikipedia
historia de wikipediahistoria de wikipedia
historia de wikipedia
nauj1777
 

La actualidad más candente (18)

Evaluación centrada en los contenidos de enseñanza
Evaluación centrada en los contenidos de enseñanzaEvaluación centrada en los contenidos de enseñanza
Evaluación centrada en los contenidos de enseñanza
 
La evaluacion en el aula lorrie a. shepard
La evaluacion en el aula  lorrie a. shepardLa evaluacion en el aula  lorrie a. shepard
La evaluacion en el aula lorrie a. shepard
 
Sesión 1 Evaluación Curricular, fundamentos críticos y reflexiones actuales d...
Sesión 1 Evaluación Curricular, fundamentos críticos y reflexiones actuales d...Sesión 1 Evaluación Curricular, fundamentos críticos y reflexiones actuales d...
Sesión 1 Evaluación Curricular, fundamentos críticos y reflexiones actuales d...
 
Planea 1
Planea 1Planea 1
Planea 1
 
La participación de las familias en la educación escolar
La participación de las familias en la educación escolarLa participación de las familias en la educación escolar
La participación de las familias en la educación escolar
 
Diseño y aplicación de una prueba escrita corregida
Diseño y aplicación de una prueba escrita corregidaDiseño y aplicación de una prueba escrita corregida
Diseño y aplicación de una prueba escrita corregida
 
Relieve
RelieveRelieve
Relieve
 
Evaluaciones Externas
Evaluaciones ExternasEvaluaciones Externas
Evaluaciones Externas
 
Evaluacion curricular
Evaluacion curricularEvaluacion curricular
Evaluacion curricular
 
Diseño y aplicación de una prueba escrita2
Diseño y aplicación de una prueba escrita2Diseño y aplicación de una prueba escrita2
Diseño y aplicación de una prueba escrita2
 
Investigacion
InvestigacionInvestigacion
Investigacion
 
91690103
9169010391690103
91690103
 
Programa pisa oportunidad para mejorar la educación mundial
Programa pisa oportunidad para mejorar la educación mundialPrograma pisa oportunidad para mejorar la educación mundial
Programa pisa oportunidad para mejorar la educación mundial
 
Veparamo
VeparamoVeparamo
Veparamo
 
Planea 6
Planea 6Planea 6
Planea 6
 
Dialnet la evaluacioninstitucionalenlauniversidad-4907899
Dialnet la evaluacioninstitucionalenlauniversidad-4907899Dialnet la evaluacioninstitucionalenlauniversidad-4907899
Dialnet la evaluacioninstitucionalenlauniversidad-4907899
 
Evaluacion autentica
Evaluacion autenticaEvaluacion autentica
Evaluacion autentica
 
historia de wikipedia
historia de wikipediahistoria de wikipedia
historia de wikipedia
 

Destacado

Unidades didacticas departamento_pedagogia
Unidades didacticas departamento_pedagogiaUnidades didacticas departamento_pedagogia
Unidades didacticas departamento_pedagogiaIrene Nombela Sanchez
 
Prácticas 2
Prácticas 2Prácticas 2
Prácticas 2
InmaPrimaria
 
Resumen evaluación y cambio educativo
Resumen evaluación y cambio educativoResumen evaluación y cambio educativo
Resumen evaluación y cambio educativomrv2610
 
elemento de maquina
elemento de maquina elemento de maquina
elemento de maquina
angelatabbak
 
6 seconds network
6 seconds network6 seconds network
6 seconds network
6SECONDS
 
The Influence of Revenue Models on Game Design - ICA2013
The Influence of Revenue  Models on Game Design - ICA2013The Influence of Revenue  Models on Game Design - ICA2013
The Influence of Revenue Models on Game Design - ICA2013
Patrick Prax
 
Design for Production - Lecture 1: Research and Analysis
Design for Production - Lecture 1: Research and Analysis Design for Production - Lecture 1: Research and Analysis
Design for Production - Lecture 1: Research and Analysis Virtu Institute
 
A Little About Trace Adkins
A Little About Trace Adkins A Little About Trace Adkins
A Little About Trace Adkins
Knipe
 
Báo Cáo Cuối Kỳ
Báo Cáo Cuối KỳBáo Cáo Cuối Kỳ
Báo Cáo Cuối KỳLy ND
 

Destacado (15)

Unidades didacticas departamento_pedagogia
Unidades didacticas departamento_pedagogiaUnidades didacticas departamento_pedagogia
Unidades didacticas departamento_pedagogia
 
Prácticas 2
Prácticas 2Prácticas 2
Prácticas 2
 
Resumen evaluación y cambio educativo
Resumen evaluación y cambio educativoResumen evaluación y cambio educativo
Resumen evaluación y cambio educativo
 
BREAKTHROUGH
BREAKTHROUGHBREAKTHROUGH
BREAKTHROUGH
 
A blue christmas
A blue christmasA blue christmas
A blue christmas
 
Dimensoes
DimensoesDimensoes
Dimensoes
 
elemento de maquina
elemento de maquina elemento de maquina
elemento de maquina
 
6 seconds network
6 seconds network6 seconds network
6 seconds network
 
The Influence of Revenue Models on Game Design - ICA2013
The Influence of Revenue  Models on Game Design - ICA2013The Influence of Revenue  Models on Game Design - ICA2013
The Influence of Revenue Models on Game Design - ICA2013
 
Mategb2[1]
Mategb2[1]Mategb2[1]
Mategb2[1]
 
Design for Production - Lecture 1: Research and Analysis
Design for Production - Lecture 1: Research and Analysis Design for Production - Lecture 1: Research and Analysis
Design for Production - Lecture 1: Research and Analysis
 
Autorizacion070
Autorizacion070Autorizacion070
Autorizacion070
 
Cooper
CooperCooper
Cooper
 
A Little About Trace Adkins
A Little About Trace Adkins A Little About Trace Adkins
A Little About Trace Adkins
 
Báo Cáo Cuối Kỳ
Báo Cáo Cuối KỳBáo Cáo Cuối Kỳ
Báo Cáo Cuối Kỳ
 

Similar a Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

Cortés-Ramírez. Las pruebas nacionales. ENLACE en secundaria
Cortés-Ramírez. Las pruebas nacionales. ENLACE en secundaria Cortés-Ramírez. Las pruebas nacionales. ENLACE en secundaria
Cortés-Ramírez. Las pruebas nacionales. ENLACE en secundaria
Leticia Cortés
 
Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..
Churro Celis
 
Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..
Churro Celis
 
Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..
Churro Celis
 
Enlace. padilla
Enlace. padillaEnlace. padilla
Enlace. padilla
Yezz Ortiz
 
Las pruebas escritas por competencias
Las pruebas escritas por competenciasLas pruebas escritas por competencias
Las pruebas escritas por competencias
Hilda Solis
 
Diseño y aplicación de una prueba escrita corregida.
Diseño y aplicación de una prueba escrita corregida.Diseño y aplicación de una prueba escrita corregida.
Diseño y aplicación de una prueba escrita corregida.
Churro Celis
 
Diseño y aplicación de una prueba escrita corregida
Diseño y aplicación de una prueba escrita corregidaDiseño y aplicación de una prueba escrita corregida
Diseño y aplicación de una prueba escrita corregida
Churro Celis
 
Diseño y aplicación de una prueba escrita corregida.
Diseño y aplicación de una prueba escrita corregida.Diseño y aplicación de una prueba escrita corregida.
Diseño y aplicación de una prueba escrita corregida.
Churro Celis
 
Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..
Churro Celis
 
Diseño y aplicación de una prueba escrita corregida.
Diseño y aplicación de una prueba escrita corregida.Diseño y aplicación de una prueba escrita corregida.
Diseño y aplicación de una prueba escrita corregida.
Churro Celis
 
Proyecto pelaez
Proyecto pelaezProyecto pelaez
Proyecto pelaez
Guillermo Pelaez
 
Diseño y aplicación de una prueba escrita corregida
Diseño y aplicación de una prueba escrita corregidaDiseño y aplicación de una prueba escrita corregida
Diseño y aplicación de una prueba escrita corregida
Churro Celis
 
Docencia latinoamericana
Docencia latinoamericanaDocencia latinoamericana
Docencia latinoamericana
Donnis Díaz Alzurn
 
Programa PISA de la OCDE
Programa PISA de la OCDEPrograma PISA de la OCDE
Programa PISA de la OCDE
Esperanza Sosa Meza
 
Programa pisa de la ocde
Programa pisa de la ocdePrograma pisa de la ocde
Programa pisa de la ocde
Editorial MD
 
Evaluacion PISA
Evaluacion PISAEvaluacion PISA
Evaluacion PISA
camila
 
Entregable2
Entregable2Entregable2
Entregable208021360
 

Similar a Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1) (20)

Cortés-Ramírez. Las pruebas nacionales. ENLACE en secundaria
Cortés-Ramírez. Las pruebas nacionales. ENLACE en secundaria Cortés-Ramírez. Las pruebas nacionales. ENLACE en secundaria
Cortés-Ramírez. Las pruebas nacionales. ENLACE en secundaria
 
Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..
 
Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..
 
Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..
 
Evolución histórica de la evaluación
Evolución histórica de la evaluaciónEvolución histórica de la evaluación
Evolución histórica de la evaluación
 
Enlace. padilla
Enlace. padillaEnlace. padilla
Enlace. padilla
 
Las pruebas escritas por competencias
Las pruebas escritas por competenciasLas pruebas escritas por competencias
Las pruebas escritas por competencias
 
Diseño y aplicación de una prueba escrita corregida.
Diseño y aplicación de una prueba escrita corregida.Diseño y aplicación de una prueba escrita corregida.
Diseño y aplicación de una prueba escrita corregida.
 
Diseño y aplicación de una prueba escrita corregida
Diseño y aplicación de una prueba escrita corregidaDiseño y aplicación de una prueba escrita corregida
Diseño y aplicación de una prueba escrita corregida
 
Diseño y aplicación de una prueba escrita corregida.
Diseño y aplicación de una prueba escrita corregida.Diseño y aplicación de una prueba escrita corregida.
Diseño y aplicación de una prueba escrita corregida.
 
Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..Diseño y aplicación de una prueba escrita corregida..
Diseño y aplicación de una prueba escrita corregida..
 
Diseño y aplicación de una prueba escrita corregida.
Diseño y aplicación de una prueba escrita corregida.Diseño y aplicación de una prueba escrita corregida.
Diseño y aplicación de una prueba escrita corregida.
 
Proyecto pelaez
Proyecto pelaezProyecto pelaez
Proyecto pelaez
 
Diseño y aplicación de una prueba escrita corregida
Diseño y aplicación de una prueba escrita corregidaDiseño y aplicación de una prueba escrita corregida
Diseño y aplicación de una prueba escrita corregida
 
Docencia latinoamericana
Docencia latinoamericanaDocencia latinoamericana
Docencia latinoamericana
 
Programa PISA de la OCDE
Programa PISA de la OCDEPrograma PISA de la OCDE
Programa PISA de la OCDE
 
Pisa
PisaPisa
Pisa
 
Programa pisa de la ocde
Programa pisa de la ocdePrograma pisa de la ocde
Programa pisa de la ocde
 
Evaluacion PISA
Evaluacion PISAEvaluacion PISA
Evaluacion PISA
 
Entregable2
Entregable2Entregable2
Entregable2
 

Más de Babinton Ripoll Montiel

Ensayo plan de mejoramiento ii
Ensayo plan de mejoramiento iiEnsayo plan de mejoramiento ii
Ensayo plan de mejoramiento ii
Babinton Ripoll Montiel
 
Ensayo plan de mejoramiento
Ensayo plan de mejoramientoEnsayo plan de mejoramiento
Ensayo plan de mejoramiento
Babinton Ripoll Montiel
 
Evolución del concepto de curriculo nacional e internacionalmente
Evolución del concepto de curriculo  nacional  e internacionalmenteEvolución del concepto de curriculo  nacional  e internacionalmente
Evolución del concepto de curriculo nacional e internacionalmenteBabinton Ripoll Montiel
 
Calidad y equidad escolar vs praxis educativa 1
Calidad y equidad escolar vs praxis educativa 1Calidad y equidad escolar vs praxis educativa 1
Calidad y equidad escolar vs praxis educativa 1Babinton Ripoll Montiel
 
AUTOEVALUACIÓN ESTRATEGIA Y COMPONENTE ESENCIAL DE LA MEJORA ESCOLAR
AUTOEVALUACIÓN ESTRATEGIA Y COMPONENTE ESENCIAL DE LA MEJORA ESCOLARAUTOEVALUACIÓN ESTRATEGIA Y COMPONENTE ESENCIAL DE LA MEJORA ESCOLAR
AUTOEVALUACIÓN ESTRATEGIA Y COMPONENTE ESENCIAL DE LA MEJORA ESCOLARBabinton Ripoll Montiel
 
Pertinencia del modelo evaluativo cipp aplicado al contexto educativo 1
Pertinencia del modelo evaluativo cipp aplicado al contexto educativo 1Pertinencia del modelo evaluativo cipp aplicado al contexto educativo 1
Pertinencia del modelo evaluativo cipp aplicado al contexto educativo 1Babinton Ripoll Montiel
 
Investigacion evaluativa desde la reflexion del docente
Investigacion evaluativa desde la reflexion del docenteInvestigacion evaluativa desde la reflexion del docente
Investigacion evaluativa desde la reflexion del docenteBabinton Ripoll Montiel
 
Investigacion evaluativa desde la reflexion del docente
Investigacion evaluativa desde la reflexion del docenteInvestigacion evaluativa desde la reflexion del docente
Investigacion evaluativa desde la reflexion del docenteBabinton Ripoll Montiel
 

Más de Babinton Ripoll Montiel (10)

Ensayo plan de mejoramiento ii
Ensayo plan de mejoramiento iiEnsayo plan de mejoramiento ii
Ensayo plan de mejoramiento ii
 
Ensayo plan de mejoramiento
Ensayo plan de mejoramientoEnsayo plan de mejoramiento
Ensayo plan de mejoramiento
 
Reflexión plan de desarrollo corregido
Reflexión plan de desarrollo corregidoReflexión plan de desarrollo corregido
Reflexión plan de desarrollo corregido
 
Trabajo de calidad
Trabajo de calidadTrabajo de calidad
Trabajo de calidad
 
Evolución del concepto de curriculo nacional e internacionalmente
Evolución del concepto de curriculo  nacional  e internacionalmenteEvolución del concepto de curriculo  nacional  e internacionalmente
Evolución del concepto de curriculo nacional e internacionalmente
 
Calidad y equidad escolar vs praxis educativa 1
Calidad y equidad escolar vs praxis educativa 1Calidad y equidad escolar vs praxis educativa 1
Calidad y equidad escolar vs praxis educativa 1
 
AUTOEVALUACIÓN ESTRATEGIA Y COMPONENTE ESENCIAL DE LA MEJORA ESCOLAR
AUTOEVALUACIÓN ESTRATEGIA Y COMPONENTE ESENCIAL DE LA MEJORA ESCOLARAUTOEVALUACIÓN ESTRATEGIA Y COMPONENTE ESENCIAL DE LA MEJORA ESCOLAR
AUTOEVALUACIÓN ESTRATEGIA Y COMPONENTE ESENCIAL DE LA MEJORA ESCOLAR
 
Pertinencia del modelo evaluativo cipp aplicado al contexto educativo 1
Pertinencia del modelo evaluativo cipp aplicado al contexto educativo 1Pertinencia del modelo evaluativo cipp aplicado al contexto educativo 1
Pertinencia del modelo evaluativo cipp aplicado al contexto educativo 1
 
Investigacion evaluativa desde la reflexion del docente
Investigacion evaluativa desde la reflexion del docenteInvestigacion evaluativa desde la reflexion del docente
Investigacion evaluativa desde la reflexion del docente
 
Investigacion evaluativa desde la reflexion del docente
Investigacion evaluativa desde la reflexion del docenteInvestigacion evaluativa desde la reflexion del docente
Investigacion evaluativa desde la reflexion del docente
 

Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

  • 1. Durante la última década del siglo pasado y la primera del actual la evaluación experimentó un desarrollo sin precedentes. De ser en los años setenta una actividad marginal llevada a cabo a tiempo parcial por académicos, como nos recordaba Ernst House, pasó a convertirse en los noventa en una pequeña industria profesionali- zada, con sus propias revistas, premios, reunio- nes, organizaciones y estándares (House, 1993). Y desde entonces no ha dejado de crecer y de expandirse hasta llegar a ser la gran empresa que hoy conocemos. Por todas partes se han estable- cido sistemas de evaluación y de acreditación de la calidad, tanto en el ámbito empresarial como en diversos sectores de la acción pública, se han constituido sociedades de evaluación de ámbito nacional, regional e internacional, se han puesto en marcha ambiciosos proyectos de elaboración ANALIZAR EL CONTEXTO PARA OBTENER EL MÁXIMO BENEFICIO DE LA EVALUACIÓN Analyzing context so as to optimize the benefits of assessment ALEJANDRO TIANA FERRER Catedrático de la UNED La educación y la formación se han convertido en objeto destacado de evaluación durante las dos últimas décadas, habiéndose desarrollado un gran número de iniciativas nacionales e internacio- nales con esa finalidad. Entre ellas, ocupan un lugar destacado los estudios orientados a evaluar el rendimiento de los sistemas educativos por medio de los resultados obtenidos por los estu- diantes. La mejora de la educación plantea la necesidad no solo de medir dichos resultados, sino de explicarlos adecuadamente. Y llevar a cabo esa explicación requiere identificar los principa- les factores que tienen relación con los resultados. Este trabajo aborda el análisis de los factores relativos al contexto, comenzando por subrayar la importancia que tiene tomarlos en considera- ción. A continuación se distinguen dichos factores de contexto de los de entrada y proceso y se identifican las principales variables que lo integran. Por último se presentan y comentan algunos ejemplos de análisis llevados a cabo poniendo en relación los factores de contexto con los resul- tados de los estudiantes. Las reflexiones que se realizan en este trabajo se basan en las aportaciones de estudios interna- cionales, como los desarrollados por la IEA (TIMSS, PIRLS…), la OCDE (Proyecto PISA), o el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE), en su Segun- do Estudio Regional Comparativo y Explicativo (SERCE), entre otros. Palabras clave: Evaluación del rendimiento, Evaluación de los sistemas educativos, Análisis del contexto, Estudios de evaluación a gran escala, Explicación de los resultados de la educación. Bordón 64 (2), 2012, 15-28, ISSN: 0210-5934 • 15Fecha de recepción: 20-3-2012 • Fecha de aceptación: 27-3-2012 17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 15
  • 2. y difusión de indicadores en ámbitos muy diver- sos, y se ha consolidado una pujante oferta de formación académica en materia de evaluación. El cambio ha sido muy notorio, afectando a di- versas esferas de la acción pública, y entre ellas muy singularmente a la educación. En efecto, en estas dos décadas se ha generalizado la cons- titución de sistemas nacionales de evaluación educativa que desarrollan distintos tipos de actividades. La aplicación de pruebas estan- darizadas de rendimiento, la construcción de sistemas nacionales o internacionales de indi- cadores de la educación, la evaluación y autoe- valuación de los centros educativos o la valora- ción del desempeño docente son realidades que se manifiestan en todos los continentes. Hoy evaluamos (o al menos hablamos de evaluar) todos los ámbitos que se refieren a la educa- ción: los resultados logrados por los alumnos, los currículos impartidos en las aulas, el fun- cionamiento de los centros docentes e institu- ciones educativas, los programas educativos específicos o sectoriales y el trabajo del profe- sorado. Como consecuencia de ese proceso sos- tenido en el tiempo, la evaluación educativa ha ido abarcando ámbitos progresivamente más amplios, al tiempo que se ha diversificado, reforzando así una tendencia que ya se apunta- ba hace más de diez años (Tiana, 1996). El interés de estudiar y explicar el rendimiento de los sistemas educativos Entre las operaciones puestas en marcha en este periodo, cabe destacar por su especial interés los programas orientados a estudiar el rendimiento de los sistemas educativos. La educación y la for- mación se han convertido en objeto destacado de evaluación, recurriendo a diversos instrumentos y enfoques para llevar a cabo dicha tarea. Pero la atención no se ha centrado solamente en los pro- cesos de enseñanza y aprendizaje, por más que constituyan el núcleo central de la tarea educati- va, sino que los propios sistemas de educación y formación se han convertido en objeto de escrutinio público. Así, por no citar sino un par de ejemplos actuales, hoy contamos con diversos modelos de sistemas de indicadores, que nos pro- porcionan una perspectiva muy completa acerca del estado, la situación y la evolución de la edu- cación a escala nacional o internacional, al igual que disponemos de modelos de acreditación y evaluación de las instituciones de educación superior, que proporcionan una información ciertamente valiosa acerca de la evolución de este sector educativo considerado clave para el desa- rrollo económico y social. Pero hay un procedimiento utilizado habitual- mente en la evaluación de los sistemas edu- cativos que merece especial atención en el contexto de este monográfico. Se trata de la aplicación de pruebas estandarizadas para estudiar el rendimiento de la educación. Aun- que no supone la introducción de un modelo nuevo, puesto que cuenta con antecedentes de más de medio siglo de antigüedad, ha sido en las dos últimas décadas cuando su utilización se ha generalizado. Por una parte, han sido innumerables los países que han comenzado a aplicar a sus estudiantes de manera sistemá- tica y periódica pruebas denominadas de resul- tados, de logros o diagnósticas, con caracterís- ticas parcialmente diferentes pero coincidentes en su finalidad última: estudiar de manera ri- gurosa el rendimiento conseguido por el sis- tema educativo a través de los resultados obte- nidos por los estudiantes. Por otra parte, en el plano internacional, los estudios pioneros de la International Association for the Evaluation of Educational Achievement (IEA) han adqui- rido regularidad y ampliado su grado de parti- cipación, realidad especialmente patente en los proyectos denominados TIMSS y PIRLS1, mientras que, por su parte, la OCDE puso en marcha a finales de los noventa el estudio PISA, cuya primera aplicación se realizó en el año 2000. En consecuencia, tanto a escala nacional como internacional contamos con ejemplos muy relevantes de esta práctica de evaluación. Alejandro Tiana Ferrer 16 • Bordón 64 (2), 2012, 15-28 17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 16
  • 3. Estudiar los resultados obtenidos por los estu- diantes y a partir de ellos el rendimiento logra- do por los sistemas educativos tiene un indu- dable interés, que en buena medida deriva de la convicción que existe en nuestras socieda- des de que las escuelas y el sistema educativo en su conjunto deben responder a las deman- das que los ciudadanos legítimamente les plan- tean. Son muchos quienes creen que los sis- temas y los establecimientos educativos han funcionado a la manera de una caja negra, cuya opacidad impide conocer qué ocurre en su interior. En el momento actual, dicha imagen resulta ampliamente insatisfactoria, siendo numerosas las voces que reclaman una mayor transparencia, en coherencia con los princi- pios políticos democráticos y las demandas de una gestión participativa. El interés de estudiar y conocer los resulta- dos obtenidos por los estudiantes deriva de esos planteamientos. Cuando nuestra nor- mativa establece que los estudiantes deben alcanzar una serie de objetivos en las di- ferentes etapas y niveles del sistema educati- vo, parece lógico preguntarse por su grado de logro. El conocimiento de la medida en que se alcanzan los objetivos educativos pro- puestos es una exigencia que, en democra- cia, pueden legítimamente plantear los ciu- dadanos y requiere respuesta. Además, dicho conocimiento es fundamental para hacer el mejor uso posible de los recursos disponibles y para tomar las decisiones políticas y pedagó- gicas más adecuadas (Badía y Vieites, 2011). Tanto se ha extendido este planteamiento que ha dado incluso lugar a nuevos modelos de intervención en el ámbito educativo, distintos de los modos tradicionales de control jerár- quico, como es el caso del denominado pilotaje por resultados (Tiana, 2003). En consecuen- cia, no debe extrañar el auge experimentado recientemente por la aplicación de pruebas estandarizadas de resultados, dado que son consideradas uno de los instrumentos más adecuados para llevar a cabo la evaluación del rendimiento. Pero no puede pensarse que el único interés de estos estudios de evaluación radique en el conocimiento riguroso de los resultados de la educación, por importante que sea dicho pro- pósito. Desde que comenzaron a llevarse a cabo este tipo de trabajos, se ha venido insistiendo en la necesidad de explicar los resultados obte- nidos por los estudiantes, tarea así convertida en objetivo insoslayable. Además de medir y com- parar dichos resultados, se trataría de expli- carlos de manera convincente. La explicación constituye el reverso de la medición, aportando la información necesaria para orientar la acción. De ahí deriva su interés. Dar respuesta a esta cuestión requiere identifi- car los factores más destacados que permiten explicar las diferencias encontradas y analizar el modo en que interactúan. Pero afrontar esa tarea obliga necesariamente a reconocer la difi- cultad que plantea la aplicación de procedi- mientos experimentales en el ámbito educativo para estudiar de manera fiable el impacto de determinadas intervenciones y a actuar en con- secuencia. Los investigadores y los evaluadores suelen recurrir a otro tipo de métodos, muchas veces de carácter empírico, pero raramente de carácter estrictamente experimental. Por ejem- plo, ese es el planteamiento que llevó a los fun- dadores de la IEA a adoptar la propuesta de Alan Purves de considerar el mundo como un laboratorio educativo (Purves, 1993; Tiana, 2001). De acuerdo con esa concepción, los sis- temas educativos deben ser considerados como conglomerados complejos, compuestos por un número elevado de escuelas, clases, profesores, estudiantes y comunidades. Cada sistema com- parte rasgos comunes con otros, pero también presenta algunas características propias. Por lo tanto, sería teóricamente posible comparar los resultados conseguidos por los estudiantes de distintos sistemas educativos, controlando tales variables diferenciales que inciden en el rendi- miento. Ese tipo de comparación permitiría analizar y valorar la influencia de dichos facto- res, contribuyendo a explicar sus efectos res- pectivos (Tiana, 2011). Analizar el contexto para obtener el máximo beneficio de la evaluación Bordón 64 (2), 2012, 15-28 • 17 17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 17
  • 4. La lógica aplicada en el ámbito nacional no es exactamente idéntica a la expuesta, si bien guarda cierta analogía con ella. Se supone, a mi juicio acertadamente, que los resultados obte- nidos por los estudiantes están influidos por diversos factores. Unos tienen que ver con las condiciones individuales y familiares de par- tida, básicamente de carácter socieconómico y cultural, mientras que otros guardan relación con los procesos de enseñanza y aprendizaje desarrollados en las aulas por estudiantes y do- centes, y algunos se refieren a las condiciones de organización y funcionamiento de los cen- tros. Todos estos factores interactúan entre sí para producir unos determinados resultados. Analizar con rigor y detenimiento el efecto pro- ducido por dichos factores constituye una valiosa guía para la acción educativa. Si fuése- mos capaces de saber con precisión cuál es el papel que juegan las condiciones de partida, qué impacto tienen los diversos estilos docen- tes o el proceso seguido en el desarrollo del currículo, cómo afectan al rendimiento aspec- tos como el clima escolar o la composición social del centro, por no citar sino algunos de los más relevantes, podríamos contar con orientaciones de gran valor para planificar la actuación educativa y para adoptar políticas en este ámbito. Como puede apreciarse, las pro- mesas resultan muy atractivas. El principal problema que se nos plantea cuan- do nos adentramos en esta senda es que, frente a promesas tan halagüeñas, los frutos obtenidos son mucho menos cuantiosos. Si bien en otros artículos de este monográfico se analizan con detenimiento algunas de las razones de dicho desequilibrio, no está de más recordar aquí que, hablando en términos rigurosos, existe la con- vicción generalizada de que no es sencillo ela- borar modelos causales del rendimiento, pese a los intentos que se han realizado en ese sentido (Álvaro et al., 1990). La ausencia de un modelo sólido de producción educativa actúa como una importante limitación para llevar a cabo este tipo de análisis orientados a la explicación y la interpretación. En consecuencia, si bien esta- mos ante un empeño relevante y de gran impor- tancia, debemos adoptar una actitud necesa- riamente modesta a la hora de abordar tales análisis. De qué hablamos cuando hablamos del contexto Entre los factores que inciden de manera más patente en los resultados de los estudiantes, muchos investigadores han destacado los que tienen relación con el contexto individual y social de la educación. La investigación socio- lógica puso de relieve hace ya muchos años la importancia que el origen y las condiciones so- ciales tienen en el rendimiento escolar. Dado que la educación afecta a los estudiantes indivi- dualmente considerados, es necesario estudiar aspectos tales como sus estilos de aprendizaje, su conducta, sus actitudes o sus capacidades en diversas áreas. Pero, dado que la educación también consiste en una tarea de socialización, no se puede dejar de lado el estudio de las con- diciones socioeconómicas y culturales de los estudiantes, el contexto familiar y social en que estos se desenvuelven, las características de los centros a los que asisten o el efecto que ejerce sobre cada uno de ellos la comunidad educati- va en su conjunto. Junto a este tipo de motivos, derivados de la investigación realizada acerca de la educación, hay que reconocer que la importancia concedi- da a los factores del contexto tiene también que ver con las exigencias que plantea el respeto a la justicia en el ámbito educativo. En efecto, si una parte nada despreciable del rendimiento se explica por factores no imputables a la libre voluntad de los estudiantes, ni tan siquiera a su diferencia de capacidades, sino a las condicio- nes que impone su entorno, el respeto a la jus- ticia obligará a extremar el cuidado para com- pensar dichas desigualdades de origen y hacer efectivo el principio de igualdad de oportunida- des. En consecuencia, no debe extrañar que el Alejandro Tiana Ferrer 18 • Bordón 64 (2), 2012, 15-28 17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 18
  • 5. análisis de los factores relativos al contexto haya cobrado gran importancia a medida que se ha extendido una creciente preocupación por la equidad en la educación (Hutmacher, Cochra- ne y Bottani, 2001). Ahora bien, cuando hablamos de analizar el contexto comprobamos que no siempre existe una idea muy clara acerca de qué tipo de varia- bles deben quedar englobadas bajo dicha eti- queta. En consecuencia, conviene analizar con mayor detalle a qué tipo de factores nos esta- mos refiriendo. En un interesante estudio emprendido hace algunos años para construir un modelo causal del rendimiento académico (Álvaro et al., 1990), en el contexto de la puesta en marcha de la evaluación del sistema educativo español, se distinguían dos grandes tipos de variables con- textuales. Por una parte, estarían las variables sociofamiliares, que aluden a los factores que vienen dados al individuo «desde fuera», y por otra las variables escolares, que abordan el mar- co institucional, propiamente escolar, del aprendizaje. Desde este punto de vista, los fac- tores del contexto abarcarían tanto las condi- ciones individuales y sociales de partida como las características del entorno escolar. En mi opinión, esta clasificación no resulta plenamente satisfactoria, pues al hablar de la influencia del contexto conviene distinguir más claramente entre dos tipos de factores: aquellos que le vienen dados al estudiante por parte de su entorno familiar y social y aquellos otros que derivan del entorno institucional en que recibe la enseñanza. Hay muchas razones para adoptar tal decisión, pero no es la menor el hecho de que el primer grupo corresponda a variables difícilmente alterables en cada caso individual, mientras que las que componen el segundo pueden variarse de forma tan simple como tras- ladarse de centro. En consecuencia, no creo que el análisis del efecto producido por ambos tipos de variables deba equipararse y considero que valdría la pena distinguir ambas categorías de un modo más claro y explícito que el plan- teado en esa propuesta. Por otra parte, en un trabajo reciente que dedi- qué a analizar las posibilidades y las limitacio- nes que plantea la explicación de los resultados proporcionados por los estudios internaciona- les de evaluación, proponía la diferenciación entre variables extrínsecas e intrínsecas (Tiana, 2010). Mientras que las primeras se refieren a factores que no están directamente ligados al funcionamiento de los sistemas educativos o de los centros docentes, las segundas guar- dan relación directa con el funcionamiento de aquellos. Si bien es cierto que no llegaba a eti- quetar a ninguna de las dos categorías como contextuales, debo decir que hoy considero que la distinción no era plenamente acertada ni precisa. Con el propósito de construir una clasificación más rigurosa y convincente, y teniendo en cuenta los modelos habitualmente utilizados para llevar a cabo el análisis de la producción educativa, creo que resulta más lógico distin- guir entre tres tipos de factores: • Factores de contexto, que se refieren a las condiciones sociales, económicas y cultu- rales de partida del estudiante y tienen que ver con su entorno familiar y social. Se englobarían aquí básicamente el nivel socioeconómico y cultural de los estu- diantes individualmente considerados, las características de su entorno familiar, el hábitat en que se desenvuelven y la com- posición social del centro escolar al que asisten. • Factores de entrada o input (o insumo), que se refieren a aquellas condiciones ge- nerales del sistema educativo o del con- junto de la población que inciden en la tarea educativa, pero que ejercen una in- fluencia no circunscrita al centro docente concreto de que se trate. Se incluirían aquí el nivel de desarrollo educativo y cultural de la población, los recursos destinados Analizar el contexto para obtener el máximo beneficio de la evaluación Bordón 64 (2), 2012, 15-28 • 19 17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 19
  • 6. a la educación y la organización general del sistema educativo. • Factores de proceso, que se refieren a las condiciones institucionales en que se de- senvuelve la tarea educativa. Se podrían distinguir en esta categoría los denomina- dos procesos de centro y de aula, vincula- dos respectivamente a la organización y el funcionamiento del centro escolar y a las prácticas de enseñanza y aprendizaje que se desarrollan en el aula en presencia de estu- diantes y docentes. Ambos conjuntos de procesos han sido objeto de atención cre- ciente por parte de los investigadores de la educación (Marchesi y Martín, 1998). Si bien puede haber quien prefiera adoptar una concepción más amplia del contexto y englo- bar en el mismo los mencionados factores de proceso, entiendo que resulta más claro y útil distinguir ambas categorías. Algo más difícil puede resultar excluir del contexto algunos fac- tores de entrada como los apuntados, dado que en cierto modo también se refieren al entorno, aunque en este caso no sea principalmente in- dividual sino colectivo. En todo caso, por co- herencia con los argumentos expuestos, me centraré en lo que sigue exclusivamente en los factores incluidos en el primer grupo de los tres señalados. El análisis del contexto en los estudios de evaluación A la hora de explicar los resultados obtenidos en los estudios de evaluación hay que comen- zar subrayando que el contexto es un referente muy amplio, que incluye variables de muy diverso tipo. Pero aun siendo cierta esta obser- vación, debemos reconocer que no todas las variables que lo integran ejercen la misma influencia sobre los resultados. Mientras que algunas de ellas producen un efecto apreciable y directo, otras solo influyen indirectamente y en pequeña medida. Las primeras son las que realmente nos interesan y la investigación sociológica y pedagógica nos ha dado indica- ciones acerca de cuáles puedan ser. A efectos de desarrollar este análisis he distin- guido cinco factores que me parecen especial- mente interesantes y explicativos, de acuerdo con la experiencia que hemos adquirido con la aplicación de estudios nacionales e internacio- nales de evaluación. a) El origen social de los estudiantes La necesidad de tener en cuenta el origen social de los estudiantes ha sido tradicionalmente destacada en la investigación educativa. Se tra- ta de una exigencia que deriva de dos hechos complementarios: la necesidad de considerar la existencia de clases o categorías sociales y el reconocimiento de que el origen social influye sobre los resultados educativos. Como es sabido, la posición social de una per- sona viene condicionada por varios elementos, entre los cuales cabe destacar los siguientes: • su ocupación, que hace referencia tanto a la posición profesional que ocupa como a su situación laboral concreta; • su situación económica, que incluye sus propiedades, fuentes de renta y posibilida- des de acceso a diversos tipos de bienes; • los estudios cursados. El contexto social de un estudiante viene mar- cado por la posición social, profesional y econó- mica de sus padres y, eventualmente, de otros familiares con quienes conviva. En consecuen- cia, la determinación del origen social de los estudiantes suele hacerse a través del estudio de las características sociales de sus respectivas familias. Son numerosos los estudios que han puesto de relieve la relación que posee el origen social de los estudiantes con sus resultados edu- cativos. Si bien no se puede interpretar que exis- ta una correspondencia unívoca, la investiga- ción ha demostrado la presencia de una relación Alejandro Tiana Ferrer 20 • Bordón 64 (2), 2012, 15-28 17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 20
  • 7. manifiesta entre ambas variables. Es precisa- mente la existencia de dicha relación lo que ava- la la necesidad de considerar esa variable a la hora de interpretar los estudios de evaluación. Esta consideración está en la base de la utiliza- ción de metodologías complejas como las aplica- das para determinar el valor añadido por los cen- tros a los resultados de los estudiantes (Thomas, 1998). Aunque en la actualidad se utilizan dis- tintos modelos para calcularlo, todos ellos com- binan dos elementos fundamentales. El primero consiste en tomar en consideración la posición y el origen social de los estudiantes, lo que per- mite comparar los resultados obtenidos con los que cabría esperar estadísticamente en función de las características del alumnado. Es el mode- lo que se utilizó en los años noventa para evaluar la eficacia de los liceos franceses (DEP, 1994). El segundo consiste en comparar el resultado obte- nido en dos momentos diferentes, lo que permi- te valorar el progreso realizado. Los resultados más interesantes derivados de la aplicación de estas técnicas se consiguen acercando la escala de análisis al tamaño del centro docente, aunque hay que tener en cuenta que este tipo de aproxi- mación no siempre resulta factible. b) El medio sociocultural El origen social hace referencia a una dimensión muy importante, pero muchos estudios e inves- tigaciones han subrayado que el nivel socioeco- nómico no llega a explicar por sí solo las diferen- cias de rendimiento encontradas y que se debe tomar en consideración otro conjunto de indica- dores. Pueden citarse como ejemplo los trabajos de Basil Bernstein relativos a los códigos lingüís- ticos o los de Pierre Bourdieu y Jean-Claude Passeron acerca del denominado capital cultural, que se adquiere a través de la escolarización y constituye una de las claves de la reproducción social. Esta llamada de atención concuerda asimismo con un fenómeno muchas veces observado por los sociólogos, que consiste en la importancia concedida por las familias de clase media y media-alta a la educación de sus hijos, como medio de suplir la carencia de otro tipo de capi- tal que les asegure la reproducción social. Esa actitud determina la aparición de unas actitu- des más positivas hacia los bienes educativos que entre otros grupos sociales, lo que suele favorecer la construcción de entornos cultura- les ricos, capaces de ofrecer estímulos numero- sos y variados. Ese conjunto de circunstancias produce habitualmente unas mayores expecta- tivas de continuación de estudios de los hijos, un mayor interés por su éxito académico y una mayor implicación en las tareas escolares, lo que suele redundar en mejores resultados. Ese fenómeno ha sido bien analizado en algu- nos estudios de evaluación de ámbito nacional. Así, por ejemplo, en la evaluación de la enton- ces nueva educación primaria que se llevó a ca- bo en España en 1995 se aprovechó la ocasión para construir dos índices complementarios y parcialmente coincidentes, a partir de algu- nas variables extrínsecas como las que aquí se mencionan. El primero fue el índice socioeco- nómico, compuesto por variables relativas a la profesión de los padres y la posesión familiar de bienes materiales. El segundo fue el índice sociocultural, compuesto por variables relativas a los estudios y la profesión de los padres, más otras referidas a las expectativas educativas para los hijos y el acceso a algunos bienes cul- turales básicos (como libros, diccionarios u or- denador). Los análisis estadísticos realizados demostraron que la relación del segundo índice con los resultados logrados por los alumnos era claramente mayor que la del primero, lo que avala la importancia que poseen y el carácter predictivo que tienen las variables de tipo edu- cativo y cultural por encima de las estrictamen- te económicas (INCE, 1996). Dicho de otro mo- do, el grado de riqueza material de la familia parece influir menos en los resultados académi- cos de los hijos que la riqueza del entorno edu- cativo y cultural, lo que además concuerda con nuestra experiencia cotidiana. Analizar el contexto para obtener el máximo beneficio de la evaluación Bordón 64 (2), 2012, 15-28 • 21 17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 21
  • 8. Para la aplicación de esas conclusiones, los cues- tionarios para las familias o los alumnos que acompañan a los recientes estudios españoles de evaluación, al igual que los del proyecto PISA, incluyen preguntas acerca de aspectos tales como el número de libros disponibles en el hogar, la posesión de ordenador o dicciona- rios, el nivel educativo de los padres o las expec- tativas académicas hacia los hijos. La combina- ción de estas variables culturales con otras más clásicas como los bienes materiales en el hogar o la situación laboral de los progenitores eleva considerablemente el porcentaje explicado de la varianza, por lo que su uso se ha convertido en una práctica habitual. Hoy en día es habitual combinar estos dos facto- res, relativos al medio socioeconómico y cultu- ral, dando así lugar a análisis de mayor comple- jidad. Es, por ejemplo, el tipo de aproximación que sigue el estudio PISA para calcular el Índice Socio-Económico y Cultural (ISEC), que permi- te llevar a cabo interesantes análisis acerca de la equidad de la educación, ya que permite estimar la correlación que existe entre el origen y la posi- ción social de los estudiantes y sus resultados escolares (OECD, 2001, 2004, 2007 y 2010). c) El hábitat o medio de residencia Descendiendo a un nivel más concreto, las per- sonas no solo están condicionadas por su ori- gen social y su medio sociocultural, sino tam- bién por factores más cercanos a su vida cotidiana, como el ambiente social en el que viven, donde desarrollan múltiples interaccio- nes. El lugar de residencia o el hábitat han sido incluidos muchas veces entre las variables que inciden en el rendimiento educativo, aunque en la práctica no resulta sencillo determinar su efecto. Es fácil entender que así suceda, pues a la hora de hablar de la influencia del hábitat se puede distinguir entre algunas variables externas (localización de la residencia, tamaño de la po- blación) y otras internas (ambiente de relacio- nes, riqueza cultural, oportunidades de desarrollo personal) y el análisis de estas últimas desem- boca enseguida en el estudio de las posiciones sociales o del medio sociocultural, cuyo impac- to en el rendimiento es más claro. Así pues, este factor del contexto resulta más sugerente a primera vista de lo que realmente suele aportar al análisis de los resultados educati- vos. Su efecto es indirecto y matizado y, en con- secuencia, no debe extrañar que tienda a utilizar- se solamente cuando no resulta sencillo recurrir a otras variables contextuales más determinantes. d) La estructura y el clima familiar Avanzando en el análisis, encontramos un con- junto de variables relativas a las características del núcleo familiar. El estudio de la incidencia de dichas variables sobre el rendimiento educa- tivo ha llamado la atención de los investigado- res desde hace tiempo. Sin duda, el reconoci- miento de que la escolarización es un proceso de socialización secundaria, que se desarrolla de forma paralela a los procesos de socializa- ción primaria que tienen lugar en el ámbito familiar, ha contribuido a atraer la atención sobre la conexión que existe entre ambos. La estructura familiar ha sido un primer factor analizado, desglosándose en tres variables complementarias: el tamaño de la familia, que viene determinado por el número de ascen- dientes y descendientes que conviven en el hogar; el orden de nacimiento de los hijos y el lugar concreto que ocupa cada uno de ellos; y el intervalo de tiempo transcurrido entre los nacimientos de dos hijos consecutivos. Al igual que se mencionaba en el apartado anterior, tampoco han dado mucho fruto los estudios que han intentado poner en relación estos ele- mentos con los resultados educativos. Los in- vestigadores han encontrado una mayor rela- ción con las consecuencias que la estructura familiar produce sobre los hijos, como las cir- cunstancias que disminuyen la interacción entre padres e hijos, o que infantilizan el ambiente Alejandro Tiana Ferrer 22 • Bordón 64 (2), 2012, 15-28 17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 22
  • 9. doméstico. Estas constelaciones de variables, tomadas en conjunto, producen mayor efecto que la simple consideración de la estructura familiar. Como algunos investigadores han puesto de manifiesto, el «nivel intelectual abso- luto» de los miembros de una familia parece constituir un factor influyente en los resulta- dos escolares (Zajonc y Markus, 1975), en rela- ción con variables tales como el tamaño fami- liar y el espaciamiento de los hijos. Un segundo factor sobre el que se ha puesto el acento se refiere a la incidencia del ambiente o clima familiar sobre la educación de los hijos, lo que tiene que ver con la fluidez de relacio- nes, la vertebración de la vida familiar, la satis- facción con las relaciones existentes o el clima afectivo. Se trata de variables cuya incidencia ha sido repetidamente puesta de manifiesto por la psicología clínica, pero que no son fáciles de utilizar en estudios empíricos. Más sencillas de estudiar resultan otras variables, como las acti- tudes de los padres hacia la educación de sus hijos o las expectativas generadas acerca de su éxito escolar. También se han tenido en cuenta el grado de información de los padres acerca de la educación de sus hijos o la implicación en sus estudios. Aunque todas ellas son variables que guardan relación con los resultados, su incidencia no es siempre fácil de determinar ni sus efectos tienen una interpretación sencilla. e) La composición social del centro El contexto en que se desenvuelven los estudian- tes no está solamente constituido por el entorno familiar, sino también por el escolar, lo que ha llevado a tomar en consideración algunas varia- bles relativas al contexto del centro docente. Entre las variables relativas al contexto escolar, dejando al margen los procesos de aula y de cen- tro, con los que existen fronteras imprecisas, la que ha adquirido más relieve se refiere a su com- posición social. El análisis de la influencia del contexto sociocultural en los resultados de un es- tudiante determinado no puede tener solamente en cuenta su origen social y familiar. Hoy sabe- mos que la composición social del centro tam- bién afecta a su rendimiento. Por ese motivo, se debe considerar lo que algunos autores han denominado el efecto composicional del centro, calculado generalmente a partir de variables relativas al origen social del conjunto de su alumnado. En los casos en que no puede cal- cularse directamente con exactitud suficiente, se suelen utilizar otras variables indirectas tales como la ubicación del centro o el porcentaje de estudiantes becarios o que reciben algún tipo de ayuda social (por ejemplo, en el Reino Unido, los que reciben comida gratuita). Además de estas últimas aproximaciones, tam- bién se han utilizado alternativamente otros datos relativos al contexto social del centro cuan- do no ha resultado posible obtener información directa acerca del origen social del alumnado. Si bien la obtención de datos directos permite llevar a cabo análisis estadísticos más completos y sofis- ticados, esta aproximación sustitutiva se ha utili- zado en ausencia de otra posibilidad. Finalmente, hay que mencionar otra variable relevante del contexto escolar, relativa a la titula- ridad (pública o privada) del centro. Se trata de una circunstancia que admite interpretaciones diferentes en los diversos sistemas educativos, pues tanto las dimensiones de ambos sectores como los tipos concretos de escuelas varían con- siderablemente de unos a otros. Por lo tanto, si bien se trata de una variable que reviste induda- ble interés, hay que tratarla con precaución a la hora de analizar los resultados ofrecidos por los estudios comparativos internacionales. Utilizando los datos del contexto para explicar los resultados: dos ejemplos y algunas reflexiones finales Como se afirmaba más arriba, las variables de contexto realizan una contribución muy valio- sa a la hora de explicar los resultados obtenidos en los estudios de evaluación. El conocimiento Analizar el contexto para obtener el máximo beneficio de la evaluación Bordón 64 (2), 2012, 15-28 • 23 17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 23
  • 10. y la valoración de los resultados de los estu- diantes se consideran hoy indispensables con vistas a mejorar la calidad y el rendimiento de la educación, pero la contribución de dichos estudios a la construcción de políticas educati- vas será aún mayor en la medida en que seamos capaces de identificar los factores que los deter- minan y explicar su influencia. Por ese motivo, los promotores de los estudios nacionales e in- ternacionales de evaluación realizan notables esfuerzos para diseñar instrumentos que permi- tan recopilar información relevante acerca del contexto de la educación y llevar a cabo análi- sis estadísticos que iluminen la relación que este tiene con los resultados de los estudiantes. Pero también se ha apuntado la discrepancia que existe entre las promesas apuntadas por este tipo de análisis y los frutos efectivamente recolecta- dos: mientras que aquellas suelen ser generosas, estos resultan ser más limitados. En consecuen- cia, merece la pena detenerse en algunos ejem- plos concretos de análisis de los resultados a par- tir de datos del contexto, para ver cómo se llevan a cabo en la práctica esos intentos de explicación. Para abordar ese asunto se han seleccionado dos ejemplos de especial interés en el momento actual y en nuestro entorno educativo y cultural. El primero consiste en el uso que hace el estudio PISA de la información de contexto con el fin de valorar el grado de equidad de los sistemas edu- cativos. El segundo consiste en la determinación de algunos factores que inciden en los aprendiza- jes de los estudiantes, llevada a cabo en el Segun- do Estudio Regional Comparativo y Explicativo (SERCE) promovido por el Laboratorio Latinoa- mericano de Evaluación de la Calidad de la Edu- cación (LLECE). Aunque dichos análisis sean necesariamente sintéticos, espero que contribu- yan a clarificar las ideas expuestas. a) El análisis de la equidad en PISA Una de las contribuciones más interesantes que ha realizado el estudio PISA tiene que ver con el análisis de la equidad de los sistemas educa- tivos. Como es bien sabido, PISA es un estudio que mide los resultados obtenidos por los jóve- nes de 15 años de edad, independientemente del curso en que se encuentren, en tres habili- dades (skills) o competencias claves: compren- sión lectora, competencia científica y compe- tencia matemática. Las conocidas tablas que recogen los resultados comparativos entre paí- ses, bien se trate de datos brutos o escalas de logro, tienen una enorme difusión y son refe- rencia habitual en los medios de comunicación y en el discurso pedagógico. Pero PISA ha rea- lizado otra contribución muy valiosa, no siem- pre suficientemente resaltada, que se refiere al estudio del grado de equidad de los resultados que consiguen los sistemas educativos (OECD, 2001, 2004, 2007 y 2010). El análisis de la equidad se lleva a cabo por medio de diferentes aproximaciones. La más sencilla consiste en el estudio de la distribución y dispersión de las puntuaciones obtenidas por los estudiantes. Se trata de un procedimiento bastante elemental, que permite apreciar el gra- do de concentración de los resultados en torno a algún punto de la escala. Es cierto que así se puede realizar una primera estimación de la equidad, pero todavía de forma muy trivial, puesto que podría interpretarse como equidad lo que no es sino una simple concentración de puntuaciones. Un segundo procedimiento, mucho más refina- do y de mayor interés, consiste en estudiar la relación existente entre las condiciones socioe- conómicas y culturales de los estudiantes eva- luados y los resultados que obtienen en las pruebas. Se trata de un análisis mucho más fino y significativo, pues apunta a la relación que existe entre la categoría socioeconómica y cul- tural y los resultados educativos. Como se indi- caba más arriba, con el fin de emprender dicho estudio PISA ha construido un Índice Socio-Eco- nómico y Cultural (ISEC), que se calcula a par- tir de los datos aportados por los propios estu- diantes. El procedimiento es preciso y fiable, Alejandro Tiana Ferrer 24 • Bordón 64 (2), 2012, 15-28 17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 24
  • 11. puesto que no se basa en estimaciones sino en datos individuales. Aplicando ese procedimiento, PISA ha compro- bado nuevamente el hecho bien conocido de que el rendimiento educativo de los jóvenes está rela- cionado de manera muy directa con el estatus socioeconómico y cultural de sus familias. Pero además de constatar la existencia de tal relación, ha aportado un análisis detallado acerca de la intensidad de la misma. Para ello ha recurrido al cálculo de un gradiente que permite visualizar el tipo concreto de relación que se establece entre el ISEC y las puntuaciones de los estudiantes. Sin entrar en grandes detalles, que están por otra par- te perfectamente descritos en las publicaciones resultantes de las sucesivas aplicaciones de PISA, cuanto más horizontal aparezca dibujada la línea resultante, más equidad se podrá atribuir al co- rrespondiente sistema educativo. El estudio que PISA realiza de la equidad de- muestra a la perfección la riqueza y el interés del análisis de los resultados que puede realizarse utilizando algunas variables contextuales, en este caso las relativas al entorno socioeconómico y cultural de los estudiantes. Las conclusiones extraídas van bastante más allá de la medición del grado de adquisición de las tres competen- cias mencionadas y la identificación de sus prin- cipales puntos débiles. Por una parte, el análisis pone en conexión los resultados obtenidos por cada país con las condiciones socioeconómicas y culturales de su población, permitiendo así una comparación internacional más justa. Por otra parte, ofrece la posibilidad de diseñar polí- ticas educativas que combinen la dimensión de la calidad con la de equidad, teniendo en cuen- ta que las dos se consideran hoy indisociables. b) El análisis de los factores contextuales en SERCE Un segundo ejemplo de utilización de datos de contexto para explicar los resultados de la eva- luación se encuentra en el Segundo Estudio Regional Comparativo y Explicativo (SERCE), promovido por el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) en el seno de la Oficina Regional de Educación para América Latina y el Caribe (UNESCO-OREALC). En este caso estamos ante un tipo de estudio más habitual, que no se diferencia excesivamente de otras iniciativas similares, tanto nacionales como internaciona- les (UNESCO-OREALC, 2008). El modelo aplicado para diseñar el estudio y ana- lizar posteriormente sus resultados es el CIPP (contexto-insumo-proceso-producto), que asu- me entre otras cosas que el aprendizaje está me- diado por el contexto socioeconómico y cultu- ral de los estudiantes y por la ubicación de los centros educativos. De acuerdo con ese supues- to de partida, la evaluación incluyó unos cues- tionarios adicionales de contexto, con la inten- ción de reunir, entre otros, datos acerca del contexto socioeconómico y cultural de los estu- diantes. La información recibida permitió llevar a cabo diversos análisis acerca de los factores aso- ciados al rendimiento que inciden en el apren- dizaje de los estudiantes, que fueron poste- riormente publicados y difundidos (UNESCO- OREALC, 2010). Entre las conclusiones alcanzadas, los autores del estudio señalan que el contexto educativo del hogar (caracterizado por la educación reci- bida por los padres y las prácticas desarrolladas en el hogar para facilitar la escolarización de los hijos) es una variable significativa en el 84% de los países participantes. A su vez, el contexto educativo del hogar promediado por escuela resulta ser la variable más consistente en rela- ción con el aprendizaje. Se trata de resultados que son coherentes con los obtenidos por la investigación socioeducativa tradicional. Entre las variables que el estudio asocia negativamen- te con el aprendizaje destacan el trabajo infan- til (que afecta a un 9% de los estudiantes lati- noamericanos evaluados) y la pertenencia a un grupo indígena (ampliamente asociada a una desventaja social que se manifiesta en diversos Analizar el contexto para obtener el máximo beneficio de la evaluación Bordón 64 (2), 2012, 15-28 • 25 17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 25
  • 12. Notas 1 Se puede encontrar una información más amplia acerca de la IEA y los estudios que desarrolla en su página web (www.iea.nl). Referencias bibliográficas ÁLVARO, M. et al. (1990). Hacia un modelo causal del rendimiento académico. Madrid: Ministerio de Educación y Cien- cia – Centro de Investigación, Documentación y Evaluación. BADÍA, P. y VIEITES, M. (coords.) (2011). Evaluación, resultados escolares y sistemas educativos. Análisis y alternativas. Las Rozas: Wolters Kluwer. DEP (1994): Trois indicateurs de performance des lycées, Baccalauréat 1993, Résultats lycée par lycée. Paris: Ministère de l’Education nationale – Direction de l’Evaluation et de la Prospective (2 tomos). HOUSE, E. R. (1993). Professional Evaluation. Social Impact and Political Consequences. Newbury Park, London & New Delhi: SAGE. ámbitos). El análisis realizado permite concluir que los resultados medios de las escuelas están claramente relacionados con el índice socioeco- nómico y cultural promedio de las mismas, si bien hay que destacar que algunas de ellas con- siguen resultados superiores o inferiores a los que cabría esperar teniendo simplemente en cuenta la posición social de su alumnado. Si bien el estudio SERCE se ha esforzado nota- blemente por identificar los factores que in- ciden en los aprendizajes de los estudiantes y por cuantificar su efecto, lo cierto es que las aportaciones que ha conseguido realizar no van mucho más allá de las conclusiones de otros estudios similares nacionales o interna- cionales. En todos ellos es una práctica habi- tual incluir cuestionarios de contexto familiar, así como otros cuestionarios dirigidos al pro- fesorado o a los equipos directivos de los cen- tros participantes. Pero, si bien la explicación de los resultados en función del contexto socioeconómico y cultural resulta convincen- te, las conclusiones que aportan en otros órde- nes no suelen resultar tan determinantes. Estamos ante un tipo de estudios que no lle- gan a proporcionar orientaciones rigurosas para la construcción de políticas educativas, debido a diversas razones, algunas de las cua- les son presentadas en otros trabajos de este monográfico. Estos dos ejemplos ponen de manifiesto que existen instrumentos, técnicas y métodos ade- cuados para llevar a cabo análisis fructíferos de la incidencia del contexto sobre los resultados logrados por los estudiantes. El estudio de la equidad a partir de los datos de PISA demues- tra que la formulación precisa de una pregunta bien planteada y suficientemente específica, junto con una correcta selección, recogida y tratamiento de los datos necesarios, permite obtener respuestas convincentes y así orientar la acción y la construcción de políticas. Pero también demuestra que hoy por hoy no resul- ta razonable esperar conclusiones incontesta- bles de la mayor parte de los estudios de eva- luación que realizamos. La impresión que queda al final es que tenemos más dudas que certezas. Es indudable que encontramos expli- caciones a los resultados logrados por los estu- diantes, pero sin poder llegar a explicar convin- centemente y con rigor el rendimiento de la educación. Alejandro Tiana Ferrer 26 • Bordón 64 (2), 2012, 15-28 17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 26
  • 13. HUTMACHER, W., COCHRANE, D. y BOTTANI, N. (eds.) (2001). In Pursuit of Equity in Education. Using International Indi- cators to Compare Equity Policies. Dordrecht, Boston & London: Kluwer Academic Publishers. INCE (1996). Evaluación de la Educación Primaria. Informe preliminar. Madrid: Instituto Nacional de Calidad y Eva- luación (documento policopiado). MARCHESI, A. y MARTÍN, E. (1998). Calidad de la enseñanza en tiempos de cambio. Madrid: Alianza Editorial. OECD (2001). Knowledge and Skills for Life. First Results from PISA 2000. Paris: OECD. OECD (2004). Learning for Tomorrow’s World. First results from PISA 2003. Paris: OECD. OECD (2007). PISA 2006. Science Competencies for Tomorrow’s World. (2 vols.). Paris: OECD. OECD (2010). PISA 2009 Results: Overcoming Social Background – Equity in Learning Opportunities and Outcomes (vol. II). Paris: OECD. PURVES, A. (1993). The World as an Educational Laboratory. En HAYES, W. A. (ed.), IEA Activities, Institutions and Peo- ple. IEA Guidebook 1993-1994. The Hague: IEA, 57-64. THOMAS, S. (1998). Medir el valor añadido de la eficacia de las escuelas en el Reino Unido. Perspectivas, 28 (1),101- 122. TIANA, A. (1996): La evaluación de los sistemas educativos. Revista Iberoamericana de Educación, 10, 37-61. TIANA, A. (2001). Le monde comme laboratoire éducatif. Politiques d’éducation et de formation. Analyses et comparai- sons internationales, 2001/3, 47-57. TIANA, A. (2003). Pilotage par les résultats et amélioration de l’éducation: deux réalités indissociables?. Administra- tion et Éducation, 98, 19-29. TIANA, A. (2010). En búsqueda de la explicación de los resultados educativos: posibilidades y limitaciones de los estu- dios internacionales de evaluación. Gestión y Análisis de Políticas Públicas, 3, 35-65. TIANA, A. (2011). Experiencing the World as an Educational Laboratory. En PAPANASTASIOU, C., PLOMP, T. y PAPANAS- TASIOU, E. C. (eds.). IEA 1958-2008: 50 years of experiences and memories. Nicosia: Cultural Center of the Kykkos Monastery, 2, 557-575. UNESCO-OREALC. (2008). Los aprendizajes de los estudiantes de América Latina y el Caribe. Primer reporte de los resultados del Segundo Estudio Regional Comparativo y Explicativo (SERCE). Santiago: Oficina Regional de Educa- ción para América Latina y el Caribe de la UNESCO, Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación. UNESCO-OREALC. (2010). Factores asociados al logro cognitivo de los estudiantes en América Latina y el Caribe. San- tiago: Oficina Regional de Educación para América Latina y el Caribe de la UNESCO, Laboratorio Latinoameri- cano de Evaluación de la Calidad de la Educación. ZAJONC, R. B. y MARKUS, G. (1975). Birth order and intelectual development. Psychological Review, 82, 74-88. Abstract Analyzing context so as to optimize the benefits of assessment Education and training has become an outstanding object of evaluation in the last two decades. A number of national and international initiatives have been developed with this aim. In this context, large-scale studies oriented to assess achievement by measuring students’ outcomes should be underlined. Improvement of education implies moving forward from just measuring student’s learning to explaining outcomes, which implies the need to identify the main factors related to results. This paper deals with the analysis of contextual factors, starting by underlining how important is taking them into account. Contextual factors are then differentiated from input and process ones and their main variables are identified. Finally, some examples are presented and discussed of analyses establishing relationships between contextual factors and students’ outcomes. Analizar el contexto para obtener el máximo beneficio de la evaluación Bordón 64 (2), 2012, 15-28 • 27 17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 27
  • 14. Reflections carried out in this work are based on input from international studies, such as those developed by the IEA (TIMSS, PIRLS…), the OECD (PISA project), or the Laboratory Latin American of evaluation of the education quality (LLECE), in its second study Regional comparative and explanatory (SERCE), among others. Key words: Achievement assessment, Education system evaluation, Context analysis, Large-scale evaluation studies, Educational outcomes’ explanation. Résumé Analyser le contexte pour obtenir un maximum profit de l’évaluation L’éducation et la formation sont devenues un important facteur d’évaluation au cours des deux dernières décennies, quand un grand nombre d’initiatives nationales et internationales ce sont développées à cet effet. Parmi ces initiatives se trouvent les études orientées vers l’évaluation de la performance des systèmes éducatifs à travers des résultats obtenus par les étudiants. L’amélioration de l’éducation pose la question de la nécessité non seulement de mesurer ces résultats, mais de les expliquer correctement. En plus, mener à bien une telle explication implique identifier les principaux facteurs qui sont liés aux résultats. Ce travail confronte l’analyse des facteurs relatifs au contexte. Il commence par souligner l’importance de les prendre en compte. Ensuite, les facteurs contextuels d’entrée sont différentiés de ceux de procès et leurs principales variables sont identifiées. Finalement, nous présentons et discutons quelques exemples d’analyses effectuées en reliant les facteurs contextuels avec les résultats des étudiants. Les réflexions que nous faisons dans cet article se basent sur les contributions de différentes études internationales, telles que ceux développées par l’IEA (TIMSS, PIRLS…), l’OCDE (PISA), ou le Laboratoire Latino-américain d’Évaluation de la Qualité de l’Éducation (LLECE), dans son Deuxième Étude Régionale Comparative et Explicative (SERCE), entre autres. Mots clés: Évaluation de la performance, Évaluations des systèmes éducatifs, Analyse du contexte, Etudes d’évaluation à grande échelle, Explication des résultats de l’éducation. Perfil profesional del autor Alejandro Tiana Ferrer Catedrático de Teoría e Historia de la Educación en la Universidad Nacional de Educación a Dis- tancia (UNED) y director del Centro de Altos Estudios Universitarios de la Organización de Esta- dos Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI). Entre los años 2004 y 2008 desempeñó el cargo de secretario general de Educación en el Ministerio de Educación y Ciencia de España. Correo electrónico: atiana@edu.uned.es Alejandro Tiana Ferrer 28 • Bordón 64 (2), 2012, 15-28 17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 28
  • 15. Introducción La Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA) ha organizado y desarrollado estudios internacionales compa- rativos desde hace más de 50 años. La IEA reci- bió fondos inicialmente de la UNESCO a fin de financiar estudios internacionales comparati- vos y a su vez los países participantes en estos estudios contribuyeron cubriendo parte de los costos nacionales, así como costos de la coordi- nación internacional. Durante la trayectoria de existencia de la IEA, han sido muchos los estudios que ha realizado y estos han generado un tesoro de información en el campo de la educación internacional com- parada. Estos estudios internacionales son bien conocidos por proporcionar resultados del ren- dimiento de las naciones participantes en las áreas escolares de las matemáticas, ciencias, lec- tura, conocimientos cívicos, etc. El tipo de infor- mación proporcionada incluye, pero no se limi- ta, al ordenamiento de las naciones en base a sus resultados en la prueba académica. Desplegar un CUESTIONARIOS DE CONTEXTO EN LOS ESTUDIOS DE LA IEA Background questionnaires in IEA studies EUGENIO J. GONZÁLEZ NAGEL Asesor estratégico de la IEA Durante los últimos 50 años la Asociación Internacional para la Evaluación del Rendimiento Edu- cativo (IEA, por sus siglas en holandés) ha diseñado y llevado a cabo estudios comparativos en educación. El objetivo de estos estudios es recoger información que permita identificar elemen- tos clave de calidad en la educación, a través de la comparación de los sistemas educativos de diversos países. Estos estudios se han realizado en las áreas de matemáticas, ciencias, lectura y educación cívica y ciudadanía, entre otras. Algunos de estos estudios (matemáticas, ciencias, lec- tura) se han realizado de forma periódica, de modo que permiten analizar tendencias en la evo- lución de los sistemas educativos de los países. Cada uno de estos estudios ha consistido en una prueba que mide el rendimiento académico en el área de interés. De igual forma que se ha reali- zado en otros proyectos de evaluación de sistemas educativos, en los estudios de la IEA estas pruebas han ido acompañadas de cuestionarios de contexto que son aplicados a los alumnos, sus maestros, los directores de las escuelas en las que estudian y, en algunos casos, sus padres. Este artículo presenta una descripción breve de estos cuestionarios de contexto, su propósito, sus posibles usos y algunas advertencias que hay que tener en cuenta en el momento de utilizar la información recabada con estos cuestionarios. Palabras clave: TIMSS, PIRLS, ICCS, IEA, Cuestionarios de contexto. Bordón 64 (2), 2012, 29-39, ISSN: 0210-5934 • 29Fecha de recepción: 30-1-2012 • Fecha de aceptación: 19-3-2012 17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 29