1. Rodolfo Bonifaz Suárez
21 de noviembre de 2015
Congreso Internacional de EducaciónAprendo
Santo Domingo, República Dominicana
2. 1. El contexto para la evaluación docente en
nuestra región
2. Necesidad de un sistema de Evaluación del
Desempeño Docente
3. Características deseables de una buena
evaluación docente.
4. A modo de conclusión
3.
4. En 1960, menos del 10% de los niños completaba la
educación secundaria en América Latina y el Caribe.
Hoy la mayoría de nuestros países ha alcanzado la
universalidad en la finalización de la escuela primaria y
elevadas tasas de escolarización secundaria. En 1960, el
promedio de años de escolarización para los trabajadores de
la región era de cuatro años, apenas por encima de la mitad
del nivel de los trabajadores de la OCDE. Hoy ambos
promedios convergen en torno a los 12 años.
Sin embargo, lo que importa no son los años de
escolarización que completan nuestros estudiantes, sino lo
que verdaderamente aprenden.
5. Fuente: Hanushek, Peterson yWoessmann, 2012.
Nota: Este gráfico compara la tasa de crecimiento anual promedio (en porcentaje) del PIB real per cápita en el período 1960-
2000 (ajustado en función del nivel inicial del PIB per cápita en 1960) con los puntajes promedio extraídos de pruebas
internacionales realizadas a estudiantes en este período.
Códigos de región: SSAFR= África al sur del Sahara; LATAM=América Latina; ASIA=Asia; COMM= países del
Commonwealth miembros de la OCDE; EURO= Europa; MENA= Oriente Medio y Norte de África.
Prom.
OCDE
(494)
(397)
6. Fuentes: OCDE, 2013 y Banco Mundial.
Nota: PIB per cápita ajustado según la paridad del poder adquisitivo (PPA), en precios constantes de 2005.
Prom.
OCDE
(494)
(397)
7. Son mayoritariamente mujeres
Provienen de un origen socioeconómico inferior al de la
mayoría de otras profesiones
Elevados niveles de educación formal, pero con
desempeños insuficientes en mediciones de sus
habilidades y preparación.
8. Fuente: Bruns, B. & Luque, J. (2014). Profesores Excelentes. Como mejorar el aprendizaje en América Latina y
El Caribe.Washington D.C.: Grupos del Banco Mundial.
9. Son mayoritariamente mujeres
Provienen de un origen socioeconómico inferior al de la
mayoría de otras profesiones
Elevados niveles de educación formal, pero con
desempeños insuficientes en mediciones de sus
habilidades y preparación.
Perciben salarios inferiores al de otros profesionales
equivalentes (lo que incide en el atractivo de la
profesión docente)
Salarios presentan una trayectoria plana
Muestran mayor estabilidad laboral que otras
profesiones
10. Fuente: Análisis del Banco Mundial de las encuestas de hogares y los datos sobre el mercado laboral correspondientes
a 10 países de América Latina y elCaribe.
11. Fuente: Análisis del Banco Mundial de las encuestas de hogares y los datos sobre el mercado laboral
correspondientes a 10 países deAmérica Latina y el Caribe.
12. Son mayoritariamente mujeres
Provienen de un origen socioeconómico inferior al de la
mayoría de otras profesiones
Elevados niveles de educación formal, pero con
desempeños insuficientes en mediciones de sus
habilidades y preparación.
Perciben salarios inferiores al de otros profesionales
equivalentes (lo que incide en el atractivo de la
profesión docente)
Salarios presentan una trayectoria plana
Muestran mayor estabilidad laboral que otras
profesiones
13. Vegas, E. & Umansky, I. (2005) Mejorar la enseñanza y el aprendizaje por medio de incentivos. ¿Qué lecciones nos entregan
las reformas educativas de América Latina?Washington D.C.: Grupos del Banco mundial.
16. Son mayoritariamente mujeres
Provienen de un origen socioeconómico inferior al de la
mayoría de otras profesiones
Elevados niveles de educación formal, pero con
desempeños insuficientes en mediciones de sus
habilidades y preparación.
Perciben salarios inferiores al de otros profesionales
equivalentes (lo que incide en el atractivo de la
profesión docente)
Salarios presentan una trayectoria plana
Muestran mayor estabilidad laboral que otras
profesiones
17. La misión de ayudar a los
niños y las satisfacciones que
acarrean el desarrollo de las
habilidades profesionales.
Vacaciones más extensas.
Horario de trabajo oficial más
corto y conveniente para la
vida familiar.
Y la mayor estabilidad
laboral.
Estos atributos no pecuniarios
ayudan a compensar
parcialmente los incentivos
salariales relativamente débiles
que presenta la profesión.
18.
19. Varios países han hecho establecido o avanzado en la
creación de sistemas de evaluación docente:
Cuba, con el sistema más antiguo de la región
México, desde la década de 1990, ahora en una nueva
fase
Colombia, desde 2002, en proceso de revisión
Chile desde 2003
Perú, en proceso de instalación de un sistema
nacional, luego de aprobación de ley de carrera
docente
20. *En el 20% superior, **En el 20% inferior. El análisis de resultados de pruebas deTennessee demostró que la calidad
docente incidió sobre el desempeño de los alumnos más que cualquier otra variable; en promedio, dos estudiantes
con desempeño normal (percentil 50) experimentarían una diferencia superior a 50 puntos porcentuales a lo largo de
tres años en función del docente que se les asigne.
Fuente: Sanders & Rivers Cumulative and Residual Effects on Future StudentAcademicAchievement, McKinsey
21.
22. LAS 4 ETAPAS DE LA
ENSEÑANZA
(Kevin Ryan:The Induction of
NewTeachers, 1986)
1. Fantasía
2. Supervivencia
3. Dominio
4. Impacto
23. LAS 4 ETAPAS DE LA
ENSEÑANZA
(Kevin Ryan:The
Induction of New
Teachers, 1986)
1. Fantasía
2. Supervivencia
3. Dominio
4. Impacto
1. FANTASÍA
• Los profesores
principiantes creen que
son infalibles.
• Piensan que éxito =
relacionarse y ser amigo
de sus alumnos.
• Y que la enseñanza se
trata de actividades,
especialmente
actividades divertidas.
24. LAS 4 ETAPAS DE LA
ENSEÑANZA
(Kevin Ryan:The
Induction of New
Teachers, 1986)
1. Fantasía
2. Supervivencia
3. Dominio
4. Impacto
2. SUPERVIVENCIA
• En esta etapa los
profesores sólo quieren
pasar el día.
• Y pasan mucho tiempo
quejándose e inventando
excusas.
25. LAS 4 ETAPAS DE LA
ENSEÑANZA
(Kevin Ryan:The
Induction of New
Teachers, 1986)
1. Fantasía
2. Supervivencia
3. Dominio
4. Impacto
3. DOMINIO
• El profesor sabe como alcanzar
logros en los estudiantes,
mediante el empleo de
prácticas efectivas.
• Sabe como manejar su salón de
clases, domina lo que enseña y
tiene altas expectativas para
sus estudiantes.
• Son activos en su profesión,
asisten a conferencias
profesionales.
26. LAS 4 ETAPAS DE LA
ENSEÑANZA
(Kevin Ryan:The
Induction of New
Teachers, 1986)
1. Fantasía
2. Supervivencia
3. Dominio
4. Impacto
4. IMPACTO
• Son maestros efectivos que
provocan impacto en sus
estudiantes.
• Saben como llegar a sus
alumnos y abrirles la puerta
al aprendizaje .
• Usted ha llegado a ser
Maestro cuando alcance
esta etapa.
27. Los profesores deberían
progresar de la primera a la
cuarta fase. Lamentablemente,
en nuestra región muchos no
consiguen pasar de la segunda
fase.
La evaluación docente no es
condición suficiente pero si
condición necesaria para
promover, guiar y apoyar el
tránsito docente hacia las
etapas superiores de desarrollo
profesional.
LAS 4 ETAPAS DE LA
ENSEÑANZA
(Kevin Ryan:The Induction of
NewTeachers, 1986)
1. Fantasía
2. Supervivencia
3. Dominio
4. Impacto
28. LAS 4 ETAPAS DE LA
ENSEÑANZA
(Kevin Ryan:The Induction of
NewTeachers, 1986)
1. Fantasía
2. Supervivencia
3. Dominio
4. Impacto
29. Insatisfacción con la calidad de los sistemas educativos
promueve la búsqueda de nuevas soluciones para las
políticas educativas.
Evidencia sobre el rol de docentes y directivos renueva
el interés por políticas docentes que buscan identificar
su estado actual y potenciar su desarrollo.
Insatisfacción con reglas tradicionales de selección y
promoción en la carrera docente (basadas
preferentemente en antigüedad) lleva a valorar la
evaluación como un criterio más relevante para
decisiones de promoción y desarrollo.
30. Para resolver nudos centrales de la política docente:
selección inicial de docentes, promoción y desvinculación.
Para orientar desarrollo profesional
Mejoramiento de docentes que requieren apoyo
Reconocer y potenciar el rol de docentes de buen
desempeño (que además pueden contribuir al desarrollo de
sus pares)
Para incentivar y retener a los mejores docentes en el aula
Para identificar y difundir buenas prácticas
Para informar y fortalecer la toma de decisiones en políticas
docentes
Para validar la profesión docente ante la sociedad
31. El informe OECD sobre prácticas evaluativas identifica una
tensión central en los sistemas de evaluación asociado a sus
propósitos:
El propósito formativo busca la mejora del desempeño y el
desarrollo profesional. Requiere identificar fortalezas y
debilidades específicas para promover acciones formativas.
El propósito sumativo se focaliza en responsabilizar a los
docentes. Requiere diferenciar confiablemente niveles de
desempeño, y eventualmente asignar consecuencias
positivas o negativas.
32. Esta coexistencia fue asumida en el desarrollo del sistema de
evaluación docente chileno.
La experiencia ha demostrado la dificultad de asegurar
ambos propósitos en el mismo sistema.
La evaluación externa realizada por la OECD (2013) ratificó
esta dificultad, indicando que en la práctica el sistema
chileno mostraba más avance en su dimensión sumativa que
formativa.
Ello se demostraba especialmente en el insuficiente vínculo
entre evaluación y dispositivos formativos (Planes de
Superación Profesional).
33.
34. Limitada conciencia acerca de la necesidad de fundar la
Evaluación Docente en estándares de enseñanza.
Debilidades en los instrumentos de evaluación facilitaban la
inflación de puntajes.
Tiempos inadecuados y falta de capacitación para desarrollar
evaluaciones efectivas.
Dificultad para retroalimentar en forma precisa y creíble
sobre la efectividad docente.
Falta de relación entre Evaluación Docente y desarrollo
profesional
Poca consideración de los logros de los estudiantes e
ingenuidad acerca del uso de tal información para estimar la
efectividad docente.
35. La docencia es una actividad compleja
La coexistencia de múltiples objetivos en educación
El aprendizaje está siempre determinado por
múltiples causas
Todas las mediciones de resultados o desempeño
son incompletas (y tienen error de medición)
… Por tanto, aun poniendo los mejores esfuerzos
para hacerlo bien, no tendremos sistemas
perfectos.
36. Desarrollar una visión compartida de las metas
educacionales y de la buena enseñanza.
Los estándares proveen un lenguaje común para docentes y
directivos, lo que facilita el intercambio profesional
relacionado con la evaluación.
El rol de los estándares docentes:
Establecen lo que los docentes deben saber y ser capaces de hacer.
Focalizan a los docentes en esfuerzos pedagógicos más efectivos, lo
que promueve el aprendizaje.
Pueden identificar exigencias diferentes para distintas etapas de la
carrera profesional.
Y además sirven para orientar la evaluación docente.
37. Hay varios modelos: ¿con qué criterio se los elije?
Aunque es deseable que estén informados por el
conocimiento sobre la efectividad docente, son
principalmente modelos normativos.
No hay acuerdo en cuanto na diversos componentes de los
estándares:
Especificidad
Pertinencia a distintas etapas de la carrera
Necesidad de identificar niveles de desempeño (y
eventualmente rúbricas)
Y además en muchos grupos hay resistencia a la noción de
estándares.
38. El Marco para la Buena Enseñanza (2002) precedió y
facilitó la evaluación docente.
Se estableció mediante un proceso participativo,
luego del aporte de expertos (especialmente el de
Charlotte Danielson)
Produjo un acuerdo amplio, que incluyó al gremio.
Facilitó la evaluación docente al establecer un marco
explícito y ya previamente acordado sobre el cual
fundarla.
Sin el MBE difícilmente Chile tendría evaluación
docente.
39.
40. A petición del MINEDUC, a fines del 2013, la OCDE
emitió un informe sobre la evaluación docente en
Chile, recomendando entre otras materias:
“Actualizar el MBE y mejorar el entendimiento
del mismo por las partes interesadas”
Con dicho propósito hemos realizado una profunda
revisión participativa del MBE que nos permitido
redactar un nuevo Marco actualizado que esperamos
difundir y someter a una última etapa participativa a
partir de marzo del próximo año.
41. 1. A la fecha, hemos revisado los niveles de coherencia, articulación,
consistencia, claridad, relevancia y fundamentación de los 4 Dominios,
20 Criterios y 69 Descriptores establecidos en el MBE, a la luz de la
literatura nacional e internacional, considerando la opinión tanto de
docentes como de expertos en educación.
2. Se han creado niveles de logro para cada uno de los Criterios y
Descriptores del MBE que permitan orientar y mejorar el desempeño de
la práctica docente de acuerdo a los distintos contextos en que ella se
desarrolla.
3. Luego de corregir los problemas detectados, se presentó una propuesta
para su validación a nivel de actores relevantes de la comunidad
educacional de Chile, entre ellos se puede mencionar.
a) Profesores de distintas zonas del país, niveles y modalidades de
educación.
b) Profesionales del CPEIP.
c) Expertos nacionales e internacionales
42. La mayoría de los sistemas de evaluación docente
declaran fines formativos y sumativos.
Sin embargo, la experiencia indica que ambas
finalidades no se combinan fácilmente en un mismo
sistema o un mismo momento:
Además, es ampliamente conocido que las
evaluaciones con altas consecuencias inducen
comportamientos estratégicos y falseamiento de
información.
43. Desde sus inicios la evaluación docente chilena declaró su
intención de promover el desarrollo profesional, al tiempo
que servía de base para decisiones relevantes (incentivos y
posibilidad de desvinculación)
Los fines formativos se expresaban en el desarrollo de una
retroalimentación que promovía el desarrollo profesional y
en la oferta de planes de mejoramiento para profesores con
desempeño bajo el estándar
La evaluación de la OECD evidenció un desequilibrio en favor
de la dimensión sumativa, por lo que propuso complementar
la evaluación actual con dispositivos formativos eficaces.
45. Alternar años (o ciclos) en los que los profesores
enfrenten evaluaciones sumativas con otros en los que
someten a evaluaciones formativas (lo que admite el
uso de los mismos o distintos instrumentos en los ciclos
de cada tipo).
Desarrollar un sistema complementario de evaluación
formativa a nivel local (que puede poseer adaptaciones
contextuales), que se articula con una evaluación
sumativa a nivel nacional. En este caso es deseable que
ambas evaluaciones se basen en los mismos estándares.
46. Los debates acerca de las bondades y limitaciones
de diversos instrumentos y la evidencia han llevado
a la aceptación de que el mejor plan es incluir
múltiples evidencias, ojalá desde diversas fuentes.
Múltiples medidas mejoran el valor predictivo de la
evaluación y permiten compensar las limitaciones
de cada instrumento (en cuanto a su error de
medición y validez)
47. Evaluación de la preparación (conocimiento)
Pruebas
Viñetas, Análisis de situaciones
Evaluación de práctica en el aula
Observaciones de aula/filmación
Portafolio (y otros artefactos)
Encuestas (estudiantes, profesores)
Evaluación de práctica fuera del aula
Encuestas (pares, superiores, padres)
Efectividad de la enseñanza
Pruebas de estudiantes,Valor agregado
48. ¿De qué manera los combinamos? ¿un promedio
ponderado? ¿un patrón de resultados?
¿Qué significado tiene el resultado de combinar
varios instrumentos cuando la correlación entre
ellos es baja?
¿Cómo establecemos niveles de desempeño a partir
de la combinación de instrumentos?
49. Chile estableció un sistema de múltiples
evidencias medidas a partir del acuerdo
político que posibilitó la evaluación.
El acuerdo excluyó la evaluación de los
conocimientos docentes. Sin embargo,
un incentivo económico creado con
posterioridad, se basa en los resultados
de la evaluación, pero también
requiere la evaluación de
conocimientos.
La experiencia de más de una década
muestra que al menos uno de los
instrumentos de la ED no aporta
información (autoevaluación), y que el
involucramiento de los directores ha sido
limitado.
El portafolio permanece como el
instrumento más relevante, que aporta
información más rica y que mejor
correlaciona con logro de estudiantes.
Autoevaluación 10%
Informe de
Director y Jefe
Unidad Técnica
Pedagógica
10%
Entrevista por
un Evaluador
Par
20%
Portafolio
(planificación y
evaluación más
clase filmada)
60%
50.
51. Problemas de confiabilidad y validez:
Cuestionarios (como la autoevaluación o el informe de
directores), muestran alta consistencia interna (confiabilidad),
pero no diferencian suficientemente diferentes aspectos de la
enseñanza (problema de validez)
Con el portafolio y filmaciones de clase es difícil asegurar altos
niveles de consistencia entre evaluadores (especialmente
porque por razones de costo no se pueden emplear varias
filmaciones y varios evaluadores). Pero presenta un perfil
claramente diferenciado de las habilidades docentes y
correlaciona mejor con el desempeño de estudiantes (validez)
▪ Un 20% de los portafolios son corregidos por dos evaluadores
independientes. Esto permite monitorear la consistencia entre
evaluadores y reentrenar a evaluadores descalibrados.
53. La escasa tradición con sistemas de evaluación
docente y los enormes desafíos técnicos
relacionados con instrumentos complejos y
logísticos requieren una atención especial al
desarrollo de capacidades.
Esto hace recomendable que el inicio de este tipo de
sistemas se planifique en escalas compatibles con
los recursos existentes y avance gradualmente
hasta alcanzar una cobertura nacional.
54. Por razones políticas (no de diseño), la evaluación
chilena se inició en una muestra acotada de
comunas, y se concentró solo en docentes del
primer ciclo de primaria.
La evaluación se extendió a nivel nacional desde el
segundo año, pero avanzó gradualmente en niveles
y asignaturas.
Esto hizo posible desarrollar capacidades y hacer
ajustes al sistema.
55. El principal escollo para implementar sistemas de
evaluación docente es la resistencia que genera en
los gremios.
Un desarrollo participativo de la evaluación es el
mejor camino para abordar y aclarar las resistencias
a la evaluación. Al mismo tiempo ello asegura un
mínimo de sustento político para el proceso.
56. La negociación política entre el gremio docente, el
ministerio de educación y los empleadores
(municipios) duró casi 10 años, desembocando en
un acuerdo que fue ratificado en una consulta
nacional (con 67% de apoyo).
Pese a ello, han existido múltiples intentos por
detener la evaluación.
La discusión de la carrera docente ha reabierto el
debate por la evaluación docente.
57. En el actual estado de desarrollo de los sistemas de
evaluación, no es responsable avanzar sin asegurar
que generemos evidencia sistemática acerca de la
validez del sistema.
Además de los enfoques convencionales para su
validación, se debe prestar especial atención a la
validez consecuencial y a la detección de efectos
adversos.
58. Desde su creación, la evaluación docente ha sido
acompañada de un conjunto de estudios sobre su
validez que han abarcado:
Correlación con otras medidas de desempeño
(obtenidas en contextos sin consecuencias)
Correlación con desempeño de estudiantes
(incluyendo estimaciones de valor agregado)
Estudios de validez consecuencial.
59. La investigación usa diversos métodos para obtener
evidencia de las prácticas docentes:
Observaciones
Evaluación experta de muestras del trabajo de docentes y
estudiantes
Evaluación del conocimiento docente de la disciplina
Progreso del aprendizaje de los estudiantes
En progreso: estudio comparativo de docentes
calificados como básicos y competentes.
INSATISFACTORIO DESTACADO BÁSICO COMPETENTE
60. Nivel de
evaluación
positiva de
docentes
Puntaje
SIMCE
Grupo Socio
Económico
Nivel de
evaluación
positiva de
docentes
Puntaje
SIMCE
Grupo Socio
Económico
Los alumnos y alumnas que
tienen una mayor proporción
de profesores bien evaluados
obtienen mejores resultados.
* Los datos presentados corresponden a Matemática, no
obstante, los resultados son similares en Lenguaje.
61. Puntaje
SIMCE
Grupo Socio
Económico
Puntaje
SIMCE
Grupo Socio
Económico
* Los datos presentados corresponden a Matemática, no
obstante, los resultados son similares en Lenguaje.
Cursos con mayor proporción de
profesores bien evaluados
obtienen mejores resultados si
los docentes cuentan con
conocimiento de su disciplina.
62. Se empleó información de unos 150 profesores de
Lenguaje y Matemática que habían sido evaluados
en 2006 y cuyos estudiantes habían sido evaluados
con la prueba SIMCE en 2 ocasiones (2004 y 2006).
Se calculó el valor agregado por docente y luego se
correlacionó con los instrumentos de la evaluación
docente. Se obtuvieron correlaciones positivas con
el Portafolio (y ocasionalmente con el informe de
directores). Las relaciones son algo superiores en
matemática que en lenguaje.
63.
64. Ejemplos de estudios que han empleado videos de la
evaluación docente:
Estudios sobre patrones de enseñanza:
La docencia es relativamente tradicional, con un claro dominio
del profesor, quien guía actividades dirigidas al conjunto de
alumnos de la clase. Los estudiantes aparecen en un rol menos
activo.
Escasa presencia de interacciones que promuevan habilidades
cognitivas de orden superior o metacognición.
Diferencias de género en la enseñanza de las
matemáticas: asimetrías en la interacción en aulas
mixtas, que favorece a varones.
65.
66. No en esta etapa de la profesión docente en
nuestra región.
Al menos necesitamos un sistema de
evaluación que identifique con claridad
fortalezas y debilidades del desempeño que
deban ser abordadas en la formación inicial y
que orienten el desarrollo profesional.
67. Que esté fundado en estándares de
desempeño.
Estándares deben estar informados por la
investigación acerca de enseñanza y aprendizaje.
Estándares deben ser revisados en plazos
razonables (10 a 15 años)
68. Que incluya múltiples evidencias, donde un
componente central sea las prácticas en el aula (y
ojalá también fuera de ella).
Que reconozca la importancia de la preparación
docente (al menos en las primeras etapas del
desempeño).
Que considere el aprendizaje de los estudiantes.
Como un componente del sistema (a nivel individual o
agregado).
Como un criterio para validar el sistema.
69. Que articule aspectos formativos y sumativos (con
estándares comunes)
En esta etapa del desarrollo docente no se puede renunciar a ninguno
de estos fines.
La dimensión formativa requiere una especial preocupación por la
retroalimentación que recibe el docente.
En una primera etapa, mientras se desarrollan capacidades, lo más
razonable puede ser alternar ciclos formativos y sumativos (de un
mismo sistema).
En una etapa más avanzada se debe aspirar a complementar un
sistema común (nacional?) de carácter sumativo con uno local (con
adaptaciones al contexto) de carácter formativo.
En una etapa aun más avanzada (y lejana) probablemente podríamos
quedarnos con un sistema orientado a la mejora y el desarrollo.
70. Que el sistema sea diseñado y normado
legalmente de una manera que garantice que
pueda aprender de la experiencia
(especialmente mediante estudios de validez)
y de sus errores, y que pueda hacer ajustes
basados en dicho aprendizaje.