El documento aborda el monitoreo de los resultados de aprendizaje en el contexto de la Agenda 2030 y los Objetivos de Desarrollo Sostenible (ODS), destacando la necesidad de información sostenible a nivel local para mejorar políticas educativas. Se identifican desafíos en la evaluación nacional de aprendizaje y se discuten la influencia de la economía política en los resultados de las evaluaciones educativas. Finalmente, se proponen próximos pasos para garantizar un enfoque efectivo en la medición y mejora de la calidad educativa mediante el uso adecuado de datos.

1. UNESCOInstituteforStatistics
El Monitoreo de
los Resultados de Aprendizaje
Desafíos y Oportunidades en la
Agenda 2030
Silvia Montoya, PhD
Instituto de Evaluación, INEE
Madrid, España
3 de Julio, 2015

2. UNESCOInstituteforStatistics
Índice
 El contexto político: Objetivos de Desarrollo
Sostenible (ODS) y la agenda post-2015
 ¿Qué sabemos sobre evaluaciones nacionales
de aprendizaje?
 ¿Qué sabemos sobre la economía política de
las evaluaciones?
 El monitoreo de los resultados de aprendizaje
en los ODS
 Próximos pasos 2

3. UNESCOInstituteforStatistics
El IEU y el monitoreo de los
acuerdos internacionales
 Rol clave en el monitoreo de Educación Para Todos y
de los Objetivos de Desarrollo del Milenio
 El desafío para la agenda de desarrollo post-2015: los
Objetivos de Desarrollo ODS:
 Equidad, pobreza
 Incluyen más objetivos, metas e indicadores
 Nuevas áreas
3

4. UNESCOInstituteforStatistics
La agenda post-2015: los
Objetivos de Desarrollo Sostenible
 La agenda post-2015 reconoce de manera explícita
la pobreza, la inequidad, la seguridad alimentaria, la
sustentabilidad del medio ambiente y la
universalidad de los derechos humanos
 El desarrollo sostenible requiere información
sostenible
 Se necesita más información a nivel local para
contribuir con planeamiento e inversión
estratégicos, monitoreo y rendición de cuentas
 Cambio de paradigma: estadísticas nacionales sobre
desarrollo deben estar basadas en datos
subnacionales desagregados
4

5. UNESCOInstituteforStatistics
La agenda post-2015: Complejidades
en la era del big data
Información
inconsistente,
poco efectiva y
no interpretada
para la política
pública
Riesgo de
infobesidad:
información en
demasía,
dispersa y de
mala calidad
Medir
competencias
complejas de
una manera
estandarizada y
útil
Los hacedores
de política no
utilizan la
información
5

6. UNESCOInstituteforStatistics
La agenda post-2015: Desafíos
 Problemas diversos:
 Falta de uso de información para diseñar,
implementar y evaluar políticas
 Poco entendimiento de la información y su
utilización
 Falta de infraestructura y habilidad de equipos
técnicos dificulta que haya unidades de estadística
sustentables
6

7. UNESCOInstituteforStatistics
El alcance de los objetivos educativos
de los ODS
0-5 6-14 15-24 25+ Edades
Objetivo 4.3
Objetivo 4.6
Objetivo 4.4
Objetivo 4.2
Objetivo 4.5 EquidadTransversal
Medios de implementación Objetivos 4.8, 4.9 y 4.104.8,
4.9, 4.10
Objetivo 4.1
Objetivo 4.7

8. UNESCOInstituteforStatistics
Contexto – niveles de aprendizaje
 Preocupación creciente acerca de bajos niveles de
aprendizajes (a pesar de incrementar el acceso)
 Heterogeneidad en el uso de evaluaciones como
herramientas de planeamiento y monitoreo
 Escepticismo acerca del rigor técnico de ciertos
enfoques o requerimientos evaluativos de manera que
que
 Hay países con sus propias mediciones de aprendizaje
 Otras mediciones diferentes al conocimiento podrían ser
importantes
8

9. UNESCOInstituteforStatistics
Índice
 El contexto político: ODS y la agenda post-2015
 ¿Qué sabemos sobre evaluaciones nacionales
de aprendizaje?
 ¿Qué sabemos sobre la economía política de las
evaluaciones?
 El monitoreo de los resultados de aprendizaje
en los ODS
 Próximos pasos
9

10. UNESCOInstituteforStatistics
Algunos países no cuentan con
evaluaciones
0
20406080
100
0 2 4 6 8 10
Number of Evaluations
Source: UIS based on UIS, GMR and WDI databases
10

11. UNESCOInstituteforStatistics
Y algunas asignaturas son más
evaluadas que otras0
.1.2.3.4.5
Literacy Writing
Reading Language
Math Sciences
Social Studies Civc Studies
Source: UIS based on UIS, GMR and WDR databases.
11

12. UNESCOInstituteforStatistics Evaluaciones en los dos ciclos de
educación básica más frecuente en
en países desarrollados
0 .2 .4 .6 .8 1
Upper middle income
Lower middle income
Low income
High income: nonOECD
High income: OECD
Primay High School
Both Levels International
Source: UIS based on UIS, GRM, and WDI databases.
12

13. UNESCOInstituteforStatistics
Transformado en un Índice de
Resultados de Aprendizaje…
0
204060
0 1 2 3 4
Learning Outomces Index
Source. UIS based on UIS, GMR and WDI databases. 13

14. UNESCOInstituteforStatistics
…la correlación con niveles de
ingreso per cápita no es tan elevada
0
50000
100000150000
0 1 2 3 4
Learning Outomces Index
Source: UIS based on UIS, GMR and WDR Databases
14

15. UNESCOInstituteforStatistics
El índice muestra variación entre
las regiones
15
0 5 10 15 20 25 0 5 10 15 20 25
0 5 10 15 20 25
4
3
2
1
0
4
3
2
1
0
4
3
2
1
0
4
3
2
1
0
4
3
2
1
0
4
3
2
1
0
4
3
2
1
0
East Asia & Pacific Europe & Central Asia Latin America & Caribbean
Middle East & North Africa North America South Asia
Sub-Saharan Africa
frequency
Graphs by Region

16. UNESCOInstituteforStatistics
Pero no conocemos las características
 Información detallada sobre la evaluación:
 Propósito
 Alcance
 Actores principales interesados
 Diseño de la evaluación
 Cobertura
 Reporte y uso de los resultados
 Con la excepción de algunas fuentes con:
 Información detallada sobre la cultura de evaluación en
países
 Ciertos reportes en catálogo dle IEU, Saber, OCDE y otros
esfuerzos

17. UNESCOInstituteforStatistics
Catalogo de cobertura a fines de 2015
Datos online
Datos a recolectar en 2015

18. UNESCOInstituteforStatistics
Primeras estadísticas del catálogo de
datos
 La mayoría de las evaluaciones tienen como objetivo tanto
escuelas estatales como privadas
 Los 3 exámenes nacionales (Zimbawe y Brunei Darussalam) y
10 evaluaciones (Botswana, Cambodia, Myanmar y Vietnam)
no incluyen a las escuelas privadas.
0
2
4
6
8
10
12
1 2 3 4 5 6 7 8 9 10 11
Assessment Examination
 Las evaluaciones
nacionales son en su
mayoría en el nivel
primario
 Exámenes al final de los
ciclos

19. UNESCOInstituteforStatistics
La mayoría de las evaluaciones son
administradas de manera regular
Cicle de administración Porcentaje
Cada año 37,0 %
Cada 2 años 25,9 %
Cada 3 años 25,9 %
Cada 4 años 3,7 %
Cada 5 años 3,7 %
Variable 3,7 %
Total 100 %

20. UNESCOInstituteforStatistics
Índice
 El contexto político: ODS y la agenda post-2015
 ¿Qué sabemos sobre evaluaciones nacionales
de aprendizaje?
 ¿Qué sabemos sobre la economía política de las
evaluaciones?
 El monitoreo de los resultados de aprendizaje
en los ODS
 Próximos pasos
20

21. UNESCOInstituteforStatistics
Lo que sí conocemos. La economía política de
las evaluaciones internacionales
 La psicometría importa, pero...
 El muestreo, la administración y la logística son
fuentes de error y sesgo más importantes
 Hay necesidad para asegurar la calidad de los
aspectos
 Los resultados son políticamente sensibles y difíciles de
manejar: la complacencia no puede ser el camino de
países en vías de desarrollo
 No se trata solo de métodos, se trata de política
educativa

22. UNESCOInstituteforStatistics
También sabemos que es un asunto donde
queda mucho por hacer
 Incorporar actores clave
 Comunicación
 Respetar el ciclo de vida de la información
 Diseño conceptual y metodológico
 Recolección de información
 Procesamiento de datos y control cruzado
 Diseminación de la información

23. UNESCOInstituteforStatistics
Y es necesario pasar hacia una política y
práctica educativa basada en la información
 Alimentar decisiones sobre política y gestión
educativa
 Modificar comportamientos donde hay desafíos
 La mayoría del tiempo tenemos problemas invisibles cuyos efectos se
manifiestan años después
 La mejora de resultados de aprendizaje depende de factores y actores
múltiples que no participan de la discusión
 Maneras diferentes de trabajar para modificar
comportamiento:
 Deberías hacer X (versión A): regulaciones y castigos
 Deberías hacer X (versión B): incentivos
 Cambios sistémico y cultural donde X es “¿Qué hacemos?”

24. UNESCOInstituteforStatistics
La pieza que falta en el planeamiento
educativo: el uso de los datos
24
https://www.youtube.com/watch?v=VRWw4JjNNAg

25. UNESCOInstituteforStatistics
Diseminación de la información: ¿Por qué es
importante para la mejora?
Ciudad de Buenos Aires 2012-2014

26. UNESCOInstituteforStatistics
Cambios en las herramientas de recolección
de la información: carga online de matrícula

27. UNESCOInstituteforStatistics
Website institucional:
observatorio de datos

28. UNESCOInstituteforStatistics
Boletines por escuela

29. UNESCOInstituteforStatistics
Portal Tu Escuela:
Gestión escolar

30. UNESCOInstituteforStatistics
Mejorá tu escuela con Astor

31. UNESCOInstituteforStatistics Mejora con acompañamiento:
Astor ayuda a entender y simular resultados
www.mejoratuescuela.com.ar

32. UNESCOInstituteforStatistics
App del IECEP

33. UNESCOInstituteforStatistics
Practicá con Astor

34. UNESCOInstituteforStatistics
Un sitio dedicado a los padres
https://www.youtube.com/watch?v=4ThHopW5Zx4

35. UNESCOInstituteforStatistics
Inversión por escuela: datos sobre
estructura de costos

36. UNESCOInstituteforStatistics
Índice
 El contexto político: ODS y la agenda post-2015
 ¿Qué sabemos sobre evaluaciones nacionales
de aprendizaje?
 ¿Qué sabemos sobre la economía política de las
evaluaciones?
 El monitoreo de los resultados de aprendizaje
en los ODS
 Próximos pasos
36

37. UNESCOInstituteforStatistics Propuestas de indicadores para
objetivos mundiales en educación
 Porcentaje de niños que logran mínimos
estándares de competencia en lectura y
matemática al final de: i) primaria y ii)
secundaria básica
 Porcentaje de jóvenes/adultos
competentes en habilidades de lectura y
matemática
 Índices de paridad (mujer/varón,
urbano/rural, primer/último quinto de
ingreso) para todos los indicadorees que
pueden ser desgregados
Criterios clave
Relevancia: refleja los temas
de política más críticos en
cuanto a metas
Alineamiento: el constructo
a medir debe ser válido y
fiable y tener el mismo
significado en todos los
contextos
Comparabilidad: la
información es recolectada
de manera regular
Comunicabilidad: el
indicador es entendido de
manera sencilla y permite
una narración clara respecto
del progreso hacia las metas

38. UNESCOInstituteforStatistics Niveles propuestos de monitoreo
(UNSG*)
*UN Secretary General’s Synthesis Report, Dicembre 2014
Nacional
Relación con el plan nacional;
consulta a actores clave del
ámbito nacional; reconocimiento
del contexto y búsqueda de
inclusión y nuevos objetivos de
aprendizaje
Global Focos en indicadores de comparación
global basados en criterios claros (10-15
indicadores)
Temático Conjunto más amplio de indicadores que
cubren diferentes prioridades sectoriales
(42 indicadores)
Regional Indicadores para monitorear
marcos validades por las regiones
(AU Education decades, EU2020)

39. UNESCOInstituteforStatistics
Foco en temas de calidad y equidad
reflejados en los indicadores globales
 Calidad
 Se debería hacer foco en un conjunto pequeño de
medidas de resultados
 Debería tener medidas directas de aprendizaje y
habilidades
 Otras medidas de calidad también deben considerarse
 Equidad
 Desagregar, cuando es posible, indicadores para
fortalecer cuestiones en equidad de género
 Asegurar que la desventaja múltiple es capturada
 Asegurar que grupos y contextos desfavorecidos
difíciles de medir tengan atención especial

40. UNESCOInstituteforStatistics
Monitoreo: “las” opciones
 Definir puntos de referencia e indicadores basados en
estándares nacionales (derivados de evaluaciones
nacionales)
 Desarrollar mecanismos globales para medir y
enmarcar los indicadores en un punto del tiempo (por
ejemplo, “fotos” en diferentes grados o edades
basados en los instrumentos actuales)
 Indicadores derivados de una escala validada de
manera empírica
40

41. UNESCOInstituteforStatistics
A favor de un enfoque… En contra de un enfoque…
41
… basado en “fotos” en grados o niveles educativos específicos
Tiene el potencial de proveer la
información más válida y fiable en un
marco de tiempo realista (ej: equidad en
resultados de aprendizaje
Foco en un número limitado de grado que
podrían implicar recursos dicionales para esos
grados
Se apoya y construye sobre evaluaciones
existentes
Podría requerir el desarrollo de instrumentos
de evaluación específicos
Se pueden prever los costos de una
manera fiable
Instrumentos/definiciones diferentes usados
para cada uno de los niveles educativos a
monitorear
Las implicancias para los países
(financieras, logísticas) pueden ser
reltivamente bien definidas o explicadas
Podría ser costos si solo es una “solución
intermedia”
Fortalece la colaboración entre diferentes
organizaciones de evaluación
Necesita apoyarse en una métrica exitente
por lo cual la negociación política puede ser
compleja

42. UNESCOInstituteforStatistics
A favor de un enfoque… Against an approach that …
42
… que resulte en el monitoreo de indicadores derivados de una escala
validada empíricamente
La ventaja de la escala es que no es
un instrumento pero “solo” una
escala en la que todos pueden
participar
Se requiere mucho tiempo y recursos. Hay
implicancias técnicas, políticas y financieras
relacionadas
Establecer las bases para la
información comparable y de alta
calidad que los gobiernos pueden
utilizar para mejorar los resultados
de aprendizaje de sus niños mientras
establecen puntos de referencia para
el progreso
Los niveles de competencia lectora podrían variar
entre países y el progreso podría no ser lineal. Es
difícil pero no imposible adaptar competencias de
lectura de base en todos los idiomas
En la ausencia de información más completa
sobre trayectorias de aprendizaje en varios países,
parece limitado en su habilidad para medir
aprendizaje de manera correcta
Necesita de mucha más investigación
Las implicancias para los países (financieras, de
logística) no están definidar de manera clara. La
participación es “opcional”

43. Objetivos
finales
Qué camino seguir ?
1.Reportesobreprogresosenresultadosdeaprendizaje
hacielosobjetivoseducativos2030
2.Lospaísesusanlasevaluacionesparamejorarel
aprendizaje
Para lograrlo, es necesario elegir un camino
que sea…
Técnicamente
robusto
Proporcione
resultados en
el tiempo
necesario
Enfoque sostenible
Responda a
las
demandas
nacionales
Simple de
comunicar
Responda a las
demandas de
la comunidad
internacional
Sensible a la
economía
politica

44. UNESCOInstituteforStatistics
En el mismo camino, a diferentes
velocidades
 Muchas preguntas a responder
 Algunas más simples que otras
 Debate sobre la cuestión temporal (¿restringir a ciertos
aspectos en el corto plazo mientras de intenta desarrollar en
paralelo una escala global de aprendizaje?)
 Definir el alcance
 Dominios: ¿con qué dominios de aprendizaje comenzar?
 ¿Debería ser una escala evolutiva?
 Población objetivo
 Cobertura geográfica 44

45. UNESCOInstituteforStatistics
¿Qué se requiere?
 Herramientas de medición que provean información
sobre resultados
 Evaluaciones usadas para establecer líneas de base y,
aún más imprtante, retroalimentación
 Saber que la medición regular es necesaria
 Foco en resultados bien definidos y puntos de
referencias
 Conocimiento sobre la relevancia de mediciones para los
diferentes actores
 Capacidad para la acción
 Recursos y políticas consistentes para lograr los objetivos

46. Dosobjetivos
Con independencia del camino elegido, se debe trabajar
sobre…
Trabajar con
otros actores
Definir la visión
Promover la
transparencia
Ser efectivos
Llevar a cabo
consultas formales
Sostener una comunidad
global de las prácticas

47. Índice
• El contexto político: ODS y la agenda post-2015
• ¿Qué sabemos sobre evaluaciones nacionales
de aprendizaje?
• ¿Qué sabemos sobre la economía política de las
evaluaciones?
• El monitoreo de los resultados de aprendizaje
en los ODS
• Próximos pasos 47

48. UNESCOInstituteforStatistics
Próximos pasos: consultas formales a los
países
 Cuestiones políticas
 Percepción de una escala universal para lectura y
habilidades numéricas
 Expectativas sobe el impacto de indicadores de aprendizaje
y usabilidad en el ámbito nacional
 Deseo de colaborar con diferentes actores en el ámbito
nacional
 Cuestiones técnicas
 Enfoques para desarrollar los indicadores
 Robustez de los métodos propuestos
 Implicancias financieras 48

49. UNESCOInstituteforStatistics
Próximos pasos – el Technical Advisory
Group (TAG-Grupo de trabajo) extendido
Fecha objetivo Actividad Propósito
Presente Proceso de consulta
regional
Obtener miradas regionales sobre la
propuesta existente antes de la primera
reunión en persona
16-17 Julio Primera reunión en
persona
Presentar las posiciones regionales y definir
próximos pasos
Julio-Septiembre Reuniones virtuales, si
es necesario
Obtener miradas regionales adicionales sobre
la propuesta existente
24-25/28-29 Sept. Segunda reunión en
persona
Presentar propuesta que contemple las
posiciones regionales
Eventos
relacionados
1-2 Octubre Comité de EPT Revisar Marco para la Acción
6 Noviembre Reunión de altos
cargos de UNESCO
Adoptar el Marco para la Acción
Fin de noviembre Decha límite para
insumos para UNSC
IAEG-ODS provee borrador del marco de
indicadores
49

50. UNESCOInstituteforStatistics
Próximo pasos: procesos de ONU
relacionados con indicadores
• Primera reunión de la Inter-Agency and Expert
Group sobre indicadores de ODS (Junio)
• Reunión entre gobiernos sobre objetivos y metas
(Junio-Julio)
• Asamblea General de la ONU para establer
objetivos y asoptar metas (Septiembre)
• 47a Comisión de Estadísticas de la ONU para
considerar le nuevo marco de indicadores (Marzo
2016)
• Marco enviado al ECOSOC para adopción final
(Julio 2016)

51. UNESCOInstituteforStatistics
Monitoreo global: foco en los usuarios
de información no en los productores
 Generar conciencia sobre los bajos niveles de aprendizaje
de los niños
 Construir apoyo acerca de la relevancia de utilizar
herramientas de medición robustas
 Proveer evidencia para desarrollar enfoques con
objetivos para mejores prácticas en el aula y en la
escuela
 Generar una comunidad global de prácticas
 Definir indicadores para monitorear el progreso en los
resultados de aprendizaje hacia los objetivos educativos
de 2030 51

52. UNESCOInstituteforStatistics
Una reflexión final...
 Edwards Deming dijo que “Existimos para construir
otro mundo”.
 Sistemas de información y medidas son importantes
 Pero lo intangible es lo más relevante la mayoría de las veces
 Combinación de ambos: sistema efectivo de recolección de
información con entendimiento sobre el poder de lo
intangible producirán el cambio deseado.
 Lo intangibles es el liderazgo de la comunidad internacional,
líderes políticas, directores de escuelas, docentes y padres
para producir cambios en los resultados de aprendizaje
52

53. UNESCOInstituteforStatistics
53

54. UNESCOInstituteforStatistics
¡Gracias!
Silvia Montoya
Directora, Instituto de Estadísticas de la UNESCO
s.montoya@unesco.org
@montoya_sil
@UNESCOstat
54