Presentación Felipe Martínez Rizo

1. SOBRE LA DIFUSIÓN Y EL USO DE RESULTADOS DE PRUEBAS Felipe Martínez Rizo Bogotá, marzo de 2010

3. En AL y educación básica, ese tipo de pruebas comenzó a usarse a partir de 1990.

4. Hay pruebas nacionales e internacionales cuyos resultados se difunden ampliamente; si se usan bien, pueden ayudar a mejorar la educación, pero también pueden tener efectos negativos.

6. Evaluación del sistema y de individuos Evaluar integralmente es muy complejo: Un alumno: todo el currículo; lo cognitivo y no; al final del ciclo, al inicio… Sólo puede el maestro. Un maestro: evidencias de todo su trabajo diario. Sólo puede el director o el supervisor. Una escuela: evidencias de múltiples facetas de la calidad. Sólo puede hacerlo el supervisor. No confundir dos tipos de evaluación: Del sistema educativo como tal, con acercamientos en gran escala a cargo de órganos especializados; De alumnos, maestros y escuelas, con enfoques intensivos por maestro, director, supervisor.

8. Cómo se compara con otros (países, regiones…);

9. Como se distribuyen los resultados internamente;

10. Cuántos alumnos tiene cierto nivel;

11. Qué factores de la familia y/o la escuela se asocian con los resultados… No todo lo anterior es igualmente útil

13. Porcentajes por nivel de rendimiento.

14. Relaciones:

15. Entre resultados y factores sociales

16. Entre resultados y factores escolares;

17. Entre factores sociales y escolares

19. Medias de desempeño en la escala global de Ciencias, por país

24. % en cadanivel de rendimiento PISA 2006 Países y regiones GIP

25. Nacional Cursoscomunitarios Nivelavanzado Pordebajo del nivelbásico Escuelasindígenas Ruralespúblicas Urbanaspúblicas Urbanas privadas Porcentajes de estudiantes Excaleniveles de desempeño6º primaria, Español (2006).

26. Capital cultural escolar de los estudiantes por entidad federativa

27. Relación entre CCE y aprendizaje: Ciencias Naturales, 3º de primaria

28. Condiciones de Infraestructura Escolar por entidad

29. Relación entre IE y aprendizaje: Ciencias Naturales, 3º de primaria

30. La combinación de factores entorno-escuela Relación IE-CCE por entidad y servicio

31. Perfil escolar, Colombia, PISA 2006

32. Perfil escolar, México, PISA 2006

33. Perfil escolar, Chile, PISA 2006

35. No se pueden aplicar con la frecuencia que sería necesaria para dar retroalimentación oportuna;

36. Difícilmente pueden tener en cuenta elementos del entorno familiar-escolar para contextualizar.Una evaluación de individuos que no tome en cuenta lo anterior no es adecuada

38. Todos los niveles cognitivos;

39. El avance a lo largo del ciclo escolar;

41. Ninguna decisión individual importante debería basarse sólo en pruebas;

42. En cambio, las pruebas pueden dar algo que los maestros no pueden: información comparable sobre conjuntos grandes de alumnos.Indispensables para evaluar el sistema como tal y complementan la evaluación del maestro

44. No controlan bien factores del contexto, lo que llevaría a comparaciones injustas.

45. Ignoran efecto acumulado de varios maestros.Un impacto fuerte produce distorsiones graves

47. La precisión de datos no permite ordenamientos finos de escuelas o alumnos.

48. El error de medición aumenta si se compara un año con otro, por lo que los ordenamientos son muy inconsistentes a lo largo del tiempo.Un impacto fuerte produce distorsiones graves

49. Dos escuelas imaginarias A: admite sólo a los mejores aspirantes, por lo que buena parte de sus alumnos proviene de medios favorecidos. Es muy exigente por lo que los alumnos de bajo rendimiento no pueden permanecer en ella, sino que la abandonan. B: admite sin selección a todo aspirante, por lo que muchos alumnos son de origen humilde. Trata de retener hasta el fin a todos los aceptados y lo logra en gran parte, aunque no todos logren plenamente los objetivos de aprendizaje. En las pruebas los alumnos de A sacan resultados más altos que los de B. ¿Es mejor escuela A que B? Los resultados de A pueden deberse a sus políticas selectivas y no a un funcionamiento mejor. Los de B se pueden deber a un excelente funcionamiento, focalizado en la retención, aunque los resultados promedio sean más bajos.

51. Funcionamiento regular;

52. Buena práctica docente;

53. Director con liderazgo;

54. Padres participativos… Aquella cuyos alumnos sacan altos puntajes, en promedio, en pruebas de rendimiento como las de SABER Las dos formas de definir qué es una buena escuela parecen adecuadas y, en principio, se esperaría que se presentaran en forma conjunta. El que tal coincidencia no siempre se presente se explica seguramente por diferencias del alumnado en lo que se refiere al contexto familiar y social, cuya importancia es bien conocida.

55. Una precisión importante Algunas personas dicen que es injusto medir con la misma vara alumnos de diferente contexto social. Lo injusto no es usar la misma vara, sino culpar sin más a los evaluados por los resultados obtenidos. También la estatura de las personas depende en parte de factores genéticos, pero en parte de otros debidos al entorno: nutrición, salud, pobreza… No por eso usaremos metros de diferente tamaño para medir a los niños pobres o acomodados. Se deben aplicar pruebas iguales (evitando sesgo) para comparar con un mismo estándar, pero no culpar a los niños de bajo rendimiento por ello.

56. Conclusión Potencial positivo y negativo de las evaluaciones Las evaluaciones en general, y las pruebas en particular, son una herramienta poderosa. Sus consecuencias pueden ser positivas o negativas. Depende de cómo se hagan las evaluaciones, de cómo se interpreten sus resultados, y de qué decisiones se tomen a partir de ello.

57. Conclusión Se dice lo que no se evalúa no se puede mejorar, y en educación evaluar se identifica con pruebas. Finlandia no aplicaba pruebas, EEUU muchas. ¿Qué pasa con esas ideas generalmente aceptadas? Frases alternativas más precisas: Lo que no se evalúa no se puede mejorar. Lo que sí se evalúa tampoco, si no se trabaja duro… Si se trabaja duro para hacer las cosas bien, se puede tener buena calidad, aunque no se evalúe, pero esto último puede ayudar. Lo que no se evalúa sistemáticamente se puede mejorar, pero no sistemáticamente.

59. Los medios simplistas de evaluar se reducen a pruebas, sin distinguir enfoque y nivel técnico;

61. Conclusión Una concepción distinta de los tres aspectos: Diagnóstico: la calidad no es satisfactoria, pero no necesariamente catastrófica; causas complejas y bien conocidas; los resultados no sorprenden. Los medios de evaluar: no se reducen a pruebas; debe haber indicadores de otros aspectos. Las estrategias de mejora: deberán ser complejas también, y los resultados sólo podrán observarse en el mediano y largo plazo.

62. Conclusión Las estrategias simplistas de mejora parten de un supuesto falso: que hacer buena educación en cualquier contexto es fácil: Los sistemas de rendición de cuentas basados en pruebas se basan en la creencia de que la educación pública puede mejorar gracias a una estrategia sencilla: haga que todos los alumnos presenten pruebas estandarizadas de rendimiento, y asocie consecuencias fuertes a las pruebas, en la forma de premios cuando los resultados suben y sanciones cuando no ocurra así.

64. Se han evitado usos inadecuados como los que mencioné en mi presentación.

65. Las escuelas y la sociedad pueden acceder con facilidad a los resultados.

67. Tratar de preparar a sus niños para que salgan mejor en la siguiente aplicación.

70. Avergonzarse o jactarse de los resultados.

73. Presentar resultados mediante ordenamientos de escuelas basadas en SABER.

76. Se destaca la dimensión normativa (en sentido estadístico) de la información, y no la criterial.Ojala se refuercen los usos positivos y se minimicen los negativos. Así la evaluación será una valiosa herramienta para la mejora de la calidad de la educación en Colombia.

77. MUCHAS GRACIAS POR SU ATENCIÓN