Difusion Uso De Resultados Icfes 2010 03 12

25.651 visualizaciones

Publicado el

Presentación Felipe Martínez Rizo

Publicado en: Educación
0 comentarios
0 recomendaciones
Estadísticas
Notas
  • Sé el primero en comentar

  • Sé el primero en recomendar esto

Sin descargas
Visualizaciones
Visualizaciones totales
25.651
En SlideShare
0
De insertados
0
Número de insertados
479
Acciones
Compartido
0
Descargas
115
Comentarios
0
Recomendaciones
0
Insertados 0
No insertados

No hay notas en la diapositiva.

Difusion Uso De Resultados Icfes 2010 03 12

  1. 1. SOBRE LA DIFUSIÓN Y EL USO DE RESULTADOS DE PRUEBAS<br />Felipe Martínez Rizo<br />Bogotá, marzo de 2010<br />
  2. 2. Introducción<br /><ul><li>Las pruebas estandarizadas son instrumentos que se usan para valorar el nivel de aprendizaje que alcanzan grandes grupos de alumnos.
  3. 3. En AL y educación básica, ese tipo de pruebas comenzó a usarse a partir de 1990.
  4. 4. Hay pruebas nacionales e internacionales cuyos resultados se difunden ampliamente; si se usan bien, pueden ayudar a mejorar la educación, pero también pueden tener efectos negativos.
  5. 5. Presentaré usos adecuados o no de resultados de pruebas, justificando mis opiniones. </li></li></ul><li>La combinación de las fallas técnicas y las de difusión<br />
  6. 6. Evaluación del sistema y de individuos<br />Evaluar integralmente es muy complejo:<br />Un alumno: todo el currículo; lo cognitivo y no; al final del ciclo, al inicio… Sólo puede el maestro.<br />Un maestro: evidencias de todo su trabajo diario. Sólo puede el director o el supervisor. <br />Una escuela: evidencias de múltiples facetas de la calidad. Sólo puede hacerlo el supervisor. <br />No confundir dos tipos de evaluación: <br />Del sistema educativo como tal, con acercamientos en gran escala a cargo de órganos especializados; <br />De alumnos, maestros y escuelas, con enfoques intensivos por maestro, director, supervisor.<br />
  7. 7. Sobre la evaluación del sistema<br />Las pruebas pueden servir para conocer:<br /><ul><li>El nivel medio de aprendizaje de un grupo;
  8. 8. Cómo se compara con otros (países, regiones…);
  9. 9. Como se distribuyen los resultados internamente;
  10. 10. Cuántos alumnos tiene cierto nivel;
  11. 11. Qué factores de la familia y/o la escuela se asocian con los resultados… </li></ul>No todo lo anterior es igualmente útil<br />
  12. 12. Sobre la evaluación del sistema<br />Diferentes formas de dar resultados:<br /><ul><li>Ordenamientos (rankings)
  13. 13. Porcentajes por nivel de rendimiento.
  14. 14. Relaciones:
  15. 15. Entre resultados y factores sociales
  16. 16. Entre resultados y factores escolares;
  17. 17. Entre factores sociales y escolares
  18. 18. Gradientes y perfiles escolares</li></li></ul><li>Los ordenamientos y sus limitaciones<br /><ul><li>En todo ordenamiento hay alguien delante y detrás, y no siempre los primeros están bien y los últimos mal.</li></ul> Por ello un ordenamiento sólo permite hacer juicios relativos, en términos de mejor o peor, que no es lo mismo que bueno o malo.<br /><ul><li>Si la distancia que separa un puntaje de otros es menor que el margen de error que tienen los resultados, la diferencia no es significativa.</li></ul>La impresión de claridad de los ordenamientos simples es engañosa y hay que tener en cuenta las distancias que separan los resultados.<br />
  19. 19. Medias de desempeño en la escala global de Ciencias, por país<br />
  20. 20.
  21. 21.
  22. 22. Los niveles de desempeño y sus ventajas<br />Los niveles de desempeño permiten juicios en relación con los niveles deseables, en términos de adecuado o inadecuado, y no de mejor o peor. Su análisis permite identificar dos tipos de problemas: <br /><ul><li>Tener altas proporciones abajo del Nivel 2 implica que muchos jóvenes no están siendo preparados para una vida fructífera en la sociedad actual.
  23. 23. Tener pocos estudiantes en niveles altos (5-6) quiere decir que no se prepara a los mejores para que puedan ocupar puestos de alto nivel en el terreno científico, académico, gerencial… </li></li></ul><li>% en cadanivel de rendimiento PISA 2006 Ciencias, países GIP y referentes<br />
  24. 24. % en cadanivel de rendimiento PISA 2006 Países y regiones GIP <br />
  25. 25. Nacional<br />Cursoscomunitarios<br />Nivelavanzado<br />Pordebajo del nivelbásico<br />Escuelasindígenas<br />Ruralespúblicas<br />Urbanaspúblicas<br />Urbanas privadas<br />Porcentajes de estudiantes<br />Excaleniveles de desempeño6º primaria, Español (2006).<br />
  26. 26. Capital cultural escolar de los estudiantes <br />por entidad federativa<br />
  27. 27. Relación entre CCE y aprendizaje: Ciencias Naturales, 3º de primaria<br />
  28. 28. Condiciones de Infraestructura <br />Escolar por entidad <br />
  29. 29. Relación entre IE y aprendizaje: Ciencias Naturales, 3º de primaria<br />
  30. 30. La combinación de factores entorno-escuela<br />Relación IE-CCE por entidad y servicio<br />
  31. 31. Perfil escolar, Colombia, PISA 2006<br />
  32. 32. Perfil escolar, México, PISA 2006<br />
  33. 33. Perfil escolar, Chile, PISA 2006<br />
  34. 34. Sobre la evaluación de individuos<br />Las pruebas dan elementos sobre alumnos, maestros o escuelas, pero no bastan para evaluar íntegramente a individuos porque:<br /><ul><li>No pueden evaluar unos aspectos del currículo, incluidos los mas importantes;
  35. 35. No se pueden aplicar con la frecuencia que sería necesaria para dar retroalimentación oportuna;
  36. 36. Difícilmente pueden tener en cuenta elementos del entorno familiar-escolar para contextualizar.</li></ul>Una evaluación de individuos que no tome en cuenta lo anterior no es adecuada<br />
  37. 37. Uso de resultados de pruebas para evaluar alumnos individuales<br />El trabajo del maestro es insustituible para que los alumnos aprendan y para evaluar si ello ocurre. Evaluar en integralmente es complejo; debe incluir:<br /><ul><li>Todas las áreas del currículo;
  38. 38. Todos los niveles cognitivos;
  39. 39. El avance a lo largo del ciclo escolar;
  40. 40. Las circunstancias personales de los alumnos, a tener en cuenta al tomar decisiones importantes para el futuro de cada uno. </li></li></ul><li>Las pruebas como complemento, no como la evaluación principal<br />¿Puede evaluarse con validez y confiabilidad comparables con pruebas en gran escala? <br /><ul><li>Con la finura que puede alcanzar la evaluación a cargo del maestro NO.
  41. 41. Ninguna decisión individual importante debería basarse sólo en pruebas;
  42. 42. En cambio, las pruebas pueden dar algo que los maestros no pueden: información comparable sobre conjuntos grandes de alumnos.</li></ul>Indispensables para evaluar el sistema como tal y complementan la evaluación del maestro<br />
  43. 43. Uso de pruebas para evaluar maestros individuales<br />Las pruebas:<br /><ul><li>Sólo cubren unos aspectos del currículo y se tiende a orientar la enseñanza sólo hacia ellos.
  44. 44. No controlan bien factores del contexto, lo que llevaría a comparaciones injustas.
  45. 45. Ignoran efecto acumulado de varios maestros.</li></ul>Un impacto fuerte produce distorsiones graves<br />
  46. 46. Uso de resultados de pruebas para evaluar escuelas<br />El aprendizaje de los alumnos es dimensión central de la calidad de una escuela, pero no la única. <br /><ul><li>Se debe considerar el contexto de cada escuela, así como sus recursos y procesos.
  47. 47. La precisión de datos no permite ordenamientos finos de escuelas o alumnos.
  48. 48. El error de medición aumenta si se compara un año con otro, por lo que los ordenamientos son muy inconsistentes a lo largo del tiempo.</li></ul>Un impacto fuerte produce distorsiones graves<br />
  49. 49. Dos escuelas imaginarias<br />A: admite sólo a los mejores aspirantes, por lo que buena parte de sus alumnos proviene de medios favorecidos. <br />Es muy exigente por lo que los alumnos de bajo rendimiento no pueden permanecer en ella, sino que la abandonan.<br />B: admite sin selección a todo aspirante, por lo que muchos alumnos son de origen humilde. <br />Trata de retener hasta el fin a todos los aceptados y lo logra en gran parte, aunque no todos logren plenamente los objetivos de aprendizaje.<br />En las pruebas los alumnos de A sacan resultados más altos que los de B. ¿Es mejor escuela A que B?<br />Los resultados de A pueden deberse a sus políticas selectivas y no a un funcionamiento mejor. Los de B se pueden deber a un excelente funcionamiento, focalizado en la retención, aunque los resultados promedio sean más bajos.<br />
  50. 50. ¿Qué es una buena escuela?<br />Una que tiene:<br /><ul><li>Buenas instalaciones;
  51. 51. Funcionamiento regular;
  52. 52. Buena práctica docente;
  53. 53. Director con liderazgo;
  54. 54. Padres participativos… </li></ul>Aquella cuyos alumnos sacan altos puntajes, en promedio, en pruebas de rendimiento como las de SABER<br />Las dos formas de definir qué es una buena escuela parecen adecuadas y, en principio, se esperaría que se presentaran en forma conjunta.<br />El que tal coincidencia no siempre se presente se explica seguramente por diferencias del alumnado en lo que se refiere al contexto familiar y social, cuya importancia es bien conocida. <br />
  55. 55. Una precisión importante<br />Algunas personas dicen que es injusto medir con la misma vara alumnos de diferente contexto social.<br />Lo injusto no es usar la misma vara, sino culpar sin más a los evaluados por los resultados obtenidos.<br />También la estatura de las personas depende en parte de factores genéticos, pero en parte de otros debidos al entorno: nutrición, salud, pobreza…<br />No por eso usaremos metros de diferente tamaño para medir a los niños pobres o acomodados.<br />Se deben aplicar pruebas iguales (evitando sesgo) para comparar con un mismo estándar, pero no culpar a los niños de bajo rendimiento por ello. <br />
  56. 56. Conclusión<br />Potencial positivo y negativo de las evaluaciones<br />Las evaluaciones en general, y las pruebas en particular, son una herramienta poderosa.<br />Sus consecuencias pueden ser positivas o negativas.<br />Depende de cómo se hagan las evaluaciones, de cómo se interpreten sus resultados, y de qué decisiones se tomen a partir de ello.<br />
  57. 57. Conclusión<br />Se dice lo que no se evalúa no se puede mejorar, y en educación evaluar se identifica con pruebas.<br />Finlandia no aplicaba pruebas, EEUU muchas. ¿Qué pasa con esas ideas generalmente aceptadas?<br />Frases alternativas más precisas:<br />Lo que no se evalúa no se puede mejorar. Lo que sí se evalúa tampoco, si no se trabaja duro…<br />Si se trabaja duro para hacer las cosas bien, se puede tener buena calidad, aunque no se evalúe, pero esto último puede ayudar. <br />Lo que no se evalúa sistemáticamente se puede mejorar, pero no sistemáticamente.<br />
  58. 58. Conclusión<br />En los más diversos países prevalece insatisfacción con nivel de aprendizaje, que interpretación usual de evaluaciones internacionales refuerza. <br />Algunos tienen visión simplista de las causas de la situación, de la forma de valorarla y corregirla. <br /><ul><li>Los diagnósticos simplistas no toman en cuenta factores de escuela y contexto que influyen.
  59. 59. Los medios simplistas de evaluar se reducen a pruebas, sin distinguir enfoque y nivel técnico;
  60. 60. Las estrategias para remediar la situación se reducen a asignar recursos a las escuelas según los resultados de las pruebas.</li></li></ul><li>Conclusión<br />Muchas personas ignoran la dificultad que implica obtener buenos resultados educativos con grupos de alumnos de medio social desfavorable. <br />En México es frecuente que dirigentes del sector empresarial vean con simpatía las estrategias simplistas, pensando que las fallas de la escuela pública se podrían corregir fácilmente con escuelas privadas, ignorando que menos del 10% de los niños mexicanos asisten a ellas. <br />Por eso es frecuente la opinión de que bastará con aplicar pruebas masivamente y tomar medidas correctivas simples para que la calidad mejore.<br />
  61. 61. Conclusión<br />Una concepción distinta de los tres aspectos:<br />Diagnóstico: la calidad no es satisfactoria, pero no necesariamente catastrófica; causas complejas y bien conocidas; los resultados no sorprenden. <br />Los medios de evaluar: no se reducen a pruebas; debe haber indicadores de otros aspectos. <br />Las estrategias de mejora: deberán ser complejas también, y los resultados sólo podrán observarse en el mediano y largo plazo.<br />
  62. 62. Conclusión<br />Las estrategias simplistas de mejora parten de un supuesto falso: que hacer buena educación en cualquier contexto es fácil:<br />Los sistemas de rendición de cuentas basados en pruebas se basan en la creencia de que la educación pública puede mejorar gracias a una estrategia sencilla: haga que todos los alumnos presenten pruebas estandarizadas de rendimiento, y asocie consecuencias fuertes a las pruebas, en la forma de premios cuando los resultados suben y sanciones cuando no ocurra así. <br />
  63. 63. Conclusión<br />La información que veo sobre la aplicación 2009 de las pruebas SABER y sobre la manera en que se han difundido los resultados me parece positiva.<br /><ul><li>Los resultados se han difundido ampliamente.
  64. 64. Se han evitado usos inadecuados como los que mencioné en mi presentación.
  65. 65. Las escuelas y la sociedad pueden acceder con facilidad a los resultados.
  66. 66. Se alienta a los diferentes actores a usar los resultados para sustentar acciones de mejora.</li></li></ul><li>Sugerencias para maestros<br />Qué NO hacer:<br /><ul><li>Reducir su enseñanza a lo que se evalúa.
  67. 67. Tratar de preparar a sus niños para que salgan mejor en la siguiente aplicación.
  68. 68. Hacer evaluaciones parecidas a SABER.</li></ul>Qué SÍ hacer:<br /><ul><li>Tomar a SABER como referente, considerando escuelas similares y diferentes.
  69. 69. Seguir esforzándose como siempre.</li></li></ul><li>Sugerencias para rectores<br />Qué NO hacer:<br /><ul><li>Creer que los resultados de SABER son la única forma de saber qué tan buena es su escuela.
  70. 70. Avergonzarse o jactarse de los resultados.
  71. 71. Tratar de preparar a sus niños para que salgan mejor en la siguiente aplicación.</li></ul>Qué SÍ hacer:<br /><ul><li>Analizar con sus maestros los puntos a mejorar en su escuela, considerando la información que da SABER y los demás elementos disponibles.
  72. 72. Proponerse mejoras realistas y trabajar duro.</li></li></ul><li>Sugerencias para autoridades educativas<br />Qué NO hacer:<br /><ul><li>Juzgar la calidad de las escuelas con base en los resultados de SABER, sin tener en cuenta el contexto de cada escuela.
  73. 73. Presentar resultados mediante ordenamientos de escuelas basadas en SABER.
  74. 74. Asignar estímulos o sanciones a escuelas y/o maestros con base en los resultados de SABER.</li></ul>Qué SÍ hacer:<br /><ul><li>Analizar resultados con otra información sobre las escuelas para llegar a juicios mesurados.
  75. 75. Diseñar políticas dando prioridad a la equidad.</li></li></ul><li>Conclusión<br />En algunos casos la forma como se interpretan los resultados en los medios no es la más acertada:<br /><ul><li>Algunas noticias enfatizan el lugar que ocupó una región u otra.
  76. 76. Se destaca la dimensión normativa (en sentido estadístico) de la información, y no la criterial.</li></ul>Ojala se refuercen los usos positivos y se minimicen los negativos. Así la evaluación será una valiosa herramienta para la mejora de la calidad de la educación en Colombia. <br />
  77. 77. MUCHAS GRACIAS<br />POR SU ATENCIÓN<br />

×