Este documento trata sobre la elaboración de documentos para la autoevaluación y observación en el diseño y seguimiento de planes y programas educativos. Explica que la evaluación sirve para mejorar proyectos, identificar puntos fuertes y débiles, y rendir cuentas. También describe cuándo, qué, cómo y quién debe evaluar, incluyendo el uso de documentos, encuestas, entrevistas y observación para recopilar información de manera sistemática.

1. Elaboración de documentos para recoger la observación y la autoevaluación Mª Elvira Barrios CEP de Málaga (Noviembre 2007) Curso: Diseño y seguimiento de Planes y Programas educativos

2. La evaluación de P en la normativa

3. ¿ Qué es la evaluación? ¿ Por qué y para qué evaluamos? ¿ Qué evaluamos? ¿ Cuándo evaluamos? ¿ Cómo evaluamos? ¿ Quién evalúa? ¿ Qué hacemos con la info obtenida? La (auto)evaluación en Planes y Programas

4. ¿ Qué es la evaluación? Estudio sistemático del mérito o el valor de un plan, proyecto, intervención, innovación, procedimiento… con un propósito determinado… ligado a la acción… que informa la toma de decisiones.

5. ¿ Por qué y para qué evaluamos? para contribuir a la mejora del proyecto para identificar los puntos fuertes y débiles para conocer consecuencias no anticipadas para rendir cuentas para comunicar/difundir la experiencia y los logros porque nuestra profesión exige reflexión porque necesitamos información que apoye una intervención futura para involucrarnos en una dinámica de diseño e implementación de proyectos de mejora para determinar si hemos rentabilizado el esfuerzo para cumplir un requisito administrativo

6. ¿ Cuándo evaluamos? Concepción del proyecto Conclusión del proyecto valora si el P se están desarrollando conforme a lo previsto valora el progreso en la consecución de los objetivos aporta info sobre resultados, logros, es decir, sobre el Impacto del P Propósito (generalmente) diagnóstico Propósito de enjuiciamiento Evaluación Formativa Sumativa Implementación Progreso

7. Consejo: Elabora el plan de evaluación al mismo tiempo que la propuesta de P permite obtener información de contraste facilita ‘centrar’ y concretar el proyecto permite explicitar en el P intervenciones e indicadores observables ¿ Cuándo evaluamos?

8. No se puede evaluar todo lo que se ve afectado por un proyecto Es preciso seleccionar qué se va a evaluar ¿ De qué depende el qué (y el cómo) se evalúa? del propósito de la evaluación de la envergadura del proyecto de los deseos de continuidad del proyecto del tiempo disponible de los recursos disponibles de la competencia de los/as evaluadores/as ¿ Qué evaluamos?

9. Consejos: Prioriza y distingue entre lo que es necesario saber lo que ‘estaría bien’ saber Mantén la evaluación en unas dimensiones manejables ¿ Qué evaluamos?

10. Procedimiento posible Opciones: Identifica resultados/logros/objetivos deseados o previstos Identifica las características cruciales o clave del P Elabora las preguntas que quieres que la evaluación responda Establece las actividades o intervenciones orientadas a obtener un resultado o logro / relacionadas con aspectos clave Identifica indicadores (evidencia observable de logros, cambios, progreso…) Decide el procedimiento de obtención de datos

11. ¿ Qué evaluamos? ¿La participación y/o implicación del alumnado/profesorado/ padres/madres? ¿Los cambios o evoluciones de actitudes? ¿La metodología puesta en marcha? ¿La coordinación entre el profesorado ? ¿El destino del presupuesto? ¿El grado de desarrollo de procedimientos? ¿El aprendizaje propiciado? ¿Los cambios organizativos implementados? ¿Los recursos empleados / adquiridos y si se emplean como se preveía? ?

12. Procedimiento posible Opciones: Identifica resultados/logros/objetivos deseados o previstos Identifica las características cruciales o clave del P Elabora las preguntas que quieres que la evaluación responda

13. Preguntas de la evaluación relacionadas con el proceso ¿En qué medida están satisfechos/as los implicados/as en el P? ¿Cómo se podrían modificar las intervenciones para que resultaran más efectivas ? ¿Qué se puede aprender de la manera en que se está desarrollando el P? ¿Se están realizando las intervenciones o las actividades conforme a lo previsto? ?

14. Preguntas de la evaluación relacionadas con logros/impacto ¿Cuáles han sido los efectos del P en el Centro? ¿Ha satisfecho el P las necesidades o carencias, etc. que el P se planteaba satisfacer o afrontar? ¿Se han producido e identificado efectos no previstos? ¿Cuáles? ¿Han experimentado los participantes cambios/evolución en destrezas, conocimientos, actitudes, etc.? ¿En qué medida? ? ¿Qué se podía haber hecho de manera distinta para realizar el proyecto de manera más efectiva?

15. Proceso Opciones: Identifica resultados/logros/objetivos deseados o previstos Identifica las características cruciales o clave del P Elabora las preguntas que quieres que la evaluación responda Establece las actividades o intervenciones orientadas a obtener un resultado o logro / relacionadas con aspectos clave Identifica indicadores (evidencia observable de logros, cambios, progreso…) Decide el procedimiento de obtención de datos

16. ¿ Cómo evaluamos? Fuentes de datos (y métodos de recogida) Documentos / Registros Autoinformes (encuestas y entrevistas) Observaciones (dentro y fuera de clase) No son mutuamente excluyentes Una combinación de métodos incrementa la credibilidad y validez de los datos ¿ De qué depende cuál(es) elegir? - propósito de la evaluación - condiciones prácticas (recursos, tiempo, capacitación…)

17. ¿ Cómo evaluamos? Documentos / registros Tipos: De ‘uso corriente’ (trabajos realizados por el alumnado, boletines de calificaciones, exámenes, cartas a padres/madres, circulares internas, actas de reuniones, borradores del proyecto inicial…) Elaborados para los fines de la evaluación (¡o el P!)

18. De elaboración para los fines del P: fáciles y rápidos de cumplimentar (a ser posible) que sean útiles el propósito y características (formato, fechas límites, cantidad, etc.) han de ser negociados por los participantes implicados ¿ Cómo evaluamos? Documentos / registros

19. ¿ Cómo evaluamos? Documentos / registros VENTAJAS No suponen carga de trabajo adicional (los de ‘uso corriente’) Se perciben como objetivos y creíbles Documentan los acontecimientos en el momento de ocurrir INCONVENIENTES Pueden ser una carga (si se han de elaborar específicamente para la evaluación (¡o el P!) El análisis y la extracción de información relevante pueden ser lentos

20. Permiten conocer las experiencias, impresiones, opiniones , etc. de los implicados en el P Adoptan 2 formatos Pueden realizarse periódicamente o al concluir el P. ¿ Cómo evaluamos? Autoinformes encuesta entrevista Aporta credibilidad

21. Elabora las preguntas / ítems en grupo Asegúrate de que el modo de preguntar no dirige ni sugiere una respuesta Presta mucha atención a la formulación de las preguntas: el lenguaje ha de ser apropiado a los destinatarios (encuestas) incluye una opción que permita reconocer que no se tiene opinión, que ninguna de las respuestas especificadas es adecuada, que no se sabe… evita que en el mismo ítem o pregunta cuestione sobre 2 aspectos diferentes ¿ Cómo evaluamos? Autoinformes: Elaboración de preguntas / ítems

22. Somete a prueba las preguntas / los ítems Considera la recogida de datos demográficos Presta una atención especial al aspecto del cuestionario Elige un título significativo Proporciona información (sobre el P., sobre cómo responder, sobre el uso de la información, sobre la confidencialidad de los datos…) Sé breve Si la encuesta es larga, divídela en apartados –y emplea título/subtítulos para indicar el tema de grupos de preguntas. ¿ Cómo evaluamos? Autoinformes: Elaboración de preguntas / ítems

23. ¿ Cómo evaluamos? Autoinformes: Encuestas cerrados los informantes se pronuncian eligiendo entre una respuesta de las especificadas prácticos: rapidez y facilidad para procesar y comunicar la info abiertos se solicita a los informantes que escriban la respuesta de manera ‘libre’ poco prácticos: requieren mucho tiempo para el análisis Formatos de ítems: cerrados y abiertos

24. ¿ Cómo evaluamos? Autoinformes: Encuestas Solución de compromiso : la encuesta se elabora a base de ítems cerrados a los que se añade(n) algún(os) ítem(s) abierto(s) los informantes aportan información que puede ser importante y que no se ha anticipado es una manera de reconocer la importancia de las perspectivas de los informantes

25. Considera… modos de ‘aligerar’ la carga que supone el procesamiento de la información (ayudantes, alumnado, trabajo de clase o asignatura…) la posibilidad de elaborar encuestas alojadas en plataformas educativas (p. ej., Moodle) el anonimato emplear iconos como respuestas (niños/as)    modos de incrementar la ‘tasa de retorno’ (si por correo) envía sobres franqueados y dirigidos establecer una fecha límite ¿ Cómo evaluamos? Autoinformes: Encuestas

26. ¿ Cómo evaluamos? Autoinformes: Encuestas VENTAJAS Eficiencia (tiempo de obtención y análisis, nº de informantes…) Pueden proporcionar info relativa a una variedad de asuntos Pueden ser respondidas anónimamente Permiten responder con tiempo Se pueden cumplimentar a distancia (Internet, correo ordinario…) Uniformidad en la formulación de las preguntas/los ítems INCONVENIENTES Carecen de la flexibilidad de la entrevistas La info que se obtiene puede ser más precisa en una entrevista En ocasiones es difícil lograr la participación cuando ésta es voluntaria

27. Las preguntas suelen estar predeterminadas y ordenadas (protocolo de entrevista) El/La entrevistador/-a puede elaborar preguntas al hilo de respuestas, solicitar más información, etc. Normalmente se realiza un registro –escrito, en audio… ¿ Cómo evaluamos? Autoinformes: Entrevistas

28. ¿ Cómo evaluamos? Autoinformes: Entrevista VENTAJAS Puede ser utilizada para obtener info de personas que tienen dificultades de lectura Permite flexibilidad Permite aclararación Se puede realizar en grupo INCONVENIENTES Requiere (mucho) tiempo Es difícil asegurar la uniformidad

29. Elabora y haz llegar al/a la informante con antelación una introducción explicativa (propósitos de la entrevista, uso de la información, confidencialidad…) Ordena las preguntas en un orden lógico (de las más generales a las más específicas, agrupadas por temas…) Procura ser breve Prueba la entrevista (a ser posible, en formato de entrevista, con personas de características similares a las de los/as informantes) Si alguna pregunta se interpreta consistentemente de forma no esperada, reformúlala (o elimínala) ¿ Cómo evaluamos? Autoinformes_Entrevistas: Consejos

30. Representa la fuente más creíble y válida de información sobre la implementación de un P “ There is no substitute for direct observation as a way of finding out about language classrooms” (Nunan, 1989) Observación informal (vs Observación formal) aporta un conocimiento intuitivo y útil; pero no aporta información sistemática ni rigurosa como para ser incorporada como datos de evaluación ¿ Cómo evaluamos? Observación

31. La observación (formal) requiere: una cuidada planificación (cierto) entrenamiento del observador/-a registro ¿ Cómo evaluamos? Observación

32. ¿Qué ¿ Cómo evaluamos? Los 3 qués de la observación … puede aportar ? Consciencia de la actuación en clase Mejora de la práctica docente … requiere ? Interés genuino por averiguar/entender Coraje … es inevitable ? Mejora de mi práctica docente Ansiedad

33. ¿Qué (más) podría conocer (mejor) sobre el P a través de la observación? ¿Son claras las explicaciones y las instrucciones a las actividades? ¿Habla el profesorado demasiado en clase? ¿Se imprime un ‘ritmo’ demasiado acelerado? ¿Qué tipos de actividades se realizan? ¿En qué formato(s) se presenta la información al alumnado? ¿Cómo reacciona el alumnado a las intervenciones del P? ¿Se utiliza lenguaje sexista? ¿Qué tipo de preguntas se formulan? ¿A quién? ¿Cómo se formulan? ¿Se estimula en el alumnado una variedad de procedimientos de aprendizaje adecuados? ¿Quién participa?

34. ¿Qué comprende la observación? DURANTE ANTES DESPUÉS Observación

35. ¿Qué se hace … … antes? Elaborar un listado de características clave del P Identificar escenarios de episodios típicos del programa Seleccionar el método de observación Preparar un plan de muestreo para llevar a cabo las observaciones Diseñar las hojas o formatos de observación Familiarizarse con las hojas y el método de observación

36. ¿Qué se hace …? … durante? Consideración de los observadores: Invitados No participantes No evaluadores Narradores críticos constructivos registro

37. Posible aplicación a la observación entre compañeros y a la autoobservación ‘ Requisitos mínimos’: Observación entre compañeros Negociación Confianza mutua Confidencialidad Autoobservación Moral alta

38. Posible aplicación a la observación entre compañeros y a la autoobservación Materiales: Formatos/Hojas de observación Centran la atención Delimitan ‘áreas posibles’ de mejora Nos ayudan a comunicarnos en un lenguaje profesional común y a interpretar la información

40. Ejemplos: Se emplean para registrar la presencia, ausencia o frecuencia de conductas conforme ocurren También pueden emplearse para registrar la duración de una actividad Cuándo utilizarlos: cuando se pueden precisar los materiales, las situaciones, la actividad, etc. que evaluaciones de escasa envergadura cuando las características críticas del P consisten mayoritariamente en materiales o actuaciones observables se dispone de escaso tiempo Consejo (si no se hace grabación) Limita el nº de conductas a observar a 10-12 ¿ Cómo evaluamos? Observación: Métodos: Listados o Listas (de control)

41. Ejemplos: Plantean un marco o estructura de observación en el que se incluye información relevante sobre el foco de observación Se emplean para registrar la presencia, ausencia, frecuencia y modalidad de conductas, reacciones, etc. conforme ocurren También pueden emplearse para registrar la duración de una actividad Cuándo utilizarlos: cuando NO se pueden precisar los materiales, las situaciones, la actividad, etc. ¿ Cómo evaluamos? Observación: Métodos: Formatos estructurados ‘abiertos’

42. Ejemplos: Plantean una listado de competencias referidas a la profesora o al profesor y se valora el grado en que se manifiestan dichas competencias Cuándo utilizarlos: cuando el foco de la observación se centra en competencias profesionales del/de la docente ¿ Cómo evaluamos? Observación: Métodos: Formatos de ‘grado de competencias’

43. ¿ Qué es la evaluación? ¿ Por qué y para qué evaluamos? ¿ Qué evaluamos? ¿ Cuándo evaluamos? ¿ Cómo evaluamos? ¿ Quién evalúa? ¿ Qué hacemos con la info obtenida? La (auto)evaluación en Planes y Programas

44. ¡Gracias! [email_address] [email_address]