Este documento presenta una comparación entre la evaluación comprensiva y la evaluación basada en estándares realizada por Robert Stake. Explica que la evaluación comprensiva busca comprender la calidad de un programa a través de sus méritos y valor, mientras que la evaluación basada en estándares determina la calidad mediante números y escalas comparando resultados con estándares o anteriores. También describe los principales elementos de cada enfoque como objetivos, características, métodos e instrumentos.

2. Pablo Emilio Romero http://www.twitter.com/mutantexx

3. Maestría en Informática Educativa

4. Universidad de la Sabana

5. Bogotá – Colombia, 2010

7. Evaluación Comprensiva y Evaluación basada estándares Vida y Obra Titular emérito de la cátedra Robert Stake de educación y director del Center for Instructional Research and Curriculum Evaluation CIRCE de la Universidad de Illinois USA. Especialista en educación de programas educativos Trabajo bajo el liderazgo de Thomas Hasting y Lee Crombrach en la fundación del CIRCE (1975). Ha trabajado la mayor parte del tiempo en Gran Bretaña, Estados Unidos, Suecia y Brasil. Posee afinidad con las técnicas etnográficas, estudio de caso y elaboración de informes. Stake se define como un evaluador interpretativo, naturalista, comprensivo, particularista y cualitativo.

8. Evaluación Comprensiva y Evaluación basada estándares Vida y Obra Miembro de la American Educational Research Association. Participó en las redes profesionales Evaluation Research Society and Evaluation Network hoy en día American Evaluation Association Doctor en psicometría de la Universidad de Priceton y Doctor honoris causa de la Universidad Upssala, Suecia Libros escritos por el: Stake, R. E. & Easley, J. A. (1979). Case Studies in Science Education. University of Illinois: CIRCE. Stake, R. E. (1986). Quieting reform: Social science and social action in an urban youth program. Urbana: University of Illinois Press. Stake, R. E., Bresler, L., & Mabry, L. (1991). Customs and cherishing: The arts in elementary schools. Urbana, IL: National Arts Education Research Center. Stake, R. E. (1995). The Art of Case Study Research. Thousand Oaks: Sage Publications. Stake, R. E. & Kerr, D. (1995) Rene Magritte, constructivism, and the researcher as interpreter. In Educational Theory, Winter, volume 45, number 1, pages 55-61. Stake, R.E. (2004). Standards-Based and Responsive Evaluation. Thousand Oaks, CA: Sage Publications. Stake, R.E. (2006). Multiple Case Study Analysis. New York: Guilford Press.

9. Evaluación Comprensiva y Evaluación basada estándares Qué es evaluación? En un proceso en el cual se busca determinar la calidad de un evaluando Esta de acuerdo con la evaluación formativa y sumativa conceptos de Scriven. Gusta por estándares y criterios así como por comprensividad e interpretación. El observa no solo el objeto de la evaluación sino también todos los actores del mismo en un contexto. Correlaciona estrechamente las evaluaciones comprensiva e interpretativa entiendo sus diferencias. Para él la calidad se encuentra en la experiencia humana y es particular en cada persona. Los fenómenos educativos se llegan a conocer a través de episodios, sucesos actividades (pensamiento episódico). “Un modelo es mas bien un prototipo, una plantilla, una receta o un ideal”. Para él no se pueden establecer modelos de evaluación por la singularidad del evaluando. Según él, el evaluador no puede pasar por alto el efecto que la evaluación tendrá en el programa.

10. Evaluación Comprensiva y Evaluación basada estándares Qué es evaluación? El propósito central de la evaluación es descubrir la calidad. Ir mas allá de los objetivos que plantean los clientes. La evaluación comprensiva es basada en criterios e interpretativa al mismo tiempo. Es importante en la evaluación revelar tanto los aspectos positivos como negativos del evaluando. En la evaluación basada en estándares predominan los instrumentos, en la evaluación comprensiva los significados descubiertos en la evaluación. Los datos cuantitativos y cualitativos son complementarios mas no confirmativos. “Las preguntas centrales de toda evaluación seguirán siendo: ¿cuál es la calidad del evaluando? Y ¿cuáles son las principales percepciones que se tienen de su calidad?” (Stake 2006, P 383).

11. Evaluación Comprensiva y Evaluación basada estándares Qué Evaluamos? Cuestiones que necesitan interpretación Son los problemas seleccionados y propuestos en formas de preguntas que influyen en el significado que damos a una situación concreta. Cada evaluador genera sus propias cuestiones. Para tener en cuenta : Sesgo “Hacemos caso de los intereses de los patrocinadores, los administradores del programa, los profesionales educativos, los estudiantes y los miembros de la comunidad, pero las cuestiones de estudio no se escogen para favorecer esos intereses. Nuestra intensión central no es la de ser útiles a los agentes implicados, sino la de ayudarles a entender lo que el programa tiene de bueno y demás” (Stake 2006, P275) Diagrama para desarrollar una cuestión de interés ¿Qué fuentes? ¿Que virtudes? ¿Qué problemas? ¿Qué más? ¿A quién le importa? ¿Qué métodos? ¿Qué hay historias?

12. Evaluación Comprensiva y Evaluación basada estándares Qué Evaluamos? Que evaluamos La estandarización de programas. La imparcialidad de los programas. El desarrollo del personal. Los test del alumnado. Los objetivos de un programa. El funcionamiento interno de una organización. Decisiones. Utilización. Acreditación institucional. La búsqueda de meritos y defectos. En educación: Puede tratarse de una clase, de un curso en línea, de una innovación o de una escuela .

13. Evaluación Comprensiva y Evaluación basada estándares Cómo se evalúa? Matriz de datos susceptibles para la evaluación .

14. Evaluación Comprensiva y Evaluación basada estándares Cómo se evalúa? Evaluación basada en estándares Definición Determina y representa la calidad mediante el uso de números y escalas. Objetivos Determinar los méritos y los defectos del objeto a evaluar. Características Por comparación con programas o estándares. Por comparación con resultados anteriores. Se pueden comparar un programa comparando su resultados en dos grupos. Consiste en la búsqueda del conocimiento sobre el valor de algo. Este tipo de evaluación podría clasificarse como de proceso lineal pero es cíclico y autocorrector. No cambiar la pregunta central de la investigación en la realización de la evaluación. Mas allá de la cantidad de datos recogidos es la importancia de sus conclusiones. No descarta las experiencias y meritos de los actores, los considera como antecedentes.

15. Factores de la evaluación basada en estándares Las necesidades de los receptores Los objetivos del programa Los criterios de evaluación Los estándares de evaluación Los pesos o ponderaciones de síntesis Los rendimientos o actuaciones del personal y de los participantes Los costes del programa Instrumentos Informes Evaluación Comprensiva y Evaluación basada estándares Cómo se evalúa?

16. Evaluación Comprensiva y Evaluación basada estándares Cómo se evalúa? Evaluación Comprensiva Definición Sinónimos = sensible, responsiva, respondiente, replica, comprensiva. La evaluación comprensiva es el estudio empírico de la actividad humana. La evaluación comprensiva intenta facilitar el nivel de comprensión. Objetivos Determinar la calidad de un programa a través de sus meritos, su valor y su representación y documentarla.

17. Evaluación Comprensiva Características Construye puentes entre la evaluación cuantitativa y la cualitativa. La postura compresiva es mas una actitud que un modelo. Adaptación continua al propósito de la evaluación. Busca comprensión a la complejidad del evaluando. Presta su atención a episodios. Evaluación Comprensiva y Evaluación basada estándares Cómo se evalúa?

18. Evaluación Comprensiva Características Acontecimientos destacados de una evaluación comprensiva. Evaluación Comprensiva y Evaluación basada estándares Cómo se evalúa?

19. Evaluación Comprensiva y Evaluación basada estándares Cómo se evalúa? Evaluación Comprensiva Características Múltiple uso de instrumentos. Saber elegir a las personas correctas a las que preguntar es uno de los primeros pasos dentro de la evaluación. A veces la información que se entrega en el proceso de la evaluación se sesga solo a la mejora. Instrumentos Análisis y síntesis Informes En el informe se debe describir al evaluando, al programa, al método de evaluación y sus resultados sean positivos o negativos. Se debe tener cuidado de resaltar la subjetividad en los datos y de la interpretación. Se espera que les llegue a los diversos grupos que les parezca importante, entendiendo con esto que el evaluador se puede ver afectado. Debe argumentar los aspectos encontrados del evaluando. El evaluador deberá ayudar a construir las conclusiones del estudio a su lector apoyado en sus recomendaciones.

20. Personas y/o equipos externos contratados por los interesados en la evaluación Características del evaluador Capacidad de describir los diversos aspectos de la calidad de un objeto a evaluar. Investigador de méritos y deficiencias de un evaluado. Un evaluador debe propiciar que las instituciones sean mas abiertas, participativas y deliberativas. Debería procurar poner la misma atención a las instancias formativas y sumativas del proceso. Preocuparse por entender al evaluando. Describir al evaluando con sus interacciones. Debería trabajar en equipo. Procurar que el público comprenda la calidad el programa. Ser independiente, no dejarse manipular por el cliente. Tener la capacidad de distinguir entre interpretaciones fiable y opiniones y preferencial personales. Evaluación Comprensiva y Evaluación basada estándares Quiénes evalúan?

21. Características del evaluador El buen evaluador no se debe anticipar a los estándares, pero debe tenerlos en cuenta si existen. Estos serán construidos en el proceso de evaluación. Todo evaluador deberá establecer un conjunto de controles y contrapesos para determinar si el programa se está desviando del curso previsto. Hay que plantearse una y otra vez la pregunta ?Qué puede estar yendo mal?. El evaluador debe servir a: Clientes. Personal del programa. Los receptores del mismo. Los agentes implicados . Al público en General. A sus colegas evaluadores . A los estudiantes que estudian evaluación. Evaluación Comprensiva y Evaluación basada estándares Quiénes evalúan?

22. Características del evaluador Un evaluador puede tener algunas de estas predisposiciones. A la rendición de cuentas. A un caso de estudio en toda su complejidad. A la erudición -estricta alineación a la rigurosidad académica. Democrática - elección personal. Etnográfica - énfasis a relaciones y actividades culturales. Experimental - se valora el conocimiento preciso y objetivo. Ilustrativo - describen lo que los lectores ven por si mismos. Judicial - se hacen argumentos en favor en contra. Naturalista - valorar las actividades corrientes de los propios entornos. Comprensiva - se deciden por los temas y valores. Evaluación Comprensiva y Evaluación basada estándares Quiénes evalúan?

23. Características del evaluador Roles habituales para la evaluación de programas Evaluar la consecución de objetivos Ayudar al desarrollo de la organización Evaluar la calidad contextual Estudiar un ámbito complejo Ayudar la acción social Legitimar el programa y desviar la críticas Garantizar la rendición de cuentas Acreditar programas Conceder premios o prestigio Evaluación Comprensiva y Evaluación basada estándares Quiénes evalúan?

24. Evaluación Comprensiva y Evaluación basada estándares La Metaevaluación Es la evaluación de la calidad de una evaluación. La determinación de los puntos fuertes y débiles del estudio de la calidad. Puede ser llevada cabo por los propios evaluadoras, por los compañeros de trabajo o por personas externas. Es la mejor forma de mejorar la confianza en la investigación. Puede ser basada en estándares o compresiva.

25. Evaluación Comprensiva y Evaluación basada estándares Diferencias entre evaluación e Investigación “Ambos son términos comunes en nuestro lenguaje y su diferencia varia según quien los pronuncie y según la ocasión” (Stake 2004, P89). “Buena parte de la evaluación (de la valoración de la calidad) es informal o incluso inconsciente. Difícilmente querremos llamarla investigación”. Es evaluación sin embargo por que determina el valor de algo (Stake 2004, P90). La evaluación formal puede ser meramente procedimental (como en el caso de la votación), deliberativa (como en los juicios con jurado) o investigativa (como en la investigación en ciencias sociales) (Stake 2004, P90). Cuando se reduce a la recogida de una suma de opiniones, por procedimental que esta sea es mejor que no la llamemos investigación. Pero cuando realizamos un esfuerzo sistemático para descubrir la actividad, los significados y los valores de una entidad (o evaluando), se trata tanto de una evaluación como de una investigación (Stake 2004, P90). Ocurre también que buena parte de la investigación que se realiza no se centra en los méritos o el Valor de una entidad en ese caso es mejor no llamarla evaluación (Stake 2004, P90).

26. Evaluación Comprensiva y Evaluación basada estándares Diferencias entre evaluación e Investigación Existe una categoría de estudios denominados investigación evaluativa en los que no se busca el valor de un único evaluando, sino el de toda una clase de ellos (Stake 2004, P90). La investigación institucional es también investigación evaluativa si se evalúa el conjunto de la docencia en todo un campus por ejemplo (Stake 2004, P90). La investigación educativa es investigación evaluativa cuando se evalúa a una pedagogía como la del método casuístico de la docencia en una facultad de derecho (Stake 2004, P90). La investigación evaluativa es el nombre que mucha gente daba al estudio de la calidad con un afán paralelo de generalización (Stake 2004, P90). Todos los estudios de evaluación formal son investigación, pero solo los que aspiran a la generalización de algo para todo una población de casos se conocen con el nombre específico de investigación evaluativa (Stake 2004, P90).

27. Evaluación Comprensiva y Evaluación basada estándares Estándares para las evaluaciones de programas, proyectos y materiales educativos - Contrataciones Fuente de Joint Commitee on Standarts for Educational Evauations (1981) Deben identificarse los públicos implicados en la evaluación o afectados por la misma al fin de que puedan abordarse sus necesidades. Las personas que llevan a cabo la evaluación deben ser fiables y competentes para realizar ese trabajo, a fin de que los resultados alcancen la máxima credibilidad y aceptación. La información recopilada debe ser de tal alcance y debe haber sido seleccionada de tal modo que permita abordar las cuestiones pertinentes acerca del objeto de la evaluación y ser receptiva a las necesidades y los intereses de los públicos especificados. Deben difundirse los resultados de la evaluación entre los clientes y otros públicos con derecho a saber, a fin de que puedan valorarlos y usarlos. Los informes deben publicarse en el momento oportuno para que los públicos a los que van destinados puedan darles el mejor uso posible. Los procedimientos de evaluación deben ser prácticos para que produzcan los mínimos trastornos y se obtenga la información que se necesita.

28. Evaluación Comprensiva y Evaluación basada estándares Estándares para las evaluaciones de programas, proyectos y materiales educativos - Contrataciones Fuente de Joint Commitee on Standarts for Educational Evauations (1981) Las obligaciones de las partes que suscribe formalmente una evaluación (lo que hay que hacer, cómo, quién y cuándo) deben ser acordadas por escrito para que dichas partes se obliguen mutuamente a adherirse a todas las condiciones del acuerdo o, en su caso, a renegociarlo formalmente. Los conflictos de intereses, a menudo inevitables, deben ser tratados de forma abierta y honesta, de manera que no comprometan los procesos ni los resultados de la evaluación. Los informes orales y escritos de la evaluación deben ser abiertos, directos y honestos a la hora de revelar los resultados pertinentes, incluyendo las propias limitaciones de la evaluación . Las partes formales de una devaluación deben respetar y garantizar el derecho del público a saber (dentro de los límites de otros principios y estatutos relacionados, como los que rigen la seguridad pública y el derecho a la intimidad).

29. Evaluación Comprensiva y Evaluación basada estándares Estándares para las evaluaciones de programas, proyectos y materiales educativos - Contrataciones Fuente de Joint Commitee on Standarts for Educational Evauations (1981) Las evaluaciones deben diseñarse y realizarse de tal modo que se respeten y se proteja los derechos y el bienestar de los sujetos humanos. La asignación y el gasto de recursos que realice el evaluador debe regirse por sólidos procesos de rendición de cuentas y en cualquier caso, debe ser prudente y éticamente responsable. El objeto de la evaluación (ya sea un programa, un proyecto un material) debe examinarse suficientemente de manera que la forma del objeto que se tome en consideración para la evaluación pueda ser identificada. Los propósitos y los procedimientos de la devaluación deben estar supervisados y descritos con suficiente detalle como para que pueda ser identificados y valorados.

30. Evaluación Comprensiva y Evaluación basada estándares Documento fuente para realizar la presentación en: http://leocorredor.files.wordpress.com/2010/06/robert-stake-evaluacion-comprensiva.pdf