Este documento presenta una comparación entre la evaluación comprensiva y la evaluación basada en estándares realizada por Robert Stake. Explica que la evaluación comprensiva busca comprender la calidad de un programa a través de sus méritos y valor, mientras que la evaluación basada en estándares determina la calidad mediante números y escalas comparando resultados con estándares o anteriores. También describe los principales elementos de cada enfoque como objetivos, características, métodos e instrumentos.

1. Robert StakeEvaluación Comprensiva y Evaluación basada estándares Leonardo Corredor Toro http://www.twitter.com/leo_corredor

2. Pablo Emilio Romero http://www.twitter.com/mutantexx

3. Maestría en Informática Educativa

4. Universidad de la Sabana

5. Bogotá – Colombia, 2010

6. Fuente de la presentación : Evaluación Comprensiva y evaluación basada en estándares. Robert Stake 2006Evaluación Comprensiva y Evaluación basada estándares Orden de la presentaciónVida y ObraQué es evaluación Qué evaluamos Para qué la evaluación Cómo se evalúaQuiénes evalúanMeta evaluaciónAnexo

7. Evaluación Comprensiva y Evaluación basada estándares Vida y ObraTitular emérito de la cátedra Robert Stake de educación y director del Center for Instructional Research and Curriculum Evaluation CIRCE de la Universidad de Illinois USA.Especialista en educación de programas educativosTrabajo bajo el liderazgo de Thomas Hasting y Lee Crombrach en la fundación del CIRCE (1975).Ha trabajado la mayor parte del tiempo en Gran Bretaña, Estados Unidos, Suecia y Brasil.Posee afinidad con las técnicas etnográficas, estudio de caso y elaboración de informes.Stake se define como un evaluador interpretativo, naturalista, comprensivo, particularista y cualitativo.

8. Evaluación Comprensiva y Evaluación basada estándares Vida y ObraMiembro de la American Educational Research Association.Participó en las redes profesionales Evaluation Research Society and Evaluation Network hoy en día American Evaluation AssociationDoctor en psicometría de la Universidad de Priceton y Doctor honoris causa de la Universidad Upssala, SueciaLibros escritos por el:Stake, R. E. & Easley, J. A. (1979). Case Studies in Science Education. University of Illinois: CIRCE.Stake, R. E. (1986). Quieting reform: Social science and social action in an urban youth program. Urbana: University of Illinois Press.Stake, R. E., Bresler, L., & Mabry, L. (1991). Customs and cherishing: The arts in elementary schools. Urbana, IL: National Arts Education Research Center.Stake, R. E. (1995). The Art of Case Study Research. Thousand Oaks: Sage Publications.Stake, R. E. & Kerr, D. (1995) Rene Magritte, constructivism, and the researcher as interpreter. In Educational Theory, Winter, volume 45, number 1, pages 55-61.Stake, R.E. (2004). Standards-Based and Responsive Evaluation. Thousand Oaks, CA: Sage Publications.Stake, R.E. (2006). Multiple Case Study Analysis. New York: Guilford Press.

9. Evaluación Comprensiva y Evaluación basada estándares Qué es evaluación?En un proceso en el cual se busca determinar la calidad de un evaluandoEsta de acuerdo con la evaluación formativa y sumativa conceptos de Scriven.Gusta por estándares y criterios así como por comprensividad e interpretación.El observa no solo el objeto de la evaluación sino también todos los actores del mismo en un contexto.Correlaciona estrechamente las evaluaciones comprensiva e interpretativa entiendo sus diferencias.Para él la calidad se encuentra en la experiencia humana y es particular en cada persona.Los fenómenos educativos se llegan a conocer a través de episodios, sucesos actividades (pensamiento episódico).“Un modelo es mas bien un prototipo, una plantilla, una receta o un ideal”. Para él no se pueden establecer modelos de evaluación por la singularidad del evaluando.Según él, el evaluador no puede pasar por alto el efecto que la evaluación tendrá en el programa.

10. Evaluación Comprensiva y Evaluación basada estándares Qué es evaluación?El propósito central de la evaluación es descubrir la calidad.Ir mas allá de los objetivos que plantean los clientes.La evaluación comprensiva es basada en criterios e interpretativa al mismo tiempo.Es importante en la evaluación revelar tanto los aspectos positivos como negativos del evaluando.En la evaluación basada en estándares predominan los instrumentos, en la evaluación comprensiva los significados descubiertos en la evaluación.Los datos cuantitativos y cualitativos son complementarios mas no confirmativos.“Las preguntas centrales de toda evaluación seguirán siendo: ¿cuál es la calidad del evaluando? Y ¿cuáles son las principales percepciones que se tienen de su calidad?” (Stake 2006, P 383).

11. Evaluación Comprensiva y Evaluación basada estándares Qué Evaluamos?Cuestiones que necesitan interpretaciónSon los problemas seleccionados y propuestos en formas de preguntas que influyen en el significado que damos a una situación concreta.Cada evaluador genera sus propias cuestiones.Para tener en cuenta : Sesgo“Hacemos caso de los intereses de los patrocinadores, los administradores del programa, los profesionales educativos, los estudiantes y los miembros de la comunidad, pero las cuestiones de estudio no se escogen para favorecer esos intereses. Nuestra intensión central no es la de ser útiles a los agentes implicados, sino la de ayudarles a entender lo que el programa tiene de bueno y demás” (Stake 2006, P275)Diagrama para desarrollar una cuestión de interés¿Qué fuentes?¿Que virtudes?¿Qué problemas?¿Qué más?¿A quién le importa?¿Qué métodos?¿Qué hay historias?

12. Evaluación Comprensiva y Evaluación basada estándares Qué Evaluamos?Que evaluamosLa estandarización de programas.La imparcialidad de los programas.El desarrollo del personal.Los test del alumnado.Los objetivos de un programa.El funcionamiento interno de una organización.Decisiones.Utilización.Acreditación institucional.La búsqueda de meritos y defectos.En educación: Puede tratarse de una clase, de un curso en línea, de una innovación o de una escuela .

13. Evaluación Comprensiva y Evaluación basada estándares Cómo se evalúa?Matriz de datos susceptibles para la evaluación.

14. Evaluación Comprensiva y Evaluación basada estándares Cómo se evalúa?Evaluación basada en estándaresDefiniciónDetermina y representa la calidad mediante el uso de números y escalas.ObjetivosDeterminar los méritos y los defectos del objeto a evaluar.CaracterísticasPor comparación con programas o estándares.Por comparación con resultados anteriores.Se pueden comparar un programa comparando su resultados en dos grupos.Consiste en la búsqueda del conocimiento sobre el valor de algo.Este tipo de evaluación podría clasificarse como de proceso lineal pero es cíclico y autocorrector.No cambiar la pregunta central de la investigación en la realización de la evaluación.Mas allá de la cantidad de datos recogidos es la importancia de sus conclusiones.No descarta las experiencias y meritos de los actores, los considera como antecedentes.

15. Factores de la evaluación basada en estándaresLas necesidades de los receptoresLos objetivos del programaLos criterios de evaluaciónLos estándares de evaluaciónLos pesos o ponderaciones de síntesisLos rendimientos o actuaciones del personal y de los participantesLos costes del programaInstrumentosInformesEvaluación Comprensiva y Evaluación basada estándares Cómo se evalúa?

16. Evaluación Comprensiva y Evaluación basada estándares Cómo se evalúa?Evaluación ComprensivaDefiniciónSinónimos = sensible, responsiva, respondiente, replica, comprensiva.La evaluación comprensiva es el estudio empírico de la actividad humana.La evaluación comprensiva intenta facilitar el nivel de comprensión.ObjetivosDeterminar la calidad de un programa a través de sus meritos, su valor y su representación y documentarla.

17. Evaluación ComprensivaCaracterísticasConstruye puentes entre la evaluación cuantitativa y la cualitativa.La postura compresiva es mas una actitud que un modelo.Adaptación continua al propósito de la evaluación.Busca comprensión a la complejidad del evaluando.Presta su atención a episodios.Evaluación Comprensiva y Evaluación basada estándares Cómo se evalúa?

18. Evaluación ComprensivaCaracterísticasAcontecimientos destacados de una evaluación comprensiva.Evaluación Comprensiva y Evaluación basada estándares Cómo se evalúa?

19. Evaluación Comprensiva y Evaluación basada estándares Cómo se evalúa?Evaluación ComprensivaCaracterísticasMúltiple uso de instrumentos.Saber elegir a las personas correctas a las que preguntar es uno de los primeros pasos dentro de la evaluación.A veces la información que se entrega en el proceso de la evaluación se sesga solo a la mejora.InstrumentosAnálisis y síntesisInformesEn el informe se debe describir al evaluando, al programa, al método de evaluación y sus resultados sean positivos o negativos.Se debe tener cuidado de resaltar la subjetividad en los datos y de la interpretación.Se espera que les llegue a los diversos grupos que les parezca importante, entendiendo con esto que el evaluador se puede ver afectado.Debe argumentar los aspectos encontrados del evaluando.El evaluador deberá ayudar a construir las conclusiones del estudio a su lector apoyado en sus recomendaciones.

20. Personas y/o equipos externos contratados por los interesados en la evaluaciónCaracterísticas del evaluadorCapacidad de describir los diversos aspectos de la calidad de un objeto a evaluar.Investigador de méritos y deficiencias de un evaluado.Un evaluador debe propiciar que las instituciones sean mas abiertas, participativas y deliberativas.Debería procurar poner la misma atención a las instancias formativas y sumativas del proceso.Preocuparse por entender al evaluando.Describir al evaluando con sus interacciones.Debería trabajar en equipo.Procurar que el público comprenda la calidad el programa.Ser independiente, no dejarse manipular por el cliente.Tener la capacidad de distinguir entre interpretaciones fiable y opiniones y preferencial personales.Evaluación Comprensiva y Evaluación basada estándares Quiénes evalúan?

21. Características del evaluadorEl buen evaluador no se debe anticipar a los estándares, pero debe tenerlos en cuenta si existen. Estos serán construidos en el proceso de evaluación.Todo evaluador deberá establecer un conjunto de controles y contrapesos para determinar si el programa se está desviando del curso previsto. Hay que plantearse una y otra vez la pregunta ?Qué puede estar yendo mal?.El evaluador debe servir a:Clientes.Personal del programa.Los receptores del mismo.Los agentes implicados .Al público en General.A sus colegas evaluadores .A los estudiantes que estudian evaluación.Evaluación Comprensiva y Evaluación basada estándares Quiénes evalúan?

22. Características del evaluadorUn evaluador puede tener algunas de estas predisposiciones.A la rendición de cuentas.A un caso de estudio en toda su complejidad.A la erudición -estricta alineación a la rigurosidad académica.Democrática - elección personal.Etnográfica - énfasis a relaciones y actividades culturales.Experimental - se valora el conocimiento preciso y objetivo.Ilustrativo - describen lo que los lectores ven por si mismos.Judicial - se hacen argumentos en favor en contra.Naturalista - valorar las actividades corrientes de los propios entornos.Comprensiva - se deciden por los temas y valores.Evaluación Comprensiva y Evaluación basada estándares Quiénes evalúan?

23. Características del evaluadorRoles habituales para la evaluación de programasEvaluar la consecución de objetivosAyudar al desarrollo de la organizaciónEvaluar la calidad contextualEstudiar un ámbito complejoAyudar la acción socialLegitimar el programa y desviar la críticasGarantizar la rendición de cuentasAcreditar programasConceder premios o prestigioEvaluación Comprensiva y Evaluación basada estándares Quiénes evalúan?

24. Evaluación Comprensiva y Evaluación basada estándares La MetaevaluaciónEs la evaluación de la calidad de una evaluación.La determinación de los puntos fuertes y débiles del estudio de la calidad.Puede ser llevada cabo por los propios evaluadoras, por los compañeros de trabajo o por personas externas.Es la mejor forma de mejorar la confianza en la investigación.Puede ser basada en estándares o compresiva.

25. Evaluación Comprensiva y Evaluación basada estándares Diferencias entre evaluación e Investigación“Ambos son términos comunes en nuestro lenguaje y su diferencia varia según quien los pronuncie y según la ocasión” (Stake 2004, P89).“Buena parte de la evaluación (de la valoración de la calidad) es informal o incluso inconsciente. Difícilmente querremos llamarla investigación”. Es evaluación sin embargo por que determina el valor de algo (Stake 2004, P90).La evaluación formal puede ser meramente procedimental (como en el caso de la votación), deliberativa (como en los juicios con jurado) o investigativa (como en la investigación en ciencias sociales) (Stake 2004, P90).Cuando se reduce a la recogida de una suma de opiniones, por procedimental que esta sea es mejor que no la llamemos investigación. Pero cuando realizamos un esfuerzo sistemático para descubrir la actividad, los significados y los valores de una entidad (o evaluando), se trata tanto de una evaluación como de una investigación (Stake 2004, P90).Ocurre también que buena parte de la investigación que se realiza no se centra en los méritos o el Valor de una entidad en ese caso es mejor no llamarla evaluación (Stake 2004, P90).

26. Evaluación Comprensiva y Evaluación basada estándares Diferencias entre evaluación e InvestigaciónExiste una categoría de estudios denominados investigación evaluativa en los que no se busca el valor de un único evaluando, sino el de toda una clase de ellos (Stake 2004, P90).La investigación institucional es también investigación evaluativa si se evalúa el conjunto de la docencia en todo un campus por ejemplo (Stake 2004, P90).La investigación educativa es investigación evaluativa cuando se evalúa a una pedagogía como la del método casuístico de la docencia en una facultad de derecho (Stake 2004, P90).La investigación evaluativa es el nombre que mucha gente daba al estudio de la calidad con un afán paralelo de generalización (Stake 2004, P90).Todos los estudios de evaluación formal son investigación, pero solo los que aspiran a la generalización de algo para todo una población de casos se conocen con el nombre específico de investigación evaluativa (Stake 2004, P90).