Este documento presenta una introducción al proceso de evaluación educativa. Define la evaluación como un proceso de investigación para recopilar evidencia y llegar a conclusiones sobre el valor o calidad de un programa o plan. Explica que la evaluación puede ser formativa para mejorar un programa o sumativa para determinar los resultados al final de un programa. También resume brevemente los principales paradigmas de evaluación como el postpositivista, constructivista, pragmático y transformativo.

1. PONTIFICIA UNIVERSIDAD CATOLICA DE PUERTO RICO
RECINTO DE PONCE
PROGRAMA DE ESTUDIOS GRADUADOS
LA EVALUACIÓN
Libro: “Research and Evaluation in Education and
Psychology”
Mentens, D. 2010
Presentado Por:
Yanira Lugo
Milagros Ortolaza
Hugo A. Adames

2. Las siguientes fichas bibliográficas fueron utilizadas en esta
presentación:
Gallaudet University. (n.d.). The Gallaudet University. Retrieved septiembre 11,
2012, from gallaudet.edu: http://www.gallaudet.edu
Jackson, W. &. (2010, junio 27). Educacionporsiempre's Blog 2010. Retrieved
septiembre 11, 2012, from educacionporiempre.wordpress.com:
http://educacionporsiempre.wordpress.com
Ohio State University. (2009, diciembre 27). The Ohio State University.
Retrieved septiembre 11, 2012, from ehe.ocu.edu: http://ehe.osu.edu
Popham, W. (1993). Educational Evaluation. Estados Unidos de América: Allyn
and Bacon.
Springer publications. (n.d.). Google books. Retrieved septiembre 11, 2012,
from books.google.com: http://books.google.com.pr
Mertens, D.M. (2010) Research and Evaluation in Education and Psycology,
SAEG Publication Inc. Estados Unidos de América.

3. La evaluación
Es un proceso de investigación que se utiliza para
recopilar y sintetizar la evidencia esta culmina con
las conclusiones sobre el estado de las cosas, el
valor, mérito, importancia o calidad de un
programa, productos, personas, política, propuesto
o plan.

4. Las conclusiones formuladas en las evaluaciones
abarcan tantos aspectos de carácter empírico y
también de aspecto normativo. Es el valor lo
que distingue a la evaluación de otros tipos de
investigaciones, como la investigación de
ciencia básica, epidemiología clínica, el
periodismo, o de votación pública.

5. Los términos mérito y valor usados en esta
definición de evaluación, necesitan ser
clasificadas. Según la Encyclopedia of Evaluation
(Mathison, 2005) se definen como:

6. El mérito
Es la calidad absoluta o relativa de algo, ya sea en
general o con respecto a un criterio particular.
Para determinar el mérito de aquello que se va a
evaluar con respecto a un determinado criterio,
es necesario recopilar datos pertinentes de
realización y atribuir valor a la misma.

7. El valor
Es el resultado de una evaluación y se refiere al
valor de aquello que se está evaluando en un
contexto particular. El valor de un evaluando
requiere una comprensión completo del
contexto particular, así como las cualidades y
atributos del evaluando.

8. Scriven, 2009 extiende esta distinción con el
siguiente ejemplo: "sí, es genial (es decir, de alta
calidad / mérito) un coche, pero valía la pena lo
que cuesta, tanto monetarios como no
monetarios.
Michael Patton, 2008, hace una distinción de
mérito y valor:". Mérito se refiere al valor
intrínseco de un programa, por ejemplo, lo
efectivo que es en satisfacer las necesidades de
aquellos a los que se destina.

9. En las comunidades internacionales de desarrollo,
se hace una distinción entre el supervisión y
evaluación. The United Nations Development
Program (2002, p.6) proporciona las siguientes
definiciones en las evaluaciones realizadas en el
desarrollo internacional:

10. La supervisión
Es una función continua que tiene como objetivo
primordial ofrecer a las partes interesadas en
gestión y principal de una intervención en curso
los primeros indicios de progreso, o la falta de
ella, en el logro de resultados. Una intervención
en curso podría ser un proyecto, programa u
otro tipo de apoyo a un resultado”

11. La evaluación
Es un ejercicio selectivo que intenta evaluar de
manera sistemática y objetiva los progresos
hacia el logro y de un resultado. La evaluación
no es un evento único, sino un ejercicio que
implica evaluaciones de diferente alcance y
profundidad en respuesta a las necesidades de
conocimiento evaluativo y el aprendizaje
durante el esfuerzo para lograr un resultado.

12. Definiciones alternativas sobre el proceso de
evaluación
(Hadley y Mitchel,l 1995)
Definen la evaluación como "investigación aplicada
realizada para realizar o apoyar decisiones respecto a
uno o más programas de servicio“.
(M. Q. Patton, 2008)
Señala que las evaluaciones se pueden utilizar para
reducir la incertidumbre sobre las decisiones, tales
como la disponibilidad de recursos y el clima político.
Puede utilizar la siguiente lista de preguntas para
procesar el contenido de las diversas definiciones y sus
implicaciones para la práctica.

13. Definición de términos en el lenguaje de evaluación
Cuando los evaluadores hablan sobre el evaluando o el
objeto de la evaluación, están hablando de qué es lo
que va a ser evaluado. Esto puede incluir un programa
social o educativo, un producto, una política o personal.
Por ejemplo, se incluyen programas de enriquecimiento
para adolescentes sordos, dotados; drogas y programas
de abuso de alcohol para las personas sin hogar, los
programas y la gestión de residuos de alto nivel
radiactivo.

14. Evaluaciones formativas
Se llevan a cabo principalmente a los efectos de
mejorar el programa. Por lo general, las
evaluaciones formativas se llevan a cabo durante
el desarrollo y ejecución del programa y se
comunicó en el personal. De esta forma pueden
utilizar la información para mejorar el programa.

15. Evaluaciones sumativas
Es la fusión de un programa. Por lo general, esto se
hace en un programa que se ha estabilizado y con
frecuencia se reporta a una agencia externa.
Los evaluadores internos trabajan dentro de la
organización que opera el programa, los
evaluadores externos son 'expertos' traídos de
fuera de la organización con el propósito exclusivo
de llevar a cabo o asistir en la evaluación. Los
evaluadores deben responder a las preocupaciones
e intereses de los miembros selectos de la
configuración que se evalúa.

16. Historia de la evaluación
Paradigmas educativos

17. Origen de la evaluación
• 1800: el gobierno de Estados unidos le pide a
evaluadores externos programas públicos
• 1960: la firma de la Acta para los Head Starts y
las escuelas Primarias y Secundarias

18. Interpretación de Mertens del árbol de Alkin
presentado en forma tabloide
Ramas Paradigma evaluativo
Uso Pragmático
Método Postpositivista
Valorización Constructivista y Transformativo

19. Paradigma postpositivista
• Enfoque basado en objetivos:
– Ralph Tyler: Modelo de Evaluación basado en
objetivos
– Malcom Provus: modelo de discrepancias
– Donald Campbell: Modelo quasi experimental

20. Paradigma postpositivista 2
• Enfoque basado en la toma de desiciones:
– Daniel Stufflebeam: Modelo CIPP (Contexto,
Insumo, Proceso, Producto)
• Enfoque Basado en la teoría
– Chen & Rosi: basado en los trabajos de D.
Campbell

21. Paradigma postpositivista 3
• Resumen del modelo basado en la teoría
– a. desarrollar la teoría en la cual está basado el programa
– b. obtener información sobre el programa y su teoría
subyacente a través de investigaciones previas, examinando
las teorías implícitas en aquellos que trabajan en el programa
y observando el programa en operación
– c. el evaluador trabaja junto con los sostenedores del
programa para la redacción de preguntas y métodos de
evaluación

22. Paradigma constructivista
• Modelo de cuarta generación de Guba & Lincoln:
– 1era generación: evaluación basada en medidas: se
examina el aprendizaje de los estudiantes
– 2da generación: enfoque basado en el alcance de los
objetivos (Tyler)
– 3era generación: modelos basados en la toma de
decisiones
– 4ta generación: constructivista, evaluación heurística

23. Paradigma constructivista 2
• Modelo de evaluación responsiva de Stake:
– La evaluación responsiva de Stake se basa en
comparar un valor observado con un standard. El
standard debe ser definido por las expectativas y
criterios que varias personas tengan acerca del
programa y los valores observados deben estar
basados en aquellos que realmente alberga el
programa. El trabajo del evaluador es determinar
cuáles son los valores del programa que se observan
con referencias útiles acerca de la satisfacción o
insatisfacción de personas seleccionadas.

24. Paradigma pragmático
• Modelos de enfoque pragmático:
– El modelo de la cultura organizacional de Preskill &
Torres
• el interés de los miembros de una organización en explorar
issues críticos usando la lógica de la evaluación
• el envolvimiento de los miembros de la organización en el
proceso evaluativo
• el crecimiento de los miembros de la organización tanto a
nivel personal como profesional
• la creación en las organizaciones de una cultura que
acostumbre a utilizar la información para llevar a cabo
procesos de mejora en los programas

25. Paradigma pragmático 2
– Modelo de evaluación de programas enfocada en la
utilización por M.Q. Patton
• la utilidad de la evaluación debe determinarse desde el
principio
• el valor de los hallazgos dependerá del uso que se le den
• el evaluador tiene que facilitar la planificación e
implantación de las evaluaciones para motivar la utilización
de los hallazgos
– Modelo de evaluación del mundo real por Bamberger
• Busca crear un modelo de evaluación que cumpla con los
requisitos de las agencias y a su vez ser responsivo a las
complejidades culturales en el contexto educativo.

26. Paradigma transformativo
• Los ocho modelos más importantes son:
– Evaluación inclusiva (Mertens, 2003): Los
miembros de la comunidad que serán afectados
por los resultados de la evaluación serán incluídos
en las decisiones metodológicas.
– Evaluación de deliberación democrática (Hilliard,
1984; House & Howe, 2000; McDonald & Kushner,
2005)

27. Paradigma transformativo 2
• la partidas relevantes
• los intereses relevantes
• el diálogo
– Empowerment evaluation (Fetterman & Wandersman, 2004).
Consiste en utilizar conceptos técnicas y hallazgos de la
investigación con el fin de lograr la autodeterminación.
– Evaluación desarrollativa: (Stockdill, Duhon-Sells, Olson &
Patton, 1992; Patton, 1994). Se define como la evaluación que
apoya los programas y el desarrollo organizacional para guiar la
adaptación a realidades emergentes y dinámicas desde una
perspectiva de sistemas complejos y envuelve cambiar el modo
del programa en sí como parte de la innovación y respuesta a
las condiciones y entendimientos cambiantes.

28. Paradigma transformativo 3
– Evaluación feminista: (Seigart & Brisolaras, 2002) Se
basa en juicios de mérito, la aplicación de los métodos
de las ciencias sociales para determinar efectividad, y
el logro de las metas de los programas así como
herramientas relacionadas a la justicia social para los
oprimidos, especialmente aunque no exclusivamente
las mujeres.
– Evaluación transformativa: La meta principal es
proveer información para mejorar o monitorear el
progreso del proyecto. Los participantes son co-
planificadores con las siguientes funciones:

29. Paradigma transformativo 3
– Hood, Hopson & Frierson (2005) desarrollaron el modelo
evaluativo de acercamiento cultural en lo cual lo primordial es
atender el contexto cultural e histórico en el cual se sitúan los
programas así como las perspectivas críticas de los miembros de
la comunidad.
– Los modelos de índole post colonial e indígenas los cuales
fueron desarrollados por miembros de las comunidades post
coloniales e indígenas, reflejando las raíces culturales de los
indios americanos. (Le France& Crazy Bull, 2009) los Maori en
Nueva Zelanda (Cram, 2009; Moewaka Barnes, Mc Creanor,
Edwards & Borrel, 2009; L.T. Smith, 2005) y los afroamericanos
(Chilisa, 2009). Ellos especifican como un persona no indígena
necesita proceder cuando trabaja con grupos indígenas, así
como guiar el trabajo evaluativo basándose en los valores y
tradiciones de la comunidad.

30. Paradigma transformativo 4
• discutir las preguntas de evaluación que necesitan
realizarse para determinar si el proyecto está
progresando
• ayudar a definir e identificar fuentes de dates
requeridos para contestar las preguntas de evaluación
• se envuelven en la recolección y análisis de datos y la
preparación del reporte final.

31. Pasos en la Planificación de una Evaluación
Enfocando la evaluación:
• Descripción de lo que será evaluado
•Propósito de la evaluación
•Participantes en la evaluación
•Restricciones y oportunidades asociadas con la
evaluación
•Preguntas de evaluación
•Selección de un modelo de evaluación

32. Etapa de enfoque
Durante esta etapa, el evaluador necesita determinar lo
que esta siendo evaluado, el propósito de la
evaluación, los participantes en la evaluación y las
restricciones bajo las cuales la misma se lleva a cabo.
- Generalmente, este primer contacto es iniciado por el
director del programa, el creador de la política, o el
fundador del grupo.
- El evaluador puede ganar valiosa información
realizando las preguntas correctas.

33. Descripción del evaluando
• Determinar el estatus de lo que será evaluado
• Realizar cuestionamientos como los siguientes
para el comienzo de la evaluación:
- ¿Existe una descripción escrita sobre lo que será
evaluado?
- ¿Cuál es el estatus? Nuevo o maduro? Está
desarrollado? Cuánto tiempo ha existido el
programa?
- ¿En que contexto se utilizará la función del
evaluando?
- ¿A quién está dirigido a servir el evaluando?

34. - ¿Qué se supone que haga el evaluando?
- ¿Qué recursos se están proveyendo al
evaluando? (financiamiento, tiempo, equipo,
materiales, etc.)
- ¿Cuáles son los procesos que conforman al
evaluando?
- ¿Qué resultados (outputs) se esperan?
- ¿Por qué quiere evaluarlo?
- ¿Qué descripción del evaluando esta disponible
para usted al comienzo de la evaluación?
- ¿Qué descripción del evaluando resulta
necesaria para la comprensión del programa?

35. Distinciones del propósito de la Evaluación
( M. Q. Patton, 2008)

36. Algunas preguntas para determinar los
propósitos de la evaluación

37. Áreas de cambio comunitario
(Paulo Freire, 1971)

39. Identificación de los participantes
• El evaluador debe formular las preguntas adecuadas
que le permitan reconocer todas personas que serán
afectadas por el programa.

42. Posibles participantes en evaluaciones
• Patrocinadores y fundadores
• Gobiernos y asesores
• Representantes de agencias federales y estatales
• Creadores de pólizas
• Administradores
• Miembros del equipo (staff) - maestros
regulares, de educación especial, panel de
recursos, psicólogos)

43. • Recibidores de servicios ( clientes, estudiantes,
etc.)
• No recibidores

44. Restricciones de la Evaluación

45. Sugerencias relacionadas con las restricciones en la
evaluación:
• El evaluador debe considerar quienes rechazan o
apoyan el programa.
• Asegurarse de que exista un conocimiento formalizado
sobre quienes necesitan ser informados.
• Reconocer que las personas pueden “moverse dentro y
fuera "de los programas. Por lo tanto, los
conocimientos de esas personas varían.
• Es necesario orientar a los nuevos participantes sobre el
proceso, el propósito y la evaluación.
• Preparar una síntesis sobre su conocimiento actual del
programa, en términos del evaluando, propósito de la
evaluación, stekeholders y restricciones.

46. Preguntas en la evaluación
• Descriptivas
Son aquellas que dicen lo que el programa es y lo
que hace.
Ejemplo:
- ¿Qué actividades apoya el programa?
• De implantación
Son aquellas que dicen cómo y en que medida las
actividades que se pretendían implantar fueron
implantadas, y si están dirigidas a una población
o problemas en especifico.

47. Ejemplo:
- ¿Las actividades están en concordancia con el
propósito de la ley y las regulaciones de
implantación?
• De impacto
Son aquellas que indican los efectos del
programa.
Ejemplo:
- ¿El programa está alcanzando sus propósitos o
finalidades?

48. Selección de un modelo de evaluación
• Existen 2 opciones para escoger un modelo:
- Escoger un modelo que se adapte a su punto de vista.
- Escoger un modelo que responda a las necesidades del
cliente.
• Cuando escoja el modelo, busque uno que se
ajuste a las necesidades de la evaluación y a su
punto de vista.
• Si el cliente esta abierto a un nuevo enfoque
sobre la evaluación, intente orientarlo al
respecto.

49. Planificación de la evaluación
• La recolección de datos responde a las siguientes
preguntas:
1.¿Qué estrategias de recolección de datos se van
a usar?
2.¿Quién va a recoger los datos?
3.¿Cuál va a ser la muestra?
4.¿Cuándo y cómo se recopilará la información?
5.¿Cómo regresará la información al evaluador?

50. Análisis, interpretación y uso de los datos
• La estrategia para analizar, interpretar y usar los
datos, dependerá del tipo de modelo que se
utilice:
Ejemplo 1:
En un modelo constructivista o transformativo, se
interactuará más con los participantes de la evaluación a
la hora de analizar, interpretar y usar los datos que en
un modelo post-positivista, en el cual el evaluador
preferirá pasar lo mas desapercibido posible para no
afectar el recogido de información.

51. Dirección de la evaluación
• Se debe realizar un plan escrito sobre el
personal y presupuesto requerido.
• La meta-evaluación es la evaluación sobre el
proceso de evaluación. Se debe llevar a cabo
en 3 instancias:
- Una vez concluida la planificación preliminar
- Durante la implantación
- Después que haya sido completada la
evaluación

52. Normas para la evaluación crítica de las
evaluaciones
Las normas de evaluación de programas
(denominados anteriormente y en lo sucesivo
referido como las normas) fueron desarrolladas
por un comité conjunto que se inició con el
esfuerzo de tres organizaciones: la American
Educational Research Association (AERA), la
American Psychologycal asociation (APA), y el
Consejo Nacional de Medición de la Educación.

53. Los representantes de estas tres organizaciones se
unieron a los miembros de 12 organizaciones
profesionales. Para desarrollar un conjunto de
normas que orientan la evaluación de los programas
educativos y de capacitación, proyectos y materiales
en una variedad de entornos.
Las normas no han sido adoptados como estándares
oficiales para cualquiera de estas organizaciones. Sin
embargo, sí ofrecen un marco amplio para examinar
la calidad de la evaluación.

54. Los estándares están organizados de acuerdo a cinco atributos principales
de las evaluaciones:

55. Cada uno de los atributos principales se define
por norma correspondiente a ese atributo.
Lineamientos y casos ilustrativos se incluyen en
el texto del programa de evaluación estándar en
sí.
Los casos ilustrativos se extrae de una variedad
de entornos educativos, incluidas las escuelas,
las universidades, la médica y el campo de la
salud, el negocio militar y la industria, el
gobierno y la ley.

56. Utilidad
U1- Credibilidad del Evaluador
U2- Atención a las partes interesadas
U3 -Propósitos negociados
U4- Valores explícitos
U5- Información Relevante
U6- Procesos y Productos significativos
U7- Comunicación oportuna, adecuada y
presentación de informes
U8 -La preocupación por la influencia y
consecuencias

57. Factibilidad
F1 -Procedimientos prácticos
F2 -Viabilidad contextual
F3 -Uso de Recursos
F4 -Gestión de proyectos

58. Propiedad
P1 -Orientación Sensible e inclusiva
P2 -Acuerdos Formales
P3 -Derechos Humanos y Respeto
P4 -Claridad y equilibrio
P5 -Transparencia y Divulgación
P6 -Conflictos de Interés
P7 -Responsabilidad Fiscal

59. Precisión
A1- Conclusiones y Decisiones Confiables
A2- Información válida
A3- Información confiable
A4 -Evaluando explicito y descripciones
contextuales
A5- Métodos Cuantitativos y Cualitativos
A6 -Diseño y Análisis
A7 -Razonamiento y evaluación explícita
A8- Comunicación válida y presentación de
informes

60. Meta evaluación
M1- Propósitos
M2- Estándares de Calidad
M3- Documentación

61. Mertens (2009) y Kirkhart (2005) reconocen que las
preocupaciones sobre la diversidad y multiculturalismo
tiene consecuencias generalizadas sobre la calidad del
trabajo de evaluación. Kirkhart propuso una
consideración específica de lo que ella denomina
"validez multicultural", que definió como "el vehículo
para la organización de las preocupaciones sobre el
pluralismo y la diversidad en la evaluación, y como una
manera de reflexionar sobre los límites culturales de
nuestro trabajo" (1995).

62. Se describen tres tipos de validez
tradicionalmente discutidos en el proceso de
investigación, pero se dirige a ellos desde el
punto de vista de la validez multicultural.
A continuación, identifica las amenazas
específicamente relevantes para la validez
multicultural. Los tipos tradicionales de validez
se definen y analizan a continuación:

63. 1. Validez Metodológica- se refiere a la validez o
fiabilidad de acuerdos garantizados por nuestros
métodos de investigación, particularmente con
referencia a los instrumentos de medición,
procedimientos, y la lógica de la investigación.
2. Validez Interpersonal-se refiere a la validez o
fiabilidad de acuerdos que emanan de las interacciones
personales.
3. Consecuencia de validez- se refiere a la solidez de
cambio ejerce sobre los sistemas de evaluación y la
medida en que esos cambios son sólo.

64. Amenazas especificas para la validez multicultural
1. Se necesita tiempo para reflexionar la perspectiva
multicultural profundamente.
2. La sofisticación cultural tiene que ser demostrada en
el desarrollo cognitivo, afectivo y dimensiones de
habilidad.
3. El evaluador debe evitar la arrogancia cultural que se
refleja en compromisos cognitivos prematuros a un
entendimiento cultural en particular, así como a
cualquier modelo de evaluación.

65. La ética y la evaluación: los principios rectores
1. Investigación Sistemática
2. Competencias
3. Integridad / honestidad
4.El respeto de las personas
5.Responsabilidades para el bienestar general y
público

66. Conclusiones
A la luz de la información expuesta, se derivan los siguientes puntos
importantes:
• El proceso evaluativo se enfatiza en la recolección de
datos, tanto de carácter empírico como normativo,
siendo el valor lo que la distingue de otros tipos de
investigaciones.
• El evaluador debe tener un conocimiento claro sobre
quienes son los participantes, las restricciones y los
objetivos que se persiguen alcanzar para lograr a
conclusiones precisas sobre el programa que esta siendo
evaluado.
• Es importante que el evaluador realice los
cuestionamientos adecuados durante la evaluación para
poder obtener conclusiones fiables una vez finalizado el
proceso.

67. Referencia
Mertens, D. (2010). Research and Evaluation in
Educaction and Psychology. Thousand Oaks,
CA: SAGE Publications, Inc.