Evaluación de los programas en la educacion inicial y superior.

1. TEMA 1
CONCEPTOS BÁSICOS EN EVALUACIÓN DE
PROGRAMAS
Contenidos
1. Definiciones
2. Qué es un programa
3. Componentes básicos de la E.P.
4. Qué intenta responder la E.P.
5. Fases en la historia de la E.P.
6. Modelos teóricos en E.P.
7. Evaluación y ética
8. Aspectos polémicos en la E.P.
9. Evaluación y otros estudios
10. El futuro de la E.P.
1. DEFINICIONES
Riecken, 1972
Es la medición de las consecuencias deseables o indeseables de una acción
psicosocial ejecutada para facilitar la obtención de metas perseguidas por el
sujeto
Perloff, Perloff y Sussna, 1976
Es la determinación de la medida en que un programa logró uno o más de
sus objetivos, las razones por las cuales no los alcanzó y la relación existente
entre los efectos del programa y una amplia diversidad de variables y
características del programa
Spaniol, 1975
Es un proceso sistemático y continuo que proporciona información acerca del
efecto o impacto de un programa, con el objeto de contribuir a adoptar una
decisión política de trascendencia

2. Ato, Quiñones, Romero y Rabadán (1989)
La evaluación de programas es un proceso que consiste en valorar si un
programa consiguió o no en alcanzar los objetivos para cuya consecución fue
ideado
Fernández Ballesteros, 1995
Es la sistemática investigación a través de métodos científicos de los efectos,
resultados y objetivos de un programa, con el fin de tomar decisiones sobre
él.
Freeman y Rossi, 1993
Es la aplicación sistemática de procedimientos de investigación social para
evaluar la conceptualización, diseño, implementación y utilidad de los
programas de intervención social
Rossi, Freeman y Lipsey, 1999
Es el uso de procedimientos de investigación social para investigar
sistemáticamente la efectividad de programas de intervención social
Requiere:
– Recolección de datos
– Existencia de criterios de valoración
Perspectiva de Fernández-Ballesteros (1995):
Evaluación → forma de investigación científica
Debe maximizar la objetivación de resultados
Control, manipulación adecuada y medición → garantías de trabajo
riguroso
El evaluador se sitúa como experto, frente a otros valoradores de la misma
realidad
2. PROGRAMA
Conjunto especificado de acciones humanas y recursos materiales, diseñados
e implantados organizadamente en una determinada realidad social, con el
propósito de resolver algún problema que atañe a un conjunto de personas

3. Características básicas de un programa
Especificación previa
Implantación coordinada
Objetivos del programa
De forma general, mejorar alguna de las condiciones humanas
Objetivo de la evaluación: mejorar el programa
3. COMPONENTES BASICOS DE LA EVALUACION DEL PROGRAMA
Programa
→ supone un tratamiento: Conjunto de manipulaciones que han sido
programadas para ser implantadas en una determinada realidad
socioambiental.
→ se aplica a una serie de unidades: Conjuntos de sujetos a los que se ha
implantado una determinada intervención.
→ pasa por la observación de operaciones en las unidades en las que se ha
aplicado el programa: expresión de objetivos a cubrir con el programa o bien
efectos que el tratamiento ha producido en las unidades
→ la evaluación se realiza sobre unos tratamientos, aplicados a unas unidades
en un contexto o situación específicos.
4. QUÉ INTENTA RESPONDER LA EVALUACIÓN DE PROGRAMAS
Respuestas externas en evaluación
• Certificación de calidad / acreditación externa al programa
• Fundamentar decisiones de distribución de recursos
• Mejorar decisiones de futuros programas
• Promover el conocimiento sobre qué y cómo se ha hecho
• Proporcionar información pública sobre los logros conseguidos

4. Respuesta a necesidades internas del programa
• Comprobar la utilidad del programa
• Servir de base para el mejoramiento continuo
• Promover procesos de aprendizaje colectivo e individual sobre lo que se hace
y cómo se hace
• Comprender los límites y aciertos de un programa
5. FASES EN LA HISTORIA DE LA E.P (Cook, 1988)
1965-1975 Scriven y Campbell
– Periodo asociado a teorías altamente objetivistas
– Base: método científico
1975-1982 La crítica
– Descripción válida y comprensiva de cómo operan los programas
sociales
– Más uso de métodos cualitativos que cuantitativos.
– Evaluación → Búsqueda de efectos más que la comprobación de
hipótesis apriorísticas.
– Autores: Weiss, Stake y Guba
Intentos de síntesis posteriores a 1980 (Cronbach)
– Teorías de evaluación prácticas
– Menos limitadas tanto en métodos, selección de cuestiones y rol del
evaluador
6. MODELOS TEÓRICOS EN LA E.P
Chacón, López y Pérez, 1992.
Evaluación centrada hacia los objetivos (Tyler, 1942)
Valora la coincidencia entre los objetivos del programa y los resultados
reales.
La evaluación se considera un proceso recurrente: se reordenan los objetivos
en función de los resultados.

5. No se explicita un diseño concreto.
Evaluación responsiva (Stake, 1975)
Se amplía la perspectiva anterior, incluyendo el examen de antecedentes,
procesos, normas y juicios, además de resultados.
Presenta un método pluralista, flexible, holístico, subjetivo y orientado al
servicio.
Planificación evaluativa (Cronbach, 1982)
Propone una evaluación asentada en una planificación previsora y flexible de
las actividades evaluativas.
Presenta el modelo de los UTOS.
Evaluación orientada a la toma de decisiones (Stufflebeam, 1985)
La evaluación es un proceso que proporciona información útil para la toma
de decisiones.
Estructura básica → CIPP: Contexto, Entrada, Proceso, Producto.
Metodología tanto cuantitativa como cualitativa
Método científico de evaluación (Campbell y Stanley, 1966; Cook y
Campbell, 1979)
Plantea que no hay diferencias metodológicas entre evaluación y método
científico.
Utilización del método quasi-experimental.
Modelo evaluativo orientado hacia el consumidor libre de metas
(Scriven, 1974)
El evaluador es un sustituto informado del consumidor.
El evaluador investiga todos los efectos del programa independientemente de
sus objetivos.
Diseños experimentales, pre-experimentales, análisis de costes y método
libre de metas.

6. EVALUACIÓN BASADA EN LA TEORÍA
Las creencias y supuestos que subyacen a un programa pueden expresarse
en términos de una secuencia de causas y efectos, delimitada en fases
(Weiss, 1997)
Dificultades para explicar la teoría subyacente
Percepción de teoría como algo abstracto y poco claro.
→ No obstante → teoría = conjunto de creencias y supuestos que rodean
las actividades de un programa.
La teoría que se explicita puede no ser la única que subyace al programa.
→ Los efectos pueden producirse por caminos distintos a los predichos en
la teoría.
Confusión en los componentes de la teoría
EEvvaalluuaacciióónn
CCaammbbiioo qquuee ssee pprroodduuccee
Cómo se produce el cambio
Teoría del
cambio Teoría del programa:
Comprensión de cómo se logran
los efectos del programa
Teoría de implementación:
Retroalimentación de cómo está
funcionando el programa

7. Dificultad para identificar o construir teorías de los programas.
Evaluación basada en la teoría:
→ Recoge datos en proceso y resultados, analizando las relaciones entre
ellos.
→ Busca especificar los mecanismos que logran el cambio, no las
actividades asociadas al cambio.
Impone grandes exigencias en datos y recursos
→ El evaluador debe recoger datos de todos los pasos que le sea posible
→ Se necesitan fuentes adecuadas.
→ Consume tiempo y es caro, pero produce buenos resultados para la
evaluación.
Los resultados no pueden generalizarse.
→ Como en otros modelos de evaluación, ésta no puede aplicarse
mecánicamente a otros lugares.
Razonamiento lógico
DDooccuummeennttooss
Primer paso
PPooccaa
Información de los
participantes
DDiiffiiccuullttaadd ddee aarrttiiccuullaarr
tteeoorrííaass
Investigación previa
Teoría de las Ciencias Sociales
Observación de programas en
acción
Fuentesbásicasdeinformación

8. → Sin embargo, aporta información sobre pequeñas conexiones, que
pueden ser útiles para otros sitios.
→ Los decisores pueden analizar los hallazgos obtenidos y sus
explicaciones, tratando de averiguar los patrones que emergerán en el
futuro.
Necesidad de comparación
→Las intervenciones a nivel comunitario hacen difícil las asignaciones
aleatorias.
→ Evaluación basada en la teoría → permite apoyar la existencia de
relaciones causales.
→ No obstante → necesidad de estudios experimentales para garantizar la
causalidad.
Excesivo racionalismo
→ La labor evaluativa va dirigida a metas preestablecidas.
→ Tales objetivos a menudo cambian en el transcurso de la evaluación.
La evaluación no permite comprobar teorías.
Medida del error.
→ Problema general en ciencias sociales.
→ Se incrementa aquí: muchos constructos a medir.
Exigencias del análisis de datos
→ Análisis que permitan enlazar las teorías postuladas (análisis de vías,
LISREL, análisis de supervivencia).
→ Análisis cualitativos y cuantitativos (emparejamiento de patrones

9. TTiippoo ddee pprreegguunnttaa
ppllaanntteeaaddaa
Cómo y por qué
DDiisseeññoo ddee llaa eevvaalluuaacciióónn
a) Pocas intervenciones
b) Cambios a largo plazo
c) De complejidad
moderada
En programas que se esperan resultados
positivos, negativos o inconsistentes
Descubrimiento de los
mecanismos
operativos
RReeccuurrssooss eenn ccoosstteess yy
ttiieemmppoo
JUSTIFICACIONDELUSODEE.B.T.

10. Destaca los aspectos más relevantes
Da información de logros parciales
Da sufiente información final para
permitir recomendaciones
Diseñadores del
programa
DDeecciissiioonneess
mmááss
aacceerrttaaddaass
TTééccnniiccooss
Confrontan sus teorías de
cómo funciona el
programa
Evaluadores
Directivos Permite determinar qué aspecto fracasa y
dónde
Directivos y
promotores de
otros programas
Ayuda a comprender qué, cómo y
por qué funciona un programa
PPoollííttiiccooss yy
ppúúbblliiccoo
Facilita explicaciones
más comprensibles a
estas audiencias
VENTAJASPARALASDISTINTASAUDIENCIAS

11. 7. EVALUACIÓN Y ÉTICA
Necesario ofrecer guías sobre diversos aspectos: derechos de publicación, a
quien dar la información, etc.
Dos guías en USA:
– JOint Committee on Standars for Educational Evaluation publicó en 1994
los estándares para E.P.
– American Evaluation Association
Guiding principles for evaluators
Estándares de calidad
Competencia
Respeto a los participantes
Responsabilidades para el bienestar general: articular la diversidad de
intereses y valores
8. ASPECTOS POLÉMICOS EN LA E.P.
Cualitativo - cuantitativo
Primer enfoque: cuantitativo
Las dificultades inherentes de la investigación aplicada cuestionan la utilidad
de los métodos cuantitativos
Metodología cualitativa: una forma más comprensiva de apresar la realidad
Alternativa: multiplismo :
Utilizar múltiples enfoques teóricos
Probar múltiples modelos causales multivariados
Plantear múltiples hipótesis rivales
Establecer múltiples definiciones operacionales de las múltiples variables
implicadas
Plantear cuestiones valorativas procedentes de las múltiples audiencias
implicadas
Establecer objetivos múltiples que permitan múltiples análisis de
resultados

12. Utilizar múltiples métodos de evaluación
Realizar múltiples análisis de datos y contrastes de hipótesis.
Ciencia frente a política
La evaluación de programas pretende maximizar el cientifismo de la
evaluación
La Ciencia es un producto social
Mientras lo político interviene más en las primeras fases del ciclo evaluativo,
los aspectos científicos ganan prioridad en el diseño, planificación,
implantación y valoración de los programas.
Lo político
En ocasiones, los resultados de una evaluación tienen poco peso en las
decisiones en torno al programa
El político tiene un tiempo distinto al investigador, por lo que puede presionar
a este a entregar resultados antes de tiempo
La evaluación tiene un objetivo práctico y político en su propia naturaleza
Si el problema es polémico, requerirá rigor
Mudabilidad de los programas sociales
Los recursos, prioridades y la influencia de los financiadores de los
programas sociales tiende a ser dinámica
Pueden producirse cambios, a veces drásticos, en el curso del desarrollo del
programa
El evaluador debe estar preparado para asumir tales cambios
9. Diferencias entre evaluación y otras actividades
• Auditoria:
– Cumplimiento de normas, regulaciones o estándares financieros
– Contabilidad de recursos
– Auditoria de gestión. Eficiencia
Imprescindible la independencia para asegurar la imparcialidad

13. • Investigación
– Desarrollar conocimiento
– Generalización de resultados
– Realizado por y para la comunidad científica (principalmente)
• Medición de realizaciones
– Procesos descriptivos
– Estudios de validez y fiabilidad en el proceso de obtención de información
• Análisis de políticas (Policy analysis)
– Formulación de políticas
– Análisis de viabilidad financiera
– Análisis de coste-beneficio
• Plan estratégico
–– Estudio ddee llaass tteennddeenncciiaass ddee eevvoolluucciióónn ppoossiibblleess ddee llaa IInnssttiittuucciióónn oo llaa zzoonnaa
ggeeoo--ppoollííttiiccaa para trazar:
–Objetivos a corto, medio y largo plazo
–Estudio de DAFO: Debilidades, amenazas, fortalezas y oportunidades
– Concretar las metas a conseguir, estableciendo objetivos estratégicos
–Sistematizar el conjunto de evidencias y parámetros de medición que
permitirán verificar los resultados de la evolución
–Definir las reglas de adaptación que nos permitirán cambiar de estrategia a lo
largo de todo el proceso.
• Evaluación
– Proceso sistemático de obtención de información objetiva y útil
– Objetivo: apoyar el juicio de valor sobre un programa o intervención
– Finalidad:
• Comprensión de los resultados obtenidos
• Toma de decisiones sobre futuras actuaciones
Comparación entre evaluación y otras investigaciones

14. La evaluación de programas debe cubrir
Estándares idóneos de calidad de investigación científica
Estar totalmente dedicado a las necesidades de información requerida por los
decisores del programa
En ocasiones, tales objetivos se vuelven contradictorios
Diferencias
Toma de decisiones: la investigación se centra en la búsqueda de
conocimiento, la E.P. en la aplicación
La evaluación tiene en cuenta la opinión del decisor.
La evaluación compara lo que es con lo que debería ser
La evaluación se produce en un marco de acción, donde lo más importante
que está ocurriendo es el programa.
Es frecuente que se produzcan conflictos entre roles.
Muchos informes evaluativos quedan sin publicar.
Semejanzas
La evaluación trata de comprender la relación entre variables y de
establecer una relación causal.
Los métodos evaluativos representan un compromiso entre lo ideal y lo
factible
El evaluador tiene que tener un amplio conocimiento de metodología de
investigación, y aplicarlo en el mundo real.
10. FUTURO DE LA E.P. (Chelimsky y Shadish, 1997)
Idiosincrasia en cada país
– Los evaluadores en cada país del globo utilizan sus propias
infraestructuras para apoyar sus esfuerzos,
Global,
– Los esfuerzos realizados trascienden y se difunden por el planeta.
Transnacional,

15. – Los problemas y los programas que han de evaluarse trascienden las
fronteras de una nación, de un continente y de un hemisferio