Este documento presenta conceptos fundamentales sobre evaluación de programas. Explica que la evaluación consiste en realizar juicios sistemáticos sobre el mérito o valor de programas de intervención. Luego resume brevemente la historia de la evaluación y distingue entre diferentes tipos como evaluación de impacto, de proceso, formativa y sumativa. Finalmente, introduce conceptos clave como teoría del programa, marco conceptual, variables de impacto e indicadores. El objetivo es crear un lenguaje común sobre enfoques, métodos y técnicas de evaluación que ser

1. 1

2. OBJETIVOS DE ESTA
PRESENTACION
Comprender, valorar y aplicar los conceptos
fundamentales asociados a la evaluación de
programas, en general, y a la evaluación de
impacto en particular
Crear un marco de referencia (lenguaje
común) en los participantes, para el uso e
interpretación de los enfoques, métodos y
técnicas que serán estudiados en el curso.
2

3. ¿QUÉ ES EVALUACIÓN?
Un juicio sobre valor o mérito
El uso de procedimientos científicos para investigar
sistemáticamente la efectividad de programas de
intervención (Rossi et al, Bertrand)
3

4. UN POCO DE HISTORIA
La evaluación, en su concepción moderna, es un
producto del siglo XX
El surgimiento de las Ciencias Sociales en las
universidades y el creciente apoyo a la investigación
social le dieron un empuje decisivo a las actividades de
investigación evaluativa
El mayor auge vino después de la Segunda Guerra
Mundial (incluyendo la creación de programas
internacionales para planificación familiar, salud y
nutrición)
La Evaluación nace como disciplina a finales del los
60 y principios de los 70 (libro de Weiss)
4

5. ¿QUÉ EVALUAMOS?
Programas (eficiencia, efectividad)
Personas (aprendizajes, desempeño)
Instituciones
Las anteriores constituyen tres grandes áreas de
especialización en el campo de la evaluación
5

6. EVALUACION DE
PROGRAMAS
Programa: Conjunto de acciones y esfuerzos que se
ejecutan deliberadamente con el propósito de
solucionar o aliviar un problema
Problema: Situación indeseable que se desea
cambiar
6

7. ¿POR QUÉ EVALUAMOS LOS
PROGRAMAS?
Para corregir y mejorar
Para rendir cuentas (“accountability”)
Para tomar decisiones acerca de continuar
o terminar con el programa o proyecto
Por mandato o razones políticas
Para generar conocimiento
¿Otras razones?
7

8. DISTINGUIMOS ENTRE...
Evaluación y monitoreo (seguimiento)
Evaluación de impacto y de gestión
Evaluación de proceso y de producto
Evaluación formativa y sumativa
Evaluación interna y externa
Evaluación cuantitativa y cualitativa (¿falsa
dicotomía?)
8

9. EVALUACION NO ES...
(solamente) medición
(solamente) investigación
(solamente) establecer logro de objetivos
auditoría
una actividad que se realiza cuando las cosas van mal
una forma de castigo
9

10. DIFERENCIAS
Entre metas y objetivos de un programa
metas (goals): proposiciones generales y
abstractas del estado deseado hacia el cual
se dirige un programa (Rossi, Bertrand)
objetivos (objectives): proposiciones
específicas y operacionalizadas con el
detalle de los logros deseados
10

11. ELEMENTOS RELATIVAMENTE NUEVOS
EN LOS ENFOQUES DE EVALUACION
La importancia de realizar una valoración de
necesidades (especialmente desde el punto de
vista de la población objetivo)
Ir más allá de la comprobación del
cumplimiento de los objetivos del programa
Conocer la problemática sustantiva (tener
referentes teóricos y también estar
familiarizado(a) con las particularidades del
contexto específico)
11

12. TEORIA DEL PROGRAMA
El conjunto de supuestos sobre la forma en que el
programa (o proyecto) provoca los beneficios que
se espera que produzca, incluyendo las estrategias y
tácticas que ha adoptado para lograr sus metas y
objetivos.
12

13. LA TEORÍA DEL PROGRAMA ...
A veces no es explícita, no ha sido formalmente
articulada o establecida.
Evaluación de caja negra: cuando se realiza la
evaluación sin haber articulado formalmente la teoría
del programa
Nuestra recomendación: no hacer evaluación de caja
negra
13

14. EN LA TEORIA DEL PROGRAMA
PODEMOS DISTINGUIR
Teoría del impacto, relata la naturaleza del cambio en
las condiciones de vida provocadas por la acción del
programa (aquí se hace evaluación de impacto)
Teoría del proceso, describe los planes organizativo y
de utilización de servicios del programa (aquí se hace
monitoreo)
14

15. EN LA TEORÍA DEL PROGRAMA
DEFINIMOS...
Hipótesis de acción: son las que ligan o conectan
causalmente la teoría del proceso (están bajo el control
directo del programa)
Hipótesis conceptuales: son las que ligan o conectan
causalmente la teoría del impacto (no están bajo el
control del programa)
15

16. EN LA TEORÍA DEL PROGRAMA
Las fallas de implementación están asociadas a la
teoría del proceso (hipótesis de acción)
Las fallas de teoría están asociadas a la teoría de
impacto (hipótesis conceptuales)
16

17. Teoría del proceso para un
programa de Educación en
Población en colegios de
secundaria
Costa Rica
17

18. TEORÍA DEL PROCESO
Programa de Educación en Población, Ministerio de Educación Pública de Costa Rica y
Fondo de las Naciones Unidas para Actividades de Población
(Se lee de abajo hacia arriba)
Capacitación Capacitación Entrega
Capacitación docentes Ciencias, docentes técnica a los
docentes Religión, Vida en Vida en centros
Ciencias Familia y Familia educativos
Orientación
Directa a un Por medio de
docente asesores
del centro regionales
educativo
Construcción de Construcción de Construcción de
materiales materiales materiales
Guías didácticas Guías didácticas Guías didácticas
Fascículos Fascículos Fascículos
Planes de
Estudio
Perfiles de Perfiles de Perfiles de
Aprendizaje Aprendizaje Aprendizaje
Población y Sexualidad Vida en Familia
Ambiente
Diagnóstico inicial para
establecer
el nivel de la población
meta
(estudiantes y docentes)
Población y Vida en
Medio Sexualidad Familia
Ambiente

19. Teoría del impacto para un
programa de Educación en
Población en colegios de
secundaria, Costa Rica
(mismo programa del ejemplo anterior)
19

20. Población
y
Ambiente
Disponibilidad de
docentes
capacitados de
Ciencias
Conoci-
Actitud positiva
mientos de
Sexualidad los
hacia las guías
estudiantes
Disponibilidad de
docentes capacitados Comporta-
de Ciencias, Religión Proceso de mientos de
Vida en Familia y mediación los
Orientación estudiantes
Actitudes de
Vida en Familia los
Plan operativo
estudiantes
Disponibilidad de
docentes capacitados
de Vida en Familia
Disponibilidad de
los materiales
Para los tres
componentes

21. Teoría del impacto para un
programa de prevención de
VIH/SIDA en mujeres de alto
riesgo, Miami
21

22. Uso de condón
Conocimiento con compañero
s sobre VIH
principal
Locus de
control
Conocimientos Uso de otros
sobre métodos
anticonceptivo anticonceptivo
s s

23. EL MARCO CONCEPTUAL
El marco conceptual o “de investigacion” es
un diagrama que identifica e ilustra las
relaciones entre factores sistémicos,
organizacionales, individuales y otros
elementos relevantes que pueden influenciar
la operación de un programa o proyecto y el
logro exitoso de sus metas y objetivos
23

24. EJEMPLO: Marco conceptual (resumido)
para un programa de salud
Demanda
individual Prácticas Condiciones
saludables de salud
Utilización
de servicios
Oferta del
programa
Capacidad Sustentabilidad
institutional del programa
Inputs
técnicos
24

25. 25

26. LA EVALUACION DE
IMPACTO CONSISTE DE...
Un conjunto de actividades de investigación tendientes
a establecer si el comportamiento observado en las
variables de interés (variables de impacto) puede ser
atribuido al programa
La meta es establecer evidencias de una relación
causal entre los resultados observados y las actividades
del programa
26

27. EL LOGRAR EVIDENCIAS DE RELACIONES
CAUSALES ES CRUCIAL PARA LA
EVALUACIÓN DE IMPACTO
X ES CAUSA DE Y SI Y SOLO SI:
 x precede en el tiempo a y
existe asociación entre x y y
se han eliminado o controlado los otros factores o
variables (terceras variables, variables confusoras)
que pueden explicar la asociación observada entre x
yy
27

28. EL IMPACTO SE REFIERE A...
Resultados del programa que pueden ser asociados a
dimensiones de calidad de vida o desarrollo humano
Distinguimos entre resultados próximos o inmediatos
y resultados distales o últimos
Los cambios esperados pueden ser cualitativos o
cuantitativos pero siempre medibles.
28

29. ILUSTRACION DE EVALUACION DE IMPACTO
TIEMPO-->
Con programa
Indicator de
resultado del
Impacto del
programa: TPA
programa
Sin programa
Inicio del Punto medio o fin
programa

30. OTRO EJEMPLO
Sin el programa
Porcentaje de
embarazos en
adolescentes
} IMPACTO
adolescentes Con el programa
Intervención Tiempo

31. ASI, EL IMPACTO PUEDE SER
TAMBIEN DEFINIDO COMO…
La diferencia entre los resultados
obtenidos con el programa y los
resultados que se habría obtenido si el
programa nunca se hubiera
implementado
31

32. UN CONCEPTO ESENCIAL
:
EL CONTRAFACTICO
Los resultados que se habría obtenido si
el programa nunca hubiera sido
implementado
32

33. En realidad nunca sabremos de seguro
cuál hubiera sido el valor del
contrafáctico
Pero podemos tratar de estimarlo de
diferentes formas
Los diversos diseños y técnicas
analíticas en evaluación de impacto se
pueden distinguir por la forma en que
“estiman” o “simulan” el contrafáctico
33

34. BIBLIOGRAFIA
Bertrand, J.T. et al. (1996). Evaluación de
Programas de Planificación Familiar. The
Evaluation Project, USAID
Mohr, L. (1995). Impact Analysis for Program
Evaluation. Sage Publications
Rossi, P.H.; Freeman, H.E. & Lipsey, M.W.
(1999). Evaluation: A Systematic Approach.
Sage Publications
34

35. Ejercicio para ser realizado en
pequeños grupos
1. Escoja uno de los siguientes temas:
-Enfermedades cardiovasculares
-Embarazo en adolescentes
-Infecciones de trasmisión sexual
-Violencia de género
-Mortalidad infantil
35

36. Ejercicio (continuación)...
2. Trate de desarrollar los elementos clave de
un marco conceptual (la teoría del
programa incluida).
3. Identifique cuáles “cajas” pertenecen a la
teoría del programa y cuáles no
4. Identifique cuáles cajas pertenecen a la
teoría del impacto y cuáles a la teoría del
proceso
36

37. Ejercicio (continuación)...
5. Escoja un resultado (variable de impacto)
y defina un indicador para él. Discuta si
los cambios deseados son cuantitativos o
cualitativos. ¿Cómo es que este indicador
se relaciona con dimensiones de calidad
de vida?
6. Defina el contrafáctico en términos del
problema.
37