evaluacion de conceptos

1. EVALUACION DE IMPACTO
CONCEPTOS
FUNDAMENTALES
Eiliana Montero
1

2. OBJETIVOS DE ESTA
PRESENTACION
• Comprender, valorar y aplicar los conceptos
fundamentales asociados a la evaluación de
programas, en general, y a la evaluación de
impacto en particular
• Crear un marco de referencia (lenguaje
común) en los participantes, para el uso e
interpretación de los enfoques, métodos y
técnicas que serán estudiados en el curso.
2

3. ¿QUÉ ES EVALUACIÓN?
• Un juicio sobre valor o mérito
• El uso de procedimientos científicos para
investigar sistemáticamente la efectividad
de programas de intervención (Rossi et al,
Bertrand)
3

4. UN POCO DE HISTORIA
• La evaluación, en su concepción moderna, es un
producto del siglo XX
• El surgimiento de las Ciencias Sociales en las
universidades y el creciente apoyo a la investigación
social le dieron un empuje decisivo a las actividades
de investigación evaluativa
• El mayor auge vino después de la Segunda Guerra
Mundial (incluyendo la creación de programas
internacionales para planificación familiar, salud y
nutrición)
• La Evaluación nace como disciplina a finales del los
60 y principios de los 70 (libro de Weiss)
4

5. ¿QUÉ EVALUAMOS?
• Programas (eficiencia, efectividad)
• Personas (aprendizajes, desempeño)
• Instituciones
• Las anteriores constituyen tres grandes
áreas de especialización en el campo de la
evaluación
5

6. EVALUACION DE
PROGRAMAS
• Programa: Conjunto de acciones y
esfuerzos que se ejecutan
deliberadamente con el propósito de
solucionar o aliviar un problema
• Problema: Situación indeseable que se
desea cambiar
6

7. ¿POR QUÉ EVALUAMOS LOS
PROGRAMAS?
• Para corregir y mejorar
• Para rendir cuentas (“accountability”)
• Para tomar decisiones acerca de continuar
o terminar con el programa o proyecto
• Por mandato o razones políticas
• Para generar conocimiento
• ¿Otras razones?
7

8. DISTINGUIMOS ENTRE...
• Evaluación y monitoreo (seguimiento)
• Evaluación de impacto y de gestión
• Evaluación de proceso y de producto
• Evaluación formativa y sumativa
• Evaluación interna y externa
• Evaluación cuantitativa y cualitativa
(¿falsa dicotomía?)
8

9. EVALUACION NO ES...
• (solamente) medición
• (solamente) investigación
• (solamente) establecer logro de objetivos
• auditoría
• una actividad que se realiza cuando las
cosas van mal
• una forma de castigo
9

10. DIFERENCIAS
Entre metas y objetivos de un programa
– metas (goals): proposiciones generales y
abstractas del estado deseado hacia el cual
se dirige un programa (Rossi, Bertrand)
– objetivos (objectives): proposiciones
específicas y operacionalizadas con el
detalle de los logros deseados
10

11. ELEMENTOS RELATIVAMENTE
NUEVOS EN LOS ENFOQUES DE
EVALUACION
• La importancia de realizar una valoración de
necesidades (especialmente desde el punto de
vista de la población objetivo)
• Ir más allá de la comprobación del
cumplimiento de los objetivos del programa
• Conocer la problemática sustantiva (tener
referentes teóricos y también estar
familiarizado(a) con las particularidades del
contexto específico)
11

12. TEORIA DEL PROGRAMA
El conjunto de supuestos sobre la forma
en que el programa (o proyecto) provoca
los beneficios que se espera que
produzca, incluyendo las estrategias y
tácticas que ha adoptado para lograr sus
metas y objetivos.
12

13. LA TEORÍA DEL PROGRAMA ...
• A veces no es explícita, no ha sido
formalmente articulada o establecida.
• Evaluación de caja negra: cuando se realiza
la evaluación sin haber articulado
formalmente la teoría del programa
• Nuestra recomendación: no hacer
evaluación de caja negra
13

14. EN LA TEORIA DEL PROGRAMA
PODEMOS DISTINGUIR
• Teoría del impacto, relata la naturaleza del
cambio en las condiciones de vida
provocadas por la acción del programa
(aquí se hace evaluación de impacto)
• Teoría del proceso, describe los planes
organizativo y de utilización de servicios
del programa (aquí se hace monitoreo)
14

15. EN LA TEORÍA DEL PROGRAMA
DEFINIMOS...
• Hipótesis de acción: son las que ligan o
conectan causalmente la teoría del proceso
(están bajo el control directo del programa)
• Hipótesis conceptuales: son las que ligan o
conectan causalmente la teoría del impacto
(no están bajo el control del programa)
15

16. EN LA TEORÍA DEL PROGRAMA
• Las fallas de implementación están
asociadas a la teoría del proceso (hipótesis
de acción)
• Las fallas de teoría están asociadas a la
teoría de impacto (hipótesis conceptuales)
16

17. EJEMPLO 1a
Teoría del proceso para un
programa de Educación en
Población en colegios de
secundaria
Costa Rica
17

18. TEORÍA DEL PROCESO
Programa de Educación en Población, Ministerio de Educación Pública de Costa Rica y
Fondo de las Naciones Unidas para Actividades de Población
(Se lee de abajo hacia arriba)
Capacitación Capacitación Entrega
Capacitación docentes Ciencias, docentes técnica a los
docentes Religión, Vida en Vida en centros
Ciencias Familia y Familia educativos
Orientación
Directa a un Por medio de
docente asesores
del centro regionales
educativo
Construcción de Construcción de Construcción de
materiales materiales materiales
Guías didácticas Guías didácticas Guías didácticas
Fascículos Fascículos Fascículos
Planes de
Estudio
Perfiles de Perfiles de Perfiles de
Aprendizaje Aprendizaje Aprendizaje
Población y Sexualidad Vida en Familia
Ambiente
Diagnóstico inicial para
establecer
el nivel de la población
meta
(estudiantes y docentes)
Población y Vida en
Medio Sexualidad Familia
Ambiente

19. EJEMPLO 1b
Teoría del impacto para un
programa de Educación en
Población en colegios de
secundaria, Costa Rica
(mismo programa del ejemplo anterior)
19

20. Población
y
Ambiente
Disponibilidad de
docentes
capacitados de
Ciencias
Conoci-
Actitud positiva
mientos de
Sexualidad los
hacia las guías
estudiantes
Disponibilidad de
docentes capacitados Comporta-
de Ciencias, Religión Proceso de mientos de
Vida en Familia y mediación los
Orientación estudiantes
Actitudes de
Vida en Familia los
Plan operativo
estudiantes
Disponibilidad de
docentes capacitados
de Vida en Familia
Disponibilidad de
los materiales
Para los tres
componentes

21. EJEMPLO 2
Teoría del impacto para un
programa de prevención de
VIH/SIDA en mujeres de alto
riesgo, Miami
21

22. Teoría del Impacto para un programa de prevención de
VIH en mujeres de alto riesgo (el resultado distal fue la
proporción de bebés que nacen seropositivos)
Uso de condón
Conocimiento con compañero
s sobre VIH
principal
Locus de
control
Conocimientos Uso de otros
sobre métodos
anticonceptivo anticonceptivo
s s

23. EL MARCO CONCEPTUAL
El marco conceptual o “de investigacion”
es un diagrama que identifica e ilustra las
relaciones entre factores sistémicos,
organizacionales, individuales y otros
elementos relevantes que pueden
influenciar la operación de un programa o
proyecto y el logro exitoso de sus metas y
objetivos
23

24. EJEMPLO: Marco conceptual (resumido)
para un programa de salud
Demanda
individual Prácticas Condiciones
saludables de salud
Utilización
de servicios
Oferta del
programa
Capacidad Sustentabilidad
institutional del programa
Inputs
técnicos
24

25. 25

26. LA EVALUACION DE
IMPACTO CONSISTE DE...
• Un conjunto de actividades de investigación
tendientes a establecer si el comportamiento
observado en las variables de interés
(variables de impacto) puede ser atribuido
al programa
• La meta es establecer evidencias de una
relación causal entre los resultados
observados y las actividades del programa
26

27. EL LOGRAR EVIDENCIAS DE RELACIONES
CAUSALES ES CRUCIAL PARA LA
EVALUACIÓN DE IMPACTO
X ES CAUSA DE Y SI Y SOLO SI:
• x precede en el tiempo a y
• existe asociación entre x y y
• se han eliminado o controlado los otros
factores o variables (terceras variables,
variables confusoras) que pueden explicar
la asociación observada entre x y y
27

28. EL IMPACTO SE REFIERE A...
• Resultados del programa que pueden ser
asociados a dimensiones de calidad de vida
o desarrollo humano
• Distinguimos entre resultados próximos o
inmediatos y resultados distales o últimos
• Los cambios esperados pueden ser
cualitativos o cuantitativos pero siempre
medibles.
28

29. ILUSTRACION DE EVALUACION DE IMPACTO
TIEMPO-->
Con programa
Indicator de
resultado del
Impacto del
programa: TPA
programa
Sin programa
Inicio del Punto medio o fin
programa

30. OTRO EJEMPLO
Sin el programa
Porcentaje de
embarazos en
adolescentes
} IMPACTO
adolescentes Con el programa
Intervención Tiempo

31. ASI, EL IMPACTO PUEDE SER
TAMBIEN DEFINIDO COMO…
La diferencia entre los resultados
obtenidos con el programa y los
resultados que se habría obtenido si el
programa nunca se hubiera
implementado
31

32. UN CONCEPTO ESENCIAL :
EL CONTRAFACTICO
Los resultados que se habría obtenido
si el programa nunca hubiera sido
implementado
32

33. • En realidad nunca sabremos de seguro
cuál hubiera sido el valor del
contrafáctico
• Pero podemos tratar de estimarlo de
diferentes formas
• Los diversos diseños y técnicas
analíticas en evaluación de impacto se
pueden distinguir por la forma en que
“estiman” o “simulan” el contrafáctico
33

34. BIBLIOGRAFIA
Bertrand, J.T. et al. (1996). Evaluación de
Programas de Planificación Familiar. The
Evaluation Project, USAID
Mohr, L. (1995). Impact Analysis for Program
Evaluation. Sage Publications
Rossi, P.H.; Freeman, H.E. & Lipsey, M.W.
(1999). Evaluation: A Systematic Approach.
Sage Publications
34

35. Ejercicio para ser realizado en
pequeños grupos
1. Escoja uno de los siguientes temas:
-Enfermedades cardiovasculares
-Embarazo en adolescentes
-Infecciones de trasmisión sexual
-Violencia de género
-Mortalidad infantil
35

36. Ejercicio (continuación)...
2. Trate de desarrollar los elementos clave
de un marco conceptual (la teoría del
programa incluida).
3. Identifique cuáles “cajas” pertenecen a
la teoría del programa y cuáles no
4. Identifique cuáles cajas pertenecen a la
teoría del impacto y cuáles a la teoría
del proceso
36

37. Ejercicio (continuación)...
5. Escoja un resultado (variable de
impacto) y defina un indicador para él.
Discuta si los cambios deseados son
cuantitativos o cualitativos. ¿Cómo es
que este indicador se relaciona con
dimensiones de calidad de vida?
6. Defina el contrafáctico en términos del
problema.
37