1. Evaluación de impacto de
programas sociales
Dr. Anibal Velásquez
anibal.velasquez@gmail.com
http://reformasalud.blogspot.com/

2. Preguntas que responde la evaluación
• ¿Cuál es el resultado de un programa, política o proyecto de
salud?
• ¿Cuándo se podría decir que un Programa, política o
proyecto de salud ha tenido éxito?
• ¿Cuánto de los cambios se pueden atribuir al programa?
• ¿Cuánto se tiene que invertir para obtener resultados con el
programa?
• ¿Qué parte de la intervención es la más efectiva?
• ¿Qué factores han impedido que se obtengan resultados con
el programa?
• ¿El programa debe continuar, expandirse, mejorarse o
eliminarse?

3. – Conjunto de procedimientos y
herramientas analíticas para examinar el
desempeño de programas, y determinar si
obtuvieron el efecto (impacto) para el
que fueron diseñados
Importancia:
– Identificar si algún componente del
programa necesita mejora
– Contribuye a una eficiente asignación y
administración de recursos
– Determinar si los objetivos del programa se
han alcanzado o no
Evaluación de Programas:

4. II. Evaluación de Impacto
• Objetivos:
- Determinar el impacto neto del programa en el resultado
a nivel de población (o en productos a nivel de programa)
- ¿Cuánto del cambio observado en el resultado es
debido, o puede ser atribuido, al programa y no a otros
factores?
• Características:
- Enfasis en productos y resultados
- Examina atribución

5. Preguntas que se hace un político, una
agencia donante, o un gerente sobre
Programas Sociales
• Hemos invertido millones de dólares en este
programa ¿Cuál ha sido el impacto de las
intervenciones?
• ¿Cuáles han sido los cambios en la población?
• ¿En cuánto se ha contribuido a reducir los daños?
• ¿En cuánto se ha mejorado la salud o el bienestar
de las comunidades atendidas?
• ¿Cuáles son las estrategias más efectivas y
eficientes?

6. Inicio del
programa
Punto medio o
final del
programa
Tiempo
Resultado
La pregunta de
evaluación:
¿Cuánto de
este cambio es
atribuible al
programa?
Evaluando el Impacto del Programa

7. Con
programa
Sin
programa
Inicio del
programa
Punto medio o
final del
programaTiempo
Resultado
Impacto neto
del programa
Evaluando el Impacto del Programa

8. • El problema de evaluación:
El segundo término, el contrafáctico, no es conocido pues
no podemos observar al mismo individuo expuesto y no
expuesto al programa al mismo tiempo
Sin embargo, el segundo término puede ser estimado. Existen
diferentes diseños de evaluación disponibles para evaluar el
impacto del programa
Impacto del programa =
Resultado con
el programa
-
Resultado que se
hubiese obtenido si el
programa no se hubiese
establecido

9. Diseños de investigación para
evaluar el impacto
• Diseño Experimental
• Diseño Observacional

10. Grupo 1
(Tratamiento)
Población
Esquema básico para evaluar el impacto de programas
Grupo 2
(Control)
PROGRAMA
Grupo 1
(Tratamiento)
Grupo 2
(Control)
Si “Asignación
Aleatoria”: Grupo 1 = Grupo 2
Si Asignación no
aleatoria: (datos
de encuestas)
Grupo 1 ≠ Grupo
2
Grupo 1 ≠ Grupo 2
Diferencia debida al programa
Group 1 ≠ Group 2
Diferencia debida al programa
y a diferencias pre-existentes
(observadas y no observadas)

11. Individuos son asignados aleatoriamente a un grupo de
“Tratamiento” y a uno de “Control” antes del programa. Si es bien
implementado:
Impacto = Promedio(“Tratamiento”) - Promedio(“Control”)
Pocas condiciones son necesarias:
+ La asignación es aleatoria
+ La “intensidad” del programa es homogénea
+ Los individuos en el grupo de “Tratamiento” no cambian su
comportamiento por participar en un experimento (no hay efecto
Hawthorne)
+ Los factores externos influyen ambos grupos por igual
+ Los individuos permanecen en los grupos durante la duración del
experimento (no hay atrición o ésta no es selectiva)
Diseño ExperimentalDiseño Experimental

12. Diseño Experimental (Cont.1)
• El diseño experimental clásico es el Gold Standard
• Ventajas: Simple
Si bien implementado y el tamaño de la muestra es
suficientemente grande, la asignación aleatoria causa que
los grupos sean equivalentes en cuanto a características
observadas y no observadas. Es decir, en ausencia del
programa, no habría diferencias en los resultados de los dos
grupos.

13. Diseño Experimental (Cont.2)
Desventajas
+ Difícil de implementar (factores prácticos, políticos y éticos)
+ Contaminación es posible
+ Efecto Hawthorne es posible
+ Deserción o atrición selectiva es posible
+ Programas son intervenciones complejas con muchos
componentes
+ Generalización es dudosa (criterio de validez externa)

14. Entonces, si los experimentos son tan buenos
para buscar evidencias causales, ¿por qué es
que no se usan más frecuentemente en
evaluación de impacto de programas de
población, salud y nutrición?

15. Los experimentos son difíciles de implementar por
razones:
– Prácticas
– Eticas (incluyendo el asunto del consentimiento
informado)
– Políticas

16. ADEMÁS...
• Los experimentos con sujetos humanos se critican en
términos de su validez externa, es decir, su capacidad para
generalizar sus resultados a las poblaciones meta de las
intervenciones

17. Por eso, se han concebido modelos y técnicas de análisis de
datos en las que la estimación del contrafáctico se hace mediante
el control estadístico de las “otras” variables relevantes que
pueden afectar el resultado de interés

18. Diseño Observacional
• No hay asignación aleatoria de los individuos a grupos de
tratamiento y control. Los propios individuos deciden si
participan en el programa o no. Por tanto, diversos factores
influyen el resultado obsevrado y no hay garantía que esos
otros factores relevantes sean equivalentes entre el grupo
expuesto y el grupo no expuesto al programa
• Es necesario usar técnicas estadísticas para estimar el efecto
del programa controlando por el efecto de los otros factores.
Una técnica para ello es el Análisis de Regresión

19. Diseño Observacional (Cont 1)
• El análisis de regresión examina la relación entre varias
variables explicativas y la variable dependiente. Permite
cuantificar la contribución de cada factor a la variable
dependiente
• Importante: Se necesita definir cuales son los factores
relevantes que influyen el resultado de interés y se
necesitan datos sobre ellos

20. Con los estudios observacionales se estima el
contrafáctico (qué hubiese ocurrido si no se realiza el
programa) mediante modelos y técnicas de análisis
de datos; y se hace mediante el control estadístico
de las “otras” variables relevantes que pueden
afectar el resultado de interés

21. Los enfoques más comunes se basan en
modelos de regresión

22. Y, variable
dependiente
X2
X1
X5
X4
X3
Estas son las
variables
independientes,
factores relevantes
(incluyendo el
programa) que
pueden influenciar
la variable de
interés
En condiciones “naturales”, por ejemplo,
por medio de una encuesta, podemos
observar una variable de respuesta cuyo
nivel puede ser el resultado de la
influencia simultánea de muchos
factores
El programa

23. EN UN MODELO DE REGRESION
• Y = f(X1,X2,…,Xn)
Y, la variable de respuesta o variable dependiente, es una
función de las variables independientes
• Una vez que el modelo es “ajustado” se puede juzgar la
importancia relativa de cada variable independiente
• Nuestro foco de interés, se refiere por supuesto a la(s)
variable(s) independiente(s) que identifican al programa

24. Si medimos los otros factores relevantes es
posible “aislar” el efecto del programa entre
los efectos de las otras variables
independientes

25. VARIABLES CONFUSORAS
• En el contexto de una evaluación de impacto
hablamos de variables confusoras cuando nos
referimos a todos los otros factores relevantes,
además del programa, que pueden influenciar el
resultado de interés
• Dejan de ser confusoras cuando se miden e
incorporan en el modelo de regresión

26. ES POR ESTO QUE...
• Un marco conceptual comprensivo (que incluya
el programa y los potenciales factores confusores)
es especialmente importante para la aplicación
de los métodos de regresión en evaluación de
impacto

27. Qué es el marco conceptual de un
programa?

28. EL MARCO CONCEPTUAL
El marco conceptual o “de investigacion” es un
diagrama que identifica e ilustra las relaciones
entre factores sistémicos, organizacionales,
individuales y otros elementos relevantes que
pueden influenciar la operación de un programa
o proyecto y el logro exitoso de sus metas y
objetivos

29. El marco conceptual tiene base en...
La Teoría del Programa.
Es el conjunto de supuestos sobre la forma en que el
programa (o proyecto) provoca los beneficios que
se espera que produzca, incluyendo las estrategias y
tácticas que ha adoptado para lograr sus metas y
objetivos.

30. LA TEORÍA DEL PROGRAMA ...
• A veces no es explícita, no ha sido formalmente
articulada o establecida.
• Evaluación de caja negra: cuando se realiza la
evaluación sin haber articulado formalmente la teoría
del programa
• Nuestra recomendación: no hacer evaluación de caja
negra

31. EN LA TEORÍA DEL PROGRAMA DEFINIMOS...
• Hipótesis de acción: son las que ligan o conectan causalmente la
teoría del proceso (están bajo el control directo del programa)
• Hipótesis conceptuales: son las que ligan o conectan
causalmente la teoría del impacto (no están bajo el control del
programa)

32. Vinculando el Programa de capacitación a Resultados de
Salud …………………….
Características
del Individuo y
del Hogar
Características
de comunidad Uso de
Servicios
Práctica de
salud
Resultado
de Salud
Programa
de
capacitación
Gobierno, ONGs,
otros donantes,
privado
Otras capacitaciones
oferta de servicios
de salud

33. Vinculando Insumos del Programa a Resultados de Salud
(fuentes de datos)
Características
del Individuo y
del Hogar
oferta de
servicios de salud
Uso de
Servicios
Práctica de
salud Healthy
Outcome
Programa
capacitación
Gobierno, ONGs,
otros donantes,
privado
Encuesta de hogares
(ENDESA,ESR,ENV)
Enc. Establecimientos (desempeño)
Enc. Comunidades
Características
de comunidad

34. comunidad
hogar
individuo
Clínicas
Basado en
la comunidad
Oferta de
Servicios de
Salud
Otras
Características
de la Comunidad
Niveles de Factores que influyen Comportamientos y
Resultados de Salud

35. Encuesta de
Hogares
Enc. de Establecimientos
Encuesta de Comunidades
Fuentes de Datos
Oferta de
Servicios de
Salud
Otras
Características
de la Comunidad
Clínicas
Basado en
la comunidad
Importante: Las encuestas
deben estar “vinculadas”

36. Etapas de una evaluación de impacto de programa:
1. Definir el alcance de la evaluación: programa a examinar, resultado
de salud de interés (objetivo del programa), población de analísis
(población objetivo)
2. Definir el marco conceptual
Identificar factores relevantes que influyen el resultado de salud y la
relación entre ellos. Identificar la “ubicación” del programa en el marco
conceptual
3. Operacionalizar los factores relevantes. Seleccionar indicadores
4. Recolectar datos apropiados. Mucho mejor si son datos
longitudinales. Se necesita un grupo de comparación (no expuesto)

37. Etapas de una evaluación de impacto de Programa:
5. Especificar el modelo empírico y seleccionar el procedimiento de
estimación
Criterios:
- Tipo de variable dependiente: contínua o discreta?
- Tipo de variables explicativas: exógenas o endogenas?
- ¿Hay varios niveles en las variables explicativas?
- El diseño de la muestra, ¿fue por etapas múltiples?
- ¿Sospecha de factores relevantes no observados?
- Tipo de datos disponible: corte transversal o panel?
6. Estimar el modelo empírico

38. Etapas de una evaluación de impacto de Programa:
7. Examinar la sensibilidad de los resultados a la selección de
indicadores, la especificación del modelo empírico y a los
supuestos estadísticos necesarios para la estimación
8. Examine el impacto del programa
Interpretación de resultados; simulaciones de escenarios de
disponibilidad del programa y su impacto

39. Características
Individuo /
Hogar
Características
de comunidad y
de oferta de
servicios (IEC)
Preferencias
tamaño de
familia
Uso de
métodos PF
Fecundidad
Ejemplo: Modelo simplificado de uso de anticonceptivos y
fecundidad
¿Cuáles son los factores relevantes?
Especifique el modelo empírico

40. Un modelo de regresión con uso de anticonceptivos como variable
dependiente y variables individuales de la mujer, como educación,
edad o número de hijos, como variables independientes
ó
Un modelo de regresión con uso de anticonceptivos como variable
dependiente y variables programáticas de los establecimientos de
salud como variables independientes, ligando cada mujer al
establecimiento al que asiste y tomando el promedio de la variable
dependiente en cada establecimiento
ó
Un modelo de regresión con uso de anticonceptivos como variable
dependiente y variables de la comunidad, como acceso a servicios
básicos, como variables independientes, ligando cada mujer a la
comunidad en que reside y tomando el promedio de la variable
dependiente en cada comunidad

41. Pero...
• No se puede (no se debe) tener los tres niveles (individual,
establecimiento y comunidad) en el mismo modelo de regresión
• Esta es una gran limitación ya que entonces no podemos analizar
simultáneamente los efectos de las variables medidas en los tres
niveles diferentes de agregación

42. Por el contrario,
• Cuando se usa un modelo de regresión multinivel (o de niveles
múltiples) se puede analizar simultáneamente los efectos de las
variables del programa, de los establecimientos e individuales del
sujeto.
• Esta característica hace que estos modelos resulten poderosos para
la evaluación de impacto

43. BIBLIOGRAFIA
Bertrand, J.T. et al. (1996). Evaluación de Programas de
Planificación Familiar. The Evaluation Project, USAID
Mohr, L. (1995). Impact Analysis for Program Evaluation. Sage
Publications
Rossi, P.H.; Freeman, H.E. & Lipsey, M.W. (1999). Evaluation: A
Systematic Approach. Sage Publications