metodos de evaluación

1. Economía está creciendo
Ingresos
por familia
Tiempo
Impacto
Monitore
o
Targetin
g
Familia Huayllani con el
programa
Familia Huayllani sin el
programa

2. Clasificación de
metodologías
Diseño Características Ventajas Desventajas
(1)
Experimentale
s
• Sujetos del estudio son asignados
aleatoriamente en dos grupos: un
grupo de tratamiento y un grupo de
control
• Resultado contra-factual muestra
el impacto del programa
• Rigoroso
científicamente
• Elevado nivel de
validez
• Aleatorización a
veces no es
posible
• Más costoso
(2) Cuasi-
experimentale
s
• Sujetos del estudio son
seleccionados a través de modelos
de selección, el grupo de control es
similar al grupo de tratamiento pero
no equivalente
• Resultado contra-factual simulado
que muestra el impacto del
programa
• El grupo de
control puede ser
fácilmente elegido
• Riesgo que los
grupos de
tratamiento y
control tienen
características
distintas
(3) No-
experimentale
s
• Se colecta información solo de los
beneficiarios del programa
•No existe resultado contra-factual
porque no hay grupo de control
• Pueden
documentar
cambios en
indicadores de la
población objetiva
• No estima la
magnitud de los
impactos del
programa

3. Sesión 2: contenido
1. Clasificación de metodologías
2. Ejemplos en la Literatura

4. Ejemplos en la Literatura
Programas de Transferencias Monetarias
Condicionadas
Racionalidad:
 A corto plazo, reducir la pobreza monetaria otorgando
transferencias en efectivo sujetas a condiciones de
cumplimiento referentes a educación, salud y
nutrición.
 A largo plazo, incrementar el stock de capital humano
en los hogares pobres y para reducir la vulnerabilidad
ante la pobreza.

5. Ejemplos en la Literatura
Programas de Transferencias Monetarias
Condicionadas
Diseños en la evaluación de impacto
 Oportunidades (Mex): experimental con 506
comunidades elegibles las cuales fueron
distribuidas aleatoriamente en 320 y 186
comunidades de tratamiento y control,
respectivamente
 Programa Nacional Directo de Apoyo a los más
Pobres o “Juntos” (Per): cuasi-experimental
implementación selectiva de distritos participantes
en el Programa bajo diversos criterios del
Programa

6. Ejemplos en la Literatura
Programas de Transferencias Monetarias Condicionadas
Probabilidad condicional de participación en el programa: P(Ti)=P(Ti|Xi); Ti: 1 si
participa en el programa y 0 si no lo hace, Xi: vector de características
socioeconómicas observables (nivel de educación, nivel de pobreza, etc)
Oportunidades (Mex)
Experimental
Juntos (Per)
Cuasiexperimental
Todd et al. 2010: “Conditional Cash Transfers and Agricultural
Production: Lessons from the Oportunidades Experience in Mexico”
Perova et al. 2010: “El impacto y potencial del Programa Juntos
en Perú: evidencia de una evaluación no-experimental”
0
1
2
3
Kernel
Density
0 .2 .4 .6 .8
Estimated propensity score
No beneficiarios de Juntos Beneficiarios de Juntos

7. Ejemplos en la Literatura
Arcenaux et al. 2004: “Comparing
Experimental and Matching Methods using a
Large-Scale Field Experiment on Voter
Mobilization”
Estudio para evaluar el impacto de una
campaña electoral en los estados de Michigan
y Iowa en 2002 a través de los métodos
experimental y cuasi-experimental

8. Ejemplos en la Literatura
Arcenaux et al. 2004:
Method Estimated Impact
Quasi-experimental 1: (Simple-
Difference)
10.8 pp *
Quasi-experimental 2: (Multiple
regression)
6.1 pp *
Quasi-experimental 3: (Multiple
regression with panel data)
4.5 pp *
Quasi-experimental 4: (Matching) 2.8 pp *
Randomized Experiment 0.4 pp
*: statistically significant at the 5% level

9. Algunas conclusiones
La evaluación experimental es el diseño de evaluación
de impacto científicamente más óptimo (Arcenaux et al.
2004).
Pero, por muchas razones, a veces no es posible
implementar experimentos aleatorios y la evaluación de
impacto se realiza a través de métodos cuasi-
experimentales que son intensivos en datos y complejos
en técnicas microeconométricos.

10. Preguntas & Respuesta

11. Sesión 3
Como hacer una evaluación
experimental

12. Sesión 3: contenido
1. Diseño del estudio
2. Recojo de información primaria

13. Sesión 3: contenido
1. Diseño del estudio
2. Recojo de información primaria

14. Unas consideraciones
 ¿Una evaluación experimental es factible,
políticamente?
 ¿Una evaluación experimental es factible,
logísticamente?
 ¿El diseño del estudio es justo y ético?
 ¿Habrá impactos indirectos que debemos tomar en
cuenta en el diseño?
 ¿Qué es el tamaño de la muestra que necesitamos
para lograr el poder estadístico que queremos?
 Tamaño del impacto que queremos medir
 ¿Características de las personas de la muestras son
parecidos o distintos?
 ¿Cuántos grupos (“clusters”)?
 Fidelidad de la información

15. Nivel de aleatorización
 A nivel individual
 Grupos de personas, por ejemplo:
 Escuelas
 Comunidades
 Barrios
 Un manantial o pila comunal
 Diseños más complejos:
 Varios tratamientos
 Niveles de tratamiento

16. Como hacer la
aleatorización
Diseño Usado cuando… Ventajas Desventajas
(1) Lotería • Hay muchas personas que
quieren participar
• Políticamente viable que
algunos no reciben
• Entendible
• Implementación sencilla
•Posibilidad que el grupo de
control no cooperará
(2)
Implementar el
proyecto en
fases
• El programa va
aumentando beneficiarios
• Al final todos tienen que
ser beneficiarios
• Entendible
• Probable que el grupo de
control cooperará, por que
recibirá el programa
después
• Posibilidad que el grupo de
control cambiará sus
hábitos, sabiendo que van a
recibir el programa
• Solo puede medir impactos
de corto plazo
(3) Rotación • Todos tienen que ser
beneficiarios en algún
momento
• Recursos no alcanzan para
dar apoyo a todos, cada año
• Muestra es más grande
que en (2)
• Solo puede medir impactos
de corto plazo
(4) Incentivar
participación
• Es necesario que todos
pueden acceder al programa
• Demanda es baja, pero se
puede incrementar con
incentivos/promoción
• Diseño experimental
posible aunque todos
pueden participar
• Posibilidad que los que
responden a los incentivos
tienen características
distintas
• Incentivo puede tener
impacto directo

17. Case Study:
El modelo de graduación
 Desarrollado por BRAC en Bangladesh:
“Desafiando las fronteras de la Reducción de
la pobreza” – “Targeting the Ultra Poor”
(CFPR-TUP).
 El modelo combina apoyo para las
necesidades inmediatas e inversiones de
largo plazo.
 El objetivo es “la graduación” de los
participantes dentro de actividades sostenibles

18. Sesión 3: contenido
1. Diseño del estudio
2. Recojo de información primaria

19. Fuentes de información
primaria
 Datos administrativos
 Microfinanzas: sistemas de información
 Educación: resultados
 Salud: información de puestas de salud
 Encuestas
 Individuos
 Hogares
 Comunidades

20. Encuestas de hogares:
línea de base y línea final?
 Diferencia en diferencia: línea de base antes
del proyecto, línea final cuando el proyecto se
acaba
 Línea de base necesario?
 Confirmar quienes son los beneficiarios
 Confirmar que la aleatorización fue exitosa
 Costosa
 David McKenzie: Varias líneas finales?
 Incrementar fidelidad de los datos
 Aumentar poder estadístico

21. Encuestas: unas
consideraciones
 ¡Datos de encuestas no son muy confiables!
 Pero hay algunas formas de minimizar errores
y sesgos:
 Piloteos con personas similares a tu muestra
 Pensar en los incentivas (percibidas) por el
encuestado: ¿cómo pueden afectar a su
respuesta?
 ¿Hay algunos datos que los encuestadores
pueden confirmar por observación?
 Hay formas indirectas de hacer/verificar
preguntas

22. Digitación de datos
Encuestas
Digitación 1
Digitación 2
Corrección de
discrepancies entre 1 y 2
Limpieza de datos
Generación de base de
datos

23. Proyecto de graduación:
Herramientas de línea de
base
Encuesta de mercado
A vendedores en ferias
 Precios de alimentos típicos
 Aplicado en ferias comunales, distritales y
provinciales
 Infrastructura (caminos, educación, salúd)
 Actividades económicas
 La vida social y política de la comunidad
 Consumo y activos del hogar
 Actividades económicos y financieras
 Salúd, educación
 Integración social, polítca y religiosa
 Salúd personal, perspectivas y decisiones
 Memoria, inteligencia
Encuesta de
comunidades
A autoridades
comunales
Encuesta de hogares
A jefes de hogares
Encuesta individual
A los adultos del hogar
Herramienta Contenido

24. Unas conclusiones
 Diseño experimental no va a ser posible
siempre, pero hay varias formas de hacer la
aleatorización
 Puedes probar varios hipótesis con diferentes
grupos de tratamiento o control
 Lotería con Stata vs. lotería pública
 Encuestas deben ser diseñadas con cuidado
para evitar sesgos y errores

25. Preguntas & Respuesta