Plática informativa Evaluación de Impactos Banco Mundial

Cd. Victoria, Tamaulipas Abril 2016
Consultoría Estratégica
Directiva S. C.
LA EVALUACIÓN DE IMPACTO
EN LA PRÁCTICA

Directiva S. C.
INDICE
I. Introducción a la evaluación de impacto
1. ¿Por qué evaluar?
2. Definir las preguntas de evaluación
II. Cómo evaluar
3. Inferencia causal y contrafactuales
4. Métodos de selección aleatoria

Directiva S. C.
1.INTRODUCCIÓN
1. Introducción a la evaluación de impacto
Las tres partes de este manual muestran una introducción a la evaluación
de impacto, enfocándose en la evaluación y su por qué, cómo evaluar y la
forma de implementar una evaluación.
Estos elementos son básicos para realizar una evaluación de impacto
exitosa.

Directiva S. C.
1.INTRODUCCIÓN
1.1 ¿Por qué evaluar?
Los programas y las políticas de desarrollo suelen estar diseñados para conseguir resultados
como, por ejemplo, aumentar los ingresos, mejorar el aprendizaje o reducir la enfermedad.
Que se logren o no estos resultados es una cuestión que, pese a ser esencial para el éxito de
las políticas públicas, no suele abordarse. Habitualmente los administradores de los
programas y los responsables de políticas se concentran en medir los insumos y los
productos inmediatos del programa, en lugar de valorar si los programas han alcanzado sus
objetivos.

Directiva S. C.
1.INTRODUCCIÓN
Formulación de políticas basadas en evidencias
Las evaluaciones de impacto forman parte de un programa más amplio de formulación de
políticas basadas en evidencias. Esta tendencia mundial creciente se caracteriza por un
cambio de enfoque: de los insumos a los resultados.

Directiva S. C.
1.INTRODUCCIÓN
Formulación de políticas basadas en evidencias
El monitoreo y la evaluación son elementos fundamentales de la formulación de políticas
basadas en evidencias.
Ofrecen un conjunto fundamental de herramientas que las partes interesadas pueden utilizar
para verificar y mejorar la calidad, la eficiencia y la efectividad de las intervenciones en varias
etapas de la implementación; dicho de otro modo: les permite centrarse en los resultados.

Directiva S. C.
1.INTRODUCCIÓN
¿En qué consiste la evaluación de impacto?
Las evaluaciones son exámenes periódicos y objetivos de un proyecto, programa o política
programada, en curso o completada. Las evaluaciones se usan para responder a preguntas
específicas, relacionadas con el diseño, la ejecución y los resultados.

Directiva S. C.
1.INTRODUCCIÓN
¿En qué consiste la evaluación de impacto?
Las evaluaciones pueden abordar tres tipos de preguntas:
Las evaluaciones de impacto son un tipo particular de evaluación que intenta responder a
preguntas sobre causa y efecto, se preocupan por saber cuál es el impacto (o efecto
causal) de un programa sobre un resultado de interés.
Preguntas descriptivas. La evaluación intenta determinar qué está ocurriendo y
describe los procesos, condiciones, relaciones organizativas y opiniones de las
partes interesadas.
Preguntas normativas. La evaluación compara lo que está ocurriendo con lo que
debería ocurrir; evalúa las actividades y si se logran o no los objetivos. Las
preguntas normativas pueden aplicarse a los insumos, las actividades y los
productos.
Preguntas sobre causa y efecto. La evaluación examina los resultados e intenta
determinar la diferencia que ejerce la intervención sobre estos.

Directiva S. C.
1.INTRODUCCIÓN
La decisión de evaluar
No todos los programas justifican una evaluación de
impacto. Las evaluaciones de impacto pueden ser
costosas, y deben usar su presupuesto estratégicamente.
La primera pregunta es: ¿Qué está en juego en este
programa? La respuesta dependerá tanto del
presupuesto asignado como del número de personas
afectadas ahora o en el futuro por el programa. Por lo
tanto, a continuación debe preguntarse: ¿El programa
requiere o requerirá una parte importante del
presupuesto disponible? Y: ¿El programa afecta o
afectará a un gran número de personas? Si el programa
no requiere un presupuesto o solo afecta a unas pocas
personas, puede que no valga la pena evaluarlo.

Directiva S. C.
1.INTRODUCCIÓN
La decisión de evaluar
Para justificar la movilización de los recursos técnicos y financieros necesarios para una
evaluación de impacto de gran calidad, el programa a evaluar debe ser:
Innovador. Pone a prueba un nuevo enfoque prometedor.
Replicable. Puede ampliarse y se puede aplicar en una situación diferente.
Estratégicamente pertinente. El programa es una iniciativa emblemática;
requiere considerables recursos; cubre, o puede expandirse para que cubra, a
un gran número de personas, o podría generar un ahorro considerable.
No comprobado. Se sabe muy poco sobre la efectividad del programa a nivel
mundial o en un contexto particular.
Influyente. Los resultados se usarán para informar decisiones fundamentales
sobre políticas.

Directiva S. C.
1.INTRODUCCIÓN
Análisis de la costo-efectividad
Una vez que se dispone de los resultados de la evaluación de impacto, estos pueden combinarse
con información sobre los costos del programa para responder a preguntas adicionales.
Para la forma básica de evaluación de impacto, añadir la información sobre el costo permitirá
realizar un análisis de costo-beneficio, que responderá a la pregunta: ¿Cuál es el balance entre
costos y beneficios del programa analizado? El análisis de costo-beneficio cuantifica todos los
costos y beneficios previstos de un programa para poder compararlos y valorar si los
beneficios totales compensan los costos totales.
Cuando una evaluación de impacto comprueba las alternativas de un programa, la agregación de
la información sobre costos permite responder a una segunda pregunta: ¿Qué tan costo-
efectivas son unas alternativas de implementación con respecto a otras? El análisis de la costo-
efectividad compara el desempeño relativo de dos o más programas o alternativas de
programas para lograr un resultado común.

Directiva S. C.
1.INTRODUCCIÓN
Evaluación prospectiva versus evaluación
retrospectiva
Las evaluaciones de impacto pueden dividirse en dos categorías: prospectivas y retrospectivas.
Las evaluaciones prospectivas se realizan al mismo tiempo que se diseña el programa y forman
parte de la implementación del programa. Para ello, se recolectan datos de línea de base de los
grupos de tratamiento y de comparación antes de la implementación del programa.
Las evaluaciones retrospectivas examinan el impacto del programa después de su
implementación, lo que genera grupos de tratamiento y de comparación ex post.

Directiva S. C.
1.INTRODUCCIÓN
1.2 Definir las preguntas de Evaluación
Este capítulo describe los pasos iniciales para poner en marcha una evaluación. Estos
incluyen determinar el tipo de pregunta a la que responderá la evaluación, especificar una
teoría del cambio que describa cómo se supone que el proyecto logrará los resultados
previstos, elaborar una cadena de resultados, formular qué hipótesis serán comprobadas
por la evaluación y seleccionar los indicadores de desempeño

Directiva S. C.
1.INTRODUCCIÓN
Tipos de preguntas de evaluación
La pregunta fundamental de la evaluación de impacto puede formularse como: ¿Cuál es el impacto
(o efecto causal) de un programa sobre un resultado de interés?
Teorías del cambio
Una teoría del cambio es una descripción de cómo se supone que una intervención conseguirá los
resultados deseados. Describe la lógica causal de cómo y por qué un proyecto, un programa o una
política lograrán los resultados deseados o previstos.
Las teorías del cambio describen una secuencia de eventos que generan resultados: examinan las
condiciones y las suposiciones necesarias para que se produzca el cambio, explicitan la lógica
causal detrás del programa y trazan el mapa de las intervenciones del programa a lo largo de las
vías lógicas causales. La colaboración de las partes interesadas en el programa en la formulación
de la teoría del cambio puede ayudar a mejorar el diseño del programa

Directiva S. C.
1.INTRODUCCIÓN
La cadena de resultados
Una teoría del cambio puede diseñarse de varias maneras, por ejemplo, mediante modelos
teóricos, modelos lógicos, marcos lógicos, modelos de resultados y cadenas de resultados. Una
cadena de resultados da una definición lógica y plausible de cómo una secuencia de insumos,
actividades y productos relacionados directamente con el proyecto interactúan y establecen las
vías por las que se logran los impactos
Implementación (Oferta) Resultados (oferta+demanda)
Entradas ActividadesInsumos Productos Resultados
Resultados
finales
Recursos
humanos,
financieros y
otros enfocados
a apoyar en
actividades.
Acciones o
trabajo
realizado para
transformar
insumos en
productos
Productos de
convertir los
insumos en
productos
tangibles
Uso de las
salidas por la
población meta.
Objetivo final
del programa.
Metas a largo
plazo.
Presupuestos,
personal y otros
recursos
disponibles
Actividades
enfocadas en
producir bienes o
servicios
Bienes y servicios
entregados
controlados por la
agencia ejecutora
No están
totalmente bajo el
control de la
agencia ejecutora
Cambios en los
resultados con
distintos
controladores.

Directiva S. C.
1.INTRODUCCIÓN
1.2 Definir las preguntas de
Evaluación
Hipótesis para la evaluación
Una vez que se haya descrito la cadena de resultados, se puede
formular la hipótesis que se quiere comprobar mediante la evaluación
de impacto. En el ejemplo anterior, la hipótesis podría ser la siguiente:
• El nuevo programa de estudios es mejor para impartir
conocimientos de matemáticas que el anterior.
• Los profesores capacitados usan el nuevo programa de estudios de
manera más efectiva que otros profesores.
• Si se capacita a los profesores y se distribuyen los libros de texto, los
profesores usarán los nuevos libros de texto y el programa de
estudios en clase, y los estudiantes seguirán el nuevo programa de
estudios.
• El desempeño en los estudios de matemáticas en secundaria influye
en las tasas de finalización y el desempeño en el mercado laboral.

Directiva S. C.
1.INTRODUCCIÓN
Selección de indicadores del desempeño
Una cadena de resultados claramente definida ofrece un mapa útil para la selección de los
indicadores que se medirán a lo largo de la cadena. Incluirá indicadores tanto para seguir la
implementación del programa como para evaluar los resultados
Como regla general, los indicadores deberán cumplir con determinados criterios, en otras
palabras deben ser EMARF:
• Específicos: para medir la información necesaria con la máxima proximidad
• Medibles: para asegurar que es factible obtener la información
• Atribuibles: para asegurar que cada indicador está relacionado con los logros del
proyecto
• Realistas: para asegurar que los datos se pueden obtener puntualmente, con una
frecuencia razonable y a un costo razonable
• Focalizados: en la población objetivo.

Directiva S. C.
2. CÓMO EVALUAR
2.1 Inferencia causal y contrafactuales
Inferencia casual
La pregunta básica de la evaluación de impacto es esencialmente un problema de inferencia
causal.
Evaluar el impacto de un programa sobre una serie de resultados es equivalente a evaluar el
efecto causal del programa sobre ellos. La mayoría de las preguntas de políticas conllevan
relaciones de causa y efecto: ¿La capacitación de los profesores mejora las calificaciones de
los estudiantes en los exámenes? ¿Los programas de transferencias monetarias
condicionadas mejoran la salud de los niños? ¿Los programas de formación profesional
incrementan los ingresos de quienes los han cursado?
Aunque las preguntas sobre causa y efecto son habituales, determinar que una relación es
causal no es tan sencillo

Directiva S. C.
2. CÓMO EVALUAR
Inferencia casual
Para atribuir causalidad entre un programa y un resultado se usan los métodos de evaluación de
impacto, que descartan la posibilidad de que cualquier factor distinto del programa de interés
explique el impacto observado.
La respuesta a la pregunta básica de la evaluación de impacto, ¿Cuál es el impacto o efecto causal
de un programa P sobre un resultado de interés Y?, se obtiene mediante la fórmula básica de la
evaluación de impacto:
α = (Y | P = 1) − (Y | P = 0).
Según esta fórmula, el impacto causal (α) de un programa (P) sobre un resultado (Y) es la diferencia
entre el resultado (Y) con el programa (es decir, cuando P = 1) y el mismo resultado (Y) sin el
programa (es decir, cuando P = 0).

Directiva S. C.
2. CÓMO EVALUAR
Contrafactuales
Como se explicó anteriormente, el impacto (α) de un programa es la diferencia entre los resultados
(Y) de la misma persona cuando ha participado y cuando no ha participado en el programa.
Sin embargo, es imposible medir a la misma persona Inferencia causal y contrafactuales en dos
situaciones diferentes en el mismo momento. Una persona habrá participado en un programa, o
no lo habrá hecho
En la fórmula básica de la evaluación de impacto, la expresión (Y | P = 0) representa el
contrafactual, que puede entenderse como lo que habría pasado si un participante no hubiera
participado en el programa. En otras palabras, el contrafactual es lo que habría sido el resultado
(Y) en ausencia de un programa (P)

Directiva S. C.
2. CÓMO EVALUAR
2.1 Inferencia causal y
contrafactuales
Contrafactuales
Cuando se realiza una evaluación de impacto, es relativamente
fácil obtener la primera expresión de la fórmula básica (Y | P =
1), ya que es el resultado con tratamiento. Solo se debe medir el
resultado de interés para la población que participó en el
programa. Sin embargo, la segunda expresión de la fórmula (Y |
P = 0) no se puede observar directamente en el caso de los
participantes en el programa, y de ahí la necesidad de completar
esta información mediante la estimación del contrafactual. Para
ello se recurre habitualmente a grupos de comparación
(denominados también “grupos de control”).

Directiva S. C.
2. CÓMO EVALUAR
Estimación del Contrafactual
Aunque no existe el clon perfecto, con herramientas estadísticas se pueden definir dos grupos
numerosos de personas que sean estadísticamente indistinguibles entre sí. Un objetivo clave de
una evaluación de impacto es identificar a un grupo de participantes en el programa (el grupo de
tratamiento) y a un grupo de no participantes (el grupo de comparación) estadísticamente
idénticos en ausencia del programa. Si los dos grupos son iguales, a excepción de que uno de
ellos participa en el programa y el otro no, cualquier diferencia en los resultados deberá provenir
del programa

Directiva S. C.
2. CÓMO EVALUAR
2.1 Inferencia causal y
contrafactuales
Estimación del Contrafactual
Al menos en tres aspectos deben ser iguales.
• Primero, ambos grupos deben ser idénticos en ausencia del
programa. Por ejemplo, la edad media debe ser la misma.
• Segundo, los grupos deben reaccionar de la misma manera al
programa. Por ejemplo, las probabilidades de que los ingresos
del grupo de tratamiento mejoren gracias a la formación deben
ser las mismas para el grupo de comparación.
• Tercero, ambos grupos no pueden estar expuestos de manera
diferente a otras intervenciones durante el período de la
evaluación. Por ejemplo, el grupo de tratamiento no puede
haber contado con más visitas a la tienda de dulces que el
grupo de control, ya que esto podría confundir los efectos del
dinero adicional con los efectos de un mayor acceso a los
dulces.

Directiva S. C.
2. CÓMO EVALUAR
2.2 Métodos de selección aleatoria
Los métodos de selección aleatoria pueden derivarse con frecuencia de las reglas operativas de
un programa. En muchos casos, el conjunto de unidades a las que se querría llegar es mayor que
el número de participantes a los que realmente se puede atender.
La mayoría de los programas tiene una capacidad presupuestaria u operativa limitada, que les
impide atender a todos los participantes previstos al mismo tiempo.

Directiva S. C.
2. CÓMO EVALUAR
Asignación aleatoria del tratamiento
Antes de ver cómo aplicar la asignación aleatoria y por qué esta genera un contrafactual sólido,
considérense las razones por las que la asignación aleatoria también es una manera justa y
transparente de asignar los recursos escasos de un programa.
Ante un exceso de demanda, la asignación aleatoria es una regla sencilla de explicar y que
todas las partes interesadas pueden entender fácilmente. Si los beneficiarios son seleccionados
mediante un proceso abierto y replicable, la regla de asignación aleatoria no puede manipularse
fácilmente, y protege por lo tanto a los administradores del programa de posibles acusaciones de
favoritismo o corrupción

Directiva S. C.
2. CÓMO EVALUAR
Validez externa e interna
Validez interna significa que el impacto estimado del programa está libre de todos los otros
factores que pueden afectar el resultado de interés, o que el grupo de comparación representa el
verdadero contrafactual, por lo que se estima el verdadero impacto del programa
Validez externa significa que el impacto estimado en la muestra de evaluación puede
generalizarse al conjunto de todas las unidades elegibles.

Directiva S. C.
2. CÓMO EVALUAR
¿Cuándo se puede usar la asignación aleatoria?
En la práctica, se debe considerar la asignación aleatoria siempre que el número de posibles
participantes sea superior al número de plazas disponibles y sea necesario implementar
progresivamente el programa. En algunas circunstancias también es necesaria la asignación
aleatoria como un instrumento de evaluación, aunque los recursos del programa no estén
limitados.
Existen normalmente dos situaciones en las que la asignación aleatoria es viable
como un método de evaluación de impacto:
1. Cuando la población elegible es superior al número de plazas disponibles en
el programa
2. Cuando es necesario ampliar un programa gradualmente hasta que cubra a
toda la población elegible.

Directiva S. C.
2. CÓMO EVALUAR
¿Cómo asignar aleatoriamente el tratamiento?

Directiva S. C.
2. CÓMO EVALUAR
¿A qué nivel se realiza una asignación aleatoria?
La asignación aleatoria puede hacerse a nivel de individuos, hogares, comunidades o regiones.
En general, el nivel al que se asignan aleatoriamente unidades de tratamiento y grupos de
comparación dependerá de dónde y cómo se implementará el programa.
Cuando el nivel de asignación aleatoria es superior, por ejemplo a nivel regional o provincial en
un país, puede resultar muy difícil realizar una evaluación de impacto porque el número de
regiones o provincias en la mayoría de los países no es suficientemente grande para obtener
grupos equilibrados de tratamiento y de comparación.

Directiva S. C.
2. CÓMO EVALUAR
Estimación del impacto con la asignación aleatoria
Una vez que se ha definido una muestra aleatoria de evaluación y se ha asignado el tratamiento
de manera aleatoria, es bastante fácil estimar el impacto de un programa. Después de que el
programa lleve funcionando algún tiempo, deben medirse los resultados de las unidades tanto de
tratamiento como de comparación.
El impacto del programa es simplemente la diferencia entre el resultado promedio (Y) para el
grupo de tratamiento y el resultado promedio (Y) para el grupo de comparación

Plática informativa Evaluación de Impactos Banco Mundial

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Plática informativa Evaluación de Impactos Banco Mundial

Similar a Plática informativa Evaluación de Impactos Banco Mundial (20)

Más de Horacio Javier Martinez Rivera

Más de Horacio Javier Martinez Rivera (8)

Último

Último (14)

Plática informativa Evaluación de Impactos Banco Mundial