MODULO VI EVALUACION EX POST.ppt

Dr. Econ. Juan ESTELA y NALVARTE Mg.
Correo electrónico: juanestelaconsultor@hotmail.com
1
UNIVERSIDAD NACIONAL
AGRARIA DE LA SELVA
FORMULACIÓN Y EVALUACIÓN DE
PROYECTOS DE INVERSION SOCIAL

Evaluación Ex Post: Motivación e Introducción
EVALUACIÓN EX POST
Y DE IMPACTO

Evaluación ExPost: Introducción
Definición general
 Expost (después del proyecto) en contraposición
a Ex- ante (antes del proyecto).
Aplicación Ex - post es limitada
 No es sistemática en Sistema Nacional de
Inversión Pública con 30 años de vigencia como
Colombia o Chile
 Sistemática en Departamentos de evaluación y
operaciones del Banco Mundial y el BID, pero es
para gestión interna de estas entidades
 No desarrollado en Sistema de Inversión Pública
Peruano

Evaluación Ex - Post (SNIP): Introducción

Evaluación Ex - Post: Introducción

Evaluación Ex - post
 Sin embargo, la tendencia actual es a un mayor
desarrollo sistemático de Evaluación Ex post en
proyectos en general (Estado, Bancos de
Desarrollo, ONGs, etc.)
 ¿Por qué?: Mayor “demanda” Vinculado a
impulso de “Rendición de cuentas” de eficacia
de proyectos
 Se esta desarrollando “oferta” de instrumentos
de seguimiento (=monitoreo) y evaluación
 Evaluación Ex post es un “instrumento”
específico de la evaluación de proyectos pero
estrechamente vinculado a otros más generales
de evaluación y seguimiento

Complicaciones
 Relación ciclo de proyectos y ciclo de evaluación
 Existencia de proyectos continuos donde operación e
inversión se realizan simultáneamente o no es
necesario que se realice toda la inversión para generar
beneficios
 Definiciones no estándares. El uso de estas se refiere
a diferentes contextos:
->Proyectos de inversión pública
->Gestión basada en resultados
->Sistemas de seguimiento sectoriales, etc.

Evaluación Ex - Post: introducción
Preinversión Inversión Post Inversión
Factibilidad Estudios y
expediente técnico
Evaluación
Ex post
Prefactibilidad
Idea Perfil
Ejecución
Operación y
mantenimiento
Depende de la
envergadura
del proyecto

Evaluación Ex - Post: Ciclo de Evaluación de
Proyectos
ESTADO ETAPA TIPO DE EVALUACIÓN AMBITO DE
EVALUACIÓN
Idea
Preinversión Perfil Evaluación ex-
ante
Preinversión
Prefactibilidad
Factibilidad
Inversión Ejecución Seguimiento físico
financiero
Inversión
Inversión
Término de la
inversión
Informe de
término de
proyecto (ITP)=
Evaluación de la
Ejecución
Inversión
Operación Operación
Seguimiento de la
operación,
Evaluación
Intermedia
Operación
Operación Término de la
operación
Evaluación
ex-post
Operación /
Inversión

Evaluación Ex-Post: Ciclo de Evaluación de
Proyectos
Inicio Operación
t
0 1 2 3 4 5 6 7 8 9 10
(Evaluación Ejecución Final,
Evaluación Operación Final
Evaluación Impacto Final)
Evaluación ExPost y Ciclo de Evaluación en Proyecto Secuencial
(Evaluación de impacto parcial)
---->>>>Seguimiento---->>>> ---->>>>Seguimiento---->>>>
Evaluación de la ejecución Evaluación Intermedia
(Evaluación de operación)
Fin Inversión=
>>>>>>Inversión>>>>>>>
----->>>>Seguimiento---->>>>>
----->>>>Seguimiento---->>>>>
>>>>>>Inversión>>>>>>> >>>>>>Operación>>>>>>> >>>>>>Operación>>>>>>>
>>>>>>>>>>>>>>>>>Inversión>>>>>>>>>>>>>>>>>>>
Fin Operación
Línea de base
Evaluación Ejecucicón Final
>>>>>>>>>>>>>>>>>Operación>>>>>>>>>>>>>>>>>>>
Evaluación ExPost
C
i
c
l
o
d
e
E
v
a
l
u
a
c
i
ó
n
p
r
o
y
e
c
t
o
C
i
c
l
o
d
e

Evaluación Ex-Post: Ciclo de Evaluación de
Proyectos
Operación
t
0 1 2 3 4 5 6 7 8 9 10
(Evaluación Ejecución Final,
Evaluación Operación Final y
Evaluación Impacto Final)
Evaluación ExPost y Ciclo de Evaluación en Proyecto Continuo
C
i
c
l
o
d
e
p
r
o
y
e
c
t
o
>>>>>>Inversión>>>>>>> >>>>>>Inversión>>>>>>>
>>>>>>Operación>>>>>>> >>>>>>Operación>>>>>>>
---->>>>Seguimiento---->>>> ---->>>>Seguimiento---->>>>
Evaluación Intermedia
C
i
c
l
o
d
e
E
v
a
l
u
a
c
i
ó
n
Inicio Inversión y Fin Operación=
Fin de Inversión
>>>>>>>>>>>>>>>>>Inversión>>>>>>>>>>>>>>>>>>>
>>>>>>>>>>>>>>>>>Operación>>>>>>>>>>>>>>>>>>>
(Evaluación de ejecución,
Evaluación ExPost
Línea de base
Evaluación de operación y
Evaluación de impacto parcial)

Evaluación Ex-Post: Introducción
Semántica básica
 Evaluación: Verificación del cumplimiento de un
objetivo (Ej. Impacto, eficiencia, eficacia,
sostenibilidad, etc.) en un momento del tiempo
 Seguimiento: Verificación continua del
cumplimiento de objetivos (Ej. Eficiencia,
eficacia, etc.)
 Línea de Base: Situación previa a la operación
del proyecto a partir del cual se puede medir su
contribución

Evaluación Ex-Post: Introducción
Enfoque Benchmark
 Benchmark de Evaluación Expost: Diseño de
Evaluación Expost en la etapa de diseño
(preinversión) del proyecto.
 Ello supone la ejecución de: (i) Una línea de
base y (ii) Seguimiento de la ejecución y
operación del proyecto.
 Sin (i) y (ii) la Evaluación Expost no cumple sus
objetivos

INTRODUCCIÓN A LA EVALUACIÓN
EX POST Y DE IMPACTO
Evaluación de Impacto:
Introducción a conceptos y
técnicas para la evaluación de
impacto

Introducción
Evaluación de impacto (EI) como parte
del Ciclo de Evaluación de Proyectos
 Ámbito: Centrada en los resultados u
outcomes de un Proyecto
 Metodológica: Metodologías de recolección
de información primaria y modelos analíticos
más complejos

1. Ámbito de Evaluación de Impacto (EI)
Objetivos Indicadores Fuentes Supuestos
Fin ObjetivodeDesarrollo Outcomes EvaluacióndeImpacto
Propósito ObjetivoGeneral Outcomes EvaluacióndeImpacto
Productos ObjetvosEspecíficos Output SeguimientoyEvaluación
deOperación
Actividades Input SeguimientoyEvaluación
deEjecución
Ámbitodeseguimientoy
evaluacióndeejecucióny
operacióndeunproyecto
Ámbitodeevaluaciónde
impactodeunproyecto
El Propósito y/o Fin de un Proyecto

2. Objetivo a evaluar por EI
Los beneficiarios están mejor “con” Proyecto frente a su
situación “sin” proyecto = “debido a” su participación en
Proyecto
 “Mejor” en qué?: En el “outcome” del proyecto
Objetivos Indicadores
Fin ObjetivodeDesarrollo
Propósito ObjetivoGeneral Indicador01:
"Losbeneficiariosestán"mejor"
"debidoa"o"con"Proyecto"
Losbeneficiariospresentaunincrementode
X%envariablede"outcome"frenteaungrupo
decontrol,debidoalproyecto
Ámbitodeevaluaciónde
impactodeunproyecto

2. Objetivo a evaluar por EI
Ejemplos de Proyectos Objetivos Indicadores
Educación Propósito Objetivo General: Rendimiento educativo
Los alumnos beneficiarios alcanzan mayor
rendimiento e lectura y escritura inicial con Proyecto
Los beneficiarios presenta un incremento de X% en
rendimiento en LEI frente a un grupo de control
Salud Propósito Objetivo General: Mortalidad infantil
Los niños beneficiarios presentan una menor tasa de
mortalidad
Los beneficiarios presenta una disminución de X% en la
tasa de mortalidad infantil frente a un grupo de control
Caminos Rurales Propósito Objetivo General: Costos Logísticos
Los productores beneficiarios alcanzan menores
costos logísticos con Proyecto
Los beneficiarios presenta una disminución de X% en sus
costos logísticos frente a un grupo de control
Pobreza Propósito Objetivo General: Alivio de pobreza
Los hogares beneficiarios presentan una menor tasa
de pobreza con Proyecto
tasa de pobreza frente a un grupo de control
Información Agraria Propósito Objetivo General: Margen de comercialización
Los productores beneficiarios presentan un mejor
margen de comercialización con Proyecto
Los beneficiarios presenta un aumento de X% en el
margen de comercialización frente a un grupo de control
Objetivo a evaluar por EI
 Ejemplos de “outcomes”

3. Población objetivo y beneficiarios
Población objetivo: Aquella que el proyecto tiene programado
atender en un período dado de tiempo, pudiendo corresponder a
la totalidad de la población potencial o a una parte e ella
 Beneficiarios: son aquellos que están siendo o han sido
atendidos por el proyecto
Potenciales
Controles
Población
Total
Población
Objetivo
Población No
Objetivo
Beneficiarios
No Beneficiarios

3. Población objetivo y beneficiarios
Ejemplos de beneficiarios:
 individuos (Ej. Alumnos), hogares y
empresas/unidades de producción
Localidades/regiones= conjunto de individuos y/o
hogares y/o empresas

4. Identificación del Impacto de un Proyecto
Estimador de EI “ingenuo” (naive)
 YB1-YB0
 ¿Porqué no identifica el impacto de un
proyecto?

Estimador de EI “ingenuo” (naive) (YB1-YB0)
Indicadores 2005 2010
Ejemplosde Proyectos Objetivos YB0 YB1
Los alumnos beneficiarios alcanzan mayor
rendimiento en lectura y escritura inicial con
Proyecto
Los beneficiarios presenta un incremento de X% en
rendimiento en LEIfrente a un grupo de control 50 65
Los niños beneficiarios presentan una menor tasa
de mortalidad
tasa de desnutrición cronica frente a un grupo de control
25% 15%
Los productores beneficiarios alcanzan menores
Los beneficiarios presenta una disminución de X% en
sus costos logísticos frente a un grupo de control 20% 18%
Los hogares beneficiarios presentan una menor tasa
de pobreza con Proyecto
tasa de pobreza frente a un grupo de control 51% 40%
Los productores beneficiarios presentan un mejor
Los beneficiarios presenta un aumento de X% en el
margen de comercialización frente a un grupo de control
10% 20%

Diferencia Diferencia
2010-2005 2010-2005
Ejemplosde Proyectos Objetivos YB0 YC0 YB1 YC1 YB1-YB0 (YC1-YC0)
Educación
Propósito
Objetivo General: Rendimiento
educativo
Los alumnos beneficiarios alcanzan
mayor rendimiento en lectura y
escritura inicial con Proyecto
50 50 65 55 15.0 5.0
Los niños beneficiarios presentan una
menor tasa de mortalidad
25% 25% 15% 15% -10.0% -10%
Caminos Rurales Propósito Objetivo General: CostosLogísticos
Los productores beneficiarios alcanzan
menores costos logísticos con
Proyecto 20% 20% 18% 19% -2.0% -1.0%
Los hogares beneficiarios presentan
una menor tasa de pobreza con
Proyecto 51% 51% 40% 45% -11.0% -6%
Información Agraria
Propósito
Objetivo General: Margen de
comercialización
2005 2010

Problema de la atribución (causalidad) de un
Proyecto
 Múltiples factores cambian de forma simultanea
durante la ejecución y operación del Proyecto
 Estos factores externos al Proyecto son, por ejemplo,
cambios normales en el entorno o cambios no
normales (“shocks”)
Cambios normales: Evolución de la economía (Ej.
Crecimiento del PBI) y evolución de los individuos (Ej.
Niños crecen)
Cambios no normales: Presencia de otros proyectos
públicos y privados que afectan el “outcome” del
Proyecto, etc.

…Problema de la atribución (causalidad) de un
Proyecto
 Estos cambios en el “outcome” debido a factores
externos hubieran ocurrido de todas maneras sin
proyecto
 Problema: Puedo confundir (subestimar o sobreestimar)
la medición del verdadero impacto del proyecto debido
a estos factores externos
 Solución:
Paso 01: Generar situación de comparación “sin
proyecto” denominado escenario contrafactual
Paso 02: Comparar situación “con proyecto” con
“escenario contrafactual”

Definición
 ¿Qué outcome hubieran presentado los
beneficiarios sin proyecto?
 Situación del beneficiario “sin proyecto”
Problema con escenario contrafactual
 No se puede observar el escenario
contrafactual
 Observo a la unidad de la población objetivo
(individuos, hogares, empresas, etc.) como
beneficiarios (con proyecto) o no beneficiarios
(sin proyecto) pero no ambos en un particular
momento del tiempo
5. Escenario contrafactual

Estados posibles para beneficiarios y controles
Antes del proyecto Después del proyecto
Beneficiarios
Controles
E: situación
antes del
proyecto (YB0,
XB0 y UB0)
F: situación
antes del
proyecto (YC0,
XC0 y UC0)
A: Estado de “tratamiento”
(YB1, XB1 y UB1)
B: Estado de “no-
tratamiento”
(YB1*, XB1* y UB1)
C: Estado de “tratamiento”
D: Estado de “no-
tratamiento” (YC1, XC1 y
UC1)
Situaciones
observables
Situaciones no
observables

Semántica básica y notación
 Impacto: comparación del outcome del beneficiario con
un “correcto” grupo contrafactual
 Tratamiento: Estado que identifica la participación en el
proyecto
 Grupo de tratamiento o beneficiario: Quienes participan
en el proyecto
 Grupo de control: El grupo contrafactual que no
participa en el proyecto
 No observable: Lo que no puedo medir o mido mal

...Semántica básica y notación
 t=0: periodo “0” o antes del proyecto (línea de base)
 t=1: periodo “1” o después del proyecto
 Cualquier variable (Y, X, U) siempre se refiere a la media
del grupo o muestra respectivo
 YB0: Outcome del beneficiario antes del proyecto (=línea
de base)
 YB1: Outcome del beneficiarios después del treatment o
proyecto
 YC0: Outcome de los controles antes del proyecto
 YC1: Outcome de los controles después del proyecto
 XB0: Variables características observables del beneficiario
antes del proyecto (=línea de base)

...Semántica básica y notación
 XB1: Variables características observables del beneficiario
después del proyecto
 UB0: Variables características no observables del
beneficiario antes del proyecto (=línea de base)
 UB1: Variables características no observables del
beneficiario después del proyecto
 XC0, XC1, UC0 y UC1 ídem para los controles
 YB1*: Outcome del beneficiarios en estado de no
tratamiento
 XB1*: Variables características observables del
beneficiario después del proyecto en estado no
tratamiento

Solución: “Construir” un escenario contrafactual
para los beneficiarios
 Paso 01: Seleccionar grupo “control” o de
“comparación” como escenario contrafactual de los
beneficiarios
 Paso 02: Comparar el outcome de los beneficiarios y
controles luego del Proyecto
Problema: Sesgo de selección
 Sesgo de selección: No beneficiarios difieren
sistemáticamente de beneficiarios

Población No
Objetivo
Potenciales
Controles
(YPCt, XPCt y
UPCt)
Controles o Grupo
Contrafactual
(YCt, XCt y UCt)
No Contrafactuales
(YNCt, XNCt y
UNCt)
Población
Objetivo
No Beneficiarios
(YNBt, XNBt y
UNBt)
Beneficiarios
(YBt, XBt y UBt)

 Definición: Existen diferencias sistemáticas entre los
que participan en un proyecto y quienes no, aún siendo
definidos estos como población objetivo no beneficiaria
 Problema: Las muestras de beneficiarios y no
beneficiarios están sesgadas y no podemos usar los
“outcome” promedio de estos grupos para identificar el
impacto del proyecto
Cuál es el origen del sesgo?
 Participación en un proyecto es casi siempre una
opción. Los no beneficiarios van a diferir en
características observables o no observables de los
beneficiarios
6. Sesgo de selección

 Diferencia en características observables: Ej. Sexo y
situación laboral (Ej. Activo o No activo):
_ En el proyecto “Modalidad flexible de educación de
adultos (culminar secundaria)” las mujeres amas de
casa (no activas laboralmente) tuvieron mayor
propensión a participar que los hombres adultos jefes
de hogar (activos laboralmente)
_ Ambos subgrupos son población objetivo pero la mayor
propensión de mujeres amas de casa a participar tuvo
como consecuencia que beneficiarios y no beneficiarios
difirieran sistemáticamente en características
observables sexo y situación laboral

…Cuál es el origen del sesgo?
 Diferencia en características observables: Ej. Selección
de beneficiarios por los operadores del proyecto
_ Este problema está presente siempre. Se denomina
selección por la “oferta”
_ Se elige:
Ej01: “localidades” más organizadas, en proyectos de
alivio de pobreza rural
Ej02: “colegios” con “mejor” director, en proyectos de
educación
Ej03: “alumnos” con padres más motivados

…Cuál es el origen del sesgo?
 Diferencia en características no observables:
Motivación de los individuos
_ Este problema está presente siempre.
_ Ej01: Padres motivados y proyecto de educación
> Alumnos con padres con alta valoración de la
educación (más información y dedican más esfuerzo a
educación de sus hijos) tienen alta probabilidad de
participar en “mejores” colegios o en “proyectos”
educativos de innovación.

..._ Ej01: Padres motivados y proyecto de educación
>El sesgo proviene de comparar alumnos beneficiarios
con padres altamente motivados frente a alumnos no
beneficiarios con padres no motivados
>Alumnos beneficiarios y no beneficiarios son idénticos
en todas las variables observables pero con variable no
observable “padres motivados” distinta

Corregir el sesgo implica
 Equivalencia estadística en variables observables en el
período 0
>YB0=YC0 y XB0=XC0
 Equivalencia estadística en variables no observables en
el periodo 0
>UB0=UC0
 Equivalencia estadística en variables no observables en
el periodo 0 y 1
>UB1=UB0

Estimador de Diferencias en Diferencias
 Definición: (YB1-YB0) – (YC1-YC0)
 (YC1-YC0) = ? (Tarea para el control)
 La validez del estimador depende de nuestros
supuestos y data disponible.
 Cuando existen problemas de variables no-observables
y estas son invariantes en el tiempo no cambian con el
tiempo) estas puede ser corregida mediante el
estimador de Diferencia en Diferencia
Ej.
(YB1+UB1)-(YB0+UB0) – (YC1+UC1)-(YC0-UC0)
No observable invariante en t: UB1=UB0 y UC1=UC0
 (YB1-YB0)-(YC1-YC0)= Estimador de Impacto,
A pesar de: UB1=UB0 =~ UC1=UC0
7. Estimador de EI

7. Uso de diferentes estimadores de impacto
1. Uso y/o aplicación de los distintos estimadores presentados en clase: corte transversal, comparación reflexiva, dobles
diferencias y comparación de medias. Cuándo se utiliza uno ó el otro? se pueden utilizar de manera complementaria?
Ejemplos
3.1 Caso 01: Corte Transversal = Diferencias a Diferencias. Por tanto, Corte Transversal calcula el verdadero impacto del proyecto.
Comparación reflexiva es diferente del estimador de Diferencias a Diferencias. Por consiguiente, no calcula el verdadero impacto del
proyecto
Línea de base
(t0)
18 meses
(t1)
Fórmula
Control S/. 1.14 S/. 1.40 Corte Transversal YB1-YC1 S/1.54-S/.1.4 S/. 0.14
Beneficiario S/. 1.14 S/. 1.54 Comparación reflexiva YB1-YB0 S/1.54-S/.1.14 S/. 0.40
Diferencias en Diferencias (YB1-YB0)-(YC1-YC0) (S/1.54-S/.1.14)-(S/1.40-S/.1.14) S/. 0.14
Variable (Y)= Ingresos por hora promedio Cálculo de estimadores de impacto cuasi experimentales
Cálculo
3.2 Caso 02: Corte Transversal y Comparación Reflexiva no son iguales al estimador de Diferencias a Diferencias. Por tanto, Corte
Transversal y Comparación reflexiva no calculan el verdadero impacto del proyecto
Línea de
base (t0)
18 meses
(t1)
Fórmula
Variable (Y)= Ingresos por hora promedio Cálculo de estimadores de impacto cuasiexperimentales
Cálculo
3.3 ¿Cómo sé si estoy en el Caso 01 o Caso 02? No puedo saberlo. Por ello, corte transversal tiene como supuesto que YB0=YC0
3.4 Tiene que utilizarse siempre el de diferencias en diferencias. Cuando no tengo línea de base o medición del momento t0 sólo puedo
aplicar corte transversal.

 El diseño de la EI presenta opciones metodológicas que
son críticas para la calidad de la EI
 La más importante es la disponibilidad de data en t=0 y
t=1
 La EI óptima es aquella que se diseña cuando el proyecto
se está diseñando (Evaluación Ex Ante)
 La mayoría de las EI son diseñadas luego que el
programa ha sido ejecutado y se encuentra en operación
 Esta situación restringe severamente las opciones de la EI
 La EI del presente curso es una donde se hace línea de
base y mediciones posteriores y se construye un grupo
mediante métodos cuasi - experimentales. En esta
medida no es el benchmark de EI (diseño experimental)
pero es el “second best”
8. Tipos de diseño o metodología de EI

Cuasi Experimental
Experimental

Experimental
 Grupo contrafactual formado a través de aleatorización
(Sorteo)
 Controles tienen que estar igualmente interesados en
participar en el proyecto
 Requiere de mucha planificación antes del inicio del
proyecto (la línea de base)
 Se tiene que aplicar un registro o censo de beneficiarios
en algunas variables características básicas antes de
hacer la línea de base
 Políticamente controversial cuando la aleatorización es
a nivel de individuos y más aceptada a nivel de
localidades

Experimental
 Ejemplos de experimentos
Ej01: Progresa (México), RPS (Nicaragua), “NN01”
(Honduras) y NN02 (Colombia)
Outcome: Asistencia al colegio, nutrición y salud
Treatment: Cash Transfer
Aleatorización: A nivel de localidad
Ej02: Proyecto STAR (Kentucky-USA)
Outcome: Rendimiento educativo
Treatment: Disminución del ratio alumno por profesor
Aleatorización: A nivel de alumno

Cuasi -Experimental
 Grupo contrafactual se construye con individuos con
similares características (beneficiario no tratado)
 Formalmente se refiere a este grupo contrafactual como de
“comparación” no de “control”
 Estos métodos de selección de controles con base a su
probabilidad de participación se conocen como estimadores
de “matching”.

Cuasi-Experimental
 Estos métodos de selección de controles con base a su
probabilidad de participación se conocen como estimadores
de “matching” o emparejamiento.
 Existe una variedad de estimadores de matching
 El emparejamiento (matching) consiste en asignar para
cada beneficiario un control. Dicha asignación se realiza
sobre la base de emparejar aquel beneficiario con aquel
control que sea “lo más parecido”. Una vez establecida las
parejas de beneficiarios y controles “emparejadas” se podrá
estimar el impacto promedio del programa como el
promedio del impacto para cada pareja.

Cuasi-Experimental (Ejemplo Projoven)
 Las variables que deben de ser incorporadas en este
emparejamiento son aquellas que tienen un efecto
significativo en el impacto en el programa y al no ser
controladas pueden sesgar los resultados.
Etapa de Campo
1.1 A partir de las viviendas de cada beneficiario se ubicó a los
potenciales controles a través de 5 variables de decisión:
sexo, edad, situación laboral, educación y nivel de pobreza..
En principio se podrían (deberían) seleccionar más de 01
potencial control por beneficiario pero lo que debe de
quedar claro es que por lo menos se debe seleccionar a 01.

1.2 En el proceso de trabajo de campo incorpora en el
emparejamiento variable que pueden ser identificadas en
esta etapa como: Sexo, edad, situación ocupacional, región,
etc.
1.3 Sin embargo, en el trabajo de campo no se puedo
emparejar a los beneficiarios en variables que también
deben de ser controladas como los ingresos, por ejemplo. El
análisis de equivalencia estadística (test t de medias) de la
variable ingresos de la muestra original de beneficiarios y
controles encuentra que diferían significativamente en esta
variable.

1.4 Por ello, se debe completar el proceso de
emparejamiento realizado en el campo por uno
computacional que incorpore variables adicionales de
emparejamiento.

2.1 En primer lugar, tenemos una base de datos
preparada para los cálculos como en la Tabla 01 con la
información disponible para 1018 beneficiarios del
programa y 1561 posibles controles
2.2Procedemos a calcular el propensity score para cada
beneficiario y control. Para ello estimamos un modelo
probit o probabilidad de ser beneficiario donde la
variable dependiente toma valor “1” si el individuo es
un beneficiario y valor “0” si es un control. El modelo
estimado es el siguiente:

e
Edu.Madre)
π̂
Edu.Padre
π̂
ar
Ing.famili
π̂
Labor
π̂
Hijo
π̂
F(
1)
P(y 5
4
3
2
1 







 Donde las variables consideradas son:
hijo2: si es mujer con hijo
curso: si llevó algún curso técnico
labora: si laboraba antes
ingreso familiar: logaritmo del ingreso familiar mensual
per capita del resto de individuos del hogar
pedu2: padre con educación superior
medu2: madre con educación superior
 Los modelo probit estimado se presenta en la tabla
siguiente:

2.2 Luego, se reemplaza – para cada beneficiario y
control- sus valores respectivos de las variables
consideradas: hijo2, curso, labora, ingreso familiar,
pedu2 y medu2 en la ecuación del probit y con los
estimadores obtenidos de la regresión probit se calcula
“propensity score” para cada individuo. Este cálculo lo
hace el paquete estadístico en la medida que tiene que
considerar los errores estimados del probit para cada
beneficiario y control. Este cálculo del probit se
presenta en la Tabla 2

2.3 El procedimiento de emparejamiento consistió en aparear a
un beneficiario con un control que cumpliera con las
siguientes características:
a. sea de la misma ciudad y
b. sea del mismo sexo y
c. cuya edad sea, a lo más, dos años distinta y
d. con un nivel educativo que, a lo más, discrepe en un año de
educación y
e. que tenga la misma situación laboral y
f. cuyo índice de pobreza discrepe en no más de 4 puntos y
g. tenga un “propensity score” que sea distinto en a lo más 0.2
puntos

2.4 Dentro de ese grupo posible de controles finalmente se
eligió sólo a uno. Éste era aquel control que tuviera:
h. Mayor similitud en el ingreso por hora percibido y en el total
de horas trabajadas por semana a partir de la menor
distancia euclideana, previa estandarización de las variables.
2.5 Si para un beneficiario no se encontraba un control que
cumpliera con todos los requisitos previamente descritos,
ese beneficiario era eliminado de la muestra para efectos de
la presente evaluación de impacto. Por otro lado, debe
tenerse en cuenta que no todos los controles disponibles
han sido asignados necesariamente a algún beneficiario, por
lo que algunos no han sido utilizados.

2. PROCEDIMIENTO DE CÁLCULO
 2.6 Así, se obtuvo una muestra de 842 beneficiarios
apareados con sus respectivos controles, a partir de los
cuales se cuantifica el impacto de PROJoven como se
muestra en la tabla 4

Cuasi-Experimental (BREVE REVISION DEL MARCO
TEORICO DEL EMPAREJAMIENTO (MATCHING)
1. El ideal para la identificación de los efectos de un programa
sobre un grupo de beneficiarios es que el proceso de
asignación en este sea de manera aleatoria. Es decir, sobre
los que están interesados o pre - inscritos en el Proyecto se
define mediante un sorteo quienes pasan a formar parte del
grupo de beneficiarios y quienes forman parte de un grupo
de control. Sin embargo, este tipo de diseños presenta una
serie de problemas para la gestión del programa al tener
que limitar la participación en este a una fracción de la
población objetivo[1].

1. Por ello se optan por métodos cuasi - experimentales
como el que se desarrolla aquí donde se trata de replicar
mediante procesos de emparejamiento (en campo y
computacionales) el ideal o “benchmark” que constituye el
proceso experimental que permite una equivalencia
estadística inicial entre beneficiarios y controles mediante
una asignación aleatoria.
[1] Ello a pesar que la limitación es temporal en la medida que se
convierten en beneficiarios en etapas posteriores.

Cuasi - Experimental (BREVE REVISION DEL MARCO
2. Son 03 los métodos más usados para llevar a cabo el
emparejamiento. El primero de ellos es el Nearest Neighbor
Matching (NNM) que realiza el emparejamiento con base a
la mínima distancia (nearest neighbor) en valor absoluto
entre la probabilidad de participar de un beneficiario y un
control. De esta forma, el NNM selecciona para cada
beneficiario a un solo control que es el que tiene la
probabilidad de participar más cercana.

2 El NNM presenta el problema que podemos elegir controles
que aunque sean malos candidatos para un beneficiario -
difieren significativamente en la probabilidad de
participación- es la mejor alternativa que disponemos en la
base de datos (mínima distancia) y por ello los elegimos. El
segundo método denominado Radius Matching (RM)
pretende corregir el problema señalado para el NNM
estableciendo un valor arbitrario (Por ejemplo, 0.05) de
diferencias en probabilidad en valor absoluto entre un
beneficiario y un control.

2. De esta forma, se establece un valor único de lo que
consideramos lo mas parecido y lo usamos como regla
general para todos los emparejamientos. RM a diferencia
de NNM suele seleccionar para cada beneficiario más de
un control, en la medida que varios de ellos pueden
cumplir con este valor o distancia arbitrario.
3. Sin embargo, RM al igual que el NNM presentan el
problema que al considerar una diferencia en probabilidad
en valor absoluto no dan cuenta de si estas pueden estar
seleccionando a aquellos controles que sistemáticamente
tienen una mayor probabilidad de participar o una menor.

Cuasi- Experimental (BREVE REVISION DEL MARCO
3. De esta forma, luego del emparejamiento podemos
terminar con una muestra de controles con una media de
probabilidad de participación significativamente diferente,
más alta o más baja, y, no similar como se espera de la
aplicación de estos procedimientos.
4. El tercer método es el de Kernels Uniformes (KU) a
diferencia de NNM y RM no es un emparejamiento uno a
uno sino del tipo uno a varios donde a cada beneficiario se
le asigna una combinación de miembros del grupo de
control ponderados y las distancias no son en valores
absolutos.

4. Este enfoque tiene como ventaja hacer un mejor uso de la
información de los controles, pues genera individuos ficticios
con las características promedio de varios controles
aprovechando de forma más eficiente la información
disponible.
5 En la practica lo que se emplea son técnicas híbridas que
combinan estos enfoques de matching bajo las propensiones
a participar con criterios de emparejamiento por
características de manera directa. Cierta nueva literatura
esta destacando la importancia del emparejamiento directo
(Ej. Ingreso mas parecido) sobre las técnicas de matching
que emplean propensiones a participar.

6. La bondad de un método u otro debe de establecerse sobre
la base de dos aspectos. El primero se refiere a que tan
efectivo es en establecer la equivalencia inicial entre las
variables más importantes como el ingreso o la propensión
de participación. Lo segundo es si es eficiente en aprovechar
la información disponible de los controles. Esto último es
particularmente relevante en la medida que bajo cualquier
enfoque de emparejamiento se pierde un conjunto de
información en la medida que se descartan beneficiarios
para los cuales no se disponen de controles apropiados. De
esta forma se induce salidas de beneficiarios de la muestra.

6. Por otro lado, se descartan controles o no se utilizan en la
medida que no se asignan a ningún beneficiario. En ambos
casos, este proceso puede ser fuente de sesgos adicionales y
debe de ser considerado en el análisis.
7 Los “test” de los métodos cuasi experimentales se hacen a
partir de los estimadores de Diferencia en Diferencia de tipo
experimental. El “test” consiste en contrastar el estimador de
Diferencias en Diferencias experimental con el
cuasiexperimental. Cuando el DD cuasiexperimental se
aproxime (se igual) al experimental entonces se concluye que
el método es el mejor en tanto replica el diseño experimental.

Evaluación de Impacto:
Introducción a conceptos y
técnicas para la evaluación de
impacto

1. ¿Cómo identificar indicadores de impacto?
1. ¿Cómo identificar los indicadores de impacto?
Respuesta
1.1 Los indicadores de impacto se establecen para medir el Fin y Propósito del Proyecto en la terminología del Marco Lógico.
Objetivos Indicadores Fuentes Supuestos
Fin Objetivo de Desarrollo Outcomes Evaluación de Impacto
Propósito Objetivo General Outcomes Evaluación de Impacto
Productos Objetvos Específicos Output Seguimiento y Evaluación
de Operación
Actividades Input Seguimiento y Evaluación
de Ejecución
Ámbito de seguimiento y
evaluación de ejecución y
operación de un proyecto
Ámbito de evaluación de
impacto de un proyecto
Marco Lógico
1.2 El Fin y el Propósito es lo que se quiere obtener ejecutando el proyecto. Se denomina impacto (efecto) porque es una consecuencia
lógica de la ejecución del proyecto (si está bien formulado). A esta consecuencia lógica se denomina la lógica vertical del marco lógico
donde las actividades generan productos; y los productos generan el propósito/fin.

1.3 Por ello, para identificar los indicadores de impacto primero es necesario identificar el propósito/fin del proyecto que está en el marco
lógico. El siguiente cuadro muestra un ejemplo de marcos lógicos con su propósito/fin
Ejemplos de Proyectos Objetivos
Los alumnos beneficiarios alcanzan mayor rendimiento e lectu
y escritura inicial con Proyecto
Salud Propósito Objetivo General: Desnutrición crónica
Los niños beneficiarios presentan una menor tasa de
desnutrición crónica con proyecto
Los productores agrícolas beneficiarios alcanzan menores
Los productores agrícolas beneficiarios presentan un mejor
Saneamiento Rural
Propósito
Objetivo General: Enfermedades Diarreicas Agudas (EDAs) e
niños de 0 a 5 años
Los niños de 0 a 5 años presentan una menor tasa de EDA co
Proyecto
Los productores agrícolas beneficiarios presentan un mejor
1.4 Luego, para cada uno de estos propósito/fin se establecen indicadores para poder medirlos. A continuación se presentan los
indicadores de impacto para algunos ejemplos de proyectos.

EjemplosdeProyectos Objetivos
Variable Formulación Formuladecálculo:
Educación
Propósito
ObjetivoGeneral:
Rendimiento
educativo
Losalumnos
beneficiarios
alcanzanmayor
Lectura6togrado Indicador1.1:Porcentajedealumnosde6togradoconnivelde
logrosuficienteencomprensiónlectora
(Formuladecálculo:N° dealumnos6togradoconniveldelogro
suficienteenlapruebanacionaldecomprensiónlectora/N° dealumnos
6togrado)
Indicador1.2:Puntajepromediodealumnosde6to gradoen
comprensiónlectora
(Formuladecálculo:ΣPuntajedealumnos6togradoenlaprueba
nacionaldecomprensiónlectora/N° dealumnos6togrado)
Matemática6to
grado
Indicador2.1:Porcentajedealumnosde6togradoconnivelde
logrosuficienteenmatemática
(Formuladecálculo:N° dealumnos6togradoconniveldelogro
suficienteenlapruebanacionaldematemáticas/N° dealumnos6to
grado)
Indicador2.2:Puntajepromediodealumnosde6to gradoen
matemáticas
(Formuladecálculo:ΣPuntajedealumnos6togradoenlaprueba
nacionaldematemáticas/N° dealumnos6togrado)
Lecturainicial
(2do-3ergrado)
Indicador1.1:Porcentajedealumnosde2do-3ergradoconnivel
delogrosuficienteencomprensiónlectora
(Formuladecálculo:N° dealumnos2do-3ergradoconniveldelogro
suficienteenlapruebanacionaldecomprensiónlectora/N° dealumnos
2do-3ergrado)
Indicador1.2:Puntajepromediodealumnosde2do-3ergradoen
comprensiónlectora
(Formuladecálculo:ΣPuntajedealumnos2do-3ergradoenlaprueba
nacionaldecomprensiónlectora/N° dealumnos2do-3ergrado)
Matemáticainicial
(2do-3ergrado)
Indicador2.1:Porcentajedealumnosde2do-3ergradoconnivel
delogrosuficienteenmatemática
(Formuladecálculo:N° dealumnos2do-3ergradoconniveldelogro
suficienteenlapruebanacionaldematemáticas/N° dealumnos2do-3er
grado)
Indicador2.2:Puntajepromediodealumnosde2do-3ergradoen
matemáticas
(Formuladecálculo:ΣPuntajedealumnos2do-3ergradoenlaprueba
nacionaldematemáticas/N° dealumnos2do-3ergrado)
Indicador

EjemplosdeProyectos Objetivos
Variable Formulación Formuladecálculo:
Salud
Propósito
ObjetivoGeneral:
Desnutricióncrónica
Losniñosbeneficiarios
presentanunamenortasa
dedesnutricióncrónica
Desnutrición
crónica
Indicador:Porcentajedeniñosde5añoscon
desnutricióncrónica
Formuladecálculo:N° deniñosde0a5años con z-scoretalla/edad
enelrango(-6a-2ó menora–2Z)/N° deniñosde0a5años
SaneamientoRural
Propósito
ObjetivoGeneral:
EnfermedadesDiarreicas
Agudas(EDAs)enniños
Losniñosde0a5años
presentanunamenortasa
deEDAconProyecto
Tasade
EDAs Indicador:Porcentajedeniñosde0a5añoscon
episodiodeEDA
Formuladecálculo:N° demadresdeniñosde0a5añosque
declaranepisodiodeEDAsenlosúltimos15días/Númerodeniñosde
0a5años)
Indicador

2. ¿Qué son los outcomes?
2.1 Los outcomes son las variables y/o indicadores centrales o más importantes del propósito/fin del proyecto. En este sentido, son
variables de impacto, en la medida que miden propósito o fin del proyecto, pero además, son las principales.
2.2 Se pueden establecer dos consideraciones para tener una definición más precisa de ellos. La primera es su ubicación en la
secuencia lógica del marco lógico. La segunda, es su relación con el bienestar de las beneficiarios.
2.3 La consideración sobre su ubicación en el la secuencia del marco lógico las define como las variables y/o indicadores últimos o
finales. Por ejemplo, en educación, un indicador de vocabulario, que puede ser medido en la preescolar (3-4-5 años) o incluso en los
dos primero años de educación primaria (6-7 años), puede ser considerado como un una variable o indicador “intermedio” en la
medida que tiene una importante asociación –basado en evidencias- con el outcome “final” que es un nivel de suficiencia de
comprensión lectora a los 7-8 años.
2.4 La consideración con en el bienestar de las personas se refiere a que es una variable y/o indicador con una probada asociación
con el consumo o ingreso de los beneficiarios. En educación son los indicadores de escolaridad (años de educación aprobados) que
representan 10% de ingresos anuales adicionales por año de escolar aprobado y el rendimiento educativo (comprensión lectora en
16 años) que representan 12% de ingresos anuales adicionales por punto de desviación estándar en el rendimiento educativo. En
salud son los indicadores de morbilidad/mortalidad como la desnutrición crónica (ser desnutrido crónico) que reduce en 10% de
ingresos anuales de los beneficiarios.

Outcome
Outcome intermedio
Outcome intermedio
P
r
o
p
ó
s
i
t
o
F
i
n
Indicador 1.1: Porcentaje de alumnos de 2do-3er
Lectura inicial (2do-3er grado)
Vocabulario (2do-3er grado)
Indicador 1.1: Porcentaje de alumnos de 6to grado
con nivel de logro suficiente en comprensión lectora
Lectura 6to grado
Indicador 1.2: Puntaje promedio de alumnos de 6to
Indicador 1.2: Puntaje promedio de alumnos de 2do-
3er grado en comprensión lectora
Indicador 1.1: Porcentaje de niños de 2-3 años con
deficiencias en vocabulario

3. Uso de diferentes estimadores de impacto
1. Uso y/o aplicación de los distintos estimadores presentados en clase: corte transversal, comparación reflexiva, dobles
diferencias y comparación de medias. Cuándo se utiliza uno ó el otro? se pueden utilizar de manera complementaria?
Ejemplos
3.1 Caso 01: Corte Transversal = Diferencias a Diferencias. Por tanto, Corte Transversal calcula el verdadero impacto del proyecto.
Comparación reflexiva es diferente del estimador de Diferencias a Diferencias. Por consiguiente, no calcula el verdadero impacto del
proyecto
Línea de base
(t0)
18 meses
(t1)
Fórmula
Variable (Y)= Ingresos por hora promedio Cálculo de estimadores de impacto cuasi experimentales
Cálculo
3.2 Caso 02: Corte Transversal y Comparación Reflexiva no son iguales al estimador de Diferencias a Diferencias. Por tanto, Corte
Transversal y Comparación reflexiva no calculan el verdadero impacto del proyecto
Línea de
base (t0)
18 meses
(t1)
Fórmula
Variable (Y)= Ingresos por hora promedio Cálculo de estimadores de impacto cuasiexperimentales
Cálculo
3.3 ¿Cómo sé si estoy en el Caso 01 o Caso 02? No puedo saberlo. Por ello, corte transversal tiene como supuesto que YB0=YC0
3.4 Tiene que utilizarse siempre el de diferencias en diferencias. Cuando no tengo línea de base o medición del momento t0 sólo puedo
aplicar corte transversal.

4.Análisis de equivalencia estadística
4.Equivalenciaestadísticaentremuestrasdebeneficiariosycontroles
4.1Enlaevaluaciónexpost,paradarcuentadelproblemadelaatribución,buscamosencontrarelescenariocontrafactualdelos
beneficiarios.Esteescenariocontrafactualsemideatravésdeungrupocontrol.Sinembargo,estegrupocontroldebecumplircon
ser“exactamente igual”algrupobeneficiarioenlalíneadebaseomomentot0.Casocontrario,noesunbuengrupocontroldelos
beneficiariosyelestimadordediferenciasendiferenciasestarásesgado.
4.2Evaluarsiungrupocontroles“exactamenteigual”algrupobeneficiariosehaceconunanálisisdeequivalenciaestadística.
4.3Paraellosedebendeconsiderar02aspectos.Laprimeraesigualdadenqué?.Lasegundaescómosemideoanalizaesta
igualdad?.
4.4Laigualdadenquésehaceatravésdebuscarquelosbeneficiariosycontrolesseanigualesenunconjuntodevariablesque
describensuscaracterísticasmásimportantesrelacionadasconeloutcomey/oimpactodelproyecto.Estasvariablessonlaspropias
variablesdeoutcome/impactoydecontrol.Lasvariablesdecontrolsonunconjuntoampliodevariablessobrelascaracterísticasde
losbeneficiariosqueexplicanunconjuntoimportantedelavarianzadelavariabledeoutcomeoimpacto.

4.5Lasegundaconsideración,cómosemideoanalizaestaigualdadenestasvariables,sehacemediantelacomparacióndelas
muestrasdebeneficiariosycontrolesatravésdelaaplicacióndeuntestdemediasatodaslasvariablesconsideradas(impactoy
control)dondelahipótesisnulaesquelamediadecadavariablesondiferentesenambasmuestras.Esteanálisis–aplicacióndetest
demediasalasvariablesdeimpactoycontrol-eselquesedenominaanálisisdeequivalenciaestadísticademuestrasde
beneficiariosycontroles.
4.6Enunejemplo,entoncesloprimeroesconsiderarenquévariables(impactoycontrol)vamosaconsiderarenelanálisisde
equivalenciaestadística.Latabla01muestralasvariablesylosvaloresdesusmediasenlasmuestrasdebeneficiariosycontroles.
4.7Sinembargo,enestatablasólotenemoselvalordelasmediasdelasvariablesenlasmuestrasdebeneficiariosycontrolespero
nosabemossiestassoniguales(estadísticamente).Porello,debemosprocederaaplicarlostestdemediasencadaunadelas
variables.Enlatabla02sepresentaunejemplodeltestdemediasparalavariableingresomensualdondeseaceptalahipótesis
nuladequeambasmuestrasseanigualesenlamedidaquelaposibilidadqueseandiferentestieneunaconfiabilidadmenoral90%.
Esteanálisissehaceantesydespuésdelaaplicacióndelpropensityscore.Elcálculodelestimadordediferenciasendiferencias
suponequeestaequivalenciaestadísticahasidoyalogradaluegodelaaplicacióndelpropensityscore.

Beneficiarios Controles
Número de observaciones 1000 1000
Variables de Impacto
Distribucion segun situacion laboral (%) Inactivo 27.00% 26.00%
Desempleado 14.00% 17.00%
Ocupado 59.00% 57.00%
Horas de trabajo a la semana Media 41 48
Ingreso Mensual (S/.) Media 252 165
Ingreso por hora (S/.) Media 1.41 1.03
Variables de Control
Mujeres % 42% 50%
Educación Ninguna 3% 5%
Primaria Incompleta 8% 6%
Primaria Completa 10% 6%
Secundaria Incompleta 10% 14%
Secundaria Completa 67% 64%
Técnica 2% 5%
Universitaria 0% 0%
Años de estudio (Media) 8.5 8
Edad Media 23 22
Muestra Línea de Base

4. Análisis de equivalencia estadística
Beneficiarios Controles
Tipo de trabajo Permanente 23% 35%
Ocasional 36% 22%
No trabaja 41% 43%
Ocupación Patron o empleador 3% 20%
Trabajador por cuenta propia 22% 15%
Empleado (Administ. Pub./ Priv.) 5% 2%
Obrero u operario 61% 48%
Servicio domestico 10% 15%
Otros
Educación de la madre Años de estudio (Media) 7 7.5
Educación del padre Años de estudio (Media) 9 9.5
Ingreso del Hogar (S/.) Media 753 650
Ingreso per cápita en el Hogar Media 139 130
Número de personas en el Hogar Media 5.4 5
Número de perceptores en el hogar Media 2 1.8
Número de dependientes por perceptor
Media 1.8 2.2
Número de habitaciones en la viviendaMedia 2.8 3
Propiedad de la Vivienda Propia 83% 91%
Alquilada 17% 9%
Otras 0% 0%
Equipamiento del Hogar Auto (%) 3% 2%
Computadora (%) 5% 1%
TV a Color (%) 44% 49%
TV Blanco y Negro (%) 33% 26%
Teléfono Fijo (%) 44% 54%
Teléfono Celular (%) 26% 34%
Muestra Línea de Base

Tabla02:Testdemediasenlavariableingresomensualenlasmuestrasdebeneficiariosycontroles
Two-sample t test with equal variances
------------------------------------------------------------------------------
Group | Obs Mean Std. Err. Std. Dev. [95% Conf. Interval]
---------+--------------------------------------------------------------------
0 | 1000 165.2418 7.117667 49.82367 389.9308 418.5528
1 | 1000 252.9801 7.426426 51.98498 396.0482 425.9119
---------+--------------------------------------------------------------------
combined |2000 207.6109 5.128114 50.76574 397.4331 417.7888
---------+--------------------------------------------------------------------
diff | -6.738265 10.28654 -27.15689 13.68036
------------------------------------------------------------------------------
Degrees of freedom: 96
Ho: mean(0) - mean(1) = diff = 0
Ha: diff < 0 Ha: diff ~= 0 Ha: diff > 0
t = -0.6551 t = -0.6551 t = -0.6551
P < t = 0.2570 P > |t| = 0.5140 P > t = 0.7430

Dif.a<0 Dif.>0
Media de la
variable "X" en
la muestra de
beneficiarios >
Media de la
variable "X" en
la muestra de
beneficiarios
Media de la
variable "X"
en la muestra
de
beneficiarios
<Media de la
variable "X"
en la muestra
Muestra 1 Control
Muestra 2 Beneficiario
Muestra 1 Control
Muestra 1 Control
Muestra 1 Control
Muestra 1 Control
Muestra 1 Control
Muestra 1 Control
Muestra 1 Control
Muestra 1 Control
Muestra 1 Control
Muestra 1 Control
Descripción de las muestras Test t de medias
Distribucion segun
situacion laboral (%) > 10% > 10%
Inactivo
> 10%
Distribucion segun
situacion laboral (%) > 10% > 10%
Desempleado
Ocupado
Distribucion segun
situacion laboral (%)
> 10%
> 10%
Ingreso Mensual
(S/.) > 10% > 10%
Horas de trabajo a la
semana > 10%
> 10%
.
Ingreso por hora (S/.)
> 10%
Edad
> 10% > 10%
.
Tipo de trabajo
> 10%
Variable
Equipamiento del
Hogar > 10% > 10%
.
> 10%
.

Evaluación Ex Post en Proyectos de Empleo:
Estudio de Caso Projoven-Diseño

 Objetivo 01: Mejorar la inserción laboral de los jóvenes
de hogares pobres de zonas urbanas
 Instrumento 01: Capacitación en ocupaciones de
calificación inicial mediante una fase lectiva o teórica de
03 meses en una entidad de capacitación y 03 meses de
fase práctica en una empresa
1. Objetivos e instrumentos

2.1 Descripción del tratamiento
 Projoven opera como entidad de segundo piso donde
convoca a entidades de capacitación (ECAPs) a participar
en concursos públicos de selección de cursos según
criterios de calidad y costos
 La ECAPs son previamente precalificadas según su
experiencia, RR.HH.s, infraestructura, vínculo con las
empresas, etc.
 El costo promedio de capacitación por beneficiario es de
aproximadamente US$ 570
 Se organiza por “convocatoria” o “llamados” (ciclos)
donde se capacitan unos 2,000 beneficiarios
2. Detalles operacionales relevantes para
la EI

 Para ello las ECAPs proceden a presentar su oferta de
capacitación en ocupaciones de calificación inicial y el
programa procede a seleccionar los jóvenes beneficiarios
 Luego se realiza un proceso en el que tanto jóvenes
como ECAPS proceden al “matching”. Así, las ECAPs
tienen un margen para seleccionar beneficiarios y por
supuesto la inscripción en las ECAPs es voluntaria. Sin
embargo, en la medida que se agotan los cupos, los
“últimos” beneficiarios proceden a seleccionar los
“cursos” que quedan
la EI

 A cada beneficiario se le proporciona un estipendio diario
para pasajes y alimentación durante la fase de
entrenamiento en ECAPs
 Adicionalmente a los beneficiarios madre se les da un
soporte o subsidio para financiar cuidado de sus hijos
durante entrenamiento en ECAPs
 Durante la fase de entrenamiento en empresas los
beneficiarios reciben la remuneración mínima vital por
jornada de 8 horas.
la EI

2.2 Descripción del proceso de selección de
beneficiarios
 Población objetivo: Jóvenes entre 16 y 24 años urbanos
pobres
 En cada “convocatoria” o “llamado” se procede a realizar
campañas de promoción en zonas urbano marginales
mediante charlas en parroquias, colegios, etc.
 Cuando el joven se acerca a un centro de inscripción
procede a registrarse en una ficha socioeconómica
 En esta ficha de inscripción se consigna información
como educación de los padres, características de la
vivienda que permite construir un puntaje de pobreza.
la EI

2.2 Descripción del proceso de selección de
beneficiarios
 Cuando el puntaje de pobreza lo califica como pobre
entonces el beneficiario es visitado en su casa para
corroborar sus datos y confirmarle que está registrado
en el programa
la EI

2.3 Cobertura y ámbito
 Lima, Arequipa, Trujillo, Chiclayo, Piura, Cusco,
Huancayo, Chimbote e Iquitos
 De 1997 al 2002 (8 convocatorias) : 30,283
 De 2003 al 2005: 51,900
la EI

2.3 Cobertura y ámbito
la EI
CUADRO 6. Descripción de Alumnos por Fase completada en PROjoven
1 2 3 4 5 6 7 8 Total
1996 1997 1998 1998 1999 2000 2001 2002
Formación Técnica 1.505 1.807 2.243 2.671 3.075 3.651 4.179 5.157 24.288
Alumnos egresados 1.450 1.729 2.146 2.527 2.945 3.481 4.052 5.010 23.340
Alumnos que abandonaron el curso 55 78 97 114 130 170 127 147 918
Formación Práctico-Laboral 1.450 1.729 2.146 2.527 2.945 3.481 4.052 5.010 23.340
Alumnos con prácticas 1.201 1.443 1.762 2.056 2.267 2.768 3.106 3.880 18.483
Prácticas concluidas 861 909 1.247 1.385 1.593 1.968 2.295 3.097 13.355
Prácticas menores a 3 meses 340 534 515 671 674 760 811 783 5.088
Inserción laboral autonoma 25 28 40 50 77 95 102 220 637
Prácticas pendientes 155 145 230 275 382 409 485 590 2.671
Salida del programa antes de las prácticas 69 113 114 166 219 249 224 320 1.474
Fuente: Actualización de Burga (2003)
Convocatorias

 H1: Nivel de empleo de beneficiarios es X% mayor que
los no participantes debido al proyecto
 H2:Nivel de ingreso de los beneficiarios es X% mayor
que los no participantes debido al proyecto
 H3: Calidad de empleo (contrato laboral, seguro de
salud, CTS, etc.) es mayor que los no participantes
debido al proyecto
 H4: Segregación ocupacional por género es menor en los
beneficiarios que en los no participantes debido al
proyecto
3. Hipótesis a evaluar en la EI

4. Marco conceptual de la generación de
impacto
Capital humano: ecuaciones de ingreso
 Variables observables (Xs) que debemos considerar para
identificar el verdadero impacto según marco conceptual
son: Sexo, experiencia laboral (edad) y educación entre las
más importantes.
 
e
Educacion
a
Experienci
Sexo
F
Ingreso 


 3
2
1 ˆ
ˆ
ˆ 



5. Diseño de la metodología de la
evaluación de impacto.
5.1 Estrategia de estimación de resultados o
impacto
Dobles diferencias: (YB1-YB1) - (YC1-YC0). Es decir, 02
mediciones (momento 0 y momento 1) a una muestra de
beneficiarios y controles
Cuasiexperimental: Selección de controles no aleatoria (no
experimental) mediante matching o pareo incial en
observables con grupo de control
Las mediciones han sido en 03 momentos t0, t1, t3, pero el
estimador en DD siempre relaciona la última medición (en
este caso t3) con la inicial o línea de base (t0)

5.2 Indicadores o medidas de resultados o impacto
VI1-Empleo: II1-Tasa de ocupación e II2-Horas trabajadas
VI2-Ingreso: II3-Ingreso mensual e II4-Ingreso por hora
VI3-Calidad de empleo: II5-Situación contractual (Firma de
contrato, cotización para vejez, salud, etc.)
VI4-Segregación: I6-Índice de Duncan
Nota: VI: Variable de Impacto e II: Indicador de Impacto

5.3 Indicadores o medidas de control
 VC1-Experiencia laboral: IC1-Edad
 VC2-Sexo: IC2-Sexo
 VC3-Educación: IC3-Nivel educativo alcanzado
 VC4-Antecedentes familiares: IC4-Nivel educativo
alcanzado por los padres
 VC5-Características del hogar: IC6-Hijos

5.4 Procedimiento de selección de grupo de
comparación o control
Etapa de Campo
1.1 A partir de las viviendas de cada beneficiario se ubicó a los
potenciales controles a través de 5 variables de decisión:
sexo, edad, situación laboral, educación y nivel de pobreza..
En principio se podrían (deberían) seleccionar más de 01
potencial control por beneficiario pero lo que debe de
quedar claro es que por lo menos se debe seleccionar a 01.
5. Diseño de la metodología de la evaluación
de impacto.

1.2 En el proceso de trabajo de campo incorpora en el
emparejamiento variable que pueden ser identificadas en
esta etapa como: Sexo, edad, situación ocupacional, región,
etc.
1.3 Sin embargo, en el trabajo de campo no se puedo
emparejar a los beneficiarios en variables que también
deben de ser controladas como los ingresos, por ejemplo. El
análisis de equivalencia estadística (test t de medias) de la
variable ingresos de la muestra original de beneficiarios y
controles encuentra que diferían significativamente en esta
variable.
de impacto.

1.4 Por ello, se debe completar el proceso de
emparejamiento realizado en el campo por uno
computacional que incorpore variables
adicionales de emparejamiento.
de impacto.

2.1 En primer lugar, tenemos una base de datos
preparada para los cálculos como en la Tabla 01 con la
la información disponible para 1018 beneficiarios del
programa y 1561 posibles controles
2.2Procedemos a calcular el propensity score para cada
beneficiario y control. Para ello estimamos un modelo
probit o probabilidad de ser beneficiario donde la
variable dependiente toma valor “1” si el individuo es
un beneficiario y valor “0” si es un control. El modelo
estimado es el siguiente:
de impacto.

5.4 Procedimiento de selección de grupo de comparación
o control
e
Edu.Madre)
π̂
Edu.Padre
π̂
ar
Ing.famili
π̂
Labor
π̂
Hijo
π̂
F(
1)
P(y 5
4
3
2
1 







 Donde las variables consideradas son:
hijo2: si es mujer con hijo
curso: si llevó algún curso técnico
labora: si laboraba antes
ingreso familiar: logaritmo del ingreso familiar mensual
per capita del resto de individuos del hogar
pedu2: padre con educación superior
medu2: madre con educación superior
 Los modelo probit estimado se presenta en la tabla
siguiente:
de impacto.

2.2 Luego, se reemplaza – para cada beneficiario y
control- sus valores respectivos de las variables
consideradas: hijo2, curso, labora, ingreso familiar,
pedu2 y medu2 en la ecuación del probit y con los
estimadores obtenidos de la regresión probit se calcula
“propensity score” para cada individuo. Este cálculo lo
hace el paquete estadístico en la medida que tiene que
considerar los errores estimados del probit para cada
beneficiario y control. Este cálculo del probit se
presenta en la Tabla 2
de impacto.

2.3 El procedimiento de emparejamiento consistió en aparear a
un beneficiario con un control que cumpliera con las
siguientes características:
a. sea de la misma ciudad y
b. sea del mismo sexo y
c. cuya edad sea, a lo más, dos años distinta y
d. con un nivel educativo que, a lo más, discrepe en un año de
educación y
e. que tenga la misma situación laboral y
f. cuyo índice de pobreza discrepe en no más de 4 puntos y
g. tenga un “propensity score” que sea distinto en a lo más 0.2
puntos
de impacto.

2.4 Dentro de ese grupo posible de controles finalmente se
eligió sólo a uno. Éste era aquel control que tuviera:
h. Mayor similitud en el ingreso por hora percibido y en el total
de horas trabajadas por semana a partir de la menor
distancia euclideana, previa estandarización de las variables.
2.5 Si para un beneficiario no se encontraba un control que
cumpliera con todos los requisitos previamente descritos,
ese beneficiario era eliminado de la muestra para efectos de
la presente evaluación de impacto. Por otro lado, debe
tenerse en cuenta que no todos los controles disponibles
han sido asignados necesariamente a algún beneficiario, por
lo que algunos no han sido utilizados.
de impacto.

6. Diseño y selección de muestras de
beneficiarios y control
 Probabilístico sobre el listado de beneficiarios y en base a
pareo para la selección de grupo de control.
 Muestra inicial: 1034 beneficiarios y 1561 controles.
 Estratificación muestral en base a Ciudad, sexo y dos rangos
de edades (16-20 y 21-25)

7. Contenidos y características de los
instrumentos de medición de variables
7.2 Cronograma de aplicación de instrumentos
 t0: Antes de inicio del proyecto
 t1: 06 meses después de egreso del proyecto (12 meses
de inicio del proyecto o tratamiento)
 t2: 12 meses después de egreso del proyecto
 t3: 18 meses después de egreso del proyecto

7. Contenidos y características de los
instrumentos de medición de variables
7.3 Diseño preliminar de los instrumentos (Ej.
Encuestas)
 Modulo de Empleo de la ENAHO

8. Marco Lógico
Objetivos Indicadores Fuentes
Outcomes
VI1:Niveldeempleodebeneficiariosesalomenos6%mayorquelos
noparticipantesdebidoalproyecto
VI2:Niveldeingresolaboraldebeneficiariosesalomenos18%mayor
quelosnoparticipantesdebidoalproyecto
VI3:Lacalidaddelosempleos(contrato,seguros,etc.)de
beneficiariosesmejorquelosnoparticipantesdebidoalproyecto
VI4:Lasegregaciónocupacionalporgenerodebeneficiarioses
menorquelosnoparticipantesdebidoalproyecto
Fin ObjetivoGeneral Contribuira
mejorarelniveldeempleabilidadde
jóvenesdebajosingresos
EvaluacióndeImpacto

8. Marco Lógico
X% de los beneficiarios mejora sus competencias básicas Evaluación de de la operación
X% de los jóvenes mejora su nivel de competencias genericas
90% de los beneficiarios mejora su conocimiento de la demanda laboral
24% de los beneficiarios son colocados por acciones del SIL-MTPS
Mejora promedio de puntaje de desempeño de ECAPs en Registro de
ECAPS entre 1ra y 5ta convocatoria
Evaluación de de la operación
Propósito Objetivo General
Facilitar el acceso de jovenes de 16
a 24 años de escaos recurso
económicos al mercado laboral
formal, a través de acciones
específicas de capacitación técnica
y experiencia laboral articuladas a
servicios de informac
OG2: Adicionalmente, impulsar el
nivel de competencia y eficiencia del
mercado de las instituciones
proveedoreas de entrenamiento y
capacitación a través de una mayor
interacción entre dichas
instituciones y las empresas, y
generar con esto un efecto demo

8. Marco Lógico
Output
Evaluación de de la
operación/Ejecución y
seguimiento
II1: 97% de los beneficiarios completan la fase de entrenamiento en
ECAPs
II2: 85% de los beneficiarios que culminan la fase de entrenamiento en
ECAPs completan la fase de entrenamiento laboral en empresas
II3: 100% de los beneficiarios que efectivamente asisten al
entrenamiento en ECAPs recibe estipendio de alimentación y
transporte y el 100% de las madres recibe subsidios
ECAPs
II5: El proceso de focalización presenta un error no mayor de 8% en
filtración y 12% para subcobertura
ECAPs
II5: Entre 130 y 150 ECAPs inscritas en el registro con respectivo
puntaje institucional
II6: 100% de os cursos seleccionados en base a evaluación
institucional y de desempeño de las ECAPs y evaluación de calidad y
costos de los cursos
II7: 100% de las ECAPs incorporadas en registro reciben material de
apoyo metodológico
II8: 75% de las ECAPs reciben asistencia en áreas temáticas
específicas
II9: 100% de los beneficiarios recibe servicios de información sobre
características del proyecto por parte del SIL
II10: 97% de los beneficiarios recibe los servicios de habilitación por
parte del SIL
II11: 60% de los beneficiarios que no ha culminado la practica o no
consigue empleo, recibe los servicios de conexión por parte del SIL
Componente 01
Entrenamiento laboral en ECAPs y
empresas para jóvenes de bajos
recursos
Componente 02
ECAPs proveen entrenamiento
ligado a necesidades de sector
productivo, que se conecta a un
entrenamiento en empresas y que
mejora competencias de los jóvenes
Componente 03
Sistema de información e
intermediación laboral apoya
efectivamente el proceso de
inserción de beneficiarios del
proyecto

Tratados (D=1) No Tratados (D=0)
Nearest-neighbour matching (one-to-one matching)
P
0.73
0.58
0.85
0.67
0.96
P
0.22
0.78
0.52
0.31
0.65

P
0.73
0.58
0.85
0.67
0.96
P
0.22
0.78
0.52
0.31
0.65
Diferencia
│0.73 - 0.22 │=0.51
│0.73 - 0.78 │=0.05
│0.73 - 0.52 │=0.21
│0.73 - 0.31 │=0.42
│0.73 - 0.65 │=0.08
Min = 0.05

P
0.73
0.58
0.85
0.67
0.96
P
0.22
0.78
0.52
0.31
0.65
Diferencia
│0.58 - 0.22 │=0.36
│0. 58 - 0.78 │=0.20
│0. 58 - 0.52 │=0.06
│0. 58 - 0.31 │=0.27
│0. 58 - 0.65 │=0.07
Min = 0.06

P
0.73
0.58
0.85
0.67
0.96
P
0.22
0.78
0.52
0.31
0.65
Número de veces
en que es
“matcheado”
0
3
1
0
1
Constituyen los
“pesos” a ser
utilizados para
calcular el
promedio del
“outcome” bajo
el escenario
contrafactual
Y(d=1)
120
165
132
99
117
Y(d=0)
96
105
111
99
122

P
0.73
0.58
0.85
0.67
0.96
P
0.22
0.78
0.52
0.31
0.65
Número de veces
en que es
“matcheado”
0
3
1
0
1
Constituyen los
“pesos” a ser
utilizados para
calcular el
promedio del
“outcome” bajo
el escenario
contrafactual
Y(d=1)
120
165
132
99
117
Y(d=0)
96
105
111
99
122
Y promedio (D=1) = (120 + 165 + 132 + 99 + 117) / 5 = 126.60
Y promedio (D=0) = (96(0) + 105(3) + 111(1) + 99(0) + 122(1)) / 5 = 109.06
Efecto del tratamiento = 126.6 – 109.06 = 17.54

P
0.73
0.58
0.85
0.67
0.96
P
0.22
0.78
0.52
0.31
0.65
Diferencia
│0.73 - 0.22 │=0.51
│0.73 - 0.78 │=0.05
│0.73 - 0.52 │=0.21
│0.73 - 0.31 │=0.42
│0.73 - 0.65 │=0.08
2-Min = [0.05 y 0.08]
k-Nearest neighbors matching (one-to-k matching),
Ejemplo con k=2

P
0.73
0.58
0.85
0.67
0.96
P
0.22
0.78
0.52
0.31
0.65
Número de veces
en que es
“matcheado”
(a)
0
4
1
0
5
Y(d=1)
120
165
132
99
117
Y(d=0)
96
105
111
99
122
k-Nearest neighbors matching (one-to-k matching)
1/k
(=0.5)
(b)
0.5
0.5
0.5
0.5
0.5
Pesos
(a*b)
0
2
0.5
0
2.5
Y promedio (D=1) = (120 + 165 + 132 + 99 + 117) / 5 = 126.60
Y promedio (D=0) = (96(0) + 105(2) + 111(0.5) + 99(0) + 122(2.5)) / 5 = 114.1

P
0.73
0.58
0.85
0.67
0.96
P
0.22
0.78
0.52
0.31
0.65
Diferencia
│0.73 - 0.22 │=0.51
│0.73 - 0.78 │=0.05
│0.73 - 0.52 │=0.21
│0.73 - 0.31 │=0.42
│0.73 - 0.65 │=0.08
Min = 0.05
Caliper matching
Una vez se determina cual es el individuo no tratado con el cual se minimiza el
valor absoluto de la diferencia en probabilidades, se evalúa si el mismo es menor
a un parámetro especificado por el investigador (p.e. 0.10).
En este caso, 0.05 < 0.10, se selecciona el control y se pasa al siguiente caso.

Caliper matching
P
0.73
0.58
0.85
0.67
0.96
P
0.22
0.78
0.52
0.31
0.65
Al evaluar todos los casos, el valor absoluto de la diferencia en probabilidades
para el último individuo es mayor al valor establecido, por lo que no es
considerado para evaluar el impacto de la intervención , pues se encuentra
fuera de la región de soporte común (common support region)
Diferencia
│0.73 - 0.78 │=0.05 < 0.10
│0.58 - 0..52 │=0.06 < 0.10
│0.85 - 0.78 │=0.07 < 0.10
│0.67 - 0.65 │=0.02 < 0.10
│0.96 - 0.78 │=0.18 > 0.10
OK
OK
OK
OK

15
10
5
0
5
10
15
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
D=1
D=0
Fuera de la región de soporte común
La Región de Soporte Común

Caliper matching
P
0.73
0.58
0.85
0.67
0.96
P
0.22
0.78
0.52
0.31
0.65
Número de veces
en que es
“matcheado”
0
2
1
0
1
Constituyen los
“pesos” a ser
utilizados para
calcular el
promedio del
“outcome” bajo
el escenario
contrafactual
Y(d=1)
120
165
132
99
117
Y(d=0)
96
105
111
99
122
Y promedio (D=1) = (120 + 165 + 132 + 99) / 4 = 129
Y promedio (D=0) = (96(0) + 105(2) + 111(1) + 99(0) + 122(1)) / 5 = 110.75
Efecto del tratamiento = 129 – 110.75 = 18.25

Radius matching
P
0.73
0.58
0.85
0.67
0.96
P
0.22
0.78
0.52
0.31
0.65
Diferencia
│0.73 - 0.22 │=0.51
│0.73 - 0.78 │=0.05
│0.73 - 0.52 │=0.21
│0.73 - 0.31 │=0.42
│0.73 - 0.65 │=0.08
En este caso, a diferencia del método de caliper matching, se seleccionan a
todos aquellos controles que cumplen con el requisito de tener un valor absoluto
en la diferencia en probabilidades menor al valor establecido (i.e. < 0.10).

Radius matching
P
0.73
0.58
0.85
0.67
0.96
P
0.22
0.78
0.52
0.31
0.65
El número de controles para cada individuo tratado, y el número de veces que un
mismo control es seleccionado son usados para determinar los pesos en cada
caso.
Y promedio (D=0) = [½ (105+122) + …] / (# tratados matcheados)
Y(d=0)
96
105
111
99
122

Radius matching
Y promedio (D=0) = [½ (105+122) + ½ (111+122) + ….] / (# tratados matcheados)
Y(d=0)
96
105
111
99
122
P
0.73
0.58
0.85
0.67
0.96
P
0.22
0.78
0.52
0.31
0.65

Radius matching
Y prom. (D=0) = [½ (105+122) + ½ (105+111) + 1 (105) +….] / (# tratados matcheados)
Y(d=0)
96
105
111
99
122
P
0.73
0.58
0.85
0.67
0.96
P
0.22
0.78
0.52
0.31
0.65
En este caso solo
uno de los controles
cumple con el
requisito de que el
valor absoluto de la
diferencia en
probabilidades es <
0.10

Radius matching
Siguiendo el mismo procedimiento tendremos:
Y promedio (D=1) = (120 + 165 + 132 + 99) / 4 = 129
Y promedio (D=0) = [½ (105+122) + ½ (111+122) + 1 (105) + 1 (122) ] / 4 = 114.25
Efecto del tratamiento = 129 – 114.25 = 14.75
* Nótese que el último de los individuos tratados no fue matcheado, por caer
fuera de la región de soporte común

Kernel matching
Bajo este método se matchea el outcome yi del individuo tratado i con un
promedio ponderado de los outcomes de todos los individuos no tratados,
El peso dado al individuo no tratado j es proporcional a la cercanía entre i y j
(definida sobre la base de las probabilidades estimadas).
Donde K es una función de distribución Kernel (como una normal o una chi-
cuadrado) de esta forma la diferencia de probabilidad es transformada en el
valor de la función K
La función de distribución K se usa para a partir de los datos generar una
distribución (y no predeterminarla como una normal)

Kernel matching
Donde h es el parámetro de suavidad (bandwidth) para la distribución K
Un valor alto del parámetro h genera estimaciones más “suaves”, lo cual
reduce la varianza entre los valor estimados y los valores reales de la función
de densidad.
No obstante, una función más suave tiende a recoger de manera imprecisa
los valores subyacentes de la función de densidad.

Epanechn. Kernel, bandwidth = 0.5
Epanechn. Kernel, bandwidth = 2.0

Kernel matching
La función K(.) es la función kernel, que cumple con ciertas propiedades
matemáticas (no negativa, simétrica, continua, unimodal). Entre las más comunes
funciones kernel tenemos:
1.Epanechnikov Kernel
2.Gaussian Kernel
3.Biweight Kernel
Es posible matchear cada unidad de tratamiento con el promedio ponderado de las
unidades de control más cercanas definiendo combinando el Kernel matching con el
caliper matching.
si
si
si
si

P
0.73
0.58
0.85
0.67
0.96
P
0.22
0.78
0.52
0.31
0.65
1.02
-0.10
0.42
0.84
0.16
2.31
0
0.74
0.62
0.22
0.73
0
0.32
0.27
0.10
0.32
Peso
Y(d=0)
96
105
111
99
122
Kernel matching
Ejemplo, bandwidth = 0.5, Epanechnikov Kernel
Y1hat = 96(0) + 105(0.32) + 111(0.27) + 99(0.10) + 122(0.32) = 111.40
Y prom (D=0) =(111.4 + 108.5 + 112.4 + 110.0 + 111.9) / 5 = 110.8
Y promedio (D=1) = (120 + 165 + 132 + 99 + 117) / 5 = 126.60

Algunos otros matching
Mahalanobis
Bajo este método, se minimiza la “Distancia de Mahalanobis” entre cada
individuo tratado y los individuos no tratados. A diferencia de una la distancia
(diferencia en probabilidad) que usan los otros matchin, la “Distancia de
Mahalanobis” incorpora la correlación entre dos variables aleatorias
Local linear regression matching
Hace una regresión bajo un proceso de generación de datos bajo la función
Kernel

Evaluación Ex Post en Proyectos de
Empleo: Estudio de Caso Projoven

1.1 Análisis de diferencia de medias
1.2 Emparejamiento 01: Propensity score y
variables observables sexo, ciudad, educación y
edad

Ingresos diferentes entre muestra de
beneficiarios y controles
Posible causa: “pre-program earning dip”

 Inclusión en el emparejamiento las
variables de:
 Ingreso por Hora
 Horas Trabajadas
 El Propensity Score
 A pesar de esto el Problema no se corrige
totalmente
1. Análisis de equivalencia estadística: matching o
emparejamiento

2. Estimación del impacto de projoven
 Inserción Laboral
Variable: Tasa de Ocupación
 Ingreso
Variable 1: Ingreso por Hora
Variable 2: Horas trabajadas

2.1 En la Inserción Laboral

Beneficiarios
Antes / Después Ocupado Desempleado Inactivo Total
Ocupado 396 80 62 538
Desempleado 88 43 29 160
Inactivo 82 32 30 144
Total 566 155 121 842
Grupo Control
Antes / Después Ocupado Desempleado Inactivo Total
Ocupado 386 78 74 538
Desempleado 63 47 50 160
Inactivo 66 25 53 144
Total 515 150 177 842
Línea de
base
6 meses 12 meses 18 meses
Control 63.90% 61.16%
Beneficiario 63.90% 67.22%
Dif-Dif 01 6.06% 0.0% 0.0%
Cuadro No5: Tasas de ocupación
(Muestras Emparejadas)
Después
A
n
t
e
s
A
n
t
e
s
Después

 Resultado: El efecto sobre la inserción laboral
es del 6.06% del total de beneficiarios.
 Valorización: Se cuantifican los Ingresos
adicionales generados por la inserción laboral
considerando el ingreso medio de los
controles.
 Valor Excedente = (Variación Ocupados x
I.Medio controles)
 Valor Excedente = US$ 207 mil

2.1 En el ingreso por hora

2.1 En el ingreso por hora
Línea de
base
Control 1.37 1.45
Beneficiario 1.25 1.57
Dif-Dif 01 0.237
Línea de
base
Control 1.37 6.1%
Línea de
base
Control (*) 1.25 1.33
Dif-Dif 02 0.244
Dif-Dif 02 %
18.4%
Cuadro No 6: Ingresos por hora promedio

Valorización: Ingresos adicionales por la mejora en
los ingresos de los beneficiarios = US$ 452 mil.

2.2 Horas trabajadas

Línea de
base
Control 44.3 53.1
Dif-Dif 01 2.1
Línea de
base
Control 44.3 19.9%
Línea de
base
Control (*) 41.4 49.6
Dif-Dif 02 2.71
Dif-Dif 02 %
5.5%
Cuadro No4: Horas trabajadas a la semana

Valorización:

3. Valorización $ del impacto projoven
Cálculo de los beneficios monetarios a partir del estimador de Diferencias de Diferencias
Beneficiarios Ocupados Semanas Horas Semana Ingreso Hora Ingreso Total
(N) (L) (S) (H) (Ih) (I)
= (L*S*H*lh)
US$ US$
Datos 3940 2410 52 49.6 0.38 2,389,723
Diferencias en diferencias
Variación L Variación S Variación H Variación Ih
ΔL ΔS ΔH Δlh
En % 6.06% 0 5.5% 18%
En valor 239 2.7 0.071
Valoración Datos de
Fórmula Valor publicación
Variación en Ocupados ΔL*S*H*lh 236,652 207,000 29,652
-
Variación en H L*S*ΔH*lh 130,556 129,841 715
-
Variación en Ih L*S*H*Δlh 440,314 452,000 11,686
Cálculo

 La suma de los 3
efectos alcanza los
US$ 789 mil.
 Considerando que
los ingresos
generado en
ausencia del
programa son US$
2.15 millones, la
masa global de
ingresos se
incrementa en 38%
3. Valorización $ del impacto de projoven

 Utilizando el
Índice de
Duncan
 Resultado: El
Indice de
Duncan
disminuye en
0.1207 puntos
(disminuye la
segregación)
4. Otros resultados de projoven
4.4 Segregación por género

4.5 Tipo de empresas donde se ocupan

4.6 Dimensión de empresas donde se ocupan

5.1 Estimación de los Costos:
 Costos de la Capacitación: US$ 520 por
beneficiario. US$ 1.865 millones.
 Costo de Oportunidad de los Beneficiarios:
US$ 558,885
 Total de Costos: US$ 2´423,605
5. Análisis costo beneficio

5.2 Estimación de los Beneficios
 Beneficios recibidos durante la capacitación
(subsidios y pagos de las empresa por
prácticas)
 Beneficios derivados del incremento de la tasa
de inserción laboral, aumento de horas de
trabajo a la semana y aumento de ingreso por
hora
IMPORTANTE: Definir efectos permanentes y
transitorios (diferentes escenarios)

 Escenario
Optimista:
Inserción Laboral
1 año;
Horas/semana se
diluye en el
tiempo e
Ingreso/hora es
permanente.
5.2.1 Estimación de beneficios: Flujo de beneficios
en escenario optimista

 Escenario
Conservador:
Inserción laboral 1
año; Horas/semana
1 año e
Ingreso/hora se
separa en
componente
temporal (30%) y
permanente (70%).
en escenario conservador

 Escenario
Pesimista:
Inserción
laboral 1 año;
Horas/semana
1 año e
Ingreso/hora se
diluye en el
tiempo.
en escenario pesimista

 TIR: 36% en
Escenario
Optimista,
20% en
Conservador y
13% en
Pesimista
5.3 Estimación de TIR y VAN

 La cuantificación del proyecto tiene los siguientes
resultados:
 El efecto del programa sobre la inserción laboral
es del orden del 6%
 PROJoven contribuye a elevar en 18% el
ingreso por hora de los beneficiarios ocupados
 Con relación al número de horas a la semana
que trabaja un beneficiario, se estima que el
programa tiene un efecto de 5.5% horas
adicionales a la semana
 La suma de los tres efectos se valoriza en US$
789 mil al año.
6. Conclusiones de resultados

 Disminuye la segregación de genero
 Cambia la estructura sectorial de empleo
de los beneficiarios
 Considerando 3 escenarios, se obtiene una
variación e la TIR de 13% a 36%
6. Conclusiones de resultados

 La cuantificación del impacto de PROJoven
sobre los beneficiarios no necesariamente es
válida para cualquier otro grupo de potenciales
participantes.
 La validez del impacto del programa no es
lineal con la escala del mismo
 Futuras evaluaciones deberían considerar la
externalidades derivadas del proyecto como el
descenso de la delincuencia
 Se jugó con supuestos de permanencia de los
efectos del Programa
6. Limitaciones de resultados

Caso: Programa de Capacitación
Laboral Juvenil PROJoven
MEDICIÓN DE IMPACTO
DE MEDIANO PLAZO

1.1 Cambio en procedimiento de matching
 Emparejamiento computacional: del tipo uno a
varios, donde se generan individuos ficticios
(kernels uniformes). Las variables son:
 Mismo sexo
 Difieren en no mas de 0.05 en puntaje de propensión a
participar estimada en muestra de cada ciudad
 Elección de 03 controles cuyo logaritmo de ingresos
era más similar al del beneficiario siempre y cuando no
excedan 0.3
 Ventaja: Se obtiene estimaciones de los efectos
diferenciados por sexo y por ciudad
1. Análisis de equivalencia estadística:
matching o emparejamiento

1.2 Análisis de diferencia de medias

Antes matching Después de matching
1.3 Análisis de funciones de densidad

2.1 Tasas de ocupación
 Negativo en las primeras dos mediciones

 Impacto positivo que se va diluyendo.

2.3 Ingresos por hora
 Impacto positivo

2.4 Ingresos Mensuales Promedio:
 Las 2 variables (horas trabajadas e ingreso por
hora) determinan un impacto positivo

2.5 Segregación Ocupacional por Género
 Reducción de la Segregación.

2.6 Impacto para distintos Grupos Poblacionales
2.6.1 Hombres vs Mujeres
 Impacto en mujeres es mayor al de los hombres

2.6.2 Impacto diferenciado por Ciudades

2.7 Otros Efectos
 Induce cambios en las ramas de actividad laboral
de los Beneficiarios
 Induce a cambios en el tamaño de las empresas
donde trabajan los Beneficiarios
 Cambios en la modalidad de contrato de los
Beneficiarios (aumenta los contratos
“Permanentes” y “a Plazo”)
 Actividades Secundarias: Aumenta la dedicación
del tiempo en la Actividad principal en detrimento
de la actividad Secundaria

 Costos:
 Costos de funcionamiento: US$ 1`877,200
 Costos de Oportunidad: US$ 68,209
 Beneficios:
 Beneficios mensuales:
Seis meses: US$ 53,863
Doce meses: US$ 34,663
Dieciocho meses: US$ 47,669
3.1 Costos y beneficios

Escenarios:
Optimista: al 82% cada año
Conservador: al 76% cada año
Pesimista: al 70% cada año
Resultados de la TIR:
 Optimista: 14%
 Conservador: 10%
 Pesimista: 5.5%
3.2 Flujo de beneficios en escenarios y TIR

MODULO VI EVALUACION EX POST.ppt

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a MODULO VI EVALUACION EX POST.ppt

Similar a MODULO VI EVALUACION EX POST.ppt (20)

Más de PERLAPREZMEZA

Más de PERLAPREZMEZA (17)

Último

Último (6)

MODULO VI EVALUACION EX POST.ppt