1. 24 al 26 de noviembre del 2010, León, Guanajuato, México
Y… ¿Esa inversión sí tiene
impacto?
María Gloria Cano
Socia-consultora
Econometría S.A.

2. Tipos de evaluación en el proceso
Seguimiento y
evaluaciones
intermedias
Mejoras al
diseño
Experiencias Formulación Diseño y del Intervención
anteriores Estratégica Programa del Programa Aprendizajes
evaluación ex Evaluación
Diagnostico Ex post
ante
Valoración
información social del
(Línea de Base) Situación Programa
después del
Programa
Situación sin
Programa
Mejoramiento de
variables objetivo

3. Diagnósticos y evaluaciones intermedias…
Tasa bruta de matrícula de educación superior en 2006
La distribución social de la matrícula muestra una alta concentración de acceso a la
educación superior en los quintiles más altos. La tasa bruta de matrícula de educación
superior es menos del 20% en el quintil 3, y la mitad en el quintil 2. CINDA, PROYECTO INFORME
LA EDUCACION SUPERIOR EN IBEROAMERICA , 2006
80
70
60
50
40
30
20
10
0
1 2 3 4 5
Fuente DANE Encuesta de Calidad de Vida 2003

4. Diagnósticos y evaluaciones intermedias…
Inadecuada estructura de la oferta de educación superior en 2006 frente a las
necesidades de la economía
Alta
gerencia
4.3% posgrado
Gerencia 70%
media universitario
Técnica mando
30%
13% Tecnólogo
medio
Técnica Técnico
especializada 12%
profesional
Trabajadores 12 Técnico profesional
calificados
Trabajadores Egresado educación media
semicalificados 60%
Egresado educación básica y
Trabajadores no calificados media

5. Diagnósticos y evaluaciones intermedias…
Estrategias para el financiamiento de la demanda y
mejoramiento de la equidad
Disminución de la deserción estudiantil en educación superior
Adecuación y flexibilización de la oferta de educación superior
Estrategias para mejoras de calidad
Estrategias para aumentar la pertinencia
Plan Sectorial 2006-2010

6. Diagnósticos y evaluaciones intermedias…
¿Qué tan bien estamos focalizando?
El 65% de los beneficiarios se encuentra por debajo de este umbral. Un 15% de los no
pobres, se alejan apenas un 10% de la LP, mientras que un 20% se encuentran muy por
encima de la misma.
DISTRIBUCIÓN DE LOS BENEFICIARIOS ACCES SEGÚN LÍNEA DE POBREZA
2000
Linea de pobreza - MERPD
1600
Proxy ingreso percapita beneficiarios
Miles de $
1200
800
El 65% de los hogares se encuentran en
condición de pobreza
400
0
FUENTE: UT Econometría SEI encuesta de verificación de
beneficiarios de ACCES 2006 y ECV/03

7. Los grupos de indicadores según el tipo de
evaluación
Los tipos de evaluación se desarrollan a partir de tres grupos de
indicadores:
• Indicadores de Gestión o de Proceso: miden la manera en que
se ha desarrollando una actividad o estrategia en particular.
• Indicadores de Resultado o de Producto: estiman la incidencia
del proyecto o programa sobre sus objetivos.
• Indicadores de Impacto o de Efecto: cuantifican las
externalidades generadas sobre los actores involucrados en el
proyecto o programa (individuos, familias, comunidades o
instituciones).

8. ¿Cuál es el papel de la información?
• Cuando se diseña una evaluación o un mecanismo de
seguimiento, se deben formular indicadores que permitan
medir adecuadamente los aspectos que se deben medir para
saber si lo planeado se cumple
Actividades del
proceso de Variables que
Indicadores de
intervención caracterizan el
gestión o proceso
proceso
Variables que Indicadores de
Productos de las
caracterizan los resultados o
actividades
productos producto
Objetivos sobre la Variables que se Indicadores de
población pretende afectar impacto o efecto
beneficiaria

9. ¿Qué diferencia hay entre evaluaciones de
resultados y de impacto?
• Las evaluaciones de resultados buscar verificar la obtención de
los productos de las actividades de la intervención.
Entendiendo como producto lo que se obtiene de la actividad y
es controlable por quien la ejecuta.
• La evaluación de impacto busca comparar la situación de un
beneficiario, con la situación que tendrá si la intervención no
hubiese existido. A esa situación hipotética se le conoce como
escenario contrafactual y no siempre es fácil estimarla.
• Los impactos o efectos derivados de la intervención que
pueden estar afectados por decisiones y características de los
beneficiarios. Estos efectos pueden ser esperados o no
esperados.

10. ¿Cuáles son los pasos para realizar una
evaluación de impacto?

11. Paso 1: Análisis de los objetivos
Para esto es importante preguntarse:
• ¿Cuál es la unidad de intervención de la política?¿Sobre quién
o quiénes actúa? ¿a quién quiere cambiar o mantener su
situación actual?
• ¿Cual es la variable que se quiere impactar? ¿Sobre cuál o
cuáles características de la unidad de intervención se busca
actuar?
• ¿En que dirección y proporción se esperan los cambios?
Paso 2: Análisis de la teoría subyacente
Toda intervención supone que existen unos mecanismos (teoría
subyacente) que transmiten efectos entre las acciones de
intervención y el logro de los objetivos.

12. Paso 3: Preguntas de evaluación
 ¿Cuáles efectos evaluar?
 ¿Qué se quiere saber de los efectos?
Paso 4: Selección de indicadores
Deben definirse varios tipos de indicadores:
 Indicador de intervención o participación: en genero es dicótomo. (Y)
 Indicador de impacto: debe estar directamente relacionado con el
efecto que se quiere medir. (X)
 Indicadores de factores exógenos: Representan variables de la unidad
de intervención y de su entorno, así como otras intervenciones. No son
influidos por los anteriores indicadores (impacto y participación) pero
que influyen en al menos uno de ellos . (Z)
Y = f(X, Z, e)

13. Paso 4: Selección de indicadores
¿Qué tipo de modelo de evaluación es aplicable?
Depende del tipo de intervención, sus características de cobertura, la
existencia o no de línea de base, la selección de los beneficiarios y las
variables de impacto a medir.
valor observado
Beneficios
estimados
predicción
predicció
sin programa
Información Histórica
Informació Histó
Información Histórica
Informació Histó con programa
sin programa
Año

14. Paso 4: Selección de indicadores
¿Cómo poder medir la situación con y sin intervención?
Cuando no se puede realizar un diseño experimental, es una buena idea
contar con información de línea de base. Es decir, observar los indicadores
de evaluación antes y después de la intervención, tanto para la muestra de
tratamiento como para la muestra de control.
participantes
Beneficios
no participanres
Año
Inicio del
programa

15. Paso 4: Selección de indicadores
Cuando existe diferencia inicial entre tratamiento y
control …
Diferencia neta= Beneficio.
participantes
Diferencia
inicial.
Diferencia
final.
No participantes
Antes Durante el Programa
Año
primera última
medición medición
medició
medició
Cuando no se puede hacer un diseño experimental pero se cuenta con la posibilidad
de medir las variables antes de la intervención (línea de base), hacer las diferencias de
las diferencias permite controlar el efecto de otras variables no observables que son
comunes a los controles y a los tratamientos.

16. Paso 5: Recolección de Información
Formatos y Formularios
Diseño de Instrumentos
Captura y sistematización
Diseño Metodológico
Tipo de muestreo
Diseño muestral Tamaño de la muestra
Recursos Requeridos
Diseño operativo Rutas y Plan de Campo
Costeo / Presupuesto
Operativo de Campo Información Secundaria
Aplicación de Encuestas
Información Primaria Observación y medición
Entrevistas, Talleres, etc.

17. EJEMPLO DE IMPACTO DEL CRÉDITO SOBRE LA
PERMANENCIA Y DESEMPEÑO ACADÉMICO
Intervención: Crédito educativo con tasa de interés subsidiada
focalizado a población de menores recursos.
Variables a medir:
 Permanencia
 Desempeño académico
 Vinculación laboral
 Nivel salarial
Modelo: Diferencia entre población tratamiento y control

18. EJEMPLO DE IMPACTO
Metodología para la evaluación de beneficios
Indicadores de medición de impacto
Situación con el
Impacto del
ingreso al Proyecto
Proyecto
• Ingresos laborales ACCES
futuros
• Retención en la Situación
educación superior sin
proyecto
• Mayores ingresos
tributarios
Tiempo
Línea de Medición Medición
Base de término final de
2008 medio impactos

19. EJEMPLO DE IMPACTO
TASA DE DESERCIÓN BENEFICIARIOS Y NO BENEFICIARIOS DE UNO O MÁS
DESEMBOLSOS POR SEMESTRE (2008)
45,0%
40,0%
35,0%
30,0%
25,0%
20,0%
15,0%
10,0%
5,0%
0,0%
Tercero Cuarto Quinto Sexto Séptimo
Beneficiarios No beneficiarios
Fuente: CEDE; 2008

20. EJEMPLO DE IMPACTO
PROPORCIÓN DE MATERIAS APROBADAS POR LOS BENEFICIARIOS Y
NO BENEFICIARIOS EN INSTITUCIONES PRIVADAS (2008)
95,0%
90,0%
85,0%
80,0%
75,0%
70,0%
65,0%
60,0%
Primero Segundo Tercero Cuarto Quinto Sexto Séptimo Octavo Noveno Décimo
Beneficiarios No beneficiarios
Fuente: CEDE; 2008

21. EJEMPLO DE IMPACTO
PROPORCIÓN DE BENEFICIARIOS Y NO BENEFICIARIOS YA GRADUADOS QUE
COTIZAN SEGURIDAD SOCIAL POR NIVEL EDUCATIVO (2008)
100,0%
90,0%
80,0%
70,0%
60,0%
50,0%
40,0%
30,0%
20,0%
10,0%
0,0%
Beneficiarios No beneficiarios
Fuente: Estimaciones de Econometría a partir de ICETEX-OLE-PILA, DANE; ECV (2008).

22. EJEMPLO DE IMPACTO
INGRESO BASE DE COTIZACIÓN POR NIVEL DE LA IES DE
DONDE SE HA GRADUADO (PESOS)
3.000.000
2.500.000
2.000.000
1.500.000
1.000.000
500.000
-
1.Técnica profesional 2.Tecnológica 3.Universitaria 4.Especialización 5.Maestria
Beneficiarios
Fuente: Estimaciones de Econometría a partir de ICETEX-OLE-PILA y
http://www.webometrics.info/rank_by_country_es.asp?country=co.

23. EJEMPLO DE IMPACTO
Análisis Beneficio Costo y de Rentabilidad para la
Economía
Millones de pesos de 2007
INDICADOR VALOR
Total graduados 117.591
Impacto en el ingreso adicional laboral anual por beneficiario
$8.03
universitario
Impacto en el ingreso adicional laboral anual por beneficiario
$4.62
técnico o tecnólogo
VP Ganancia en ingreso laboral (+) $4.715.116
VP Costo privado de sostenimiento (-) $66.306
VP Costo sistema educativo (-) $3.376.938
VP Costo administrativo ICETEX (-) $8.120
Relación beneficio costo 1.37
Tasa interna de retorno 14.63%

24. EJEMPLO DE IMPACTO
Análisis Beneficio Costo y de Rentabilidad para el
Beneficiario promedio
Millones de pesos de 2007
INDICADOR VALOR
Impacto en el ingreso adicional laboral anual por beneficiario
$6.3
promedio
VP Ingreso recursos del crédito y subsidio ACCES (+) $9.51
VP Ganancia en ingreso laboral marginal (+) $83.50
VP Costo privado de sostenimiento (-) $3.17
VP Costo matricula (-) $12.68
VP Pago marginal de impuesto y seguridad social (-) $16.60
VP Repago del crédito (-) $8.4
Relación beneficio costo 2.28
Tasa interna de retorno 28.49%

25. … un mensaje de cierre
 Evaluar programas públicos es un deber.
 La evaluación debe constituirse en parte de los
procesos.
 Sus resultados ajustan la gestión en función de los
objetivos, mejora el rendimiento de los recursos
públicos, generan transparencia y control de los actos
públicos.
 Debe planearse.
 Requiere rigurosidad técnica.
 Se le deben asignar recursos.

26. GRACIAS