Revisión sistemática sobre efectividad de programas de reducción de pobreza e...
Sistema de seguimiento evaluacion y gestion de la evidencia midis 02.05
1. GENERACIÓN DE EVIDENCIA PARA LA ACCIÓN SOCIAL:
EL SISTEMA DE SEGUIMIENTO Y EVALUACIÓN DEL MIDIS
Aníbal Velásquez Valdivia
Director General de Seguimiento y Evaluación
Lima, 14 de mayo de 2013
2. Objetivo
• Analizar el contexto institucional en el opera el
MIDIS.
• Comprender el marco conceptual que sustenta el
Sistema de Seguimiento y Evaluación.
• Conocer los productos de la DGSYE y su uso en la
toma de decisiones de política
• Reflexionar respecto de los determinantes para el
uso de la evidencia de las evaluaciones en la
acción social
3. Agenda
• Contexto institucional
• Marco conceptual del Sistema Nacional de
Seguimiento y Evaluación del MIDIS
• La DGSYE del MIDIS
• Reflexiones sobre determinantes para el uso
de la evidencia de las evaluaciones en la
acción social
4. Contexto institucional
Creación del MIDIS
Por primera vez en el Perú se crea un Ministerio, con
rectoría sobre la política social del Estado Peruano, con
el mandato preciso diseñar y conducir las políticas y
estrategias encaminadas a reducir la pobreza y la
vulnerabilidad, orientando las acciones destinadas a
reducir desigualdades y cerrar las brechas que no
pueden ser cerradas por las políticas sectoriales.
7. Intervención en tres horizontes temporales
Alivio temporal
•Población en pobreza extrema
(transferencias)
•Condiciones básicas de vida
(vivienda, abrigo, alimentación)
•Tercera edad
Corto plazo
Mediano plazo
Desarrollo de capacidades
•Desarrollo capacidades
(trabajo, innovación, gestión y
organización)
•Acceso a servicios (infraestructura
básica, inclusión financiera)
Largo plazo
Generación de oportunidades
para la siguiente generación
•Salud básica y nutrición
•Educación básica
Seguimiento y Evaluación por Resultados
- Disminuir pobreza extrema
- Incrementar hogares con acceso
servicios
(electricidad, agua, desagüe y
telefonía)
- Ingreso autónomo
- Disminuir Desnutrición crónica
menores de 5 (OMS)
- Disminuir la inasistencia de niños
de entre 3 y 5 años de edad a
Educación Básica Regular
8. Ejes estratégicos según ciclo de vida
Incrementar el desarrollo físico,
cognitivo, motor, emocional y
social en la primera infancia
Eje 1:
Nutrición
Infantil.
Incrementar las
competencias para el
desarrollo personal,
educativo y ocupacional, de
acuerdo a la edad
Incrementar el ingreso autónomo
de los hogares
Incrementar el
bienestar de los
adultos
mayores
Eje 2: Desarrollo Infantil
Temprano
Eje 3: Desarrollo Integral
de la Niñez y la
Adolescencia
Eje 4: Inclusión Económica
Eje 5:
Protección
del Adulto
Mayor
Reducir la
prevalencia de la
Desnutrición
Crónica Infantil
EjesResultados
9. Programas sociales del MIDIS
EE1: Nutrición Infantil
EE2: DesarrolloInfantilTemprano
EE3: Desarrollo Niñezy
Adolescencia
EE4: Inclusión
Económica
EE5: Protección
TerceraEdad
Pensión 65FONCODESQaliWarmaCuna Más
0-3años 4-5años 6-17años 18-64años 65+años
Juntos
10. Pilares para cumplimiento de metas de la
Estrategia Nacional Incluir para Crecer
SEGUIMIENTO Y EVALUACIÓN
Uso de mecanismos coordinados para medir el avance y los resultados de las intervenciones
ARTICULACIÓN
Empleo de instrumentos y espacios para la coordinación intersectorial e intergubernamental
FOCALIZACIÓN
Concordancia de criterios y mecanismos para la selección de ámbitos y población objetivo
11. Decisiones basadas en evidencia
La experiencia nacional e internacional muestra que las políticas y programas sociales diseñados
en base a opiniones no probadas y/o inspiradas en ideologías, prejuicios o conjeturas son
usualmente ineficaces para generar avances importantes en materia de desarrollo e inclusión
social. Por tal motivo, no sorprende que a nivel mundial se esté institucionalizando una cultura de
evaluación, orientada a la generación de evidencia rigurosa para la toma de decisiones en
materia social.
No obstante, los sistemas de seguimiento y evaluación a nivel mundial han centrado su
atención en la producción de evidencia de calidad, olvidando que el uso de la misma no es un
evento automático y que la medida de éxito de dichos sistemas está definida por la medida en
que la evidencia alimenta la toma de decisiones en materia social.
“La medida del éxito es la utilización”. Keith Mackay
12. Generación de
evidencias
Gestión de
evidencias
Toma de
decisiones
basada en
evidencias
Por tal motivo, la DGSYE ha desarrollado un sistema de seguimiento y evaluación
que, no sólo permite generar evidencia científica rigurosa en forma oportuna, sino
que, procura además el uso de la misma en la toma de decisiones, incrementando así
la eficiencia, eficacia y equidad de las políticas públicas en materia de desarrollo e
inclusión social.
Intervenciones
más eficientes
y efectivas
13. DGSYE: Usos de la evidencia en la acción social
Priorizar
resultados con
base en
evidencias
Definir ámbitos
geográficos de
intervención
Identificar
intervenciones
efectivas y
costo-efectivas
Establecer
criterios para
las metas de
impacto y
resultados
Desarrollar
tableros de
control del
desempeño
Evaluar los
diseño, resultad
os y procesos
Generar
recomendacio-
nes viables y
planes de
mejora
Recomendacio-
nes y mejoras
implemen-tadas
Gestión de la
información
y la
evidencia
14. Marco legal
SINADIS
Evidencia
(Sistema de
Seguimiento y
Evaluación)
Lineamientos de
S,E & GE
• ROF de la DGSYE
• Encargado de
implementar el
sistema de S&E y
gestión de la
evidencia
Rector del S, E & GE de la política social nacional
Ley No. 29792
El MIDIS implementará…”un sistema de monitoreo, seguimiento y
evaluación con el objeto de comprobar el cumplimiento de las políticas y
normas nacionales en materia de desarrollo e inclusión social…”.
16. Usuarios de
información
Implementación del Sistema de Seguimiento y Evaluación
Políticas y
programas
sociales
MIDIS
Sistemas de
seguimiento,
tableros de
control
Programas
sociales
Otros
sectores
GGRR y GGLL
Sistema de
seguimiento y
evaluación
“Evidencia”
DGSYE
Alta dirección
MIDIS y otros
sectores
Autoridades
GGRR y GGLL
Direcciones
ejecutivas de
programas
sociales
Usuarios de
los programas
Público en
general
Revisiones
sistemáticas,
revisiones
realistas
Fuentes
primarias
(INEI) y
evaluaciones
Rector
Fuentes de
información
Gestor
17. Producción de evidencias y seguimiento del desempeño
Ubicar a la DGSYE en el ciclo del diseño e implementación de las políticas
y programas que conduce el MIDIS.
Establecer el marco normativo e institucional con los roles, estándares y
procedimientos para ejercer las funciones de la DGSYE.
Conformar un equipo técnico calificado y productivo con evaluación del
desempeño por resultados.
Asignar personal de la DGSYE para apoyar a los programas.
Desarrollar las metodologías, herramientas y sistemas de información.
18. Gestión de la evidencia y las alertas sobre el desempeño
Desarrollo de estándares de calidad de las recomendaciones de las
evaluaciones y formato de presentación.
Desarrollo de una metodología y procedimientos para hacer un análisis
de viabilidad de las recomendaciones y elaboración de propuestas para la
toma de decisiones.
Asistencia técnica y desarrollo de mecanismos institucionales y
propuestas para implementar las recomendaciones de las evaluaciones y
la información que proviene de los sistemas de seguimiento.
19. Medida de éxito: uso de la evidencia e información
Recomendaciones con base en las evaluaciones y evidencias
implementadas.
Mejoras o ajustes realizados en los programas a partir de los
reportes del sistema de seguimiento
Propuestas de política, programas, intervenciones, metodologías
o instrumentos implementadas
20. • Tableros de Control
• Listas de Chequeo
• Auditorias de datos
• Inspecciones de Campo
•Plataforma de
Seguimiento
•INFOMIDIS
•Tableros de Control
• Asistencia Técnica para
formulación de
programas
presupuestales
• Seguimiento al gasto en
los ejes de la Estrategia
Crecer para Incluir
•Lineamientos para
reducción de DCI
•Anuario estadísticos
Planeamiento
Priorización
presupuestal
Gestión
Rendición de
cuentas
Usos de la información y productos de la Dirección de
Seguimiento
21. •Evaluación de procesos
•Informe de
recomendaciones
•Compromisos de mejora
•Evaluación de impacto
•Evaluación de resultados
•Seguimiento a
compromisos de mejora
• Definición de metas
• Evaluaciones de
impacto
• Evaluaciones de diseño
• Revisiones sistemáticas
• Lineamientos para
reducción de DCI
• Asistencia técnica (ej.
Priorización FONCODES)
Planeamiento
Priorización
presupuestal
Gestión
Rendición de
cuentas
Usos de la información y productos de la Dirección de
Evaluación
22. Proceso de Desarrollo de la DGSYE - MIDIS
2012 2013
Normativos:
Oraanizacionales
Instrumentos
Sistemas de información
Plataforma de publicación
Publicaciones y reportes técnicos
Institucionalización de S,E y GE
Enfoque y métodos
AT y Generación de evidencias y
recomendaciones para políticas y
programas
Plan de evaluaciones y normas técnicas
Evaluaciones e investigaciones
Reportes trim. de seguimiento
Tableros de control con metas y
estándares, planes de mejora
programas y políticas
Policy brief y reportes de evidencias
Líneas de base de eval. de impacto
Sistema integrado de información con
MINSA y MINEDU
Comisión QUIPU permanente y QUIPUS
regionales
24. Tablero de Control
Nacional y
Regional.
Seguimiento del
gasto en DCI.
Seguimiento a los
ODM.
Mapa distrital de
áreas prioritarias
para lucha contra
la DCI.
Seguimiento a políticas
25. InfoMidis
Tableros de control
Fichas de
seguimiento
Listas de chequeo
Seguimiento a programas sociales
26. Portal web de Evaluación
http://www.midis.gob.pe/index.php/es/direc-general-de-seguimiento-y-
evaluacion/direccion-de-evaluacion-de-politicas-sociales
27. Fichas técnicas de
las evaluaciones.
Términos de
referencia
Notas
metodológicas.
Informes finales.
Generación de la Evidencia
28. Policy briefs:
Síntesis.
Informes Técnicos
de
Recomendaciones.
Compromisos de
Mejora.
Documentos
normativos.
Gestión de la Evidencia
29. Evaluaciones de
impacto de todos los
programas MIDIS.
22 evaluaciones en el
2013.
17 evaluaciones
financiadas por el
MIDIS y otras fuentes
y 5 evaluaciones
coordinadas por el
MEF.
Ocho evaluaciones de impacto y 14 evaluaciones de desempeño (evaluaciones de
procesos, diseño, resultados o específicas)
30. Unidad Orgánica, Órganos y Programas
del MIDIS
Descripción de la evaluación
Evaluación de impacto del programa (fase diseño).
Evaluaciones de procesos y específicas del programa.
Cuna Más Evaluación del componente comunitario del servicio de Acompañamiento a Familias.
Evaluación específica de la disponibilidad de oferta de servicios de educación y salud en las zonas donde opera
Juntos.
Evaluación específica del rol de las madres líderes en la realización de los procesos operativos.
Evaluación de procesos respecto de los mecanismos de convocatoria para los procesos de afiliación.
Evaluación específica de la capacidad del programa para verificar las corresponsabilidades.
Evaluación de impacto del programa (fase segunda medición)
Evaluación de impacto del Piloto de los Esquemas Alternativos de Transferencia Monetaria (fase segunda
medición)
Sistematización de experiencias (3): Piloto modalidades de medios de pago; Plataformas tecnológicas para la
inclusión financiera y veeduría de la calidad de atención al usuario.
Evaluación del Piloto de mensajes nutricionales por celulares.
Evaluación del Piloto de metodologías de educación financiera
FONCODES- Juntos Evaluación de impacto del Piloto de Articulación Juntos - FONCODES
Fondo Nacional de Inclusión Económica en
Zonas Rurales- FONIE (DGPE- MIDIS)
Evaluación de impacto del programa (fase diseño).
Actividades en materia de Inclusión
Financiera (DGCPS- MIDIS)
Qali Warma
Pensión 65 Evaluación específica respecto del uso de la transferencia económica a los beneficiarios
Juntos
PAE 2013: Evaluaciones financiadas con recursos MIDIS y otras fuentes (17):
31. PAE 2013: Evaluaciones con recursos priorizados y coordinados por el MEF (5):
Unidad Orgánica, Órganos y
Programas del MIDIS
Descripción de la evaluación
Evaluación de impacto del servicio de Acompañamiento a Familias (fase
línea de base).
Evaluación de impacto de las reformas realizadas al Servicio de Cuidado
Diurno (fase diseño).
FONCODES- Compras MYPerú Evaluación de resultados del programa Compras MYPerú.
Evaluación de impacto de P65 (fase línea de base).
Evaluaciones de Diseño y Ejecución de Intervenciones Públicas (EDEP)
Cuna Más
Pensión 65
33. ¿Cómo lograr que las evaluaciones contribuyan al
aprendizaje y rendición de cuentas?
¿Cuáles son los mecanismos institucionales más
relevantes para ello?
¿Cómo logramos pasar de la evidencia
científica a la acción social?
34. Determinantes del uso de la evidencia en la política social
Factores facilitadores
La cultura de la evaluación existente en la organización
La comunicación existente entre las unidades de evaluación y los gestores de
política.
La importancia o prioridad de la política evaluada.
Enfoque participativo de la evaluación.
La pertinencia y oportunidad de la evaluación.
La calidad y fiabilidad de los resultados así como la claridad, viabilidad y el sentido
práctico de las recomendaciones.
La existencia de una demanda por evaluaciones.
El contacto personal entre los investigadores y los políticos que promueva la
confianza en los resultados de la evaluación.
Transparencia de los métodos a utilizar y los resultados obtenidos.
35. La inestabilidad política o la alta rotación del personal que formula políticas.
La desconfianza mutua, incluida la ingenuidad política percibida de los investigadora
como la ingenuidad científica de los responsables políticos.
Luchas por el poder y el presupuesto.
La falta de voluntad política de la alta dirección para el uso de evidencia en la
formulación o mejora de las intervenciones.
Insuficiente difusión de los resultados de las evaluaciones.
Formulación de recomendaciones ambiguas y poco viables.
Inexistencia de mecanismos y herramientas para el seguimiento de las
recomendaciones la evaluación.
La ausencia de un sistema de incentivos para el uso de las recomendaciones que
premie la implementación de cambios y el aprendizaje y desincentive la cultura de
mantener el statu quo.
Factores obstaculizadores
36. Recomendaciones que fomentan el uso de la evidencia de
las evaluaciones
CRITERIO DEFINICIÓN
1. PERTINENCIA La oportunidad, adecuación y/o conveniencia
de implementar la acción
2. COMPLEJIDAD La facilidad, dificultad y/o esfuerzo de
implementar la acción
3. COSTO El presupuesto y los medios que demanda
implementar la acción
4. PERSISTENCIA La duración o el periodo de tiempo que
demanda implementar la acción
5. COMPATIBILIDAD
CULTURAL
Los valores, percepciones y patrones culturales
que apoyan o no la implementación del cambio
o acción. La aceptación cultural
37. Procedimiento para el análisis de viabilidad de las
recomendaciones
Elaboración de
recomendaciones de
la evaluación
•Equipo de evaluadores
•Estándares de calidad de las
recomendaciones
•Sistematización de
evaluaciones
•Revisiones sistemáticas
Análisis de viabilidad
de recomendaciones
•Equipo de gestores y expertos
en análisis
político, técnico, económico y
social
•Revisión de las
recomendaciones con el
programa evaluado y las
autoridades institucionales
Recomendaciones
viables y propuesta de
mejora, cambio o
creación•Equipo de gestores
•Reporte técnico de la DGSYE
con recomendaciones
•Seguimiento de las
recomendaciones
Sistematización de
evidencias del PIN
infantil
Análisis de
viabilidad de las
recomendaciones
de las
evaluaciones
Recomendación
de la DGSYE con
base en evidencias
Reporte técnico No. 6
38. Ejemplo: De la evidencia a la acciónEVIDENCIAS
1) El Sub Programa PIN
Infantil del PRONAA no ha
cumplido con sus
objetivos, no ha llegado a la
población que más necesita
y no ha tenido impacto en
la reducción de la DCI.
2) El PRONAA mantiene
problemas e irregularidades
de gestión y organización.
3) Existen intervenciones
más efectivas para reducir
DCI
RECOMENDACIÓNDGSYE
La entrega de alimentos
para niños menores de 3
años y gestantes no debería
ser realizado por un
programa de alimentos
PROPUESTA
1) Mapa de inseguridad
alimentaria
2) Focalización
3) El MINSA y el MIDIS
desarrollan una propuesta
en distritos priorizados y
seleccionan las IE más
efectivas con base en
evidencias
Financiamiento por
prestación realizada a cargo
del SIS, equipamiento y
sistema de información