SlideShare una empresa de Scribd logo
1 de 134
Descargar para leer sin conexión
Grant agreement No. EIE/05/212/SI2.420249-
Intelligent Energy – Europe (IEE) COOPENER
Type 1 Actions
Acronismo CRECER CON ENERGIA
Título Vinculando microempresas y actividades
generadoras de ingresos con servicios energéticos
para la población en condiciones de pobreza del
Chaco Sudamericano.
D26 Monitoreo y Evaluación de programas y
proyectos energéticos-Manual de Capacitación
WP7: Estrategias de Monitoreo y Evaluación para
proyectos de Energía orientados a reducción de la
pobreza.
Fecha de Entrega 28 / 06 / 2007
Nombre y organización del responsable de este producto:
Manuel Fuentes / IT Power
Fecha de iniciación del Proyecto 01 / 01 / 2006
Duración: 30 meses
Nombre y organización del coordinador:
Dr. Manuel Fuentes / IT Power
D26 Monitoreo y Evaluación de programas y
proyectos energéticos-Manual de Capacitación
Revisión 0
Autores
Alba Gamarra (CINER, Bolivia)
Walter Canedo (CINER, Bolivia)
X PU Público
PP Restringido a otros participantes del proyecto (incluidos servicios de la EU)
RE Restringido a un grupo especificado por el consorcio (incluidos servicios de la EU)
CO Confidencial, solo para miembros del consorcio (incluidos servicios de los EU)
Disclaimer:
Vinculando microempresas y actividades generadoras de ingresos con servicios
energéticos para la población en condiciones de pobreza del Chaco Sudamericano.-
CRECER CON ENERGIA recibe fondos del programa Intelligent Energy Europe (IEE)
COOPENER bajo el contrato EIE/05/212/SI2.420249.
El contenido de este documento solo compromete a su autor y no refleja necesariamente la
opinión de las Comunidades Europeas. La Comisión Europea no es responsable de la
utilización que se podrá dar a la información que figura en el mismo.
CRECER CON ENERGIA D26 – Manual de M&E página 3 de 134
Tabla de Contenidos
PREFACIO: ............................................................................................................................................. 4 
INTRODUCCIÓN..................................................................................................................................... 5 
CONSIDERACIONES PRELIMINARES ................................................................................................. 5 
MODULO 1: INTRODUCCIÓN AL MONITOREO Y EVALUACIÓN....................................................... 9 
MODULO 2: ESTRUCTURA DEL MONITOREO Y EVALUACIÓN...................................................... 51 
MÓDULO 3: ANÁLISIS DE LOS PARTICIPANTES EN EL MONITOREO Y EVALUACIÓN............... 65 
MODULO 4: INDICADORES DE MONITOREO Y EVALUACIÓN ....................................................... 83 
MODULO 5: PROCESO DE IMPLEMENTACIÓN DE UN PLAN DE MONITOREO Y EVALUACIÓN118 
CRECER CON ENERGIA D26 – Manual de M&E página 4 de 134
Prefacio:
CRECER CON ENERGIA es un proyecto financiado por el programa COOPENER de la
Agencia Intelligent Energy–Europe (IEE) que vincula microempresas y actividades
generadoras de ingresos con servicios energéticos para la población en condiciones de
pobreza en una de las regiones más pobres de América Latina, la región Chaqueña en
Paraguay y Bolivia. Para lograr este objetivo hay varias barreras que tienen que ser
superadas y este proyecto se dirige a todas ellas. Se creará una plataforma de comunicación
horizontal para estimular el diálogo entre todos los ministerios públicos de gobierno y las
organizaciones involucradas en la electrificación rural y reducción de la pobreza. Se
desarrollarán herramientas para capacitar a personal clave de los ministerios involucrados en
la evaluación del impacto de servicios de energía en el desarrollo social y económico y se
ayudará a tomadores de decisión a entender cómo los programas de energía pueden se
diseñados para satisfacer sus metas sectoriales.
El proyecto ayudará a desarrollar políticas energéticas coordinadas con el fin de contribuir al
cumplimiento de las Metas de Desarrollo del Milenio y Estrategias de Reducción de Pobreza.
El proyecto fortalecerá los conocimientos en temas como energía para el desarrollo rural,
financiamiento rural y micro-emprendimientos rurales de los gobiernos regionales y
nacionales con un vasto y ambicioso programa de capacitación.
CRECER CON ENERGIA D26 – Manual de M&E página 5 de 134
Introducción
Este manual de capacitación en Monitoreo y Evaluación ha sido diseñado para apoyar a los
grupos meta del proyecto “Vinculando microempresas y actividades generadoras de ingresos
con servicios energéticos para la población en condiciones de pobreza del Chaco
Sudamericano”: elaboradores de políticas de ministerios afines al tema del desarrollo de la
energía para el sector rural, de gobiernos regionales y/o municipales, así como a personas
de instituciones que trabajan con estrategias de alivio a la pobreza, grupos comunitarios,
microempresarios, instituciones financieras; así como a directivos y técnicos de
organizaciones no gubernamentales que trabajan en el sector energético y de desarrollo
rural, a la comunidad donante e implementadores de programas, respecto de los conceptos
del Monitoreo y Evaluación (M&E), así como también sobre cómo diseñar y desarrollar un
plan, respecto de los conceptos del Monitoreo y Evaluación (M&E).
El manual ha sido elaborado de manera ecléctica, compilando información contenida en
diversos documentos relacionados con la temática de M&E como también del sector
energético. Cabe mencionar que además de la sistematización de la información, los aportes
de los autores con su experiencia en M&E y en particular con la temática energética,
permiten brindar al lector la seguridad de contar con un documento que les oriente con
certeza en el desarrollo de su trabajo cotidiano. La elaboración del manual se realizó bajo la
responsabilidad institucional de IT Power y el equipo de redacción estuvo conformado por:
Alba Gamarra de Guardia, Walter Canedo Espinoza y Manuel Fuentes.
El Manual tiene 5 módulos que cubren lo esencial del M&E: desarrollo e indicadores,
conducción de análisis de actores, así como el proceso de ejecución y análisis. Los módulos
del manual son los siguientes:
Módulo 1: Introducción al M&E.
Módulo 2: Estructura de M&E.
Módulo 3: Análisis de actores.
Módulo 4: Indicadores de M&E.
Módulo 5: Proceso de ejecución del plan de M&E.
Cada módulo contiene una sección final denominada “Puntos de discusión” que orienta en la
reflexión personal y grupal respecto a la temática abordada. Esta sección se complementa
con ejercicios que el facilitador del curso explicará y conducirá de acuerdo al grupo de
participantes.
Consideraciones preliminares
Necesidad del monitoreo y evaluación.
El M&E es necesario, visto no como una imposición sino como una herramienta de:
Reflexión: El M&E es un instrumento para mejorar continuamente la calidad del trabajo.
Complementa el proceso de acción con la reflexión sobre lo ejecutado. Con esto se puede
hacer los ajustes necesarios de manera oportuna.
Conocimiento: Es un instrumento para satisfacer demandas de información internas y
externas, y – de esta manera - en función del análisis sistemático de las experiencias del
proyecto pueda basar en ellas su marco de acción.
CRECER CON ENERGIA D26 – Manual de M&E página 6 de 134
Legitimación: Es un instrumento importante frente a los contrapartes, financiadores,
instancias superiores, instituciones y personas del entorno del proyecto para demostrar que
se conserva el contacto con la realidad del proyecto y que se toman decisiones adaptándose
dinámicamente a las condiciones cambiantes de un entorno complejo. Es importante indicar
que el M&E debería ser de utilidad para los beneficiarios, en los diferentes niveles y no
solamente como una oferta o exigencia de las entidades de cooperación sino más bien como
una herramienta necesaria y útil desde la demanda como parte de su empoderamiento.
Control: También es un instrumento para medir el avance y verificar la calidad de las
diferentes prestaciones desarrolladas en el proyecto, cuestionando muchas veces su
validez.1
Toma de decisiones: Es un instrumento para realizar ajustes o correcciones "concurrentes",
es decir durante la ejecución de las actividades y también a la "conclusión" o "ex – post", en
el caso de programas o proyectos con características similares.
Objetivos del programa de capacitación en monitoreo y evaluación.
El objetivo general del programa de capacitación es el de brindar elementos para iniciar o
profundizar un proceso de cambio en los proyectos, programas, acciones o instituciones de
los participantes, a través de la toma de conciencia sobre el M&E, el incremento de
conocimientos, así como el familiarizarse con un conjunto de técnicas y procedimientos que
sean orientados a la sostenibilidad de las realizaciones.
Se espera que la capacitación utilizando el manual, brinde a los participantes -de manera
general- conocimientos y destrezas para facilitarles planificar, conducir y analizar actividades
del M&E. De manera particular, se espera que la capacitación permita a los participantes:
Disponer de una apreciación global de M&E.
Diseñar un sistema de Monitoreo.
Desarrollar un plan de evaluación.
Conducir actividades de M&E.
Analizar datos recolectados durante las actividades de M&E.
Usar los hallazgos del M&E para mejorar los programas específicos.
Módulos de capacitación.
Cada módulo del manual de capacitación tiene el mismo formato y consta de las siguientes
partes:
Título del Módulo: Se tiene el título de la unidad y su numeración.
Propósito y objetivos del Módulo: Estos puntos del documento indican qué se espera
alcanzar con el módulo y refleja el conocimiento, además de las destrezas que los
participantes deben adquirir al final de la sesión.
Resultados esperados: Los puntos del módulo indican qué resultados se esperan por parte
de los participantes, para lograr los objetivos de la capacitación.
1
Plan de Monitoreo y Evaluación (M&E), del Proyecto Componente de Energía – PROAGRO GTZ, con
fondos de donación del Reino de los Países Bajos. Período de planificación: 01.06. -08/08.
GAMARRA, ALBA, diciembre de 2005.
CRECER CON ENERGIA D26 – Manual de M&E página 7 de 134
Tiempo: Es el tiempo sugerido que debería emplearse para el total de la unidad.
Dependiendo del nivel de habilidades que tengan los participantes. Las sesiones individuales
pueden llevar mayor o menor tiempo.
Glosario y Acrónimos: Para facilitar la comprensión del lector respecto a siglas, acrónimos
y conceptos utilizados en el manual, se tiene una sección específica que contiene esta
información.
Páginas Internet recomendadas y literatura: Cada módulo cuenta con referencias de
literatura recomendada, tanto impresa como la accesible por Internet, con la finalidad de
permitir al lector ampliar la información pertinente a cada módulo.
Estructura de la capacitación y proceso.
De acuerdo a su concepción de Curso – Taller, durante el evento, se conjugarán los dos
elementos básicos: la teoría y la práctica.
La teoría, girará alrededor del monitoreo y la evaluación, como partes consustanciales de la
gestión del ciclo del proyecto y se sustentarán a su vez, en tres componentes
complementarios: los conceptos, los procesos y las herramientas del Monitoreo y la
Evaluación.
Para la revisión de la teoría se recurrirá a breves exposiciones complementadas por la
reflexión en grupo y su relación, sea con ejemplos o con experiencias propias de los
participantes sobre cada uno de los temas tratados. Para la revisión teórica, se usará el
presente manual de M&E como texto guía, además del material adicional que los instructores
preparen y crean conveniente utilizar.
La aplicación práctica de la teoría impartida, se concretará a través de ejercicios y tareas
individuales o en pequeños grupos de trabajo.
Recursos que se precisan para el programa de capacitación
La Pre-planeación es esencial para el éxito del programa de capacitación y debe contar con:
a) Recursos humanos: Los recursos humanos son vitales para el éxito del programa de
entrenamiento. Los facilitadores deben ser responsables de la preparación y manejo del
programa completo, tomando en cuenta aspectos: conceptuales, técnicos, logísticos, etc.
relacionados con el M&E de proyectos y programas energéticos.
b) Participantes: El grupo meta al que se dirige la capacitación en monitoreo y evaluación
es el siguiente:
• Autoridades del sector público o líderes con reconocimiento local (Viceministerios,
Gobiernos regionales, Prefecturas, Sub prefecturas, Consejos departamentales,
Gobiernos municipales o alcaldías, corregimientos, capitanías).
• Donantes. (Cooperación financiera o de asistencia técnica).
• Financiadores. (Instituciones financieras, cooperativas, mutuales, cajas).
• Usuarios / clientes. (Comunidades o beneficiarios)
CRECER CON ENERGIA D26 – Manual de M&E página 8 de 134
• Equipo del proyecto. (Coordinador, responsables de área o departamentos, otro
personal del proyecto: promotores, facilitadores sociales, capacitadores,
comunicadores, director técnico u otros).
• Actores del sector privado. (Consultores, productores, proveedores, instaladores,
inspectores o evaluadores externos)
• Administradores.
Las personas que participen deben ser invitadas en base a una convocatoria concreta para
aclarar el alcance del curso y expectativas de los/las participantes. Deben manifestar
también su disponibilidad de tiempo y voluntad de aprendizaje.
c) Materiales: Algunos de los materiales principales para el programa de capacitación son:
Proyector o data display Lápices/cuadernos/bolígrafos Tarjetas en
blanco
Pantalla de proyección Tajadores Grapadora
Rotafolios (mínimo 2) Cables de extensión Alfileres
Papel para rotafolio /
almohadilla
Facilidades para fotocopias Pegamento
Marcadores permanentes,
resaltadores
Hojas y bolígrafos extras. Tijeras
Marcadores para
transparencias
Transparencias en blanco Cinta adhesiva
(masking tape
resistente y
normal)
CRECER CON ENERGIA D26 – Manual de M&E página 9 de 134
Modulo 1: Introducción al Monitoreo y Evaluación
TABLA DE CONTENIDOS MODULO 1
 
1.1  CONCEPTOS BÁSICOS SOBRE EL MONITOREO Y EVALUACIÓN. ........................................................15 
1.2  PROCESOS DEL MONITOREO Y EVALUACIÓN. .................................................................................19 
1.3  EL SISTEMA DE MONITOREO Y EVALUACIÓN. ..................................................................................21 
1.4  TIPOS DE MONITOREO Y EVALUACIÓN............................................................................................23 
1.5  ¿QUÉ SON LOS INDICADORES? ......................................................................................................26 
1.6  ¿QUÉ PUEDE LOGRAR EL M&E?....................................................................................................30 
1.7  CAMBIOS EN LOS ENFOQUES DEL MONITOREO A NIVEL INTERNACIONAL. .........................................30 
1.8  ¿DE DÓNDE SALE LA INFORMACIÓN PARA LA TOMA DE DECISIONES?...............................................31 
1.9  PASOS PARA CONDUCIR EL MONITOREO .........................................................................................31 
1.10  PASOS PARA CONDUCIR LA EVALUACIÓN........................................................................................33 
1.11  PROPÓSITO DE LA EVALUACIÓN. ....................................................................................................33 
1.12  METODOLOGÍA..............................................................................................................................35 
1.13  DIFERENTES ENFOQUES PARA LA EVALUACIÓN. .............................................................................36 
1.14  VENTAJAS Y DESVENTAJAS DE LA EVALUACIÓN INTERNA Y EXTERNA DE UN PROYECTO....................37 
1.15  PASOS PARA ELABORAR UN PLAN DE MONITOREO Y EVALUACIÓN....................................................37 
1.16  PASOS PARA ELABORAR UN PLAN DE MONITOREO Y EVALUACIÓN (GRUPO M&EED). ..................42 
1.17  PAUTAS PARA LA TOMA DE DECISIONES EN EL MONITOREO Y EVALUACIÓN.......................................44 
1.18  EQUIPO DE PERSONAS PARA MONITOREO Y EVALUACIÓN. ...............................................................45 
1.19  SELECCIÓN DE UN EVALUADOR EXTERNO O DE UN EQUIPO DE EVALUACIÓN. ....................................45 
1.20  PUNTOS DE DISCUSIÓN ..................................................................................................................47 
CRECER CON ENERGIA D26 – Manual de M&E página 10 de 134
Información acerca del Módulo
Objetivo del Módulo Entender los conceptos básicos del Monitoreo &
Evaluación.
Objetivos de aprendizaje Explicar las ideas claves del Monitoreo y Evaluación.
Exponer los marcos generales de M&E, así como el
significado de los indicadores.
Explicar los logros del M&E para poder ayudar a la
consecución de programas o para tomadores de decisiones.
Resultados esperados del
Módulo
Comprender el concepto y diferencia entre Monitoreo y
Evaluación.
Comprender sobre la importancia de tener el enfoque
sistémico de M&E
Lograr la capacidad de explicar la importancia del Monitoreo
y Evaluación en programas de energía.
Desarrollar los pasos básicos para el Monitoreo y
Evaluación en programas de energía.
Tiempo necesario para la
ejecución
125 minutos.
Forma de trabajo Auto-estudio y exposición dialogada del facilitador.
ACRÓNIMOS
CSD Comisión de Desarrollo Sostenible de las Naciones
Unidas.
DAC-OECD (Development Aid Committee - Organization for
Economic Cooperation and Development).
Comité de Ayuda al Desarrollo – Organización para
la Cooperación Económica y de Desarrollo.
FIDA Fondo Internacional para el Desarrollo Agrícola.
GTZ Gesellschaft fur Technische Zusammenerbait
(Sociedad de Cooperación Técnica Alemana).
IVO’s Indicadores Verificables Objetivamente.
MDMs Metas de Desarrollo del Milenio.
M&E Monitoreo y Evaluación.
M&EED Grupo Internacional de trabajo de M&E en Energía
CRECER CON ENERGIA D26 – Manual de M&E página 11 de 134
para el Desarrollo.
MPP Matriz de planificación de proyectos.
PNUD Programa de Naciones Unidas para el Desarrollo.
PCM Project Cycle Management (Gestión del ciclo de
proyectos).
PO Plan Operativo.
ZOPP Ziel Orientierte Projekt Planung. (Sistema de
Planificación de Proyectos Orientada a Objetivos).
GLOSARIO
Actividades Las Actividades son los pasos individuales que se requieren para
alcanzar un resultado. Las actividades se formulan en infinitivo. Verbo,
objeto y condición.
Beneficiarios Individuos, grupos u organismos que se benefician, directa o
indirectamente, de una intervención para el desarrollo, hayan sido o no
los destinatarios de la intervención.
Evaluación Es la apreciación sistemática y objetiva de un proyecto, programa o
política en curso o concluido, de su diseño, su puesta en práctica y sus
resultados. El objetivo es determinar la pertinencia y el logro de los
objetivos, así como la eficiencia, la eficacia, el impacto y la
sostenibilidad para el desarrollo. Una evaluación deberá proporcionar
información creíble y útil, que permita incorporar las enseñanzas
aprendidas en el proceso de toma de decisiones de beneficiarios y
donantes.
La evaluación también se refiere al proceso de determinar el valor o la
significación de una actividad, política o programa. Se trata de una
apreciación, tan sistemática y objetiva como sea posible, de una
intervención para el desarrollo planeada, en curso o concluida.
Evaluación del
impacto social
La Evaluación del impacto social analiza los cambios o variaciones
observables en los destinatarios y en el contexto del proyecto.
Efectividad Capacidad de lograr el efecto que se desea o se espera.
La efectividad es una medida del alcance en el cual un programa de
desarrollo o proyecto adquiere los objetivos específicos establecidos.
Eficiencia El nivel de Eficiencia compara los resultados obtenidos con los
medios empleados. Análisis de costos / realizaciones. Analizar en qué
medida el proyecto alcanza sus objetivos usando lo mínimo de recursos
CRECER CON ENERGIA D26 – Manual de M&E página 12 de 134
o dicho de otra manera, en qué medida el proyecto alcanza el máximo
impacto para una cantidad dada de recursos.
Eficacia El nivel de Eficacia compara objetivos con resultados, aprecia las
diferencias entre lo que se realizó y lo que estaba previsto.
Externalidad Perjuicio o beneficio experimentado por un individuo o una empresa a
causa de acciones ejecutadas por otras personas o entidades.
Fuentes de
verificación
Las Fuentes de verificación son los medios con los cuales se reúnen
los datos necesarios para medir los indicadores. Pueden describir el
tipo de datos, las fuentes de información o los métodos de recopilación.
Es la base para la planificación del sistema de información y
documentación del proyecto.
Género En términos sociológicos, se refiere a la construcción social y cultural
de las diferencias sexuales en un lugar específico y en un tiempo dado.
Lo cual quiere decir que es un término que no necesariamente es
interpretado de la misma manera en las distintas culturas y grupos
sociales, además con el transcurso de los años.
Grupo meta Individuos u organismos específicos en cuyo beneficio se lleva a cabo
la intervención para el desarrollo.
Línea de base Análisis que describe la situación previa a una intervención para el
desarrollo, en relación con la cual puede medirse el avance o pueden
efectuarse comparaciones.
Matriz de
Planificación
La Matriz de Planificación (también conocida como "logical
framework" o “marco lógico”) es una herramienta utilizada para planear
la ejecución de una solución. El planeamiento de la solución debe ser
elaborado como respuesta a las siguientes preguntas:
Qué: ¿Qué acción va ser desarrollada?
Cuándo: ¿Cuándo será realizada la acción?
Quién: ¿Quién será el responsable de la implantación?
Por qué: ¿Por qué fue definida esta solución (resultado esperado)?
Dónde: ¿Dónde será implementada la acción (alcance)?
Cómo: ¿Cómo va ser implementada (pasos de la acción)
Monitoreo El monitoreo es una herramienta que permite tomar decisiones o
realizar intervenciones adecuadas para gerentar una institución, un
Programa, Proyecto o Plan, que contiene subsistemas de
acompañamiento y valoración, con una adecuada información,
comunicación, coordinación y participación”, a través de la observación
continua, tanto del funcionamiento de las actividades de la institución
en el contexto del calendario de implementación, como del uso de los
insumos por los grupos meta en el contexto de las expectativas
proyectadas.
Es también una función continua que utiliza una recopilación
sistemática de datos sobre indicadores especificados para proporcionar
a los administradores y a las partes interesadas principales de una
CRECER CON ENERGIA D26 – Manual de M&E página 13 de 134
intervención para el desarrollo, indicaciones sobre el avance y el logro
de los objetivos así como de la utilización de los fondos asignados.
Objetivo de
Desarrollo
El Objetivo de Desarrollo es el que refleja la mejora de la situación de
los grupos destinatarios (beneficiarios del proyecto). El objetivo de
desarrollo debe responder a los deseos del grupo destinatario, a sus
valores y aspiraciones.
Objetivo del
Proyecto
El Objetivo del Proyecto define el por qué se desarrolla el proyecto y
describe los efectos a ser alcanzados. Debe permitir que se reconozcan
fácilmente los beneficios para el grupo destinatario (beneficiarios
finales) y, en la medida de lo posible, describir los cambios en el modo
de pensar y actuar del grupo destinatario como efectos del proyecto.
Planificación La Planificación se dedica a tomar decisiones ahora acerca de
acciones futuras.
Proceso para facilitar el logro de una expectativa.
Paso 1: Determinar QUÉ es lo que quiere hacer.
Paso 2: Determinar CUÁNDO quiere hacerlo.
Paso 3: Determinar CÓMO va a hacerlo.
Paso 4: DETERMINAR si su planificación tuvo ÉXITO.
Sostenibilidad Continuación de los beneficios de una intervención para el desarrollo
después de concluida. Probabilidad de que continúen los beneficios en
el largo plazo. Situación en la que las ventajas netas son susceptibles
de resistir los riesgos con el correr del tiempo.
Supuestos Los Supuestos son factores externos que afectan el logro de lo
trazado. Son campos de observación para la gestión. Si los supuestos
cambian, el concepto del proyecto debe ser ajustado.
Términos de
referencia.
Son los lineamientos generales, orientativos y no limitativos para la
realización de algún trabajo o la prestación de un servicio. Los
términos de referencia se elaboran como un documento que se
constituye en los requerimientos que tiene el contratante o la persona
natural o jurídica que requiere algún servicio.
Viabilidad La Viabilidad consiste en estimar la capacidad de continuación de las
acciones de manera autónoma. Se evalúan las posibilidades de
supervivencia cuando los apoyos externos se retiren.
CRECER CON ENERGIA D26 – Manual de M&E página 14 de 134
Páginas Internet recomendadas y Literatura.
CIVICUS, Monitoreo y Evaluación, Janet Shapiro. 2003.
Olive Publications. Planning for Monitoring and Evaluation. Olive. 2002.
Shapiro, Janet. Evaluation: Judgement Day or Management Tool? Olive. 1996.
OED ECD, Seguimiento y Evaluación: Instrumentos, métodos y enfoques. Banco Mundial. 2004.
Emma Rotondo, Gloria Vela. Indicadores de género. PREVAL/PROGENERO, FIDA. 2004.
M&EED. A Guide to monitoring and evaluation for energy projects. M&EED. 2006.
Rai Kavita. IT Power. Monitoring and Evaluation of the impact of renewable energy programmes. IT
Power, REEEP. 2005.
Rai Kavita. Monitoring and evaluation of energy projects for social development. IT Power. 2007.
Mundo de conceptos de la GTZ. Archivo en pdf.
http://www.gtz.de/de/dokumente/begriffswelt-2006-es.pdf
http://www.gtz.de/de/publikationen/begriffswelt-gtz/es/9071.htm
Mundo de conceptos de la GTZ - Matriz de Planificación de Proyectos:
http://www.gtz.de/de/publikationen/begriffswelt-gtz/es/include.asp?lang=S&file=8_32_3.inc
Mundo de conceptos de la GTZ – Monitoreo basado en resultados:
http://www.gtz.de/de/publikationen/begriffswelt-gtz/es/include.asp?lang=S&file=9_6.inc
Ziel Orientierte Projekt Planung - Planificación de Proyectos orientada a Objetivos: GTZ.
http://www.jjponline.com/marcologico/mpp.html
Matriz Identificación de actores, análisis, planeación (Tablas Excel)
http://www.google.com.bo/search?q=matriz+de+planificaci%C3%B3n&hl=es&rlz=1T4GGLJ_enBO215B
O215&start=30&sa=N
Manual para la planificación participativa de proyectos. Lineamientos centrales sindicales de los países
nordicos y de Holanda
http://www.union-network.org/unisite/in_depth/TU_development/download/Handbook-spart1-
Manual_1.pdf
Monitoring and Evaluation in Energy for Development (M&EED) International working group.
www.gvep.org
Biblioteca del Centro de información en Energías Renovables – CINER: ZP 1000 y ZP 2000
http://www.ciner.org/biblioteca/zp.htm#planificacion
http://www.ciner.org/biblioteca/zp.htm#monitoreo
Achieving The Millennium Development Goals: The Role of Energy Services. Case Studies From Brazil,
Mali and the Philippines. PNUD. Editors Jem Porcaro and Minoru Takada Advisors Susan McDade,
Vijay Modi and David Nissen. Contributing Authors Bridget Anderson, Martin Berg, Dan Blanchard,
Elisabeth Clemens, Cybele Díaz-Wionczek, Silvia Fracchia, Tamy Gelman, Leah Granof, Remi Lang,
Jem Porcaro, Hitoshi Shigeoka, Sean Yokota Date January, 2005.
Informe del Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la
DWHH Deutsche Welthungerhilfe (Agro Acción Alemana) a través de la Asociación de Instituciones de
Promoción y Educación AIPE, llevado a cabo en la ciudad de Cochabamba, entre el 5 y el 9 de
noviembre de 2001. Instructores: GAMARRA Alba, CANEDO Walter, GANGOTENA Juan.
CRECER CON ENERGIA D26 – Manual de M&E página 15 de 134
Planificación del proceso enseñanza - aprendizaje
Tiempo Agenda Metodología Requerimientos
30 minutos Secciones: 1.1 a 1.8 Presentación dialogada. Data display y
papelógrafos.
30 minutos Secciones: 1.9 a 1.14 Presentación dialogada Data display y
papelógrafos.
30 minutos Secciones: 1.15 a 1.19 Presentación dialogada y
trabajo grupal.
Data display,
papelógrafos,
marcadores.
45 minutos Sección 1.20 Discusión y casos de
estudio.
Papelógrafos y
marcadores.
1.1 Conceptos básicos sobre el Monitoreo y Evaluación.
Antes de entrar en la temática específica del monitoreo y evaluación, conviene contextualizar
el enfoque principal que se abordará en el presente manual; en este caso el enfoque está
dirigido al tema energético.
Los servicios energéticos son esenciales en las dimensiones económicas, sociales y
ambientales del desarrollo humano. Estos facilitan el desarrollo económico a través del
crecimiento industrial, reforzando la productividad y proporcionan el acceso a los mercados
globales y al comercio. Los servicios energéticos modernos contribuyen al desarrollo social,
ayudando a completar las necesidades básicas humanas como alimentación, calor,
iluminación, además de educación y salud. Asimismo, protegen el ambiente disminuyendo la
deforestación y la reducción de emisiones. La energía tiene un rol crucial en el logro de las
Metas de Desarrollo de Milenio (MDMs) 2
.
Es importante aclarar lo siguiente: los servicios energéticos se refieren específicamente al
“producto” utilizable en las diferentes categorías de consumidor y que proviene de los usos
finales de la energía, en cualquiera de sus formas y sin importar la fuente primaria de
energía. El calor, la iluminación, la refrigeración de ambiente, la cocción de alimentos, la
conservación de alimentos, la fuerza motriz y la telecomunicación son ejemplos de servicios
energéticos. El concepto de servicio energético supera el sesgo convencional de “ofertismo”
de una determinada fuente de energía. Según este enfoque se “privilegia” de antemano una
fuente de energía para un uso final determinado, por ejemplo: utilizar necesariamente leña
para producir calor, o bien utilizar combustible derivado de petróleo para fuerza motriz. El
servicio energético presupone, por el contrario, partir cualquier análisis desde el punto de
vista del consumidor, de la demanda. Así, este nuevo enfoque deja más libre el análisis para
buscar la relación más conveniente, según criterios previamente establecidos (sean ellos de
2
Achieving The Millennium Development Goals: The Role of Energy Services. Case Studies from Brazil, Mali and The
Philippines. PNUD. 2005.
CRECER CON ENERGIA D26 – Manual de M&E página 16 de 134
carácter ambiental, disponibilidad local, eficiencia, entre otros), entre las fuentes de energía,
la logística, los equipos de uso final y el servicio que se requiere.3
Ejemplo: Dos proyectos que brindan acceso a servicios energéticos para iluminación,
analicemos el supuesto caso de una comunidad que define, previo análisis de alternativas:
un sistema de carga de baterías comunales
Proyecto 1: verifica regularmente el avance del proyecto, la capacitación y uso de materiales
recibidos, así como la satisfacción del beneficiario. Cuando nota que algo no está bien, por
ejemplo que los niños sean los enviados para dejar y recoger las baterías por terrenos
agrestres, analiza inmediatamente este aspecto con la comunidad y toman decisiones
conjuntas que son aplicadas por los actores, sea en el sentido de delegar la responsabilidad
en personas mayores, organizar un sistema de transporte o quizás disponer de un sistema
fotovoltaico en cada domicilio. El proyecto está bien y el responsable de la ejecución está
satisfecho.
Proyecto 2: Elabora un sistema de M&E para presentar al financiador, deja todo en manos
de los ejecutores en campo, no visita la zona luego de iniciado el proyecto. En la época de
la evaluación externa (o semanas antes) se sorprende cuando ve que quizás hay problemas
con quemaduras por ácidos, o que la comunidad está molesta por una mala gestión de la
persona a cargo de los turnos para el cargado de baterías y -a causa de este malestar -
existe ahora desunión en la comunidad. Él queda decepcionado.
Este ejemplo nos da la pauta para mencionar que monitoreo es la observación continua,
reflexión y corrección de actividades. Esto fue realizado por el personal del Proyecto 1; más
no así por el del Proyecto 2.
1.1.1 Definición de Monitoreo y Evaluación.
En varios países, los sistemas de diseño y construcción de M&E son normalizados como una
herramienta pública de gestión. Mientras tanto, los gobernantes incluyen el establecimiento
de presupuestos, recursos humanos y controles; la retroalimentación de resultados y
consecuencias de cualquier plan de gobierno o política es un mecanismo que necesita ser
trabajado. La definición más utilizada por la OECD sobre Monitoreo y Evaluación es la
siguiente:
El Monitoreo es una herramienta que usa la recolección sistemática de datos para
indicadores específicos, de manera tal que aporten a la gestión y a los principales actores
acerca del desarrollo sobre la marcha de las intervenciones, a través de indicadores para el
avance y logro de objetivos; así como el progreso en el uso de los recursos colocados.
La Evaluación es definida como la valoración objetiva y sistemática del diseño,
implementación y resultados de un proyecto, programa o política que está en avance o ha
concluido. El objetivo es determinar la importancia y el cumplimiento de los objetivos,
avance de eficiencia, efectividad, impacto y sostenibilidad. La evaluación debe proveer
información que sea creíble y útil, permitiendo la incorporación de lecciones aprendidas en
los procesos de toma de decisiones, tanto de receptores como de donantes.
Se ocupa de quién, o qué grupo, se ha beneficiado del sistema interinstitucional de trabajo (o
fue adversamente afectado), en qué cuantía, de qué manera y por qué.
Con el Monitoreo y Evaluación se pueden establecer las bases para el aprendizaje
compartido a partir de la acción conjunta.
3
OXILIA Victorio, aportes a los autores. 2007.
CRECER CON ENERGIA D26 – Manual de M&E página 17 de 134
Si bien se han definido los conceptos de Monitoreo y Evaluación, para desarrollar
adecuadamente un proyecto o programa, es necesario establecer una visión de conjunto que
englobe al monitoreo y la evaluación como un sistema. Esto es de gran importancia por la
estrecha relación entre ambos términos: “el Monitoreo se centra en verificar la adecuación y
correspondencia entre un plan y la realidad....y la evaluación mide y reflexiona sobre el
impacto que tienen las acciones (a veces corregida o adaptada por medio del monitoreo) en
relación con los objetivos y resultados esperados. Son dos lados de una misma moneda....se
alimentan entre si y tienen un fin común: que los proyectos, programas y políticas sean
efectivas...o bien aprender con las iniciativas buscando el mejoramiento continuo....hacia
mejores proyectos, programas y políticas....”4
Ahora bien, para saber quiénes deben realizar el M&E, se debe partir primero por definir cuál
es el papel de los grupos esenciales / actores que integrarán el trabajo de M&E, para lo
cual se debería disponer de un listado agrupado: Autoridades públicas, instancias
internacionales (multi y bilaterales) sectores no gubernamentales (nacionales / regionales) y
sector privado (fabricantes/Bancos, etc.) y luego clarificar el rol que desempeñan: si trabajan
en la creación de políticas para alivio a la pobreza, de política sectorial, si más bien son
ejecutores de políticas / programas para el alivio a la pobreza, si más bien trabajan o diseñan
políticas, planes y programas específicos para energía en ámbitos nacionales y regionales o
si son ejecutores de las mismas.5
Este tema, por su implicancia en el Monitoreo y
Evaluación, será analizado con mayor detalle en el módulo 3: “Análisis de los participantes
en el M&E”.
A continuación, se presentan los objetivos, contenidos, componentes, principios y criterios
que deben ser empleados en el Monitoreo y Evaluación.
1.1.2 Objetivos del monitoreo y evaluación.
Estos objetivos son estructurados a partir de una pregunta: ¿Para qué sirve el Monitoreo y
Evaluación? ¿Y para quiénes? Las respuestas más frecuentes son:
• Suministrar información.
• Determinar el estado de un proyecto.
• Garantizar la ejecución de un proyecto con efectividad.
• Adoptar medidas correctivas en la ejecución.
• Tomar decisiones (tanto en la ejecución de un proyecto o programa o política, como
también para futuros proyectos, programas etc.).
De manera sintética es:
“Ayudar a los actores a orientar su trabajo hacia los resultados y objetivos del proyecto e
informar sobre su avance, con el propósito de servir de apoyo a la gestión del proyecto,
evaluando los resultados que se van alcanzando e introducir los ajustes necesarios para la
obtención de los objetivos propuestos. Todo ello para poder adaptarse dinámicamente a las
condiciones cambiantes de un entorno complejo y lograr el análisis sistemático de las
experiencias del proyecto y basar en ellas su marco de acción”.
4
OXILIA Victorio, aportes a los autores. 2007
5
Monitoring and Evaluation Frameworks and Indicators: A Review of Energy Stakeholders in Bolivia &
Paraguay. Kavita Rai/ Alba Gamarra/ Victorio Oxilia/ Maria Emilia de Castel/Elvio Enciso. WP7,
Febrero 2007.
CRECER CON ENERGIA D26 – Manual de M&E página 18 de 134
1.1.3 ¿Cuáles son los principios que deben guiar al M&E?
El proceso de Monitoreo y Evaluación se debe desarrollar en base a un plan fundamentado
en cuatro principios, que son:
Transparencia, que permita a todos los actores involucrados en el proyecto, conocer qué
información se recopilará y para qué fines.
Objetividad, que establezca parámetros para el M&E, sin posibilidad de distorsiones de tipo
subjetivo.
Pertinencia, que permita a los actores diseñar, levantar información en el momento oportuno
y procesarla para la adecuada toma de decisiones en el proceso de evaluación y
retroalimentación.
Legitimidad, que involucre activamente a los actores del proyecto desde el inicio, para la
adecuada recopilación de información y la consecuente toma de decisiones.
Flexibilidad, que permita la adecuación del sistema, pues éste debe poder modificarse,
adaptarse y mejorar inclusive en el mismo proceso.
1.1.4 ¿Qué requiere?
• Amplia base de consenso entre las autoridades institucionales, los
ejecutivos/directivos del proyecto y los grupos meta, sobre los objetivos, resultados y
actividades del proyecto.
• Compatibilidad entre los objetivos, resultados y actividades del proyecto y las
condiciones estructurales del medio.
• Flexibilidad por parte de los administradores del proyecto, para aprender de las
experiencias obtenidas durante la fase de ejecución y poder reaccionar oportuna y
apropiadamente.
• Efectividad y estabilidad de las instituciones responsables para el proyecto y de la
propia organización de éste.
• Continuidad en las decisiones a lo largo del tiempo de vida del proyecto.
Como base de un sistema de M&E, se debe cuidar la existencia de una lógica vertical,
objetivos, resultados, actividades e indicadores claros y realistas en la Matriz de Planificación
del Proyecto (MPP), si se utiliza éste u otro esquema de planificación; así como también el
disponer de un Plan operativo (PO) adecuado; a fin de permitir un seguimiento sistemático
del avance (Monitoreo) y una revisión periódica (Evaluación) de los logros del proyecto.
Existe un alto grado de dependencia entre la calidad de la planificación y el sistema de M&E,
pues obviamente sería difícil diseñar un buen sistema de M&E, si la planificación de base no
es precisa; o procurar modificar o ajustar la planificación sin un monitoreo y una subsiguiente
evaluación de las actividades, resultados y efectos.
1.1.5 ¿Qué no es?
Una función policiaca de fiscalización o auditoría del desempeño humano, financiero o
institucional.
Así como un programa o un proyecto...tampoco puede ser un sistema impuesto, prefabricado
e inflexible en sus principios.
CRECER CON ENERGIA D26 – Manual de M&E página 19 de 134
1.1.6 ¿Qué niveles de monitoreo y evaluación se tienen?
Monitoreo y evaluación de las actividades
¿Cuáles actividades hemos planificado?
¿Cuáles hemos realizado y en que calidad?
Monitoreo y evaluación de los resultados / productos
¿Qué hemos logrado?
¿Cuánto y con qué calidad?
Monitoreo y evaluación del proceso
¿Por qué lo hemos logrado/ no lo hemos logrado?
¿Cómo lo hemos logrado?
Monitoreo y evaluación de los impactos
¿Cuáles son los efectos que ha causado nuestro trabajo?
Monitoreo y evaluación del entorno /contexto
¿Qué promueve u obstaculiza nuestro trabajo?
Además de:
Un Monitoreo y evaluación de la organización interna y de las relaciones
externas
1.1.7 Límite de responsabilidades y atribuciones.
Las responsabilidades y atribuciones (también denominado “brecha de atribución” del equipo
del proyecto) van desde los insumos o recursos hasta el logro de los resultados, tomando en
cuenta de acotar o delimitar las responsabilidades de los involucrados en los proyectos. Los
beneficios directos e indirectos así como el objetivo de desarrollo corresponden a los
impactos del proyecto que se miden generalmente a través de evaluaciones externas.
Esta brecha de atribución es simplemente el límite de las responsabilidades del equipo de
ejecución y monitoreo del proyecto.
1.2 Procesos del Monitoreo y Evaluación.
El Monitoreo y la Evaluación deben entenderse como procesos reiterativos y cíclicos que
nacen de la acción y se sirven de la observación, reflexión y decisión para introducir los
ajustes necesarios sobre el proceso de ejecución del proyecto (acción).
El Monitoreo y la Evaluación se sirven de la Matriz de Planificación –MPP-, esto es: de los
objetivos, metas, actividades e indicadores, de manera que el objeto de las acciones de
M&E; y, a su vez el instrumento, es el conjunto de elementos allí definidos. Mientras el
proceso de planificación va de lo general a lo particular; el de monitoreo y evaluación asume
el proceso inverso: de lo particular a lo general, esto es, del examen de los recursos y las
actividades, pasa a la revisión de los resultados y, de éstos a los objetivos del proyecto y de
desarrollo.
El Monitoreo y la Evaluación deben definirse conjuntamente con la formulación del Plan
de Acción. Éste pasa a ser un principio necesario, de manera de asegurar la
retroalimentación permanente que mejore y optimice el proceso de ejecución del proyecto,
con miras al logro de los resultados esperados.
El Monitoreo y la Evaluación son “internos” y “participativos”, de manera que deben ser
realizados por los propios participantes y responsables. Este principio sin embargo, no
CRECER CON ENERGIA D26 – Manual de M&E página 20 de 134
elimina la posibilidad, y a veces la conveniencia, de contar con apoyos externos para la
realización de tareas de evaluación.
A continuación se enuncian algunos elementos básicos del monitoreo y evaluación que se
desprenden del concepto enunciado:
El Plan de Monitoreo y Evaluación pasa a ser un instrumento necesario, de manera de
asegurar la retroalimentación permanente que mejore y optimice el proceso de ejecución del
proyecto, con miras al logro de los resultados esperados.
El monitoreo y evaluación debe fomentar y potenciar los factores positivos observados
en la ejecución del proyecto, detectar eventuales problemas o limitaciones, así como sus
causas para finalmente, proponer soluciones y procedimientos apropiados para rectificarlos.
Estas recomendaciones deben incorporarse a los formularios de reporte.
Este proceso supone: partir de la observación de la acción, con el fin de reflexionar y decidir,
para volver nuevamente a la acción.
Observar: Contar con la información
suficiente para establecer el estado de
avance de la ejecución e identificar los
procesos de contribución de los diversos
agentes que intervienen durante el proceso
de ejecución del proyecto. La observación
requiere un mínimo de sistematización,
momentos y agentes diferentes de
observación y supone responder a:
¿Qué podemos y queremos
observar?
¿Quién observa?
¿Cómo medir y representar lo
observado?
¿Cómo presentar esa
información?
Reflexionar: Comprobar su eficacia
mediante la comparación entre objetivos y
metas propuestas y los logros obtenidos;
identificar los factores de éxito de esos
logros y las causas de las limitaciones u
obstáculos que impiden su obtención. En la
reflexión las preguntas son:
¿Qué diferencia existe con
lo previsto?
¿Qué se ha logrado?
¿Qué de positivo hay en
nuestro proceso?
¿Cuáles son las
limitaciones de nuestro
proceso y sus causas?
¿Con quién intercambiar
nuestra observación?
Decidir acerca de las medidas necesarias
para continuar el proceso hacia el logro de
los objetivos y velar por su aplicación. Las
preguntas al respecto son:
¿Qué queremos cambiar?
¿Qué esperamos conseguir
con ello?
¿Cómo hacerlo?
¿Quién puede ayudarnos?
Fuente: Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la
DWHH Deutsche Welthungerhilfe (Agro Acción Alemana), Gamarra Alba, Canedo Walter, Gangotena
Juan. 2001.
ACTUAR OBSERVAR
REFLEXIONAR
DECIDIR ACTUAR
CRECER CON ENERGIA D26 – Manual de M&E página 21 de 134
Este ciclo de observación, reflexión y decisión, se concreta por parte de los diversos agentes
involucrados (grupos interesados, entes de contraparte y cooperación externa) sobre todos
los pasos del proceso:
• Planificación (concepción).
• Ejecución (organización, empleo de recursos, relaciones de contribución y
cooperación).
• Operación
• Efectos e impactos.
Es importante reconocer que el Monitoreo y la Evaluación no son varitas mágicas que
pueden hacer que los problemas desaparezcan, que se solucionen u ocurran cambios
milagrosos sin un duro trabajo en el proyecto o la organización. Ellos no son la solución, más
son herramientas valiosas.
El efecto del Monitoreo y Evaluación puede verse en el siguiente ciclo. Note que usted
monitoreará y ajustará varias veces antes que esté listo para evaluar y replanificar.
Fuente: CIVICUS, Monitoreo y Evaluación, Janet Shapiro.2003.
1.3 El sistema de Monitoreo y Evaluación.
El sistema de M&E- como ya se ha dicho - tiene como referentes a las actividades del
proceso, los resultados esperados y los objetivos trazados.
El sistema debe contener los elementos que responden a las siguientes preguntas:
Planificar
Implementar
Monitorear
Reflexionar/aprender/
decidir /ajustarImplementar
Monitorear
Reflexionar/aprender/
decidir/ ajustar
Implementar
Evaluar/aprender/
decidir
CRECER CON ENERGIA D26 – Manual de M&E página 22 de 134
¿Qué, Quién, Cuándo, Cómo y Con qué recursos?
¿Qué?: ¿Qué se debe medir, controlar o evaluar? La respuesta corresponde a las
actividades en el ámbito operativo; los resultados a través de sus indicadores; los efectos y
su sostenibilidad.
¿Quién?: ¿Quién controla, evalúa y apoya? El control y evaluación debe en lo posible,
corresponder a los propios participantes.
¿Cuándo?: ¿Cuándo se debe controlar o evaluar? El sistema debe proponer la frecuencia o
periodicidad con la que deben realizarse el monitoreo y las evaluaciones.
¿Cómo?: ¿Cómo efectuar las tareas de Monitoreo y Evaluación? corresponde a la definición
previa de herramientas: Formularios, guías, reuniones y talleres, en los que se concreten las
tareas de control de avance y medición de cumplimiento de metas, así como objetivos.
¿Con qué recursos? Los recursos necesarios –adicionales- que demande el Monitoreo y
Evaluación (encuestas e investigaciones) deben estar previstos como parte del costo que
demande el Plan de Acción.
La evaluación se ocupa de quién o qué grupo se ha beneficiado (ó ha sido adversamente
afectado), en qué cuantía (en comparación con la situación imperante antes de la actividad
de que se trate), de qué manera (directa o indirectamente) y por qué (estableciendo en la
medida de las posibles relaciones causales entre las actividades y los resultados).
Dentro de la gestión institucional, la evaluación es el cuestionamiento, la revisión y la
adecuación de la planificación, así como de las realizaciones. Se realiza interna y
externamente:
• Antes de la ejecución, examinando la planificación: "Evaluación ex-ante".
• Durante la ejecución, para analizar si las hipótesis y supuestos de la evaluación ex-
ante siguen válidos, a fin de introducir ajustes: "Evaluación continua" (Interna y/o
externa).
• Al concluir la ejecución, para valorar el logro de los efectos y el impacto: "Evaluación
fin de proyecto".
• Años después de terminar las actividades, para obtener enseñanzas para las futuras
planificaciones: "Evaluación ex-post".
Esta información se dirige a las instancias encargadas de la dirección y de políticas
institucionales para tener una orientación óptima hacia la situación/problemas para la nueva
planificación ó re-adecuación del sistema de gestión/ejecución.
Con la evaluación se califica:
Quién, en qué, de qué manera y por qué se ha beneficiado.
CRECER CON ENERGIA D26 – Manual de M&E página 23 de 134
1.4 Tipos de Monitoreo y Evaluación.
¿Qué es lo que el Monitoreo y la Evaluación tienen en común? Pues que ambos conducen
hacia el aprendizaje sobre lo que se está haciendo, cómo se lo hace, enfocándose en:
• Eficacia.
• Efectividad.
• Impacto.
La Eficacia avisa si los insumos puestos en el trabajo son apropiados en términos del
producto de salida. Esto puede ser colocado en términos de dinero, tiempo, personal,
equipamiento y otros. Cuando usted conduce un proyecto y está preocupado sobre su
replicabilidad o sobre su crecimiento (scaling-up), entonces es muy importante tener este
elemento correcto.
Ejemplo:
• Número de clientes conectados o volumen de ventas.
• Frecuencia de enfermedades (tales como problemas respiratorios).
• Gasto de energía (con servicio equivalente).
La efectividad es una medida del alcance en el cual un programa de desarrollo o proyecto
adquiere los objetivos específicos establecidos. Si, por ejemplo, los actores (incluyendo a los
usuarios finales) pueden crear “nuevos usos” para el servicio de electricidad.
El impacto avisa si lo que uno ha realizado, ha implicado una diferencia sobre la situación o
problema al que estamos abocándonos. En otras palabras, ¿fue la estrategia la correcta?
Por ejemplo, al haberse incrementado los usos de electricidad ha repercutido en la mejora de
condiciones sociales y económicas de los beneficiarios.
Antes de que se decida crecer o replicar el proyecto en otro lugar, necesitará estar seguro de
que lo que está haciendo tiene sentido en términos del impacto que desea alcanzar. A partir
de esto, debe tener claro que el M&E es mejor realizado cuando existe una adecuada
planificación contra la cual medir el progreso y los logros. Existen herramientas en este
documento que tratan sobre la planificación: una mirada a la planeación estratégica y a la
planificación operativa.
1.4.1 Monitoreo y Evaluación de proceso.
“Se denomina “monitoreo de proceso” a las tareas obtenidas a través de una selección
consciente de determinados pasos y su observación de forma selectiva y sistemática, a fin
de compararlos con otros y dialogar sobre ellos para extraer enseñanzas que puedan
aplicarse provechosamente en la conducción de procesos”6
.
Los indicadores de proceso que se usan, miden y verifican los cambios que se producen en
el corto plazo, como resultado inmediato y directo de las actividades realizadas por el
proyecto corresponden al nivel de actividades y dan cuenta de la puesta en marcha del
proyecto. Se hallan en un nivel operacional.
6
GTZ, “Seguimiento de Procesos, una ayuda para personal de proyectos” Eschborn, 1993.
CRECER CON ENERGIA D26 – Manual de M&E página 24 de 134
1.4.2 Monitoreo y Evaluación de medio término.
El Monitoreo y Evaluación de medio término, como su nombre lo indica, se realiza alrededor
de la mitad del tiempo previsto para la ejecución del proyecto, con la finalidad de obtener
información importante para la toma de decisiones. Cabe mencionar que el M&E es un
proceso continuo; sin embargo la evaluación de medio término tendrá un proceso de
documentación, reflexión y comparación de las actividades, avances y logros alcanzados, en
comparación con las prestaciones establecidas en el Marco Lógico del Proyecto y los
compromisos contractuales a los que se arriben.
1.4.3 Evaluación de cierre.
La evaluación final del proyecto se realizará una vez recibido el último reporte técnico y
financiero del mismo. Este reporte deberá contener ejemplos concretos sobre: lecciones
aprendidas en los aspectos técnicos de aplicación de los diferentes componentes del
proyecto; construcción de capacidad; promoción de la conciencia pública; participación con
enfoque de género; pueblos indígenas involucrados; co-financiamiento; relaciones con
política y entidades gubernamentales; acuerdos con donantes y otros programas; así como
la replicabilidad para el futuro. En esta evaluación se recomienda que participen activamente
los actores involucrados en el proyecto.
1.4.4 Monitoreo y Evaluación de efectos e impacto.
Este tipo de monitoreo y evaluación al impacto del Proyecto es necesario para valorar el
aporte del proyecto y el cumplimiento de sus objetivos. Los impactos que se esperan lograr
están en relación al cambio de hábitos de la población involucrada en el proyecto. También
es importante analizar el impacto sobre los involucrados en el proyecto, respecto a la actitud
para con los proyectos futuros.
El Monitoreo y evaluación de los efectos se refiere sólo a la Planificación, en la medida
en que ésta se interesa por los objetivos a largo plazo. De momento, no podemos sino
avanzar en supuestos o hipótesis sobre los efectos deseados y los no deseados. Las
repercusiones sólo se hacen sentir con el tiempo y están en interacción con las influencias
desfavorables y favorables del entorno. Si los efectos son sostenibles en el tiempo,
podemos hablar de “impacto”.
El "impacto” consta de las consecuencias a mediano y largo plazo que tiene un proyecto
para el entorno y su población, sean deseadas (planificadas) o no deseadas.
Fuente: Karl Herweg & Kurt Steiner 2002 “Monitoreo y valoración de impacto” (CDMA& GTZ).
GOOOOOL
… y sus efectos secundarios
CRECER CON ENERGIA D26 – Manual de M&E página 25 de 134
El monitoreo y evaluación del impacto se interesa por los efectos socioeconómicos y
ecológicos de un proyecto o de un programa, es decir: los efectos son aquellos que
trascienden los objetivos perseguidos y los resultados esperados.
Dichos efectos, deseados o no, se manifiestan ya durante el desarrollo del proyecto o
únicamente concluido éste. Por este motivo, ya es posible elaborar un monitoreo y
evaluación del impacto durante el transcurso del proyecto; pero a menudo se debe
proseguir una vez terminado el programa o proyecto para permitir afirmaciones claras.
El monitoreo y evaluación del impacto establece un puente entre los resultados y las
correlaciones de los efectos en el contexto. Por eso, sirve ante todo para el manejo
estratégico y la formulación de la política para los futuros proyectos.
Generalmente, el monitoreo y evaluación del impacto requiere muchos esfuerzos cuando
trasciende las correlaciones entre resultado del proyecto y transformaciones. La
organización del monitoreo y evaluación del impacto debe, si las circunstancias lo requieren,
convertirse en un acto independiente durante el desarrollo del proyecto. Por ejemplo,
cuando, a nivel de un programa, se crea una pequeña comunidad de trabajo o instancia de
coordinación compuesta de asesores/as locales y externos/as para asumir labores de
monitoreo de diferentes proyectos. Además, ello posee la ventaja de que se mantiene el
conocimiento metodológico adquirido y se sigue desarrollando. De ese modo, también se
garantiza mejor el monitoreo del impacto a largo plazo.
Los procedimientos e instrumentos para el monitoreo y evaluación de impacto son
idénticos a los del M&E de los resultados: resumen de información en cuadros y secuencias
temporales, Benchmarking7
, etc., sin embargo, la forma de encarar el monitoreo y
evaluación del impacto difiere fundamentalmente. Aquí, el primer paso consiste en formular
las hipótesis de impacto. Con estos supuestos sobre posibles efectos seleccionamos los
campos de observación, que examinamos periódicamente a la luz de indicadores.
El Monitoreo y evaluación de impacto se distingue de otras formas de M&E por la larga
duración del período de observación y por la estrecha relación entre los efectos provocados
por un proyecto y el contexto.
Fuente: Martina Vahlhaus, 1999, ¿Cómo implantar y ejecutar el monitoreo del impacto? GTZ.
7
Benchmarking significa mutua cooperación y aprendizaje común con otros proyectos/programas. Es una forma estructurada
de intercambio de experiencias que permite comparar resultados y procedimientos.
CRECER CON ENERGIA D26 – Manual de M&E página 26 de 134
Para la correcta introducción e implementación del M&E de impacto, se deben seguir seis
pasos secuenciales, los cuales se explican en el gráfico anterior.
Valoración del monitoreo y evaluación de impacto.
La valoración del M&E de impacto y la visualización de los cambios en el entorno se puede
realizar, por ejemplo, mediante un diagrama de "araña” (véase Gráfico). Para este propósito,
es útil una clasificación para cada indicador (por ej. de 5 "el cambio se considera muy bueno”
a 1 "el cambio se considera muy malo”). La puntuación para cada indicador ya debería
prepararse en esta fase, mediante una discusión entre todos los participantes. Hay que
responder en relación con cada indicador seleccionando las preguntas: "¿Dónde estamos?”
y "¿Dónde queremos estar?”. El mejor logro realista posible para cada indicador es 5 (muy
bien) y el peor 1 (muy mal).
Fuente: Karl Herweg & Kurt Steiner 2002 “Monitoreo y valoración de impacto" (CDMA& GTZ).
1.5 ¿Qué son los indicadores?
La palabra indicador, que proviene del latín indicare (señalar, avisar y estimar), alude a
hechos o datos concretos que prueban la existencia de cambios conducentes hacia los
resultados e impactos buscados.
Los indicadores son como las marcas de señalización al borde de las carreteras y caminos:
muestran si usted sigue en la ruta correcta y cuánto ha avanzado.
En la vida cotidiana es muy común el uso de indicadores (horas y minutos como indicadores
de tiempo, puntajes en pruebas y exámenes como indicadores de progreso académico,
kilogramos y metros como indicadores de peso y longitud respectivamente, entre otros).
Un indicador es un instrumento que permite a los actores de un proyecto observar y medir
resultados. Los indicadores constituyen señales de cambio reconocidas por diferentes
actores. Se establecen preguntando: ¿Cómo saber de modo claro y fehaciente que se está
logrando el resultado propuesto o previsto?8
.
Los indicadores son parámetros seleccionados para representar una situación compleja y a
menudo imposible de medir directamente. Estos pueden ser cuantitativos o cualitativos; y la
combinación de ellos resulta en indicadores mixtos.
Por ejemplo, para el M&E de indicadores para el desarrollo sostenible han sido formulados
30 indicadores, clasificados en tres dimensiones (social, económica y ambiental), a su vez
8 Emma Rotondo, Gloria Vela. Indicadores de género. PREVAL/PROGÉNERO, FIDA. 2004.
CRECER CON ENERGIA D26 – Manual de M&E página 27 de 134
han sido reclasificados en 7 temas y 19 sub temas por la Comisión de Desarrollo Sostenible
de las Naciones Unidas (CSD):
Ejemplo en la dimensión social:
Tema Sub-tema Indicador de energía Componentes
Equidad Accesibilidad Porcentaje de
viviendas (o
personas) sin
electricidad o energía
comercial, o
altamente
dependiente de
energía no comercial.
Viviendas (o personas)
sin electricidad,
energía comercial o
altamente
dependiente de
energía no comercial.
Número total de
viviendas o población.
Ejemplo en la dimensión económica:
Modelos de Uso y
producción
Usos finales Intensidad energética
en agricultura.
(relación entre el
consumo de energía
de un sector o
segmento
determinado y el
valor agregado de
dicho sector o
segmento)
Uso de energía en
sector agrícola.
Valor añadido
correspondiente.
Ejemplo en la dimensión ambiental:
Tierra Forestación Tasa de deforestación
atribuida al componer
parte de la oferta de
biomasa para la
matriz energética.
Área Forestada en dos
diferentes momentos.
Utilización de
biomasa.
Fuente: “Energy indicators for sustainable development: guidelines and methodologies”, International Atomic Energy Agency,
United Nations Department of Economic and Social Affairs, International Energy Agency, Eurostat and European Environment
Agency y aportes propios.
En el ámbito de proyectos energéticos se utilizan indicadores cuantitativos, cualitativos o
mixtos.
1.5.1 Indicadores cuantitativos.
Sus principales características son las siguientes:
• Expresan cantidad (cuánto/as) y frecuencia.
CRECER CON ENERGIA D26 – Manual de M&E página 28 de 134
• Las unidades de medida son el número y el porcentaje.
• Los principales métodos e instrumentos utilizados para verificarlos son los censos, las
encuestas, las entrevistas estructuradas, aplicando –en algunos casos- modelos
matemáticos y econométricos.
Ejemplos de indicadores cuantitativos:
• Nº de personas que han accedido a un sistema de suministro energético,
• Con valores:
• De 10,000 personas de una población, 80% tienen el suministro energético.
1.5.2 Indicadores cualitativos.
Sus principales características son las siguientes:
• Expresan cualidades, características o fenómenos intangibles.
• Se refieren a percepciones, prácticas, opiniones, habilidades o hechos.
• Describen, entre otras cosas, la situación y condiciones de vida de las personas; las
relaciones de poder y desigualdad; los cambios en la sensación, satisfacción y
comprensión de las personas sobre algún hecho.
• Por lo general, las unidades de verificación de los indicadores cualitativos son: tipo,
grado y nivel.
• Para su formulación se requiere la definición de escalas.
En general, los indicadores cualitativos son particularmente útiles para comprender el punto
de vista, los intereses y las prioridades de los actores del proyecto. Cuando el cambio
esperado se refiere a variaciones en conocimientos, actitudes y prácticas (capacidades) de
las personas para desarrollar sus potencialidades y superar la pobreza, la aplicación de este
tipo de indicadores es relevante y necesaria durante y después de la implementación del
proyecto.
Ejemplos de indicadores cualitativos:
Existe la predisposición de los pobladores del lugar para la administración del sistema
energético en base al marco legal establecido.
Grado de capacidad de las mujeres para gestionar recursos, expresado en la siguiente
escala:
i) Hacen trámites legales relativos a su actividad.
ii) Elaboran planes estratégicos y operativos para sus organizaciones.
iii) Elaboran y presentan proyectos ante entidades públicas y privadas.
1.5.3 Indicadores mixtos.
Son aquellos que permiten verificar cambios cualitativos y, al mismo tiempo, determinar en
cuántos individuos, organizaciones o instancias se presentan esos cambios. Por lo anterior,
en los indicadores mixtos siempre se presenta una unidad de medida (número o porcentaje)
y una unidad de verificación (tipo, grado o nivel). Por ejemplo:
Número (cantidad) de mujeres según grado (cualidad) de participación en la toma de
decisiones en la gestión de la empresa eléctrica. Número (cantidad) y tipo (cualidad) de
CRECER CON ENERGIA D26 – Manual de M&E página 29 de 134
microempresas que manifiestan interés por conocer tecnologías energéticas limpias para su
actividad productiva.
Los indicadores mixtos son particularmente importantes en la evaluación, ya que permiten
verificar, tanto la magnitud o profundidad de los cambios obtenidos como la amplitud con que
se presentan, lo que hace posible una mayor comprensión acerca de la obtención de los
resultados esperados.
1.5.4 ¿Cuáles son las características principales de los indicadores?
La identificación de un correcto indicador es muy importante para el M&E. Para este fin se
deben observar necesariamente las características de los indicadores, verificando la
inclusión de estas características, ya sea en la formulación de los indicadores, como también
en la revisión de indicadores ya formulados anteriormente.
Basándose en la Matriz de Planificación del Proyecto (MPP), se analiza la lógica horizontal y
vertical, enfatizando en la segunda columna: Indicadores.
Los indicadores permiten verificar el cumplimiento de objetivos y de resultados.
Caracterizan su contenido.
Especifican / Acotan los objetivos y/o resultados.
Son la base para el M&E.
Los Indicadores Verificables Objetivamente (IVO’s) que se encuentran en la MPP, son
“hechos con los cuales se pueden medir otros hechos”. En otras palabras, es una parte que
da cuenta del todo e indican la consecución de los objetivos y resultados.
Cabe mencionar que en el contexto de proyectos, los IVO’s son redactados en uno o varios
párrafos, que denotan la composición de las variables que se pueden medir o identificar. Las
variables involucradas en un indicador pueden ser todas o algunas que se muestran en el
cuadro siguiente:
Se definen en términos de: Características de un buen indicador
Variables Descripción LE AMO MAREA…..R
⇒ Calidad ¿Cuán positivo / cuán
bueno?
Limitado en tiempo
y cantidad
Medible
⇒ Cantidad ¿Cuánto? Específico:
orientado al logro
del objetivo.
Alcanzable
⇒ Tiempo ¿Cuándo? ... Realista
⇒ Localización ¿Dónde? Alcanzable Específico
⇒ Grupo meta ¿Quiénes? Medible Acotado
Observable Reto
Fuente: Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH
Deutsche Welthungerhilfe (Agro Acción Alemana), Gamarra Alba, Canedo Walter, Gangotena Juan. 2001.
También hay que tener una visión de proceso al hacer los indicadores. En los primeros años
se puede ver si se va a lograr o no.
CRECER CON ENERGIA D26 – Manual de M&E página 30 de 134
A manera de ejemplo, se muestra un indicador que está compuesto por las variables
mencionadas en el cuadro anterior.
“En la localidad de Charagua perteneciente al Chaco boliviano (Localización), la
asociación de pequeños ganaderos (Grupo meta), ha logrado establecer durante el
segundo semestre del año 2007 (Tiempo), un sistema de bombeo de agua con sistema
fotovoltaico con capacidad de 2 l/s que les permite atender un abrevadero de 30 cabezas
de ganado vacuno al día (Cantidad); con lo cual el índice de mortalidad del ganado
atribuible a la sequía ha disminuido un 30% (Calidad)”.
1.6 ¿Qué puede lograr el M&E?
El monitoreo, al observar la implementación de un proceso (programa, estrategia,
planificación) a distintos niveles, desde el inicio hasta el fin, nos permite reflexionar. No
siempre las decisiones implican hacer correcciones, a veces la situación observada es la
situación esperada. En el caso que no lo sea, es necesario hacer correcciones y se debe
reflexionar sobre las medidas de corrección.
LAS 4 OPCIONES DE CONDUCCIÓN Y/O DE TOMA DE DECISIONES
• Continuar: no hacer nada y seguir sin cambiar algo.
• Reorientar: hacer ajustes de implementación.
• Reorientar: hacer ajustes del concepto / de los objetivos.
• Parar el proyecto / programa.
Ajustes de implementación se pueden hacer internamente. En cambio, si se requiere hacer
ajustes de concepto o a nivel de estrategia, se involucran otros actores, implica otros niveles
de mando. El equipo de monitoreo suele proponer, mas no tomar decisiones.
En los años 80, el monitoreo se enfocaba en las actividades; en los noventa se empieza e
integrar los productos, resultados y servicios. Actualmente, se habla sobre monitoreo
orientado principalmente a impactos.
1.7 Cambios en los enfoques del monitoreo a nivel internacional.
Antes Ahora
Tendencias en el pasado.
Enfoque principal a lo operativo.
Finalidad más hacia control y legitimación.
Orientación más hacia el pasado y
problemas.
Afán por acumular datos y documentarlos.
Normas y procedimiento definido.
Delegación a pocas personas y
especialistas.
Orientación al futuro.
Enfoque principal a lo estratégico.
Finalidad hacia mejoramiento de la calidad del
trabajo.
Orientación hacia cambios en el futuro.
Afán por proveer las informaciones que necesitan
los usuarios.
Procedimientos flexibles.
Participan aquéllos / aquéllas que influyen en la
calidad del trabajo.
Fuente: Memoria del Taller de Monitoreo de Resultados e Impacto. Comisión multisectorial de reducción de
riesgos para el desarrollo. PCM – GTZ. Febrero de 2004.
CRECER CON ENERGIA D26 – Manual de M&E página 31 de 134
La idea no es sólo monitorear lo que hemos hecho o hemos logrado, sino si hubo impacto en
nuestra sociedad, bajo la idea que nosotros invertimos recursos para lograr cambios en
otros.
Las actividades y los productos son medios para lograr cambios. En este sentido, se deben
gestionar las actividades y los productos orientados hacia estos cambios. ¿Esta actividad
sirve para lograr este cambio?; ¿existe una hipótesis lógica detrás de mi estrategia y los
impactos que quiero lograr?
Cuando se hace una estrategia, plan, proyecto, primero se tienen que identificar los cambios
que queremos lograr y establecer nuestras intervenciones en base a una hipótesis sobre el
cambio que van a producir. Esta hipótesis es la cadena de impacto.
Entonces, se deben monitorear, tanto las actividades como los cambios que se producen y
ver si hay enlace entre las dos. Se dice que los cambios se producen después de la
implementación; de ser cierto, sólo tendría que monitorear las actividades y los productos.
Sin embargo, la realidad no es así, los cambios no se dan de un momento a otro. El cambio
se va desarrollando durante el proceso y se pueden reflejar en pequeños aspectos.
Por ejemplo, si se quiere cambiar la forma de monitorear estrategias, no se puede trabajar
por 2 años en manuales y al final ver que no funciona este método para recién empezar a
buscar otra manera.
Paralelamente a las acciones, se van a dar los cambios. Esto representa una nueva visión
de cómo se gestionan los programas.
1.8 ¿De dónde sale la información para la toma de decisiones?
La respuesta es del cambio, después de una intervención se refleja otra. Sin embargo, otro
factor a considerar, es que los responsables de los programas tomen como criterio los datos
elaborados por la unidad de monitoreo en sus decisiones.
1.9 Pasos para conducir el monitoreo
De acuerdo al tipo de proyecto y al énfasis que tenga el mismo, se elaborarán: objetivos,
resultados, actividades e insumos; cuidando siempre de incluir la perspectiva de género,
pero tomando en cuenta las características de la participación y rol de las mujeres en su
grupo social correspondiente. Más allá de la inclusión de la perspectiva de género, se debe
cuidar que la planificación sea participativa, legítima y acorde a los “usos y costumbres” de
cada grupo social involucrado en el proyecto, ya que las visiones y realidades de cada grupo
social, no son necesariamente coincidentes con otros grupos o personas que puedan
intervenir en un proyecto.
Un ejemplo, a modo de introducción de lógica de planificación, se encuentra en el Anexo del
presente módulo, un caso de uso productivo, energía, género y metas de desarrollo del
milenio.
Actuar DecidirObservar
ActuarDecidir ObservarActuar
Implementación de la planificación
CRECER CON ENERGIA D26 – Manual de M&E página 32 de 134
Puesto que existen diferencias entre el diseño de un sistema de monitoreo y un proceso de
evaluación, trataremos ambos aspectos de manera separada.
Cuando diseña un sistema de monitoreo, usted toma un punto de vista para su elaboración y
establecerlo proveerá información oportuna en una base concurrente, de tal manera que
pueda mejorar lo que hace y cómo lo hace
A continuación se encuentra el proceso paso a paso que puede usar para diseñar el sistema
de M&E para su organización o proyecto.
Paso 1: Introducción del concepto de eficacia, efectividad e impacto (Ver glosario de
Términos).
Paso 2: Generar una lista de indicadores para cada uno de los tres aspectos y
clarifique qué variables (ver Glosario de términos), necesitan estar enlazadas. Realizar este
paso de manera participativa en un taller donde podrá seleccionar las variables que lo
ayudarán a responder las preguntas que piensa que son importantes, por ejemplo: Edad,
género, religión, urbano – rural, categoría económica, ambiente familiar, duración de la
iniciativa del proyecto y número de talleres realizados.
Con la información correcta Ud. podrá responder preguntas tales como:
• ¿El mensaje recibido varía con la edad?
• La categoría económica: ¿las personas jóvenes en áreas responden mejor o peor al
mensaje o no hay diferencia?
• ¿El número de talleres a los que asisten las personas hace una diferencia en temas
de impacto?
Preguntas a este tipo de inquietudes permiten al proyecto o a la organización tomar
decisiones acerca del qué hacer, cómo hacer y también a medir su efectividad e impacto.
Respuestas a preguntas tales como:
• ¿Más personas participan en sesiones cuando se organizan con antelación?
• ¿Existe más participación cuando no se cobra para los cursos?
• ¿Participan más jóvenes cuando las sesiones son realizadas en fines de semana o en
las noches?
• ¿Es mejor realizar un taller en la comunidad o traer a las personas a un centro de
capacitación?
Paso 3: Decidir cómo realizará la recolección de la información que necesita y dónde se
guardará (en la computadora o en archivos manuales).
Paso 4: Decidir cuán frecuentemente se analizará la información – esto significa colocarla
toda junta y procurar responder a preguntas que piensa son importantes.
Paso 5: Recolectar, analizar y reportar.
CRECER CON ENERGIA D26 – Manual de M&E página 33 de 134
1.10 Pasos para conducir la evaluación.
En la evaluación nosotros analizamos los términos de referencia, el objetivo de la
evaluación, las preguntas claves de evaluación y la metodología.
Términos de Referencia:
El diseñar el proceso de evaluación significa estar en capacidad de desarrollar términos de
referencia para el proceso (si Ud.es parte del proyecto o de la organización) o estar en
capacidad de diseñar una propuesta para satisfacer las necesidades del proyecto o de la
organización (si Ud. es el consultor).
Las principales secciones en los términos de referencia para un proceso de evaluación
generalmente incluyen:
Antecedentes: Sobre el entorno o condiciones del proyecto o de la organización,
información sobre el problema identificado, qué es lo que se hace, hace cuánto que inició
actividades y por qué ha decidido realizar la evaluación.
Objetivo: En este sector debe indicar qué es lo que la organización o proyecto quiere que la
evaluación consiga.
Preguntas clave de evaluación: cuáles son las preguntas principales a las que la
evaluación debe dirigirse.
Objetivos específicos: Cuáles son las áreas específicas, internas y/o externas que debe
abordar la evaluación. Por ejemplo, si desea que la evaluación incluya una revisión
económica o que incluya ciertos temas específicos del programa.
Metodología: en esta parte Ud. debe dar parámetros amplios sobre el tipo de enfoque que
favorecerá en la evaluación. Ud. puede sugerir el tipo de técnicas que le gustaría utilice el
equipo de evaluación.
Temas logísticos: Tiempo, costo, requerimientos en la composición del equipo, etc.
1.11 Propósito de la evaluación.
El propósito de una evaluación es la razón por la cual la está realizado. Va más allá de lo
que Ud. quiere saber y por qué lo quiere saber. Generalmente es una oración o párrafo que
tiene dos partes:
• Qué quiere que sea evaluado.
• Con qué finalidad quiere realizarla.
A continuación se plantea algunos ejemplos de propósitos de evaluación:
Proveer a la organización con la información necesaria para tomar decisiones acerca del
futuro del proyecto.
CRECER CON ENERGIA D26 – Manual de M&E página 34 de 134
Asesorar sobre si la organización del proyecto tiene el impacto planeado de manera de
decidir si se debe o no replicar el modelo en otros lugares.
Asesorar al programa en términos de efectividad, impacto en el grupo meta, eficiencia y
sostenibilidad de manera de mejorar su funcionamiento.
De esta manera, el propósito enunciado dará el enfoque principal al proceso de evaluación.
1.11.1 Preguntas clave de evaluación.
Las preguntas clave de evaluación son las preguntas principales que quiere que sean
respondidas a través del proceso de evaluación. No son preguntas simples y normalmente
raras veces son respondidas por un “sí” o “no”. Una puede hacerse preguntas útiles para la
evaluación, analizando por ejemplo si:
• Provocan cuestionamientos.
• Asumen desafíos.
• Enfocan la investigación y reflexión
• Provocan otras preguntas adicionales.
A continuación, se presentan algunos ejemplos de preguntas clave de evaluación,
relacionadas al objetivo del proyecto:
El propósito de la evaluación es asesorar sobre cuán eficiente es el proyecto en la entrega
de beneficios a la comunidad identificada para así informar las decisiones del Directorio
sobre la continuidad y replicación:
• ¿Quién se está beneficiando actualmente del proyecto y de qué manera?
• ¿Los insumos (tiempo y dinero) justifican los resultados y, si es así o no; sobre qué
base se puede justificar?
• ¿Qué mejoraría la eficiencia, efectividad e impacto del proyecto?
• ¿Cuáles son las lecciones que pueden aprenderse del proyecto en términos de
replicabilidad?
Note que ninguna de estas preguntas trata sobre un elemento específico o área del
funcionamiento interno o externo del proyecto u organización. La mayoría de las respuestas
requerirán que el equipo de evaluación pueda manejar un rango de elementos del proyecto u
organización de manera de responderlas.
Otros ejemplos de preguntas clave de evaluación podrían ser:
• ¿Cuáles son las maneras más efectivas en las cuales un proyecto de este tipo puede
abordar el problema identificado?
• ¿En qué forma el funcionamiento interno y la estructura de la organización impactan
positivamente en el programa de trabajo?
• ¿Qué aprendizajes de este proyecto tendrían pertinencia a lo largo del desarrollo
completo del espectro?
Claramente podría haber muchos ejemplos. Nuestra experiencia muestra que un proceso de
evaluación está diseñado con tales preguntas en mente, de manera de producir muchos más
puntos de vista interesantes que simplemente preguntando cuestiones obvias como: ¿El
directorio tiene un rol importante en la organización? o ¿Qué impacto estamos teniendo?
CRECER CON ENERGIA D26 – Manual de M&E página 35 de 134
1.12 Metodología.
“Metodología” es diferente a “Métodos”, tiene más relación con el enfoque que usa en el
proceso de evaluación. Ud. Puede – por ejemplo – encargar o llevar adelante un proceso de
evaluación que se encuentra en gran parte en fuentes escritas, primarias o secundarias:
informes, fichas, etc. Por otra parte, Ud. puede solicitar un proceso de evaluación que
involucre la obtención de insumos a través de actores clave. La mayoría de los términos de
referencia solicitarán una combinación de ambos; pero también se deben especificar cómo
se desea que el equipo de evaluación obtenga los insumos de los grupos de actores, por
ejemplo:
• A través de encuestas.
• A través de informantes clave.
• A través de grupos focales.
La información también servirá para elaborar los estudios de línea de base, tomando en
cuenta que se debe prever el control de daños. Por control de daños, nos referimos a lo que
se necesita hacer si Ud. falla al obtener la información de línea de base al inicio. En esta
parte, también uno esperaría encontrar algunos indicios de los formatos de reporte: ¿Todos
los informes serán escritos?; ¿El equipo reportará al gerente, a todo el personal, al personal,
al Directorio y a los beneficiarios?; ¿Habrán reportes intermedios o sólo un informe final?;
¿Qué tipo de evidencias requiere la organización o el proyecto para sostener las opiniones
vertidas por los evaluadores?; ¿Quiénes estarán involucrados en el análisis?
La sección “Metodología” en los Términos de Referencia deben proveer un marco general de
cómo se espera que el trabajo de evaluación sea realizado para el proyecto u organización.
Cabe aclarar que existe muchas veces una confusión generalizada sobre los términos
“metodología”, “métodos”, “técnicas”, “instrumentos de investigación”, entre otros; sin
embargo a objeto del presente Manual, lo que se denomina “metodología” en los programas
y proyectos son en realidad métodos, técnicas y/o instrumentos de medición o de
investigación.
CRECER CON ENERGIA D26 – Manual de M&E página 36 de 134
1.13 Diferentes enfoques para la Evaluación.
Un resumen de los diferentes enfoques usados para la evaluación, se puede observar en el
siguiente cuadro:
Enfoques Objetivos
principales
Preguntas tipo
principales
Metodología afín
Basada en
objetivos
Valoración de logro
de metas y
objetivos.
¿Fueron
alcanzados los
objetivos?; ¿De
manera eficiente?;
¿Eran los objetivos
correctos?
Comparación de
línea de base (ver
glosario de
términos) y
progreso de los
datos para
encontrar las
formas de medir
indicadores.
Toma de decisiones Provisión de
información.
¿Es efectivo el
proyecto?;
¿Debería
continuar?; ¿Cómo
debería ser
modificado?
Valoración del
rango de opciones
relacionadas con
contexto del
proyecto, insumos,
procesos y
productos.
Establecimiento de
cierto tipo de
consenso en la
toma de
decisiones.
Libre de objetivos Valoración amplia
de los efectos del
proyecto, tanto de
los esperados
como de los no
esperados.
¿Cuáles son los
resultados?; ¿Qué
valor tienen los
resultados?
Determinación
independiente de
las necesidades y
estándares para
juzgar la valía del
proyecto. Uso de
técnicas
cualitativas y
cuantitativas para
descubrir cualquier
resultado posible.
Juicio de expertos Uso de expertise ¿Cómo valora un
profesional externo
este proyecto?
Revisión crítica
basada en la
experiencia,
encuesta informal y
percepciones
subjetivas.
Fuente: (PACT’s Evaluation Sourcebook, 1984.)
Nuestra percepción es que los mejores evaluadores usan una combinación de estos
enfoques.
CRECER CON ENERGIA D26 – Manual de M&E página 37 de 134
1.14 Ventajas y desventajas de la evaluación interna y externa de un proyecto.
Las evaluaciones de un proyecto o programa pueden ser internas y/externas. Cada una de
ellas conlleva una serie de ventajas y desventajas. El cuadro que se muestra a continuación
denota estas características.
Tipo de
evaluación
Ventajas Desventajas
Evaluación interna Los evaluadores están muy
familiarizados con el trabajo, la
cultura organizacional, las
intenciones y los objetivos.
Algunas veces las personas están
más dispuestas a hablar con los
de adentro que con los externos.
Una evaluación interna es una
herramienta de gestión, una forma
de auto – corrección y mucho
menos amenazante que una
evaluación externa. Esto puede
hacer más fácil para los
involucrados el aceptar los
hallazgos y críticas.
Una evaluación interna cuesta
menos que una externa.
El equipo de evaluación puede
tener intereses vertidos en
alcanzar conclusiones positivas
acerca del trabajo u
organización. Por esta razón,
otros actores, tales como los
donantes pueden preferir una
evaluación externa.
El equipo puede no tener las
destrezas o entrenamiento en
evaluación.
La evaluación tomará una
cantidad considerable de tiempo
de la organización – mientras
que tendría un costo menor que
la evaluación externa - los
costos de oportunidad pueden
ser altos.
Evaluación externa
(realizada por un
equipo o persona
que no tenga
intereses vertidos
en el proyecto)
La evaluación es más objetiva,
puesto que los evaluadores
tendrán cierta distancia del
trabajo.
Los evaluadores deben tener
destrezas y experiencias de
evaluación.
Algunas personas están más
predispuestas a hablar con
extraños que con los del interior
de la organización.
Utilizar un evaluador externo da
mayor credibilidad a los hallazgos,
especialmente a los hallazgos
positivos.
Alguien extraño a la
organización o proyecto puede
no entender la cultura o incluso
el trabajo que se está tratando
de lograr.
Aquéllos directamente
involucrados pueden sentirse
amenazados por extraños y ser
menos abiertos a hablar
abiertamente y a cooperar en el
proceso.
La evaluación externa puede ser
altamente costosa.
Un evaluador externo puede
malinterpretar lo que usted
espera de la evaluación y no
darle lo que precisaba.
Fuente: CIVICUS, Monitoreo y Evaluación, Janet Shapiro. 2003.
Es recomendable tener ambos tipos de evaluación.
1.15 Pasos para elaborar un plan de monitoreo y evaluación.
Previamente a establecer un plan de M&E, es importante que se revise y perfeccione la
matriz de planificación del proyecto, ya que de la calidad de la planificación, también
CRECER CON ENERGIA D26 – Manual de M&E página 38 de 134
depende la calidad del plan de M&E. En ese sentido, recomendamos revisar los pasos
mencionados en el “M&E Guide for Energy Projects” del Grupo Internacional de trabajo de
M&E en Energía para el Desarrollo (M&EED).
a) Identifique los actores involucrados en las necesidades de M&E.
b) Elabore un diagrama de su proyecto.
c) Asigne resultados del proyecto a los vínculos con su cadena de efectos.
d) Elija los indicadores y métodos de recolección de información.
e) Trate los temas transversales.
f) Elabore un borrador del esquema de M&E.
g) Valide su esquema con los actores del M&E.
h) Integre los aportes de los actores en el diseño del M&E:
i) Ejecute el M&E como parte del proyecto.
j) Elabore conclusiones, presente los resultados del M&E, los acuerdos para el
seguimiento de las recomendaciones.
El proceso planteado para el diseño del plan de Monitoreo y Evaluación, prevé cinco pasos
que son los siguientes: Construcción de la matriz; Agregación de fuentes; Mapa de fuentes;
Investigación, negociación y acuerdos; así como el Diseño de herramientas.
1.15.1 Construcción de la matriz: determinación de datos y variables.
El proceso se inicia con la determinación de los datos y variables que posibilitan la
construcción de cada uno de los indicadores. Esta operación se efectúa para cada uno de
los resultados de la matriz. Establecidas las variables se complementa la matriz con:
La identificación de la fuente u origen de cada una de ellas; para lo cual conviene precisar la
entidad o instancia en la que se genera el dato y, de ser posible, la persona responsable de
Diseño de herramientas
Mapa de fuentes
Construcción de la
matriz
Investigación,
negociación y acuerdos
Agregación de fuentes
CRECER CON ENERGIA D26 – Manual de M&E página 39 de 134
hacerlo, la frecuencia o periodicidad con la que debe generarse el dato, y la herramienta
para su recuperación.
A continuación se presenta un modelo de matriz:
Resultado
Indicador
Variables /
datos
Fuente:
Frecuencia Herramienta
Entidad Responsable
1.15.2 Agregación de fuentes.
Una vez establecida la información consignada en la matriz, es posible agregar las variables
por fuente, de manera de visualizar toda la información que debe ser recuperada de cada
una de las fuentes.
1.15.3 Mapa de fuentes.
Con base en la identificación de las diversas fuentes existentes, para generar la información
necesaria para el Monitoreo y Evaluación, es posible elaborar un mapa institucional de
fuentes. Simplemente consiste en construir un diagrama de los diversos actores que
intervienen en la producción de información.
FUENTE VARIABLES
A
Variable X
Variable y
Variable z
B Variable x
C Variable y
SISTEMA
DE
INFORMACION
B A
D
A1
A2
B1
C1
B2
A3
C
CRECER CON ENERGIA D26 – Manual de M&E página 40 de 134
1.15.4 Investigación, negociación y acuerdos.
Establecido el conjunto de actores que pueden intervenir en la generación de información, es
posible iniciar un proceso de investigación, negociación y acuerdos, orientados a asegurar la
provisión periódica y oportuna de información necesaria para el sistema. Condición
indispensable para poder establecer esta red articulada de transmisión de datos, es que la
información a ser recabada por cada uno de los actores o agentes, le sea útil, es decir
necesaria a cada uno de ellos. Muchas veces será preciso recurrir a una inducción con
miras a sensibilizar a los agentes acerca de la conveniencia y utilidad de la extracción y
empleo de la información.
1.15.5 Diseño y acuerdo de herramientas.
Establecida esta red articulada de actores del sistema de información, será necesario
diseñar, conjuntamente con cada uno de ellos, las herramientas o mecanismos para la
generación y transmisión de la información.
En el cuadro siguiente se muestran algunos formatos que podrían dar una idea para
elaborar, diseñar y manejar un Banco de Indicadores. Es importante mencionar que estos
formatos no son los únicos y que el responsable de M&E podría adoptar cualquier otro
formato o crear uno nuevo, siempre que mantenga la coherencia lógica.
Formato A:
Indicador
Formato B:
Indicador
Formato C:
Indicador
Justificación.
Valor inicial.
Requerimiento de datos.
Momento del levantamiento
de datos.
Responsabilidad.
Requerimiento de recursos.
Calidad de los datos.
Flujo de datos.
Competencias de evaluación
/ decisión.
Logros efectivos.
Valoración.
Medidas de corrección.
Valor inicial.
Explicación racional.
Explicaciones para la
formulación.
Dimensiones cualitativas.
Metas cuantitativas.
Validez.
Costo de verificación.
Instrucciones para la
recolección de datos:
Datos requeridos.
Fuente de datos.
Recolección de datos (fecha, y
procedimiento).
Control de calidad de los datos.
Procesamiento de los datos.
Justificación.
Medición / levantamiento
de datos.
Observaciones.
Fuente: Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH
Deutsche Welthungerhilfe (Agro Acción Alemana), Gamarra Alba, Canedo Walter, Gangotena Juan. 2001.
Teniendo construida la matriz de M&E, ésta servirá para ejecutar las actividades necesarias
para la recolección y procesamiento de la información (preparación, análisis y
documentación), así como también para el análisis y valoración de la información, con miras
a tener la decisión y reacción correctas en el gerenciamiento del proyecto.
CRECER CON ENERGIA D26 – Manual de M&E página 41 de 134
1.15.6 Procedimiento para la construcción de indicadores.
Describir el concepto y llegar a un acuerdo por consenso.
Por ejemplo: En consecuencia con los objetivos y resultados del proyecto,
¿Qué significa capacidad de gestión?
Por ejemplo: para capacidad de gestión se podrían haber identificado las siguientes
dimensiones, entre otras: apalancamiento de recursos, manejo administrativo-contable y
formulación de proyectos.
Revisar si las dimensiones e indicadores corresponden al nivel de resultado que se quiere
evaluar (Impactos, efectos, proceso, etc.).
La siguiente pregunta puede guiar esta reflexión:
¿Tiene cada indicador de la lista elaborada en relación con el nivel de objetivos que el
proyecto debe verificar o medir?
Para cada dimensión, formular indicadores medibles, objetivamente verificables y con
enfoque de género. Recordar que un paso clave será la determinación de la unidad de
análisis:
¿Quiénes serán objeto de la medición o verificación? (personas, instituciones,
organizaciones o grupos).
Identificar la unidad de medida o verificación: número o porcentaje para información
cuantitativa: tipo y nivel o grado para información cualitativa.
Una vez obtenida la lista de indicadores, preguntarse si efectivamente los indicadores son
medibles, objetivamente verificables. La siguiente pregunta puede guiar esta reflexión:
¿Hasta qué punto indican lo que quiero observar y medir?
• Depurar la lista seleccionando los indicadores más relevantes y viables.
• Preguntarse quiénes y a través de qué técnicas recogerán la información para cada
indicador o para un grupo de ellos.
• Estimar la periodicidad del recojo de información y el costo que esto implicará.
Algunas recomendaciones que se deben tener en cuenta al formular indicadores:
• Un solo indicador no puede captar la compleja totalidad de un hecho ni sus múltiples
dimensiones. Por ello, se requiere seleccionar cuidadosamente un conjunto de
indicadores que expliquen mejor el hecho o fenómeno que se quieren evaluar y
comunicar.
• Los indicadores no son rígidos ni invariables, sino más bien referenciales. Estos se
podrán ir ajustando o corroborando a la luz de la experiencia práctica. Los
indicadores requieren ser puestos a prueba permanentemente.
• Es recomendable e importante contar con el número necesario de indicadores, con el
fin de asegurar su utilización y de justificar la inversión para el levantamiento de
información.
• Los indicadores deben corresponder a las necesidades de información de los actores.
Una vez identificadas las demandas, será importante acordar qué actores participarán
en procesos de:
• Recolección de información.
• Análisis.
CRECER CON ENERGIA D26 – Manual de M&E página 42 de 134
• Comunicación de la información.
• Toma de decisiones (uso de la información).
1.16 Pasos para elaborar un plan de Monitoreo y Evaluación (GRUPO
M&EED).
El enfoque del M&E que se presenta a continuación fue preparado por el Grupo de M&EED9
con algunas modificaciones. Se debe resaltar que el M&E es una herramienta de apoyo
para el proyecto y el involucramiento de especialistas del área que pueden apoyar para
mejores resultados.
1.16.1 Acciones necesarias para las mediciones de M&E.
Información requerida Responsabilidad
Valoración/ Revisión.
Análisis de actores.
Especialistas sociales/ Jefes de proyecto.
Los expertos de M&E.
Dibuje el diagrama del proyecto de
energía.
Líderes del proyecto / Especialistas sociales para
obtención de información.
Desarrolle indicadores / Plan de
M&E y recolección de información.
Expertos de M&E / Especialistas sociales con
insumos de los actores.
Mejora de estructura del informe. Expertos de M&E / Especialistas sociales.
Fuente: Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH
Deutsche Welthungerhilfe (Agro Acción Alemana), Gamarra Alba, Canedo Walter, Gangotena Juan. 2001.
1.16.2 Valoración/revisión; Análisis de actores.10
Elabore una lista de los actores más importantes y su interés en el proyecto. Se debe incluir
a las autoridades gubernamentales, donantes, implementadores, gestores del proyecto,
consultores, usuarios y otros que sean relevantes.
¿Están los actores interesados en el M&E de los proyectos? Si es así, cuáles son sus
planes? Si no, entonces pase al próximo paso.
¿Qué información puede ser obtenida de los diversos actores? Haga una lista o tabla de la
información requerida.
1.16.3 Dibuje el diagrama del proyecto de energía.
El diagrama del proyecto puede ser graficado usando el enfoque de DAC-OECD explicado
en el inciso 2.2.5.
9 El M&E para el Grupo de Trabajo de Energía y Desarrollo (M&EED) está representado por varias organizaciones e individuos
que trabajan en temas energéticos y de desarrollo. Ver: www.gvep.org para mayores detalles y documentos de trabajo en M&E.
10 El primer informe para el D25 del proyecto “Crecer con Energía” detalla los actores y su involucramiento tanto en Bolivia
como Paraguay.
CRECER CON ENERGIA D26 – Manual de M&E página 43 de 134
1.16.4 Desarrolle indicadores / Plan de M&E y recolección de información.
Como se mencionó en el marco de M&E DAC, los indicadores específicos necesitan ser
desarrollados para cada paso (insumos, resultados, objetivos e impacto). Los indicadores
deben ser medibles para obtener resultados concretos. Sin embargo, los indicadores
cualitativos, tales como cambios de comportamiento también pueden ser definidos. Es
importante imaginar los métodos de recolección de información que serán usados para
medición de indicadores.
Cuadro para el Plan de M&E
Elementos
en el
diagrama
de la
cadena
causal
Indicadores Métodos de
recolección
de datos
Calendario ¿Quién llevará a
cabo la
recolección de
los datos & su
procesamiento?
Costo
estimado
Línea
de
base
Frecuencia
InsumosActividadesResultadosImpactos
Síntesis e informes
Fuente: M&EED. A guide to monitoring and evaluation for energy projects. M&EED. 2006.
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos
Guía M&E programas energéticos

Más contenido relacionado

La actualidad más candente

Causas y consecuencias
Causas y consecuenciasCausas y consecuencias
Causas y consecuenciasKenny Mendez
 
Sampieri metodologia inv cap 11 elaboración del reporte de investigación
Sampieri metodologia inv cap 11 elaboración del reporte de investigaciónSampieri metodologia inv cap 11 elaboración del reporte de investigación
Sampieri metodologia inv cap 11 elaboración del reporte de investigaciónVilma H
 
Monitoreo y evaluacion de impacto final
Monitoreo y evaluacion de impacto finalMonitoreo y evaluacion de impacto final
Monitoreo y evaluacion de impacto finalolga laura flores
 
Técnicas e Instrumentos de trabajo social
Técnicas  e Instrumentos de trabajo socialTécnicas  e Instrumentos de trabajo social
Técnicas e Instrumentos de trabajo socialMariamerced
 
Unidad 3 fase 5 120004_19-_presentacion de resultados
Unidad 3 fase 5 120004_19-_presentacion de resultadosUnidad 3 fase 5 120004_19-_presentacion de resultados
Unidad 3 fase 5 120004_19-_presentacion de resultadosyency yasnith niño rosas
 
Metodologia para el mapeo de actores en la construccion de visiones subregio...
Metodologia para el mapeo de actores en la  construccion de visiones subregio...Metodologia para el mapeo de actores en la  construccion de visiones subregio...
Metodologia para el mapeo de actores en la construccion de visiones subregio...Emilio Garcia Gutierrez
 
Tecnicas e instrumentos de trabajo social
Tecnicas e instrumentos de trabajo socialTecnicas e instrumentos de trabajo social
Tecnicas e instrumentos de trabajo socialerikamoya1896
 
Importancia del desarrollo de proyectos sociales en nuestra region
Importancia  del desarrollo de proyectos sociales en nuestra regionImportancia  del desarrollo de proyectos sociales en nuestra region
Importancia del desarrollo de proyectos sociales en nuestra regionandrege27
 
Plan de inducción
Plan de inducciónPlan de inducción
Plan de inducciónRonald Sulca
 
Manejo de inventarios
Manejo de inventarios Manejo de inventarios
Manejo de inventarios elena170284
 
Mapas conceptuales de capitulos de sampieri
Mapas conceptuales de capitulos de sampieriMapas conceptuales de capitulos de sampieri
Mapas conceptuales de capitulos de sampiericmazariegos56
 
Construcción de indicadores de Capacitación
Construcción de indicadores de CapacitaciónConstrucción de indicadores de Capacitación
Construcción de indicadores de Capacitaciónsbasultov
 

La actualidad más candente (20)

Causas y consecuencias
Causas y consecuenciasCausas y consecuencias
Causas y consecuencias
 
Unidad 1 - Fase 1 – Planeación.docx
Unidad 1 - Fase 1 – Planeación.docxUnidad 1 - Fase 1 – Planeación.docx
Unidad 1 - Fase 1 – Planeación.docx
 
Sampieri metodologia inv cap 11 elaboración del reporte de investigación
Sampieri metodologia inv cap 11 elaboración del reporte de investigaciónSampieri metodologia inv cap 11 elaboración del reporte de investigación
Sampieri metodologia inv cap 11 elaboración del reporte de investigación
 
Monitoreo y evaluacion de impacto final
Monitoreo y evaluacion de impacto finalMonitoreo y evaluacion de impacto final
Monitoreo y evaluacion de impacto final
 
Ficha tecnica de indicadores
Ficha tecnica de indicadoresFicha tecnica de indicadores
Ficha tecnica de indicadores
 
Informe social
Informe socialInforme social
Informe social
 
Técnicas e Instrumentos de trabajo social
Técnicas  e Instrumentos de trabajo socialTécnicas  e Instrumentos de trabajo social
Técnicas e Instrumentos de trabajo social
 
Sistematizacion
SistematizacionSistematizacion
Sistematizacion
 
Unidad 3 fase 5 120004_19-_presentacion de resultados
Unidad 3 fase 5 120004_19-_presentacion de resultadosUnidad 3 fase 5 120004_19-_presentacion de resultados
Unidad 3 fase 5 120004_19-_presentacion de resultados
 
Crucigrama
CrucigramaCrucigrama
Crucigrama
 
Plan de capacitación y tematicas
Plan de capacitación y tematicasPlan de capacitación y tematicas
Plan de capacitación y tematicas
 
Metodologia para el mapeo de actores en la construccion de visiones subregio...
Metodologia para el mapeo de actores en la  construccion de visiones subregio...Metodologia para el mapeo de actores en la  construccion de visiones subregio...
Metodologia para el mapeo de actores en la construccion de visiones subregio...
 
INFORME CRONOGRAMA DE CAPACITACIÓN
INFORME CRONOGRAMA DE CAPACITACIÓN INFORME CRONOGRAMA DE CAPACITACIÓN
INFORME CRONOGRAMA DE CAPACITACIÓN
 
Tecnicas e instrumentos de trabajo social
Tecnicas e instrumentos de trabajo socialTecnicas e instrumentos de trabajo social
Tecnicas e instrumentos de trabajo social
 
Importancia del desarrollo de proyectos sociales en nuestra region
Importancia  del desarrollo de proyectos sociales en nuestra regionImportancia  del desarrollo de proyectos sociales en nuestra region
Importancia del desarrollo de proyectos sociales en nuestra region
 
Plan de inducción
Plan de inducciónPlan de inducción
Plan de inducción
 
Manejo de inventarios
Manejo de inventarios Manejo de inventarios
Manejo de inventarios
 
El informe social en trabajo social
El informe social en trabajo socialEl informe social en trabajo social
El informe social en trabajo social
 
Mapas conceptuales de capitulos de sampieri
Mapas conceptuales de capitulos de sampieriMapas conceptuales de capitulos de sampieri
Mapas conceptuales de capitulos de sampieri
 
Construcción de indicadores de Capacitación
Construcción de indicadores de CapacitaciónConstrucción de indicadores de Capacitación
Construcción de indicadores de Capacitación
 

Similar a Guía M&E programas energéticos

Unidad facilitadora energia renovable
Unidad facilitadora energia renovableUnidad facilitadora energia renovable
Unidad facilitadora energia renovableASI El Salvador
 
Resumen del estudio comparativo
Resumen del estudio comparativo Resumen del estudio comparativo
Resumen del estudio comparativo Varias
 
Eficiencia Energética en el Municipio Chile Curso Modulo Nº 1 (son 4 Módulos)
Eficiencia Energética en el Municipio Chile Curso Modulo Nº 1 (son 4 Módulos)Eficiencia Energética en el Municipio Chile Curso Modulo Nº 1 (son 4 Módulos)
Eficiencia Energética en el Municipio Chile Curso Modulo Nº 1 (son 4 Módulos)Nelson Leiva®
 
Conclusiones del seminario taller
Conclusiones del seminario tallerConclusiones del seminario taller
Conclusiones del seminario tallerMichela Mosquera
 
Propuesta para cruz roja
Propuesta para cruz rojaPropuesta para cruz roja
Propuesta para cruz rojaDuvan Aguilera
 
Aire Acondicionado modulo v
Aire Acondicionado modulo vAire Acondicionado modulo v
Aire Acondicionado modulo vMarco Leandro
 
Cuadro ecologia campaña
Cuadro ecologia campañaCuadro ecologia campaña
Cuadro ecologia campañaverosilveri
 
Lineamientos pedagogicos abp
Lineamientos pedagogicos abpLineamientos pedagogicos abp
Lineamientos pedagogicos abpAnitha Palacios
 
2de6 fontaneria municipal_(cinara_1999)
2de6 fontaneria municipal_(cinara_1999)2de6 fontaneria municipal_(cinara_1999)
2de6 fontaneria municipal_(cinara_1999)Fca Woelky
 
Estrategia de Fidelización del Programa UNS y Empleo
Estrategia de Fidelización del Programa UNS y EmpleoEstrategia de Fidelización del Programa UNS y Empleo
Estrategia de Fidelización del Programa UNS y EmpleoAngela Cesetti
 
IICA - Sistema Agroproductivo
IICA - Sistema AgroproductivoIICA - Sistema Agroproductivo
IICA - Sistema AgroproductivoHernani Larrea
 
Electiva gestion integral
Electiva gestion integralElectiva gestion integral
Electiva gestion integralmcbernal
 

Similar a Guía M&E programas energéticos (20)

Megaproética
MegaproéticaMegaproética
Megaproética
 
Metodologia energia
Metodologia energiaMetodologia energia
Metodologia energia
 
Unidad facilitadora energia renovable
Unidad facilitadora energia renovableUnidad facilitadora energia renovable
Unidad facilitadora energia renovable
 
Resumen del estudio comparativo
Resumen del estudio comparativo Resumen del estudio comparativo
Resumen del estudio comparativo
 
Eficiencia Energética en el Municipio Chile Curso Modulo Nº 1 (son 4 Módulos)
Eficiencia Energética en el Municipio Chile Curso Modulo Nº 1 (son 4 Módulos)Eficiencia Energética en el Municipio Chile Curso Modulo Nº 1 (son 4 Módulos)
Eficiencia Energética en el Municipio Chile Curso Modulo Nº 1 (son 4 Módulos)
 
Conclusiones del seminario taller
Conclusiones del seminario tallerConclusiones del seminario taller
Conclusiones del seminario taller
 
Propuesta para cruz roja
Propuesta para cruz rojaPropuesta para cruz roja
Propuesta para cruz roja
 
Coso+erm
Coso+ermCoso+erm
Coso+erm
 
Coso erm
Coso ermCoso erm
Coso erm
 
Coso+erm
Coso+ermCoso+erm
Coso+erm
 
Me spanish
Me spanishMe spanish
Me spanish
 
SILABO (2).docx
SILABO (2).docxSILABO (2).docx
SILABO (2).docx
 
Aire Acondicionado modulo v
Aire Acondicionado modulo vAire Acondicionado modulo v
Aire Acondicionado modulo v
 
Cuadro ecologia campaña
Cuadro ecologia campañaCuadro ecologia campaña
Cuadro ecologia campaña
 
Lineamientos pedagogicos abp
Lineamientos pedagogicos abpLineamientos pedagogicos abp
Lineamientos pedagogicos abp
 
Conferencia 1 gestion de proyectos (1)
Conferencia 1 gestion de proyectos (1)Conferencia 1 gestion de proyectos (1)
Conferencia 1 gestion de proyectos (1)
 
2de6 fontaneria municipal_(cinara_1999)
2de6 fontaneria municipal_(cinara_1999)2de6 fontaneria municipal_(cinara_1999)
2de6 fontaneria municipal_(cinara_1999)
 
Estrategia de Fidelización del Programa UNS y Empleo
Estrategia de Fidelización del Programa UNS y EmpleoEstrategia de Fidelización del Programa UNS y Empleo
Estrategia de Fidelización del Programa UNS y Empleo
 
IICA - Sistema Agroproductivo
IICA - Sistema AgroproductivoIICA - Sistema Agroproductivo
IICA - Sistema Agroproductivo
 
Electiva gestion integral
Electiva gestion integralElectiva gestion integral
Electiva gestion integral
 

Último

codigos HTML para blogs y paginas web Karina
codigos HTML para blogs y paginas web Karinacodigos HTML para blogs y paginas web Karina
codigos HTML para blogs y paginas web Karinavergarakarina022
 
Historia y técnica del collage en el arte
Historia y técnica del collage en el arteHistoria y técnica del collage en el arte
Historia y técnica del collage en el arteRaquel Martín Contreras
 
ACUERDO MINISTERIAL 078-ORGANISMOS ESCOLARES..pptx
ACUERDO MINISTERIAL 078-ORGANISMOS ESCOLARES..pptxACUERDO MINISTERIAL 078-ORGANISMOS ESCOLARES..pptx
ACUERDO MINISTERIAL 078-ORGANISMOS ESCOLARES..pptxzulyvero07
 
TIPOLOGÍA TEXTUAL- EXPOSICIÓN Y ARGUMENTACIÓN.pptx
TIPOLOGÍA TEXTUAL- EXPOSICIÓN Y ARGUMENTACIÓN.pptxTIPOLOGÍA TEXTUAL- EXPOSICIÓN Y ARGUMENTACIÓN.pptx
TIPOLOGÍA TEXTUAL- EXPOSICIÓN Y ARGUMENTACIÓN.pptxlclcarmen
 
DECÁGOLO DEL GENERAL ELOY ALFARO DELGADO
DECÁGOLO DEL GENERAL ELOY ALFARO DELGADODECÁGOLO DEL GENERAL ELOY ALFARO DELGADO
DECÁGOLO DEL GENERAL ELOY ALFARO DELGADOJosé Luis Palma
 
La triple Naturaleza del Hombre estudio.
La triple Naturaleza del Hombre estudio.La triple Naturaleza del Hombre estudio.
La triple Naturaleza del Hombre estudio.amayarogel
 
GLOSAS Y PALABRAS ACTO 2 DE ABRIL 2024.docx
GLOSAS  Y PALABRAS ACTO 2 DE ABRIL 2024.docxGLOSAS  Y PALABRAS ACTO 2 DE ABRIL 2024.docx
GLOSAS Y PALABRAS ACTO 2 DE ABRIL 2024.docxAleParedes11
 
TEMA 13 ESPAÑA EN DEMOCRACIA:DISTINTOS GOBIERNOS
TEMA 13 ESPAÑA EN DEMOCRACIA:DISTINTOS GOBIERNOSTEMA 13 ESPAÑA EN DEMOCRACIA:DISTINTOS GOBIERNOS
TEMA 13 ESPAÑA EN DEMOCRACIA:DISTINTOS GOBIERNOSjlorentemartos
 
Plan Refuerzo Escolar 2024 para estudiantes con necesidades de Aprendizaje en...
Plan Refuerzo Escolar 2024 para estudiantes con necesidades de Aprendizaje en...Plan Refuerzo Escolar 2024 para estudiantes con necesidades de Aprendizaje en...
Plan Refuerzo Escolar 2024 para estudiantes con necesidades de Aprendizaje en...Carlos Muñoz
 
Planificacion Anual 4to Grado Educacion Primaria 2024 Ccesa007.pdf
Planificacion Anual 4to Grado Educacion Primaria   2024   Ccesa007.pdfPlanificacion Anual 4to Grado Educacion Primaria   2024   Ccesa007.pdf
Planificacion Anual 4to Grado Educacion Primaria 2024 Ccesa007.pdfDemetrio Ccesa Rayme
 
Planificacion Anual 2do Grado Educacion Primaria 2024 Ccesa007.pdf
Planificacion Anual 2do Grado Educacion Primaria   2024   Ccesa007.pdfPlanificacion Anual 2do Grado Educacion Primaria   2024   Ccesa007.pdf
Planificacion Anual 2do Grado Educacion Primaria 2024 Ccesa007.pdfDemetrio Ccesa Rayme
 
30-de-abril-plebiscito-1902_240420_104511.pdf
30-de-abril-plebiscito-1902_240420_104511.pdf30-de-abril-plebiscito-1902_240420_104511.pdf
30-de-abril-plebiscito-1902_240420_104511.pdfgimenanahuel
 
Caja de herramientas de inteligencia artificial para la academia y la investi...
Caja de herramientas de inteligencia artificial para la academia y la investi...Caja de herramientas de inteligencia artificial para la academia y la investi...
Caja de herramientas de inteligencia artificial para la academia y la investi...Lourdes Feria
 
RAIZ CUADRADA Y CUBICA PARA NIÑOS DE PRIMARIA
RAIZ CUADRADA Y CUBICA PARA NIÑOS DE PRIMARIARAIZ CUADRADA Y CUBICA PARA NIÑOS DE PRIMARIA
RAIZ CUADRADA Y CUBICA PARA NIÑOS DE PRIMARIACarlos Campaña Montenegro
 
CALENDARIZACION DE MAYO / RESPONSABILIDAD
CALENDARIZACION DE MAYO / RESPONSABILIDADCALENDARIZACION DE MAYO / RESPONSABILIDAD
CALENDARIZACION DE MAYO / RESPONSABILIDADauxsoporte
 
SELECCIÓN DE LA MUESTRA Y MUESTREO EN INVESTIGACIÓN CUALITATIVA.pdf
SELECCIÓN DE LA MUESTRA Y MUESTREO EN INVESTIGACIÓN CUALITATIVA.pdfSELECCIÓN DE LA MUESTRA Y MUESTREO EN INVESTIGACIÓN CUALITATIVA.pdf
SELECCIÓN DE LA MUESTRA Y MUESTREO EN INVESTIGACIÓN CUALITATIVA.pdfAngélica Soledad Vega Ramírez
 
PRIMER SEMESTRE 2024 ASAMBLEA DEPARTAMENTAL.pptx
PRIMER SEMESTRE 2024 ASAMBLEA DEPARTAMENTAL.pptxPRIMER SEMESTRE 2024 ASAMBLEA DEPARTAMENTAL.pptx
PRIMER SEMESTRE 2024 ASAMBLEA DEPARTAMENTAL.pptxinformacionasapespu
 

Último (20)

codigos HTML para blogs y paginas web Karina
codigos HTML para blogs y paginas web Karinacodigos HTML para blogs y paginas web Karina
codigos HTML para blogs y paginas web Karina
 
Historia y técnica del collage en el arte
Historia y técnica del collage en el arteHistoria y técnica del collage en el arte
Historia y técnica del collage en el arte
 
ACUERDO MINISTERIAL 078-ORGANISMOS ESCOLARES..pptx
ACUERDO MINISTERIAL 078-ORGANISMOS ESCOLARES..pptxACUERDO MINISTERIAL 078-ORGANISMOS ESCOLARES..pptx
ACUERDO MINISTERIAL 078-ORGANISMOS ESCOLARES..pptx
 
Repaso Pruebas CRECE PR 2024. Ciencia General
Repaso Pruebas CRECE PR 2024. Ciencia GeneralRepaso Pruebas CRECE PR 2024. Ciencia General
Repaso Pruebas CRECE PR 2024. Ciencia General
 
TIPOLOGÍA TEXTUAL- EXPOSICIÓN Y ARGUMENTACIÓN.pptx
TIPOLOGÍA TEXTUAL- EXPOSICIÓN Y ARGUMENTACIÓN.pptxTIPOLOGÍA TEXTUAL- EXPOSICIÓN Y ARGUMENTACIÓN.pptx
TIPOLOGÍA TEXTUAL- EXPOSICIÓN Y ARGUMENTACIÓN.pptx
 
DECÁGOLO DEL GENERAL ELOY ALFARO DELGADO
DECÁGOLO DEL GENERAL ELOY ALFARO DELGADODECÁGOLO DEL GENERAL ELOY ALFARO DELGADO
DECÁGOLO DEL GENERAL ELOY ALFARO DELGADO
 
La triple Naturaleza del Hombre estudio.
La triple Naturaleza del Hombre estudio.La triple Naturaleza del Hombre estudio.
La triple Naturaleza del Hombre estudio.
 
GLOSAS Y PALABRAS ACTO 2 DE ABRIL 2024.docx
GLOSAS  Y PALABRAS ACTO 2 DE ABRIL 2024.docxGLOSAS  Y PALABRAS ACTO 2 DE ABRIL 2024.docx
GLOSAS Y PALABRAS ACTO 2 DE ABRIL 2024.docx
 
TEMA 13 ESPAÑA EN DEMOCRACIA:DISTINTOS GOBIERNOS
TEMA 13 ESPAÑA EN DEMOCRACIA:DISTINTOS GOBIERNOSTEMA 13 ESPAÑA EN DEMOCRACIA:DISTINTOS GOBIERNOS
TEMA 13 ESPAÑA EN DEMOCRACIA:DISTINTOS GOBIERNOS
 
Plan Refuerzo Escolar 2024 para estudiantes con necesidades de Aprendizaje en...
Plan Refuerzo Escolar 2024 para estudiantes con necesidades de Aprendizaje en...Plan Refuerzo Escolar 2024 para estudiantes con necesidades de Aprendizaje en...
Plan Refuerzo Escolar 2024 para estudiantes con necesidades de Aprendizaje en...
 
Planificacion Anual 4to Grado Educacion Primaria 2024 Ccesa007.pdf
Planificacion Anual 4to Grado Educacion Primaria   2024   Ccesa007.pdfPlanificacion Anual 4to Grado Educacion Primaria   2024   Ccesa007.pdf
Planificacion Anual 4to Grado Educacion Primaria 2024 Ccesa007.pdf
 
Planificacion Anual 2do Grado Educacion Primaria 2024 Ccesa007.pdf
Planificacion Anual 2do Grado Educacion Primaria   2024   Ccesa007.pdfPlanificacion Anual 2do Grado Educacion Primaria   2024   Ccesa007.pdf
Planificacion Anual 2do Grado Educacion Primaria 2024 Ccesa007.pdf
 
30-de-abril-plebiscito-1902_240420_104511.pdf
30-de-abril-plebiscito-1902_240420_104511.pdf30-de-abril-plebiscito-1902_240420_104511.pdf
30-de-abril-plebiscito-1902_240420_104511.pdf
 
Presentacion Metodología de Enseñanza Multigrado
Presentacion Metodología de Enseñanza MultigradoPresentacion Metodología de Enseñanza Multigrado
Presentacion Metodología de Enseñanza Multigrado
 
Caja de herramientas de inteligencia artificial para la academia y la investi...
Caja de herramientas de inteligencia artificial para la academia y la investi...Caja de herramientas de inteligencia artificial para la academia y la investi...
Caja de herramientas de inteligencia artificial para la academia y la investi...
 
RAIZ CUADRADA Y CUBICA PARA NIÑOS DE PRIMARIA
RAIZ CUADRADA Y CUBICA PARA NIÑOS DE PRIMARIARAIZ CUADRADA Y CUBICA PARA NIÑOS DE PRIMARIA
RAIZ CUADRADA Y CUBICA PARA NIÑOS DE PRIMARIA
 
Defendamos la verdad. La defensa es importante.
Defendamos la verdad. La defensa es importante.Defendamos la verdad. La defensa es importante.
Defendamos la verdad. La defensa es importante.
 
CALENDARIZACION DE MAYO / RESPONSABILIDAD
CALENDARIZACION DE MAYO / RESPONSABILIDADCALENDARIZACION DE MAYO / RESPONSABILIDAD
CALENDARIZACION DE MAYO / RESPONSABILIDAD
 
SELECCIÓN DE LA MUESTRA Y MUESTREO EN INVESTIGACIÓN CUALITATIVA.pdf
SELECCIÓN DE LA MUESTRA Y MUESTREO EN INVESTIGACIÓN CUALITATIVA.pdfSELECCIÓN DE LA MUESTRA Y MUESTREO EN INVESTIGACIÓN CUALITATIVA.pdf
SELECCIÓN DE LA MUESTRA Y MUESTREO EN INVESTIGACIÓN CUALITATIVA.pdf
 
PRIMER SEMESTRE 2024 ASAMBLEA DEPARTAMENTAL.pptx
PRIMER SEMESTRE 2024 ASAMBLEA DEPARTAMENTAL.pptxPRIMER SEMESTRE 2024 ASAMBLEA DEPARTAMENTAL.pptx
PRIMER SEMESTRE 2024 ASAMBLEA DEPARTAMENTAL.pptx
 

Guía M&E programas energéticos

  • 1. Grant agreement No. EIE/05/212/SI2.420249- Intelligent Energy – Europe (IEE) COOPENER Type 1 Actions Acronismo CRECER CON ENERGIA Título Vinculando microempresas y actividades generadoras de ingresos con servicios energéticos para la población en condiciones de pobreza del Chaco Sudamericano. D26 Monitoreo y Evaluación de programas y proyectos energéticos-Manual de Capacitación WP7: Estrategias de Monitoreo y Evaluación para proyectos de Energía orientados a reducción de la pobreza. Fecha de Entrega 28 / 06 / 2007 Nombre y organización del responsable de este producto: Manuel Fuentes / IT Power Fecha de iniciación del Proyecto 01 / 01 / 2006 Duración: 30 meses Nombre y organización del coordinador: Dr. Manuel Fuentes / IT Power
  • 2. D26 Monitoreo y Evaluación de programas y proyectos energéticos-Manual de Capacitación Revisión 0 Autores Alba Gamarra (CINER, Bolivia) Walter Canedo (CINER, Bolivia) X PU Público PP Restringido a otros participantes del proyecto (incluidos servicios de la EU) RE Restringido a un grupo especificado por el consorcio (incluidos servicios de la EU) CO Confidencial, solo para miembros del consorcio (incluidos servicios de los EU) Disclaimer: Vinculando microempresas y actividades generadoras de ingresos con servicios energéticos para la población en condiciones de pobreza del Chaco Sudamericano.- CRECER CON ENERGIA recibe fondos del programa Intelligent Energy Europe (IEE) COOPENER bajo el contrato EIE/05/212/SI2.420249. El contenido de este documento solo compromete a su autor y no refleja necesariamente la opinión de las Comunidades Europeas. La Comisión Europea no es responsable de la utilización que se podrá dar a la información que figura en el mismo.
  • 3. CRECER CON ENERGIA D26 – Manual de M&E página 3 de 134 Tabla de Contenidos PREFACIO: ............................................................................................................................................. 4  INTRODUCCIÓN..................................................................................................................................... 5  CONSIDERACIONES PRELIMINARES ................................................................................................. 5  MODULO 1: INTRODUCCIÓN AL MONITOREO Y EVALUACIÓN....................................................... 9  MODULO 2: ESTRUCTURA DEL MONITOREO Y EVALUACIÓN...................................................... 51  MÓDULO 3: ANÁLISIS DE LOS PARTICIPANTES EN EL MONITOREO Y EVALUACIÓN............... 65  MODULO 4: INDICADORES DE MONITOREO Y EVALUACIÓN ....................................................... 83  MODULO 5: PROCESO DE IMPLEMENTACIÓN DE UN PLAN DE MONITOREO Y EVALUACIÓN118 
  • 4. CRECER CON ENERGIA D26 – Manual de M&E página 4 de 134 Prefacio: CRECER CON ENERGIA es un proyecto financiado por el programa COOPENER de la Agencia Intelligent Energy–Europe (IEE) que vincula microempresas y actividades generadoras de ingresos con servicios energéticos para la población en condiciones de pobreza en una de las regiones más pobres de América Latina, la región Chaqueña en Paraguay y Bolivia. Para lograr este objetivo hay varias barreras que tienen que ser superadas y este proyecto se dirige a todas ellas. Se creará una plataforma de comunicación horizontal para estimular el diálogo entre todos los ministerios públicos de gobierno y las organizaciones involucradas en la electrificación rural y reducción de la pobreza. Se desarrollarán herramientas para capacitar a personal clave de los ministerios involucrados en la evaluación del impacto de servicios de energía en el desarrollo social y económico y se ayudará a tomadores de decisión a entender cómo los programas de energía pueden se diseñados para satisfacer sus metas sectoriales. El proyecto ayudará a desarrollar políticas energéticas coordinadas con el fin de contribuir al cumplimiento de las Metas de Desarrollo del Milenio y Estrategias de Reducción de Pobreza. El proyecto fortalecerá los conocimientos en temas como energía para el desarrollo rural, financiamiento rural y micro-emprendimientos rurales de los gobiernos regionales y nacionales con un vasto y ambicioso programa de capacitación.
  • 5. CRECER CON ENERGIA D26 – Manual de M&E página 5 de 134 Introducción Este manual de capacitación en Monitoreo y Evaluación ha sido diseñado para apoyar a los grupos meta del proyecto “Vinculando microempresas y actividades generadoras de ingresos con servicios energéticos para la población en condiciones de pobreza del Chaco Sudamericano”: elaboradores de políticas de ministerios afines al tema del desarrollo de la energía para el sector rural, de gobiernos regionales y/o municipales, así como a personas de instituciones que trabajan con estrategias de alivio a la pobreza, grupos comunitarios, microempresarios, instituciones financieras; así como a directivos y técnicos de organizaciones no gubernamentales que trabajan en el sector energético y de desarrollo rural, a la comunidad donante e implementadores de programas, respecto de los conceptos del Monitoreo y Evaluación (M&E), así como también sobre cómo diseñar y desarrollar un plan, respecto de los conceptos del Monitoreo y Evaluación (M&E). El manual ha sido elaborado de manera ecléctica, compilando información contenida en diversos documentos relacionados con la temática de M&E como también del sector energético. Cabe mencionar que además de la sistematización de la información, los aportes de los autores con su experiencia en M&E y en particular con la temática energética, permiten brindar al lector la seguridad de contar con un documento que les oriente con certeza en el desarrollo de su trabajo cotidiano. La elaboración del manual se realizó bajo la responsabilidad institucional de IT Power y el equipo de redacción estuvo conformado por: Alba Gamarra de Guardia, Walter Canedo Espinoza y Manuel Fuentes. El Manual tiene 5 módulos que cubren lo esencial del M&E: desarrollo e indicadores, conducción de análisis de actores, así como el proceso de ejecución y análisis. Los módulos del manual son los siguientes: Módulo 1: Introducción al M&E. Módulo 2: Estructura de M&E. Módulo 3: Análisis de actores. Módulo 4: Indicadores de M&E. Módulo 5: Proceso de ejecución del plan de M&E. Cada módulo contiene una sección final denominada “Puntos de discusión” que orienta en la reflexión personal y grupal respecto a la temática abordada. Esta sección se complementa con ejercicios que el facilitador del curso explicará y conducirá de acuerdo al grupo de participantes. Consideraciones preliminares Necesidad del monitoreo y evaluación. El M&E es necesario, visto no como una imposición sino como una herramienta de: Reflexión: El M&E es un instrumento para mejorar continuamente la calidad del trabajo. Complementa el proceso de acción con la reflexión sobre lo ejecutado. Con esto se puede hacer los ajustes necesarios de manera oportuna. Conocimiento: Es un instrumento para satisfacer demandas de información internas y externas, y – de esta manera - en función del análisis sistemático de las experiencias del proyecto pueda basar en ellas su marco de acción.
  • 6. CRECER CON ENERGIA D26 – Manual de M&E página 6 de 134 Legitimación: Es un instrumento importante frente a los contrapartes, financiadores, instancias superiores, instituciones y personas del entorno del proyecto para demostrar que se conserva el contacto con la realidad del proyecto y que se toman decisiones adaptándose dinámicamente a las condiciones cambiantes de un entorno complejo. Es importante indicar que el M&E debería ser de utilidad para los beneficiarios, en los diferentes niveles y no solamente como una oferta o exigencia de las entidades de cooperación sino más bien como una herramienta necesaria y útil desde la demanda como parte de su empoderamiento. Control: También es un instrumento para medir el avance y verificar la calidad de las diferentes prestaciones desarrolladas en el proyecto, cuestionando muchas veces su validez.1 Toma de decisiones: Es un instrumento para realizar ajustes o correcciones "concurrentes", es decir durante la ejecución de las actividades y también a la "conclusión" o "ex – post", en el caso de programas o proyectos con características similares. Objetivos del programa de capacitación en monitoreo y evaluación. El objetivo general del programa de capacitación es el de brindar elementos para iniciar o profundizar un proceso de cambio en los proyectos, programas, acciones o instituciones de los participantes, a través de la toma de conciencia sobre el M&E, el incremento de conocimientos, así como el familiarizarse con un conjunto de técnicas y procedimientos que sean orientados a la sostenibilidad de las realizaciones. Se espera que la capacitación utilizando el manual, brinde a los participantes -de manera general- conocimientos y destrezas para facilitarles planificar, conducir y analizar actividades del M&E. De manera particular, se espera que la capacitación permita a los participantes: Disponer de una apreciación global de M&E. Diseñar un sistema de Monitoreo. Desarrollar un plan de evaluación. Conducir actividades de M&E. Analizar datos recolectados durante las actividades de M&E. Usar los hallazgos del M&E para mejorar los programas específicos. Módulos de capacitación. Cada módulo del manual de capacitación tiene el mismo formato y consta de las siguientes partes: Título del Módulo: Se tiene el título de la unidad y su numeración. Propósito y objetivos del Módulo: Estos puntos del documento indican qué se espera alcanzar con el módulo y refleja el conocimiento, además de las destrezas que los participantes deben adquirir al final de la sesión. Resultados esperados: Los puntos del módulo indican qué resultados se esperan por parte de los participantes, para lograr los objetivos de la capacitación. 1 Plan de Monitoreo y Evaluación (M&E), del Proyecto Componente de Energía – PROAGRO GTZ, con fondos de donación del Reino de los Países Bajos. Período de planificación: 01.06. -08/08. GAMARRA, ALBA, diciembre de 2005.
  • 7. CRECER CON ENERGIA D26 – Manual de M&E página 7 de 134 Tiempo: Es el tiempo sugerido que debería emplearse para el total de la unidad. Dependiendo del nivel de habilidades que tengan los participantes. Las sesiones individuales pueden llevar mayor o menor tiempo. Glosario y Acrónimos: Para facilitar la comprensión del lector respecto a siglas, acrónimos y conceptos utilizados en el manual, se tiene una sección específica que contiene esta información. Páginas Internet recomendadas y literatura: Cada módulo cuenta con referencias de literatura recomendada, tanto impresa como la accesible por Internet, con la finalidad de permitir al lector ampliar la información pertinente a cada módulo. Estructura de la capacitación y proceso. De acuerdo a su concepción de Curso – Taller, durante el evento, se conjugarán los dos elementos básicos: la teoría y la práctica. La teoría, girará alrededor del monitoreo y la evaluación, como partes consustanciales de la gestión del ciclo del proyecto y se sustentarán a su vez, en tres componentes complementarios: los conceptos, los procesos y las herramientas del Monitoreo y la Evaluación. Para la revisión de la teoría se recurrirá a breves exposiciones complementadas por la reflexión en grupo y su relación, sea con ejemplos o con experiencias propias de los participantes sobre cada uno de los temas tratados. Para la revisión teórica, se usará el presente manual de M&E como texto guía, además del material adicional que los instructores preparen y crean conveniente utilizar. La aplicación práctica de la teoría impartida, se concretará a través de ejercicios y tareas individuales o en pequeños grupos de trabajo. Recursos que se precisan para el programa de capacitación La Pre-planeación es esencial para el éxito del programa de capacitación y debe contar con: a) Recursos humanos: Los recursos humanos son vitales para el éxito del programa de entrenamiento. Los facilitadores deben ser responsables de la preparación y manejo del programa completo, tomando en cuenta aspectos: conceptuales, técnicos, logísticos, etc. relacionados con el M&E de proyectos y programas energéticos. b) Participantes: El grupo meta al que se dirige la capacitación en monitoreo y evaluación es el siguiente: • Autoridades del sector público o líderes con reconocimiento local (Viceministerios, Gobiernos regionales, Prefecturas, Sub prefecturas, Consejos departamentales, Gobiernos municipales o alcaldías, corregimientos, capitanías). • Donantes. (Cooperación financiera o de asistencia técnica). • Financiadores. (Instituciones financieras, cooperativas, mutuales, cajas). • Usuarios / clientes. (Comunidades o beneficiarios)
  • 8. CRECER CON ENERGIA D26 – Manual de M&E página 8 de 134 • Equipo del proyecto. (Coordinador, responsables de área o departamentos, otro personal del proyecto: promotores, facilitadores sociales, capacitadores, comunicadores, director técnico u otros). • Actores del sector privado. (Consultores, productores, proveedores, instaladores, inspectores o evaluadores externos) • Administradores. Las personas que participen deben ser invitadas en base a una convocatoria concreta para aclarar el alcance del curso y expectativas de los/las participantes. Deben manifestar también su disponibilidad de tiempo y voluntad de aprendizaje. c) Materiales: Algunos de los materiales principales para el programa de capacitación son: Proyector o data display Lápices/cuadernos/bolígrafos Tarjetas en blanco Pantalla de proyección Tajadores Grapadora Rotafolios (mínimo 2) Cables de extensión Alfileres Papel para rotafolio / almohadilla Facilidades para fotocopias Pegamento Marcadores permanentes, resaltadores Hojas y bolígrafos extras. Tijeras Marcadores para transparencias Transparencias en blanco Cinta adhesiva (masking tape resistente y normal)
  • 9. CRECER CON ENERGIA D26 – Manual de M&E página 9 de 134 Modulo 1: Introducción al Monitoreo y Evaluación TABLA DE CONTENIDOS MODULO 1   1.1  CONCEPTOS BÁSICOS SOBRE EL MONITOREO Y EVALUACIÓN. ........................................................15  1.2  PROCESOS DEL MONITOREO Y EVALUACIÓN. .................................................................................19  1.3  EL SISTEMA DE MONITOREO Y EVALUACIÓN. ..................................................................................21  1.4  TIPOS DE MONITOREO Y EVALUACIÓN............................................................................................23  1.5  ¿QUÉ SON LOS INDICADORES? ......................................................................................................26  1.6  ¿QUÉ PUEDE LOGRAR EL M&E?....................................................................................................30  1.7  CAMBIOS EN LOS ENFOQUES DEL MONITOREO A NIVEL INTERNACIONAL. .........................................30  1.8  ¿DE DÓNDE SALE LA INFORMACIÓN PARA LA TOMA DE DECISIONES?...............................................31  1.9  PASOS PARA CONDUCIR EL MONITOREO .........................................................................................31  1.10  PASOS PARA CONDUCIR LA EVALUACIÓN........................................................................................33  1.11  PROPÓSITO DE LA EVALUACIÓN. ....................................................................................................33  1.12  METODOLOGÍA..............................................................................................................................35  1.13  DIFERENTES ENFOQUES PARA LA EVALUACIÓN. .............................................................................36  1.14  VENTAJAS Y DESVENTAJAS DE LA EVALUACIÓN INTERNA Y EXTERNA DE UN PROYECTO....................37  1.15  PASOS PARA ELABORAR UN PLAN DE MONITOREO Y EVALUACIÓN....................................................37  1.16  PASOS PARA ELABORAR UN PLAN DE MONITOREO Y EVALUACIÓN (GRUPO M&EED). ..................42  1.17  PAUTAS PARA LA TOMA DE DECISIONES EN EL MONITOREO Y EVALUACIÓN.......................................44  1.18  EQUIPO DE PERSONAS PARA MONITOREO Y EVALUACIÓN. ...............................................................45  1.19  SELECCIÓN DE UN EVALUADOR EXTERNO O DE UN EQUIPO DE EVALUACIÓN. ....................................45  1.20  PUNTOS DE DISCUSIÓN ..................................................................................................................47 
  • 10. CRECER CON ENERGIA D26 – Manual de M&E página 10 de 134 Información acerca del Módulo Objetivo del Módulo Entender los conceptos básicos del Monitoreo & Evaluación. Objetivos de aprendizaje Explicar las ideas claves del Monitoreo y Evaluación. Exponer los marcos generales de M&E, así como el significado de los indicadores. Explicar los logros del M&E para poder ayudar a la consecución de programas o para tomadores de decisiones. Resultados esperados del Módulo Comprender el concepto y diferencia entre Monitoreo y Evaluación. Comprender sobre la importancia de tener el enfoque sistémico de M&E Lograr la capacidad de explicar la importancia del Monitoreo y Evaluación en programas de energía. Desarrollar los pasos básicos para el Monitoreo y Evaluación en programas de energía. Tiempo necesario para la ejecución 125 minutos. Forma de trabajo Auto-estudio y exposición dialogada del facilitador. ACRÓNIMOS CSD Comisión de Desarrollo Sostenible de las Naciones Unidas. DAC-OECD (Development Aid Committee - Organization for Economic Cooperation and Development). Comité de Ayuda al Desarrollo – Organización para la Cooperación Económica y de Desarrollo. FIDA Fondo Internacional para el Desarrollo Agrícola. GTZ Gesellschaft fur Technische Zusammenerbait (Sociedad de Cooperación Técnica Alemana). IVO’s Indicadores Verificables Objetivamente. MDMs Metas de Desarrollo del Milenio. M&E Monitoreo y Evaluación. M&EED Grupo Internacional de trabajo de M&E en Energía
  • 11. CRECER CON ENERGIA D26 – Manual de M&E página 11 de 134 para el Desarrollo. MPP Matriz de planificación de proyectos. PNUD Programa de Naciones Unidas para el Desarrollo. PCM Project Cycle Management (Gestión del ciclo de proyectos). PO Plan Operativo. ZOPP Ziel Orientierte Projekt Planung. (Sistema de Planificación de Proyectos Orientada a Objetivos). GLOSARIO Actividades Las Actividades son los pasos individuales que se requieren para alcanzar un resultado. Las actividades se formulan en infinitivo. Verbo, objeto y condición. Beneficiarios Individuos, grupos u organismos que se benefician, directa o indirectamente, de una intervención para el desarrollo, hayan sido o no los destinatarios de la intervención. Evaluación Es la apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y sus resultados. El objetivo es determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo. Una evaluación deberá proporcionar información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso de toma de decisiones de beneficiarios y donantes. La evaluación también se refiere al proceso de determinar el valor o la significación de una actividad, política o programa. Se trata de una apreciación, tan sistemática y objetiva como sea posible, de una intervención para el desarrollo planeada, en curso o concluida. Evaluación del impacto social La Evaluación del impacto social analiza los cambios o variaciones observables en los destinatarios y en el contexto del proyecto. Efectividad Capacidad de lograr el efecto que se desea o se espera. La efectividad es una medida del alcance en el cual un programa de desarrollo o proyecto adquiere los objetivos específicos establecidos. Eficiencia El nivel de Eficiencia compara los resultados obtenidos con los medios empleados. Análisis de costos / realizaciones. Analizar en qué medida el proyecto alcanza sus objetivos usando lo mínimo de recursos
  • 12. CRECER CON ENERGIA D26 – Manual de M&E página 12 de 134 o dicho de otra manera, en qué medida el proyecto alcanza el máximo impacto para una cantidad dada de recursos. Eficacia El nivel de Eficacia compara objetivos con resultados, aprecia las diferencias entre lo que se realizó y lo que estaba previsto. Externalidad Perjuicio o beneficio experimentado por un individuo o una empresa a causa de acciones ejecutadas por otras personas o entidades. Fuentes de verificación Las Fuentes de verificación son los medios con los cuales se reúnen los datos necesarios para medir los indicadores. Pueden describir el tipo de datos, las fuentes de información o los métodos de recopilación. Es la base para la planificación del sistema de información y documentación del proyecto. Género En términos sociológicos, se refiere a la construcción social y cultural de las diferencias sexuales en un lugar específico y en un tiempo dado. Lo cual quiere decir que es un término que no necesariamente es interpretado de la misma manera en las distintas culturas y grupos sociales, además con el transcurso de los años. Grupo meta Individuos u organismos específicos en cuyo beneficio se lleva a cabo la intervención para el desarrollo. Línea de base Análisis que describe la situación previa a una intervención para el desarrollo, en relación con la cual puede medirse el avance o pueden efectuarse comparaciones. Matriz de Planificación La Matriz de Planificación (también conocida como "logical framework" o “marco lógico”) es una herramienta utilizada para planear la ejecución de una solución. El planeamiento de la solución debe ser elaborado como respuesta a las siguientes preguntas: Qué: ¿Qué acción va ser desarrollada? Cuándo: ¿Cuándo será realizada la acción? Quién: ¿Quién será el responsable de la implantación? Por qué: ¿Por qué fue definida esta solución (resultado esperado)? Dónde: ¿Dónde será implementada la acción (alcance)? Cómo: ¿Cómo va ser implementada (pasos de la acción) Monitoreo El monitoreo es una herramienta que permite tomar decisiones o realizar intervenciones adecuadas para gerentar una institución, un Programa, Proyecto o Plan, que contiene subsistemas de acompañamiento y valoración, con una adecuada información, comunicación, coordinación y participación”, a través de la observación continua, tanto del funcionamiento de las actividades de la institución en el contexto del calendario de implementación, como del uso de los insumos por los grupos meta en el contexto de las expectativas proyectadas. Es también una función continua que utiliza una recopilación sistemática de datos sobre indicadores especificados para proporcionar a los administradores y a las partes interesadas principales de una
  • 13. CRECER CON ENERGIA D26 – Manual de M&E página 13 de 134 intervención para el desarrollo, indicaciones sobre el avance y el logro de los objetivos así como de la utilización de los fondos asignados. Objetivo de Desarrollo El Objetivo de Desarrollo es el que refleja la mejora de la situación de los grupos destinatarios (beneficiarios del proyecto). El objetivo de desarrollo debe responder a los deseos del grupo destinatario, a sus valores y aspiraciones. Objetivo del Proyecto El Objetivo del Proyecto define el por qué se desarrolla el proyecto y describe los efectos a ser alcanzados. Debe permitir que se reconozcan fácilmente los beneficios para el grupo destinatario (beneficiarios finales) y, en la medida de lo posible, describir los cambios en el modo de pensar y actuar del grupo destinatario como efectos del proyecto. Planificación La Planificación se dedica a tomar decisiones ahora acerca de acciones futuras. Proceso para facilitar el logro de una expectativa. Paso 1: Determinar QUÉ es lo que quiere hacer. Paso 2: Determinar CUÁNDO quiere hacerlo. Paso 3: Determinar CÓMO va a hacerlo. Paso 4: DETERMINAR si su planificación tuvo ÉXITO. Sostenibilidad Continuación de los beneficios de una intervención para el desarrollo después de concluida. Probabilidad de que continúen los beneficios en el largo plazo. Situación en la que las ventajas netas son susceptibles de resistir los riesgos con el correr del tiempo. Supuestos Los Supuestos son factores externos que afectan el logro de lo trazado. Son campos de observación para la gestión. Si los supuestos cambian, el concepto del proyecto debe ser ajustado. Términos de referencia. Son los lineamientos generales, orientativos y no limitativos para la realización de algún trabajo o la prestación de un servicio. Los términos de referencia se elaboran como un documento que se constituye en los requerimientos que tiene el contratante o la persona natural o jurídica que requiere algún servicio. Viabilidad La Viabilidad consiste en estimar la capacidad de continuación de las acciones de manera autónoma. Se evalúan las posibilidades de supervivencia cuando los apoyos externos se retiren.
  • 14. CRECER CON ENERGIA D26 – Manual de M&E página 14 de 134 Páginas Internet recomendadas y Literatura. CIVICUS, Monitoreo y Evaluación, Janet Shapiro. 2003. Olive Publications. Planning for Monitoring and Evaluation. Olive. 2002. Shapiro, Janet. Evaluation: Judgement Day or Management Tool? Olive. 1996. OED ECD, Seguimiento y Evaluación: Instrumentos, métodos y enfoques. Banco Mundial. 2004. Emma Rotondo, Gloria Vela. Indicadores de género. PREVAL/PROGENERO, FIDA. 2004. M&EED. A Guide to monitoring and evaluation for energy projects. M&EED. 2006. Rai Kavita. IT Power. Monitoring and Evaluation of the impact of renewable energy programmes. IT Power, REEEP. 2005. Rai Kavita. Monitoring and evaluation of energy projects for social development. IT Power. 2007. Mundo de conceptos de la GTZ. Archivo en pdf. http://www.gtz.de/de/dokumente/begriffswelt-2006-es.pdf http://www.gtz.de/de/publikationen/begriffswelt-gtz/es/9071.htm Mundo de conceptos de la GTZ - Matriz de Planificación de Proyectos: http://www.gtz.de/de/publikationen/begriffswelt-gtz/es/include.asp?lang=S&file=8_32_3.inc Mundo de conceptos de la GTZ – Monitoreo basado en resultados: http://www.gtz.de/de/publikationen/begriffswelt-gtz/es/include.asp?lang=S&file=9_6.inc Ziel Orientierte Projekt Planung - Planificación de Proyectos orientada a Objetivos: GTZ. http://www.jjponline.com/marcologico/mpp.html Matriz Identificación de actores, análisis, planeación (Tablas Excel) http://www.google.com.bo/search?q=matriz+de+planificaci%C3%B3n&hl=es&rlz=1T4GGLJ_enBO215B O215&start=30&sa=N Manual para la planificación participativa de proyectos. Lineamientos centrales sindicales de los países nordicos y de Holanda http://www.union-network.org/unisite/in_depth/TU_development/download/Handbook-spart1- Manual_1.pdf Monitoring and Evaluation in Energy for Development (M&EED) International working group. www.gvep.org Biblioteca del Centro de información en Energías Renovables – CINER: ZP 1000 y ZP 2000 http://www.ciner.org/biblioteca/zp.htm#planificacion http://www.ciner.org/biblioteca/zp.htm#monitoreo Achieving The Millennium Development Goals: The Role of Energy Services. Case Studies From Brazil, Mali and the Philippines. PNUD. Editors Jem Porcaro and Minoru Takada Advisors Susan McDade, Vijay Modi and David Nissen. Contributing Authors Bridget Anderson, Martin Berg, Dan Blanchard, Elisabeth Clemens, Cybele Díaz-Wionczek, Silvia Fracchia, Tamy Gelman, Leah Granof, Remi Lang, Jem Porcaro, Hitoshi Shigeoka, Sean Yokota Date January, 2005. Informe del Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH Deutsche Welthungerhilfe (Agro Acción Alemana) a través de la Asociación de Instituciones de Promoción y Educación AIPE, llevado a cabo en la ciudad de Cochabamba, entre el 5 y el 9 de noviembre de 2001. Instructores: GAMARRA Alba, CANEDO Walter, GANGOTENA Juan.
  • 15. CRECER CON ENERGIA D26 – Manual de M&E página 15 de 134 Planificación del proceso enseñanza - aprendizaje Tiempo Agenda Metodología Requerimientos 30 minutos Secciones: 1.1 a 1.8 Presentación dialogada. Data display y papelógrafos. 30 minutos Secciones: 1.9 a 1.14 Presentación dialogada Data display y papelógrafos. 30 minutos Secciones: 1.15 a 1.19 Presentación dialogada y trabajo grupal. Data display, papelógrafos, marcadores. 45 minutos Sección 1.20 Discusión y casos de estudio. Papelógrafos y marcadores. 1.1 Conceptos básicos sobre el Monitoreo y Evaluación. Antes de entrar en la temática específica del monitoreo y evaluación, conviene contextualizar el enfoque principal que se abordará en el presente manual; en este caso el enfoque está dirigido al tema energético. Los servicios energéticos son esenciales en las dimensiones económicas, sociales y ambientales del desarrollo humano. Estos facilitan el desarrollo económico a través del crecimiento industrial, reforzando la productividad y proporcionan el acceso a los mercados globales y al comercio. Los servicios energéticos modernos contribuyen al desarrollo social, ayudando a completar las necesidades básicas humanas como alimentación, calor, iluminación, además de educación y salud. Asimismo, protegen el ambiente disminuyendo la deforestación y la reducción de emisiones. La energía tiene un rol crucial en el logro de las Metas de Desarrollo de Milenio (MDMs) 2 . Es importante aclarar lo siguiente: los servicios energéticos se refieren específicamente al “producto” utilizable en las diferentes categorías de consumidor y que proviene de los usos finales de la energía, en cualquiera de sus formas y sin importar la fuente primaria de energía. El calor, la iluminación, la refrigeración de ambiente, la cocción de alimentos, la conservación de alimentos, la fuerza motriz y la telecomunicación son ejemplos de servicios energéticos. El concepto de servicio energético supera el sesgo convencional de “ofertismo” de una determinada fuente de energía. Según este enfoque se “privilegia” de antemano una fuente de energía para un uso final determinado, por ejemplo: utilizar necesariamente leña para producir calor, o bien utilizar combustible derivado de petróleo para fuerza motriz. El servicio energético presupone, por el contrario, partir cualquier análisis desde el punto de vista del consumidor, de la demanda. Así, este nuevo enfoque deja más libre el análisis para buscar la relación más conveniente, según criterios previamente establecidos (sean ellos de 2 Achieving The Millennium Development Goals: The Role of Energy Services. Case Studies from Brazil, Mali and The Philippines. PNUD. 2005.
  • 16. CRECER CON ENERGIA D26 – Manual de M&E página 16 de 134 carácter ambiental, disponibilidad local, eficiencia, entre otros), entre las fuentes de energía, la logística, los equipos de uso final y el servicio que se requiere.3 Ejemplo: Dos proyectos que brindan acceso a servicios energéticos para iluminación, analicemos el supuesto caso de una comunidad que define, previo análisis de alternativas: un sistema de carga de baterías comunales Proyecto 1: verifica regularmente el avance del proyecto, la capacitación y uso de materiales recibidos, así como la satisfacción del beneficiario. Cuando nota que algo no está bien, por ejemplo que los niños sean los enviados para dejar y recoger las baterías por terrenos agrestres, analiza inmediatamente este aspecto con la comunidad y toman decisiones conjuntas que son aplicadas por los actores, sea en el sentido de delegar la responsabilidad en personas mayores, organizar un sistema de transporte o quizás disponer de un sistema fotovoltaico en cada domicilio. El proyecto está bien y el responsable de la ejecución está satisfecho. Proyecto 2: Elabora un sistema de M&E para presentar al financiador, deja todo en manos de los ejecutores en campo, no visita la zona luego de iniciado el proyecto. En la época de la evaluación externa (o semanas antes) se sorprende cuando ve que quizás hay problemas con quemaduras por ácidos, o que la comunidad está molesta por una mala gestión de la persona a cargo de los turnos para el cargado de baterías y -a causa de este malestar - existe ahora desunión en la comunidad. Él queda decepcionado. Este ejemplo nos da la pauta para mencionar que monitoreo es la observación continua, reflexión y corrección de actividades. Esto fue realizado por el personal del Proyecto 1; más no así por el del Proyecto 2. 1.1.1 Definición de Monitoreo y Evaluación. En varios países, los sistemas de diseño y construcción de M&E son normalizados como una herramienta pública de gestión. Mientras tanto, los gobernantes incluyen el establecimiento de presupuestos, recursos humanos y controles; la retroalimentación de resultados y consecuencias de cualquier plan de gobierno o política es un mecanismo que necesita ser trabajado. La definición más utilizada por la OECD sobre Monitoreo y Evaluación es la siguiente: El Monitoreo es una herramienta que usa la recolección sistemática de datos para indicadores específicos, de manera tal que aporten a la gestión y a los principales actores acerca del desarrollo sobre la marcha de las intervenciones, a través de indicadores para el avance y logro de objetivos; así como el progreso en el uso de los recursos colocados. La Evaluación es definida como la valoración objetiva y sistemática del diseño, implementación y resultados de un proyecto, programa o política que está en avance o ha concluido. El objetivo es determinar la importancia y el cumplimiento de los objetivos, avance de eficiencia, efectividad, impacto y sostenibilidad. La evaluación debe proveer información que sea creíble y útil, permitiendo la incorporación de lecciones aprendidas en los procesos de toma de decisiones, tanto de receptores como de donantes. Se ocupa de quién, o qué grupo, se ha beneficiado del sistema interinstitucional de trabajo (o fue adversamente afectado), en qué cuantía, de qué manera y por qué. Con el Monitoreo y Evaluación se pueden establecer las bases para el aprendizaje compartido a partir de la acción conjunta. 3 OXILIA Victorio, aportes a los autores. 2007.
  • 17. CRECER CON ENERGIA D26 – Manual de M&E página 17 de 134 Si bien se han definido los conceptos de Monitoreo y Evaluación, para desarrollar adecuadamente un proyecto o programa, es necesario establecer una visión de conjunto que englobe al monitoreo y la evaluación como un sistema. Esto es de gran importancia por la estrecha relación entre ambos términos: “el Monitoreo se centra en verificar la adecuación y correspondencia entre un plan y la realidad....y la evaluación mide y reflexiona sobre el impacto que tienen las acciones (a veces corregida o adaptada por medio del monitoreo) en relación con los objetivos y resultados esperados. Son dos lados de una misma moneda....se alimentan entre si y tienen un fin común: que los proyectos, programas y políticas sean efectivas...o bien aprender con las iniciativas buscando el mejoramiento continuo....hacia mejores proyectos, programas y políticas....”4 Ahora bien, para saber quiénes deben realizar el M&E, se debe partir primero por definir cuál es el papel de los grupos esenciales / actores que integrarán el trabajo de M&E, para lo cual se debería disponer de un listado agrupado: Autoridades públicas, instancias internacionales (multi y bilaterales) sectores no gubernamentales (nacionales / regionales) y sector privado (fabricantes/Bancos, etc.) y luego clarificar el rol que desempeñan: si trabajan en la creación de políticas para alivio a la pobreza, de política sectorial, si más bien son ejecutores de políticas / programas para el alivio a la pobreza, si más bien trabajan o diseñan políticas, planes y programas específicos para energía en ámbitos nacionales y regionales o si son ejecutores de las mismas.5 Este tema, por su implicancia en el Monitoreo y Evaluación, será analizado con mayor detalle en el módulo 3: “Análisis de los participantes en el M&E”. A continuación, se presentan los objetivos, contenidos, componentes, principios y criterios que deben ser empleados en el Monitoreo y Evaluación. 1.1.2 Objetivos del monitoreo y evaluación. Estos objetivos son estructurados a partir de una pregunta: ¿Para qué sirve el Monitoreo y Evaluación? ¿Y para quiénes? Las respuestas más frecuentes son: • Suministrar información. • Determinar el estado de un proyecto. • Garantizar la ejecución de un proyecto con efectividad. • Adoptar medidas correctivas en la ejecución. • Tomar decisiones (tanto en la ejecución de un proyecto o programa o política, como también para futuros proyectos, programas etc.). De manera sintética es: “Ayudar a los actores a orientar su trabajo hacia los resultados y objetivos del proyecto e informar sobre su avance, con el propósito de servir de apoyo a la gestión del proyecto, evaluando los resultados que se van alcanzando e introducir los ajustes necesarios para la obtención de los objetivos propuestos. Todo ello para poder adaptarse dinámicamente a las condiciones cambiantes de un entorno complejo y lograr el análisis sistemático de las experiencias del proyecto y basar en ellas su marco de acción”. 4 OXILIA Victorio, aportes a los autores. 2007 5 Monitoring and Evaluation Frameworks and Indicators: A Review of Energy Stakeholders in Bolivia & Paraguay. Kavita Rai/ Alba Gamarra/ Victorio Oxilia/ Maria Emilia de Castel/Elvio Enciso. WP7, Febrero 2007.
  • 18. CRECER CON ENERGIA D26 – Manual de M&E página 18 de 134 1.1.3 ¿Cuáles son los principios que deben guiar al M&E? El proceso de Monitoreo y Evaluación se debe desarrollar en base a un plan fundamentado en cuatro principios, que son: Transparencia, que permita a todos los actores involucrados en el proyecto, conocer qué información se recopilará y para qué fines. Objetividad, que establezca parámetros para el M&E, sin posibilidad de distorsiones de tipo subjetivo. Pertinencia, que permita a los actores diseñar, levantar información en el momento oportuno y procesarla para la adecuada toma de decisiones en el proceso de evaluación y retroalimentación. Legitimidad, que involucre activamente a los actores del proyecto desde el inicio, para la adecuada recopilación de información y la consecuente toma de decisiones. Flexibilidad, que permita la adecuación del sistema, pues éste debe poder modificarse, adaptarse y mejorar inclusive en el mismo proceso. 1.1.4 ¿Qué requiere? • Amplia base de consenso entre las autoridades institucionales, los ejecutivos/directivos del proyecto y los grupos meta, sobre los objetivos, resultados y actividades del proyecto. • Compatibilidad entre los objetivos, resultados y actividades del proyecto y las condiciones estructurales del medio. • Flexibilidad por parte de los administradores del proyecto, para aprender de las experiencias obtenidas durante la fase de ejecución y poder reaccionar oportuna y apropiadamente. • Efectividad y estabilidad de las instituciones responsables para el proyecto y de la propia organización de éste. • Continuidad en las decisiones a lo largo del tiempo de vida del proyecto. Como base de un sistema de M&E, se debe cuidar la existencia de una lógica vertical, objetivos, resultados, actividades e indicadores claros y realistas en la Matriz de Planificación del Proyecto (MPP), si se utiliza éste u otro esquema de planificación; así como también el disponer de un Plan operativo (PO) adecuado; a fin de permitir un seguimiento sistemático del avance (Monitoreo) y una revisión periódica (Evaluación) de los logros del proyecto. Existe un alto grado de dependencia entre la calidad de la planificación y el sistema de M&E, pues obviamente sería difícil diseñar un buen sistema de M&E, si la planificación de base no es precisa; o procurar modificar o ajustar la planificación sin un monitoreo y una subsiguiente evaluación de las actividades, resultados y efectos. 1.1.5 ¿Qué no es? Una función policiaca de fiscalización o auditoría del desempeño humano, financiero o institucional. Así como un programa o un proyecto...tampoco puede ser un sistema impuesto, prefabricado e inflexible en sus principios.
  • 19. CRECER CON ENERGIA D26 – Manual de M&E página 19 de 134 1.1.6 ¿Qué niveles de monitoreo y evaluación se tienen? Monitoreo y evaluación de las actividades ¿Cuáles actividades hemos planificado? ¿Cuáles hemos realizado y en que calidad? Monitoreo y evaluación de los resultados / productos ¿Qué hemos logrado? ¿Cuánto y con qué calidad? Monitoreo y evaluación del proceso ¿Por qué lo hemos logrado/ no lo hemos logrado? ¿Cómo lo hemos logrado? Monitoreo y evaluación de los impactos ¿Cuáles son los efectos que ha causado nuestro trabajo? Monitoreo y evaluación del entorno /contexto ¿Qué promueve u obstaculiza nuestro trabajo? Además de: Un Monitoreo y evaluación de la organización interna y de las relaciones externas 1.1.7 Límite de responsabilidades y atribuciones. Las responsabilidades y atribuciones (también denominado “brecha de atribución” del equipo del proyecto) van desde los insumos o recursos hasta el logro de los resultados, tomando en cuenta de acotar o delimitar las responsabilidades de los involucrados en los proyectos. Los beneficios directos e indirectos así como el objetivo de desarrollo corresponden a los impactos del proyecto que se miden generalmente a través de evaluaciones externas. Esta brecha de atribución es simplemente el límite de las responsabilidades del equipo de ejecución y monitoreo del proyecto. 1.2 Procesos del Monitoreo y Evaluación. El Monitoreo y la Evaluación deben entenderse como procesos reiterativos y cíclicos que nacen de la acción y se sirven de la observación, reflexión y decisión para introducir los ajustes necesarios sobre el proceso de ejecución del proyecto (acción). El Monitoreo y la Evaluación se sirven de la Matriz de Planificación –MPP-, esto es: de los objetivos, metas, actividades e indicadores, de manera que el objeto de las acciones de M&E; y, a su vez el instrumento, es el conjunto de elementos allí definidos. Mientras el proceso de planificación va de lo general a lo particular; el de monitoreo y evaluación asume el proceso inverso: de lo particular a lo general, esto es, del examen de los recursos y las actividades, pasa a la revisión de los resultados y, de éstos a los objetivos del proyecto y de desarrollo. El Monitoreo y la Evaluación deben definirse conjuntamente con la formulación del Plan de Acción. Éste pasa a ser un principio necesario, de manera de asegurar la retroalimentación permanente que mejore y optimice el proceso de ejecución del proyecto, con miras al logro de los resultados esperados. El Monitoreo y la Evaluación son “internos” y “participativos”, de manera que deben ser realizados por los propios participantes y responsables. Este principio sin embargo, no
  • 20. CRECER CON ENERGIA D26 – Manual de M&E página 20 de 134 elimina la posibilidad, y a veces la conveniencia, de contar con apoyos externos para la realización de tareas de evaluación. A continuación se enuncian algunos elementos básicos del monitoreo y evaluación que se desprenden del concepto enunciado: El Plan de Monitoreo y Evaluación pasa a ser un instrumento necesario, de manera de asegurar la retroalimentación permanente que mejore y optimice el proceso de ejecución del proyecto, con miras al logro de los resultados esperados. El monitoreo y evaluación debe fomentar y potenciar los factores positivos observados en la ejecución del proyecto, detectar eventuales problemas o limitaciones, así como sus causas para finalmente, proponer soluciones y procedimientos apropiados para rectificarlos. Estas recomendaciones deben incorporarse a los formularios de reporte. Este proceso supone: partir de la observación de la acción, con el fin de reflexionar y decidir, para volver nuevamente a la acción. Observar: Contar con la información suficiente para establecer el estado de avance de la ejecución e identificar los procesos de contribución de los diversos agentes que intervienen durante el proceso de ejecución del proyecto. La observación requiere un mínimo de sistematización, momentos y agentes diferentes de observación y supone responder a: ¿Qué podemos y queremos observar? ¿Quién observa? ¿Cómo medir y representar lo observado? ¿Cómo presentar esa información? Reflexionar: Comprobar su eficacia mediante la comparación entre objetivos y metas propuestas y los logros obtenidos; identificar los factores de éxito de esos logros y las causas de las limitaciones u obstáculos que impiden su obtención. En la reflexión las preguntas son: ¿Qué diferencia existe con lo previsto? ¿Qué se ha logrado? ¿Qué de positivo hay en nuestro proceso? ¿Cuáles son las limitaciones de nuestro proceso y sus causas? ¿Con quién intercambiar nuestra observación? Decidir acerca de las medidas necesarias para continuar el proceso hacia el logro de los objetivos y velar por su aplicación. Las preguntas al respecto son: ¿Qué queremos cambiar? ¿Qué esperamos conseguir con ello? ¿Cómo hacerlo? ¿Quién puede ayudarnos? Fuente: Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH Deutsche Welthungerhilfe (Agro Acción Alemana), Gamarra Alba, Canedo Walter, Gangotena Juan. 2001. ACTUAR OBSERVAR REFLEXIONAR DECIDIR ACTUAR
  • 21. CRECER CON ENERGIA D26 – Manual de M&E página 21 de 134 Este ciclo de observación, reflexión y decisión, se concreta por parte de los diversos agentes involucrados (grupos interesados, entes de contraparte y cooperación externa) sobre todos los pasos del proceso: • Planificación (concepción). • Ejecución (organización, empleo de recursos, relaciones de contribución y cooperación). • Operación • Efectos e impactos. Es importante reconocer que el Monitoreo y la Evaluación no son varitas mágicas que pueden hacer que los problemas desaparezcan, que se solucionen u ocurran cambios milagrosos sin un duro trabajo en el proyecto o la organización. Ellos no son la solución, más son herramientas valiosas. El efecto del Monitoreo y Evaluación puede verse en el siguiente ciclo. Note que usted monitoreará y ajustará varias veces antes que esté listo para evaluar y replanificar. Fuente: CIVICUS, Monitoreo y Evaluación, Janet Shapiro.2003. 1.3 El sistema de Monitoreo y Evaluación. El sistema de M&E- como ya se ha dicho - tiene como referentes a las actividades del proceso, los resultados esperados y los objetivos trazados. El sistema debe contener los elementos que responden a las siguientes preguntas: Planificar Implementar Monitorear Reflexionar/aprender/ decidir /ajustarImplementar Monitorear Reflexionar/aprender/ decidir/ ajustar Implementar Evaluar/aprender/ decidir
  • 22. CRECER CON ENERGIA D26 – Manual de M&E página 22 de 134 ¿Qué, Quién, Cuándo, Cómo y Con qué recursos? ¿Qué?: ¿Qué se debe medir, controlar o evaluar? La respuesta corresponde a las actividades en el ámbito operativo; los resultados a través de sus indicadores; los efectos y su sostenibilidad. ¿Quién?: ¿Quién controla, evalúa y apoya? El control y evaluación debe en lo posible, corresponder a los propios participantes. ¿Cuándo?: ¿Cuándo se debe controlar o evaluar? El sistema debe proponer la frecuencia o periodicidad con la que deben realizarse el monitoreo y las evaluaciones. ¿Cómo?: ¿Cómo efectuar las tareas de Monitoreo y Evaluación? corresponde a la definición previa de herramientas: Formularios, guías, reuniones y talleres, en los que se concreten las tareas de control de avance y medición de cumplimiento de metas, así como objetivos. ¿Con qué recursos? Los recursos necesarios –adicionales- que demande el Monitoreo y Evaluación (encuestas e investigaciones) deben estar previstos como parte del costo que demande el Plan de Acción. La evaluación se ocupa de quién o qué grupo se ha beneficiado (ó ha sido adversamente afectado), en qué cuantía (en comparación con la situación imperante antes de la actividad de que se trate), de qué manera (directa o indirectamente) y por qué (estableciendo en la medida de las posibles relaciones causales entre las actividades y los resultados). Dentro de la gestión institucional, la evaluación es el cuestionamiento, la revisión y la adecuación de la planificación, así como de las realizaciones. Se realiza interna y externamente: • Antes de la ejecución, examinando la planificación: "Evaluación ex-ante". • Durante la ejecución, para analizar si las hipótesis y supuestos de la evaluación ex- ante siguen válidos, a fin de introducir ajustes: "Evaluación continua" (Interna y/o externa). • Al concluir la ejecución, para valorar el logro de los efectos y el impacto: "Evaluación fin de proyecto". • Años después de terminar las actividades, para obtener enseñanzas para las futuras planificaciones: "Evaluación ex-post". Esta información se dirige a las instancias encargadas de la dirección y de políticas institucionales para tener una orientación óptima hacia la situación/problemas para la nueva planificación ó re-adecuación del sistema de gestión/ejecución. Con la evaluación se califica: Quién, en qué, de qué manera y por qué se ha beneficiado.
  • 23. CRECER CON ENERGIA D26 – Manual de M&E página 23 de 134 1.4 Tipos de Monitoreo y Evaluación. ¿Qué es lo que el Monitoreo y la Evaluación tienen en común? Pues que ambos conducen hacia el aprendizaje sobre lo que se está haciendo, cómo se lo hace, enfocándose en: • Eficacia. • Efectividad. • Impacto. La Eficacia avisa si los insumos puestos en el trabajo son apropiados en términos del producto de salida. Esto puede ser colocado en términos de dinero, tiempo, personal, equipamiento y otros. Cuando usted conduce un proyecto y está preocupado sobre su replicabilidad o sobre su crecimiento (scaling-up), entonces es muy importante tener este elemento correcto. Ejemplo: • Número de clientes conectados o volumen de ventas. • Frecuencia de enfermedades (tales como problemas respiratorios). • Gasto de energía (con servicio equivalente). La efectividad es una medida del alcance en el cual un programa de desarrollo o proyecto adquiere los objetivos específicos establecidos. Si, por ejemplo, los actores (incluyendo a los usuarios finales) pueden crear “nuevos usos” para el servicio de electricidad. El impacto avisa si lo que uno ha realizado, ha implicado una diferencia sobre la situación o problema al que estamos abocándonos. En otras palabras, ¿fue la estrategia la correcta? Por ejemplo, al haberse incrementado los usos de electricidad ha repercutido en la mejora de condiciones sociales y económicas de los beneficiarios. Antes de que se decida crecer o replicar el proyecto en otro lugar, necesitará estar seguro de que lo que está haciendo tiene sentido en términos del impacto que desea alcanzar. A partir de esto, debe tener claro que el M&E es mejor realizado cuando existe una adecuada planificación contra la cual medir el progreso y los logros. Existen herramientas en este documento que tratan sobre la planificación: una mirada a la planeación estratégica y a la planificación operativa. 1.4.1 Monitoreo y Evaluación de proceso. “Se denomina “monitoreo de proceso” a las tareas obtenidas a través de una selección consciente de determinados pasos y su observación de forma selectiva y sistemática, a fin de compararlos con otros y dialogar sobre ellos para extraer enseñanzas que puedan aplicarse provechosamente en la conducción de procesos”6 . Los indicadores de proceso que se usan, miden y verifican los cambios que se producen en el corto plazo, como resultado inmediato y directo de las actividades realizadas por el proyecto corresponden al nivel de actividades y dan cuenta de la puesta en marcha del proyecto. Se hallan en un nivel operacional. 6 GTZ, “Seguimiento de Procesos, una ayuda para personal de proyectos” Eschborn, 1993.
  • 24. CRECER CON ENERGIA D26 – Manual de M&E página 24 de 134 1.4.2 Monitoreo y Evaluación de medio término. El Monitoreo y Evaluación de medio término, como su nombre lo indica, se realiza alrededor de la mitad del tiempo previsto para la ejecución del proyecto, con la finalidad de obtener información importante para la toma de decisiones. Cabe mencionar que el M&E es un proceso continuo; sin embargo la evaluación de medio término tendrá un proceso de documentación, reflexión y comparación de las actividades, avances y logros alcanzados, en comparación con las prestaciones establecidas en el Marco Lógico del Proyecto y los compromisos contractuales a los que se arriben. 1.4.3 Evaluación de cierre. La evaluación final del proyecto se realizará una vez recibido el último reporte técnico y financiero del mismo. Este reporte deberá contener ejemplos concretos sobre: lecciones aprendidas en los aspectos técnicos de aplicación de los diferentes componentes del proyecto; construcción de capacidad; promoción de la conciencia pública; participación con enfoque de género; pueblos indígenas involucrados; co-financiamiento; relaciones con política y entidades gubernamentales; acuerdos con donantes y otros programas; así como la replicabilidad para el futuro. En esta evaluación se recomienda que participen activamente los actores involucrados en el proyecto. 1.4.4 Monitoreo y Evaluación de efectos e impacto. Este tipo de monitoreo y evaluación al impacto del Proyecto es necesario para valorar el aporte del proyecto y el cumplimiento de sus objetivos. Los impactos que se esperan lograr están en relación al cambio de hábitos de la población involucrada en el proyecto. También es importante analizar el impacto sobre los involucrados en el proyecto, respecto a la actitud para con los proyectos futuros. El Monitoreo y evaluación de los efectos se refiere sólo a la Planificación, en la medida en que ésta se interesa por los objetivos a largo plazo. De momento, no podemos sino avanzar en supuestos o hipótesis sobre los efectos deseados y los no deseados. Las repercusiones sólo se hacen sentir con el tiempo y están en interacción con las influencias desfavorables y favorables del entorno. Si los efectos son sostenibles en el tiempo, podemos hablar de “impacto”. El "impacto” consta de las consecuencias a mediano y largo plazo que tiene un proyecto para el entorno y su población, sean deseadas (planificadas) o no deseadas. Fuente: Karl Herweg & Kurt Steiner 2002 “Monitoreo y valoración de impacto” (CDMA& GTZ). GOOOOOL … y sus efectos secundarios
  • 25. CRECER CON ENERGIA D26 – Manual de M&E página 25 de 134 El monitoreo y evaluación del impacto se interesa por los efectos socioeconómicos y ecológicos de un proyecto o de un programa, es decir: los efectos son aquellos que trascienden los objetivos perseguidos y los resultados esperados. Dichos efectos, deseados o no, se manifiestan ya durante el desarrollo del proyecto o únicamente concluido éste. Por este motivo, ya es posible elaborar un monitoreo y evaluación del impacto durante el transcurso del proyecto; pero a menudo se debe proseguir una vez terminado el programa o proyecto para permitir afirmaciones claras. El monitoreo y evaluación del impacto establece un puente entre los resultados y las correlaciones de los efectos en el contexto. Por eso, sirve ante todo para el manejo estratégico y la formulación de la política para los futuros proyectos. Generalmente, el monitoreo y evaluación del impacto requiere muchos esfuerzos cuando trasciende las correlaciones entre resultado del proyecto y transformaciones. La organización del monitoreo y evaluación del impacto debe, si las circunstancias lo requieren, convertirse en un acto independiente durante el desarrollo del proyecto. Por ejemplo, cuando, a nivel de un programa, se crea una pequeña comunidad de trabajo o instancia de coordinación compuesta de asesores/as locales y externos/as para asumir labores de monitoreo de diferentes proyectos. Además, ello posee la ventaja de que se mantiene el conocimiento metodológico adquirido y se sigue desarrollando. De ese modo, también se garantiza mejor el monitoreo del impacto a largo plazo. Los procedimientos e instrumentos para el monitoreo y evaluación de impacto son idénticos a los del M&E de los resultados: resumen de información en cuadros y secuencias temporales, Benchmarking7 , etc., sin embargo, la forma de encarar el monitoreo y evaluación del impacto difiere fundamentalmente. Aquí, el primer paso consiste en formular las hipótesis de impacto. Con estos supuestos sobre posibles efectos seleccionamos los campos de observación, que examinamos periódicamente a la luz de indicadores. El Monitoreo y evaluación de impacto se distingue de otras formas de M&E por la larga duración del período de observación y por la estrecha relación entre los efectos provocados por un proyecto y el contexto. Fuente: Martina Vahlhaus, 1999, ¿Cómo implantar y ejecutar el monitoreo del impacto? GTZ. 7 Benchmarking significa mutua cooperación y aprendizaje común con otros proyectos/programas. Es una forma estructurada de intercambio de experiencias que permite comparar resultados y procedimientos.
  • 26. CRECER CON ENERGIA D26 – Manual de M&E página 26 de 134 Para la correcta introducción e implementación del M&E de impacto, se deben seguir seis pasos secuenciales, los cuales se explican en el gráfico anterior. Valoración del monitoreo y evaluación de impacto. La valoración del M&E de impacto y la visualización de los cambios en el entorno se puede realizar, por ejemplo, mediante un diagrama de "araña” (véase Gráfico). Para este propósito, es útil una clasificación para cada indicador (por ej. de 5 "el cambio se considera muy bueno” a 1 "el cambio se considera muy malo”). La puntuación para cada indicador ya debería prepararse en esta fase, mediante una discusión entre todos los participantes. Hay que responder en relación con cada indicador seleccionando las preguntas: "¿Dónde estamos?” y "¿Dónde queremos estar?”. El mejor logro realista posible para cada indicador es 5 (muy bien) y el peor 1 (muy mal). Fuente: Karl Herweg & Kurt Steiner 2002 “Monitoreo y valoración de impacto" (CDMA& GTZ). 1.5 ¿Qué son los indicadores? La palabra indicador, que proviene del latín indicare (señalar, avisar y estimar), alude a hechos o datos concretos que prueban la existencia de cambios conducentes hacia los resultados e impactos buscados. Los indicadores son como las marcas de señalización al borde de las carreteras y caminos: muestran si usted sigue en la ruta correcta y cuánto ha avanzado. En la vida cotidiana es muy común el uso de indicadores (horas y minutos como indicadores de tiempo, puntajes en pruebas y exámenes como indicadores de progreso académico, kilogramos y metros como indicadores de peso y longitud respectivamente, entre otros). Un indicador es un instrumento que permite a los actores de un proyecto observar y medir resultados. Los indicadores constituyen señales de cambio reconocidas por diferentes actores. Se establecen preguntando: ¿Cómo saber de modo claro y fehaciente que se está logrando el resultado propuesto o previsto?8 . Los indicadores son parámetros seleccionados para representar una situación compleja y a menudo imposible de medir directamente. Estos pueden ser cuantitativos o cualitativos; y la combinación de ellos resulta en indicadores mixtos. Por ejemplo, para el M&E de indicadores para el desarrollo sostenible han sido formulados 30 indicadores, clasificados en tres dimensiones (social, económica y ambiental), a su vez 8 Emma Rotondo, Gloria Vela. Indicadores de género. PREVAL/PROGÉNERO, FIDA. 2004.
  • 27. CRECER CON ENERGIA D26 – Manual de M&E página 27 de 134 han sido reclasificados en 7 temas y 19 sub temas por la Comisión de Desarrollo Sostenible de las Naciones Unidas (CSD): Ejemplo en la dimensión social: Tema Sub-tema Indicador de energía Componentes Equidad Accesibilidad Porcentaje de viviendas (o personas) sin electricidad o energía comercial, o altamente dependiente de energía no comercial. Viviendas (o personas) sin electricidad, energía comercial o altamente dependiente de energía no comercial. Número total de viviendas o población. Ejemplo en la dimensión económica: Modelos de Uso y producción Usos finales Intensidad energética en agricultura. (relación entre el consumo de energía de un sector o segmento determinado y el valor agregado de dicho sector o segmento) Uso de energía en sector agrícola. Valor añadido correspondiente. Ejemplo en la dimensión ambiental: Tierra Forestación Tasa de deforestación atribuida al componer parte de la oferta de biomasa para la matriz energética. Área Forestada en dos diferentes momentos. Utilización de biomasa. Fuente: “Energy indicators for sustainable development: guidelines and methodologies”, International Atomic Energy Agency, United Nations Department of Economic and Social Affairs, International Energy Agency, Eurostat and European Environment Agency y aportes propios. En el ámbito de proyectos energéticos se utilizan indicadores cuantitativos, cualitativos o mixtos. 1.5.1 Indicadores cuantitativos. Sus principales características son las siguientes: • Expresan cantidad (cuánto/as) y frecuencia.
  • 28. CRECER CON ENERGIA D26 – Manual de M&E página 28 de 134 • Las unidades de medida son el número y el porcentaje. • Los principales métodos e instrumentos utilizados para verificarlos son los censos, las encuestas, las entrevistas estructuradas, aplicando –en algunos casos- modelos matemáticos y econométricos. Ejemplos de indicadores cuantitativos: • Nº de personas que han accedido a un sistema de suministro energético, • Con valores: • De 10,000 personas de una población, 80% tienen el suministro energético. 1.5.2 Indicadores cualitativos. Sus principales características son las siguientes: • Expresan cualidades, características o fenómenos intangibles. • Se refieren a percepciones, prácticas, opiniones, habilidades o hechos. • Describen, entre otras cosas, la situación y condiciones de vida de las personas; las relaciones de poder y desigualdad; los cambios en la sensación, satisfacción y comprensión de las personas sobre algún hecho. • Por lo general, las unidades de verificación de los indicadores cualitativos son: tipo, grado y nivel. • Para su formulación se requiere la definición de escalas. En general, los indicadores cualitativos son particularmente útiles para comprender el punto de vista, los intereses y las prioridades de los actores del proyecto. Cuando el cambio esperado se refiere a variaciones en conocimientos, actitudes y prácticas (capacidades) de las personas para desarrollar sus potencialidades y superar la pobreza, la aplicación de este tipo de indicadores es relevante y necesaria durante y después de la implementación del proyecto. Ejemplos de indicadores cualitativos: Existe la predisposición de los pobladores del lugar para la administración del sistema energético en base al marco legal establecido. Grado de capacidad de las mujeres para gestionar recursos, expresado en la siguiente escala: i) Hacen trámites legales relativos a su actividad. ii) Elaboran planes estratégicos y operativos para sus organizaciones. iii) Elaboran y presentan proyectos ante entidades públicas y privadas. 1.5.3 Indicadores mixtos. Son aquellos que permiten verificar cambios cualitativos y, al mismo tiempo, determinar en cuántos individuos, organizaciones o instancias se presentan esos cambios. Por lo anterior, en los indicadores mixtos siempre se presenta una unidad de medida (número o porcentaje) y una unidad de verificación (tipo, grado o nivel). Por ejemplo: Número (cantidad) de mujeres según grado (cualidad) de participación en la toma de decisiones en la gestión de la empresa eléctrica. Número (cantidad) y tipo (cualidad) de
  • 29. CRECER CON ENERGIA D26 – Manual de M&E página 29 de 134 microempresas que manifiestan interés por conocer tecnologías energéticas limpias para su actividad productiva. Los indicadores mixtos son particularmente importantes en la evaluación, ya que permiten verificar, tanto la magnitud o profundidad de los cambios obtenidos como la amplitud con que se presentan, lo que hace posible una mayor comprensión acerca de la obtención de los resultados esperados. 1.5.4 ¿Cuáles son las características principales de los indicadores? La identificación de un correcto indicador es muy importante para el M&E. Para este fin se deben observar necesariamente las características de los indicadores, verificando la inclusión de estas características, ya sea en la formulación de los indicadores, como también en la revisión de indicadores ya formulados anteriormente. Basándose en la Matriz de Planificación del Proyecto (MPP), se analiza la lógica horizontal y vertical, enfatizando en la segunda columna: Indicadores. Los indicadores permiten verificar el cumplimiento de objetivos y de resultados. Caracterizan su contenido. Especifican / Acotan los objetivos y/o resultados. Son la base para el M&E. Los Indicadores Verificables Objetivamente (IVO’s) que se encuentran en la MPP, son “hechos con los cuales se pueden medir otros hechos”. En otras palabras, es una parte que da cuenta del todo e indican la consecución de los objetivos y resultados. Cabe mencionar que en el contexto de proyectos, los IVO’s son redactados en uno o varios párrafos, que denotan la composición de las variables que se pueden medir o identificar. Las variables involucradas en un indicador pueden ser todas o algunas que se muestran en el cuadro siguiente: Se definen en términos de: Características de un buen indicador Variables Descripción LE AMO MAREA…..R ⇒ Calidad ¿Cuán positivo / cuán bueno? Limitado en tiempo y cantidad Medible ⇒ Cantidad ¿Cuánto? Específico: orientado al logro del objetivo. Alcanzable ⇒ Tiempo ¿Cuándo? ... Realista ⇒ Localización ¿Dónde? Alcanzable Específico ⇒ Grupo meta ¿Quiénes? Medible Acotado Observable Reto Fuente: Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH Deutsche Welthungerhilfe (Agro Acción Alemana), Gamarra Alba, Canedo Walter, Gangotena Juan. 2001. También hay que tener una visión de proceso al hacer los indicadores. En los primeros años se puede ver si se va a lograr o no.
  • 30. CRECER CON ENERGIA D26 – Manual de M&E página 30 de 134 A manera de ejemplo, se muestra un indicador que está compuesto por las variables mencionadas en el cuadro anterior. “En la localidad de Charagua perteneciente al Chaco boliviano (Localización), la asociación de pequeños ganaderos (Grupo meta), ha logrado establecer durante el segundo semestre del año 2007 (Tiempo), un sistema de bombeo de agua con sistema fotovoltaico con capacidad de 2 l/s que les permite atender un abrevadero de 30 cabezas de ganado vacuno al día (Cantidad); con lo cual el índice de mortalidad del ganado atribuible a la sequía ha disminuido un 30% (Calidad)”. 1.6 ¿Qué puede lograr el M&E? El monitoreo, al observar la implementación de un proceso (programa, estrategia, planificación) a distintos niveles, desde el inicio hasta el fin, nos permite reflexionar. No siempre las decisiones implican hacer correcciones, a veces la situación observada es la situación esperada. En el caso que no lo sea, es necesario hacer correcciones y se debe reflexionar sobre las medidas de corrección. LAS 4 OPCIONES DE CONDUCCIÓN Y/O DE TOMA DE DECISIONES • Continuar: no hacer nada y seguir sin cambiar algo. • Reorientar: hacer ajustes de implementación. • Reorientar: hacer ajustes del concepto / de los objetivos. • Parar el proyecto / programa. Ajustes de implementación se pueden hacer internamente. En cambio, si se requiere hacer ajustes de concepto o a nivel de estrategia, se involucran otros actores, implica otros niveles de mando. El equipo de monitoreo suele proponer, mas no tomar decisiones. En los años 80, el monitoreo se enfocaba en las actividades; en los noventa se empieza e integrar los productos, resultados y servicios. Actualmente, se habla sobre monitoreo orientado principalmente a impactos. 1.7 Cambios en los enfoques del monitoreo a nivel internacional. Antes Ahora Tendencias en el pasado. Enfoque principal a lo operativo. Finalidad más hacia control y legitimación. Orientación más hacia el pasado y problemas. Afán por acumular datos y documentarlos. Normas y procedimiento definido. Delegación a pocas personas y especialistas. Orientación al futuro. Enfoque principal a lo estratégico. Finalidad hacia mejoramiento de la calidad del trabajo. Orientación hacia cambios en el futuro. Afán por proveer las informaciones que necesitan los usuarios. Procedimientos flexibles. Participan aquéllos / aquéllas que influyen en la calidad del trabajo. Fuente: Memoria del Taller de Monitoreo de Resultados e Impacto. Comisión multisectorial de reducción de riesgos para el desarrollo. PCM – GTZ. Febrero de 2004.
  • 31. CRECER CON ENERGIA D26 – Manual de M&E página 31 de 134 La idea no es sólo monitorear lo que hemos hecho o hemos logrado, sino si hubo impacto en nuestra sociedad, bajo la idea que nosotros invertimos recursos para lograr cambios en otros. Las actividades y los productos son medios para lograr cambios. En este sentido, se deben gestionar las actividades y los productos orientados hacia estos cambios. ¿Esta actividad sirve para lograr este cambio?; ¿existe una hipótesis lógica detrás de mi estrategia y los impactos que quiero lograr? Cuando se hace una estrategia, plan, proyecto, primero se tienen que identificar los cambios que queremos lograr y establecer nuestras intervenciones en base a una hipótesis sobre el cambio que van a producir. Esta hipótesis es la cadena de impacto. Entonces, se deben monitorear, tanto las actividades como los cambios que se producen y ver si hay enlace entre las dos. Se dice que los cambios se producen después de la implementación; de ser cierto, sólo tendría que monitorear las actividades y los productos. Sin embargo, la realidad no es así, los cambios no se dan de un momento a otro. El cambio se va desarrollando durante el proceso y se pueden reflejar en pequeños aspectos. Por ejemplo, si se quiere cambiar la forma de monitorear estrategias, no se puede trabajar por 2 años en manuales y al final ver que no funciona este método para recién empezar a buscar otra manera. Paralelamente a las acciones, se van a dar los cambios. Esto representa una nueva visión de cómo se gestionan los programas. 1.8 ¿De dónde sale la información para la toma de decisiones? La respuesta es del cambio, después de una intervención se refleja otra. Sin embargo, otro factor a considerar, es que los responsables de los programas tomen como criterio los datos elaborados por la unidad de monitoreo en sus decisiones. 1.9 Pasos para conducir el monitoreo De acuerdo al tipo de proyecto y al énfasis que tenga el mismo, se elaborarán: objetivos, resultados, actividades e insumos; cuidando siempre de incluir la perspectiva de género, pero tomando en cuenta las características de la participación y rol de las mujeres en su grupo social correspondiente. Más allá de la inclusión de la perspectiva de género, se debe cuidar que la planificación sea participativa, legítima y acorde a los “usos y costumbres” de cada grupo social involucrado en el proyecto, ya que las visiones y realidades de cada grupo social, no son necesariamente coincidentes con otros grupos o personas que puedan intervenir en un proyecto. Un ejemplo, a modo de introducción de lógica de planificación, se encuentra en el Anexo del presente módulo, un caso de uso productivo, energía, género y metas de desarrollo del milenio. Actuar DecidirObservar ActuarDecidir ObservarActuar Implementación de la planificación
  • 32. CRECER CON ENERGIA D26 – Manual de M&E página 32 de 134 Puesto que existen diferencias entre el diseño de un sistema de monitoreo y un proceso de evaluación, trataremos ambos aspectos de manera separada. Cuando diseña un sistema de monitoreo, usted toma un punto de vista para su elaboración y establecerlo proveerá información oportuna en una base concurrente, de tal manera que pueda mejorar lo que hace y cómo lo hace A continuación se encuentra el proceso paso a paso que puede usar para diseñar el sistema de M&E para su organización o proyecto. Paso 1: Introducción del concepto de eficacia, efectividad e impacto (Ver glosario de Términos). Paso 2: Generar una lista de indicadores para cada uno de los tres aspectos y clarifique qué variables (ver Glosario de términos), necesitan estar enlazadas. Realizar este paso de manera participativa en un taller donde podrá seleccionar las variables que lo ayudarán a responder las preguntas que piensa que son importantes, por ejemplo: Edad, género, religión, urbano – rural, categoría económica, ambiente familiar, duración de la iniciativa del proyecto y número de talleres realizados. Con la información correcta Ud. podrá responder preguntas tales como: • ¿El mensaje recibido varía con la edad? • La categoría económica: ¿las personas jóvenes en áreas responden mejor o peor al mensaje o no hay diferencia? • ¿El número de talleres a los que asisten las personas hace una diferencia en temas de impacto? Preguntas a este tipo de inquietudes permiten al proyecto o a la organización tomar decisiones acerca del qué hacer, cómo hacer y también a medir su efectividad e impacto. Respuestas a preguntas tales como: • ¿Más personas participan en sesiones cuando se organizan con antelación? • ¿Existe más participación cuando no se cobra para los cursos? • ¿Participan más jóvenes cuando las sesiones son realizadas en fines de semana o en las noches? • ¿Es mejor realizar un taller en la comunidad o traer a las personas a un centro de capacitación? Paso 3: Decidir cómo realizará la recolección de la información que necesita y dónde se guardará (en la computadora o en archivos manuales). Paso 4: Decidir cuán frecuentemente se analizará la información – esto significa colocarla toda junta y procurar responder a preguntas que piensa son importantes. Paso 5: Recolectar, analizar y reportar.
  • 33. CRECER CON ENERGIA D26 – Manual de M&E página 33 de 134 1.10 Pasos para conducir la evaluación. En la evaluación nosotros analizamos los términos de referencia, el objetivo de la evaluación, las preguntas claves de evaluación y la metodología. Términos de Referencia: El diseñar el proceso de evaluación significa estar en capacidad de desarrollar términos de referencia para el proceso (si Ud.es parte del proyecto o de la organización) o estar en capacidad de diseñar una propuesta para satisfacer las necesidades del proyecto o de la organización (si Ud. es el consultor). Las principales secciones en los términos de referencia para un proceso de evaluación generalmente incluyen: Antecedentes: Sobre el entorno o condiciones del proyecto o de la organización, información sobre el problema identificado, qué es lo que se hace, hace cuánto que inició actividades y por qué ha decidido realizar la evaluación. Objetivo: En este sector debe indicar qué es lo que la organización o proyecto quiere que la evaluación consiga. Preguntas clave de evaluación: cuáles son las preguntas principales a las que la evaluación debe dirigirse. Objetivos específicos: Cuáles son las áreas específicas, internas y/o externas que debe abordar la evaluación. Por ejemplo, si desea que la evaluación incluya una revisión económica o que incluya ciertos temas específicos del programa. Metodología: en esta parte Ud. debe dar parámetros amplios sobre el tipo de enfoque que favorecerá en la evaluación. Ud. puede sugerir el tipo de técnicas que le gustaría utilice el equipo de evaluación. Temas logísticos: Tiempo, costo, requerimientos en la composición del equipo, etc. 1.11 Propósito de la evaluación. El propósito de una evaluación es la razón por la cual la está realizado. Va más allá de lo que Ud. quiere saber y por qué lo quiere saber. Generalmente es una oración o párrafo que tiene dos partes: • Qué quiere que sea evaluado. • Con qué finalidad quiere realizarla. A continuación se plantea algunos ejemplos de propósitos de evaluación: Proveer a la organización con la información necesaria para tomar decisiones acerca del futuro del proyecto.
  • 34. CRECER CON ENERGIA D26 – Manual de M&E página 34 de 134 Asesorar sobre si la organización del proyecto tiene el impacto planeado de manera de decidir si se debe o no replicar el modelo en otros lugares. Asesorar al programa en términos de efectividad, impacto en el grupo meta, eficiencia y sostenibilidad de manera de mejorar su funcionamiento. De esta manera, el propósito enunciado dará el enfoque principal al proceso de evaluación. 1.11.1 Preguntas clave de evaluación. Las preguntas clave de evaluación son las preguntas principales que quiere que sean respondidas a través del proceso de evaluación. No son preguntas simples y normalmente raras veces son respondidas por un “sí” o “no”. Una puede hacerse preguntas útiles para la evaluación, analizando por ejemplo si: • Provocan cuestionamientos. • Asumen desafíos. • Enfocan la investigación y reflexión • Provocan otras preguntas adicionales. A continuación, se presentan algunos ejemplos de preguntas clave de evaluación, relacionadas al objetivo del proyecto: El propósito de la evaluación es asesorar sobre cuán eficiente es el proyecto en la entrega de beneficios a la comunidad identificada para así informar las decisiones del Directorio sobre la continuidad y replicación: • ¿Quién se está beneficiando actualmente del proyecto y de qué manera? • ¿Los insumos (tiempo y dinero) justifican los resultados y, si es así o no; sobre qué base se puede justificar? • ¿Qué mejoraría la eficiencia, efectividad e impacto del proyecto? • ¿Cuáles son las lecciones que pueden aprenderse del proyecto en términos de replicabilidad? Note que ninguna de estas preguntas trata sobre un elemento específico o área del funcionamiento interno o externo del proyecto u organización. La mayoría de las respuestas requerirán que el equipo de evaluación pueda manejar un rango de elementos del proyecto u organización de manera de responderlas. Otros ejemplos de preguntas clave de evaluación podrían ser: • ¿Cuáles son las maneras más efectivas en las cuales un proyecto de este tipo puede abordar el problema identificado? • ¿En qué forma el funcionamiento interno y la estructura de la organización impactan positivamente en el programa de trabajo? • ¿Qué aprendizajes de este proyecto tendrían pertinencia a lo largo del desarrollo completo del espectro? Claramente podría haber muchos ejemplos. Nuestra experiencia muestra que un proceso de evaluación está diseñado con tales preguntas en mente, de manera de producir muchos más puntos de vista interesantes que simplemente preguntando cuestiones obvias como: ¿El directorio tiene un rol importante en la organización? o ¿Qué impacto estamos teniendo?
  • 35. CRECER CON ENERGIA D26 – Manual de M&E página 35 de 134 1.12 Metodología. “Metodología” es diferente a “Métodos”, tiene más relación con el enfoque que usa en el proceso de evaluación. Ud. Puede – por ejemplo – encargar o llevar adelante un proceso de evaluación que se encuentra en gran parte en fuentes escritas, primarias o secundarias: informes, fichas, etc. Por otra parte, Ud. puede solicitar un proceso de evaluación que involucre la obtención de insumos a través de actores clave. La mayoría de los términos de referencia solicitarán una combinación de ambos; pero también se deben especificar cómo se desea que el equipo de evaluación obtenga los insumos de los grupos de actores, por ejemplo: • A través de encuestas. • A través de informantes clave. • A través de grupos focales. La información también servirá para elaborar los estudios de línea de base, tomando en cuenta que se debe prever el control de daños. Por control de daños, nos referimos a lo que se necesita hacer si Ud. falla al obtener la información de línea de base al inicio. En esta parte, también uno esperaría encontrar algunos indicios de los formatos de reporte: ¿Todos los informes serán escritos?; ¿El equipo reportará al gerente, a todo el personal, al personal, al Directorio y a los beneficiarios?; ¿Habrán reportes intermedios o sólo un informe final?; ¿Qué tipo de evidencias requiere la organización o el proyecto para sostener las opiniones vertidas por los evaluadores?; ¿Quiénes estarán involucrados en el análisis? La sección “Metodología” en los Términos de Referencia deben proveer un marco general de cómo se espera que el trabajo de evaluación sea realizado para el proyecto u organización. Cabe aclarar que existe muchas veces una confusión generalizada sobre los términos “metodología”, “métodos”, “técnicas”, “instrumentos de investigación”, entre otros; sin embargo a objeto del presente Manual, lo que se denomina “metodología” en los programas y proyectos son en realidad métodos, técnicas y/o instrumentos de medición o de investigación.
  • 36. CRECER CON ENERGIA D26 – Manual de M&E página 36 de 134 1.13 Diferentes enfoques para la Evaluación. Un resumen de los diferentes enfoques usados para la evaluación, se puede observar en el siguiente cuadro: Enfoques Objetivos principales Preguntas tipo principales Metodología afín Basada en objetivos Valoración de logro de metas y objetivos. ¿Fueron alcanzados los objetivos?; ¿De manera eficiente?; ¿Eran los objetivos correctos? Comparación de línea de base (ver glosario de términos) y progreso de los datos para encontrar las formas de medir indicadores. Toma de decisiones Provisión de información. ¿Es efectivo el proyecto?; ¿Debería continuar?; ¿Cómo debería ser modificado? Valoración del rango de opciones relacionadas con contexto del proyecto, insumos, procesos y productos. Establecimiento de cierto tipo de consenso en la toma de decisiones. Libre de objetivos Valoración amplia de los efectos del proyecto, tanto de los esperados como de los no esperados. ¿Cuáles son los resultados?; ¿Qué valor tienen los resultados? Determinación independiente de las necesidades y estándares para juzgar la valía del proyecto. Uso de técnicas cualitativas y cuantitativas para descubrir cualquier resultado posible. Juicio de expertos Uso de expertise ¿Cómo valora un profesional externo este proyecto? Revisión crítica basada en la experiencia, encuesta informal y percepciones subjetivas. Fuente: (PACT’s Evaluation Sourcebook, 1984.) Nuestra percepción es que los mejores evaluadores usan una combinación de estos enfoques.
  • 37. CRECER CON ENERGIA D26 – Manual de M&E página 37 de 134 1.14 Ventajas y desventajas de la evaluación interna y externa de un proyecto. Las evaluaciones de un proyecto o programa pueden ser internas y/externas. Cada una de ellas conlleva una serie de ventajas y desventajas. El cuadro que se muestra a continuación denota estas características. Tipo de evaluación Ventajas Desventajas Evaluación interna Los evaluadores están muy familiarizados con el trabajo, la cultura organizacional, las intenciones y los objetivos. Algunas veces las personas están más dispuestas a hablar con los de adentro que con los externos. Una evaluación interna es una herramienta de gestión, una forma de auto – corrección y mucho menos amenazante que una evaluación externa. Esto puede hacer más fácil para los involucrados el aceptar los hallazgos y críticas. Una evaluación interna cuesta menos que una externa. El equipo de evaluación puede tener intereses vertidos en alcanzar conclusiones positivas acerca del trabajo u organización. Por esta razón, otros actores, tales como los donantes pueden preferir una evaluación externa. El equipo puede no tener las destrezas o entrenamiento en evaluación. La evaluación tomará una cantidad considerable de tiempo de la organización – mientras que tendría un costo menor que la evaluación externa - los costos de oportunidad pueden ser altos. Evaluación externa (realizada por un equipo o persona que no tenga intereses vertidos en el proyecto) La evaluación es más objetiva, puesto que los evaluadores tendrán cierta distancia del trabajo. Los evaluadores deben tener destrezas y experiencias de evaluación. Algunas personas están más predispuestas a hablar con extraños que con los del interior de la organización. Utilizar un evaluador externo da mayor credibilidad a los hallazgos, especialmente a los hallazgos positivos. Alguien extraño a la organización o proyecto puede no entender la cultura o incluso el trabajo que se está tratando de lograr. Aquéllos directamente involucrados pueden sentirse amenazados por extraños y ser menos abiertos a hablar abiertamente y a cooperar en el proceso. La evaluación externa puede ser altamente costosa. Un evaluador externo puede malinterpretar lo que usted espera de la evaluación y no darle lo que precisaba. Fuente: CIVICUS, Monitoreo y Evaluación, Janet Shapiro. 2003. Es recomendable tener ambos tipos de evaluación. 1.15 Pasos para elaborar un plan de monitoreo y evaluación. Previamente a establecer un plan de M&E, es importante que se revise y perfeccione la matriz de planificación del proyecto, ya que de la calidad de la planificación, también
  • 38. CRECER CON ENERGIA D26 – Manual de M&E página 38 de 134 depende la calidad del plan de M&E. En ese sentido, recomendamos revisar los pasos mencionados en el “M&E Guide for Energy Projects” del Grupo Internacional de trabajo de M&E en Energía para el Desarrollo (M&EED). a) Identifique los actores involucrados en las necesidades de M&E. b) Elabore un diagrama de su proyecto. c) Asigne resultados del proyecto a los vínculos con su cadena de efectos. d) Elija los indicadores y métodos de recolección de información. e) Trate los temas transversales. f) Elabore un borrador del esquema de M&E. g) Valide su esquema con los actores del M&E. h) Integre los aportes de los actores en el diseño del M&E: i) Ejecute el M&E como parte del proyecto. j) Elabore conclusiones, presente los resultados del M&E, los acuerdos para el seguimiento de las recomendaciones. El proceso planteado para el diseño del plan de Monitoreo y Evaluación, prevé cinco pasos que son los siguientes: Construcción de la matriz; Agregación de fuentes; Mapa de fuentes; Investigación, negociación y acuerdos; así como el Diseño de herramientas. 1.15.1 Construcción de la matriz: determinación de datos y variables. El proceso se inicia con la determinación de los datos y variables que posibilitan la construcción de cada uno de los indicadores. Esta operación se efectúa para cada uno de los resultados de la matriz. Establecidas las variables se complementa la matriz con: La identificación de la fuente u origen de cada una de ellas; para lo cual conviene precisar la entidad o instancia en la que se genera el dato y, de ser posible, la persona responsable de Diseño de herramientas Mapa de fuentes Construcción de la matriz Investigación, negociación y acuerdos Agregación de fuentes
  • 39. CRECER CON ENERGIA D26 – Manual de M&E página 39 de 134 hacerlo, la frecuencia o periodicidad con la que debe generarse el dato, y la herramienta para su recuperación. A continuación se presenta un modelo de matriz: Resultado Indicador Variables / datos Fuente: Frecuencia Herramienta Entidad Responsable 1.15.2 Agregación de fuentes. Una vez establecida la información consignada en la matriz, es posible agregar las variables por fuente, de manera de visualizar toda la información que debe ser recuperada de cada una de las fuentes. 1.15.3 Mapa de fuentes. Con base en la identificación de las diversas fuentes existentes, para generar la información necesaria para el Monitoreo y Evaluación, es posible elaborar un mapa institucional de fuentes. Simplemente consiste en construir un diagrama de los diversos actores que intervienen en la producción de información. FUENTE VARIABLES A Variable X Variable y Variable z B Variable x C Variable y SISTEMA DE INFORMACION B A D A1 A2 B1 C1 B2 A3 C
  • 40. CRECER CON ENERGIA D26 – Manual de M&E página 40 de 134 1.15.4 Investigación, negociación y acuerdos. Establecido el conjunto de actores que pueden intervenir en la generación de información, es posible iniciar un proceso de investigación, negociación y acuerdos, orientados a asegurar la provisión periódica y oportuna de información necesaria para el sistema. Condición indispensable para poder establecer esta red articulada de transmisión de datos, es que la información a ser recabada por cada uno de los actores o agentes, le sea útil, es decir necesaria a cada uno de ellos. Muchas veces será preciso recurrir a una inducción con miras a sensibilizar a los agentes acerca de la conveniencia y utilidad de la extracción y empleo de la información. 1.15.5 Diseño y acuerdo de herramientas. Establecida esta red articulada de actores del sistema de información, será necesario diseñar, conjuntamente con cada uno de ellos, las herramientas o mecanismos para la generación y transmisión de la información. En el cuadro siguiente se muestran algunos formatos que podrían dar una idea para elaborar, diseñar y manejar un Banco de Indicadores. Es importante mencionar que estos formatos no son los únicos y que el responsable de M&E podría adoptar cualquier otro formato o crear uno nuevo, siempre que mantenga la coherencia lógica. Formato A: Indicador Formato B: Indicador Formato C: Indicador Justificación. Valor inicial. Requerimiento de datos. Momento del levantamiento de datos. Responsabilidad. Requerimiento de recursos. Calidad de los datos. Flujo de datos. Competencias de evaluación / decisión. Logros efectivos. Valoración. Medidas de corrección. Valor inicial. Explicación racional. Explicaciones para la formulación. Dimensiones cualitativas. Metas cuantitativas. Validez. Costo de verificación. Instrucciones para la recolección de datos: Datos requeridos. Fuente de datos. Recolección de datos (fecha, y procedimiento). Control de calidad de los datos. Procesamiento de los datos. Justificación. Medición / levantamiento de datos. Observaciones. Fuente: Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH Deutsche Welthungerhilfe (Agro Acción Alemana), Gamarra Alba, Canedo Walter, Gangotena Juan. 2001. Teniendo construida la matriz de M&E, ésta servirá para ejecutar las actividades necesarias para la recolección y procesamiento de la información (preparación, análisis y documentación), así como también para el análisis y valoración de la información, con miras a tener la decisión y reacción correctas en el gerenciamiento del proyecto.
  • 41. CRECER CON ENERGIA D26 – Manual de M&E página 41 de 134 1.15.6 Procedimiento para la construcción de indicadores. Describir el concepto y llegar a un acuerdo por consenso. Por ejemplo: En consecuencia con los objetivos y resultados del proyecto, ¿Qué significa capacidad de gestión? Por ejemplo: para capacidad de gestión se podrían haber identificado las siguientes dimensiones, entre otras: apalancamiento de recursos, manejo administrativo-contable y formulación de proyectos. Revisar si las dimensiones e indicadores corresponden al nivel de resultado que se quiere evaluar (Impactos, efectos, proceso, etc.). La siguiente pregunta puede guiar esta reflexión: ¿Tiene cada indicador de la lista elaborada en relación con el nivel de objetivos que el proyecto debe verificar o medir? Para cada dimensión, formular indicadores medibles, objetivamente verificables y con enfoque de género. Recordar que un paso clave será la determinación de la unidad de análisis: ¿Quiénes serán objeto de la medición o verificación? (personas, instituciones, organizaciones o grupos). Identificar la unidad de medida o verificación: número o porcentaje para información cuantitativa: tipo y nivel o grado para información cualitativa. Una vez obtenida la lista de indicadores, preguntarse si efectivamente los indicadores son medibles, objetivamente verificables. La siguiente pregunta puede guiar esta reflexión: ¿Hasta qué punto indican lo que quiero observar y medir? • Depurar la lista seleccionando los indicadores más relevantes y viables. • Preguntarse quiénes y a través de qué técnicas recogerán la información para cada indicador o para un grupo de ellos. • Estimar la periodicidad del recojo de información y el costo que esto implicará. Algunas recomendaciones que se deben tener en cuenta al formular indicadores: • Un solo indicador no puede captar la compleja totalidad de un hecho ni sus múltiples dimensiones. Por ello, se requiere seleccionar cuidadosamente un conjunto de indicadores que expliquen mejor el hecho o fenómeno que se quieren evaluar y comunicar. • Los indicadores no son rígidos ni invariables, sino más bien referenciales. Estos se podrán ir ajustando o corroborando a la luz de la experiencia práctica. Los indicadores requieren ser puestos a prueba permanentemente. • Es recomendable e importante contar con el número necesario de indicadores, con el fin de asegurar su utilización y de justificar la inversión para el levantamiento de información. • Los indicadores deben corresponder a las necesidades de información de los actores. Una vez identificadas las demandas, será importante acordar qué actores participarán en procesos de: • Recolección de información. • Análisis.
  • 42. CRECER CON ENERGIA D26 – Manual de M&E página 42 de 134 • Comunicación de la información. • Toma de decisiones (uso de la información). 1.16 Pasos para elaborar un plan de Monitoreo y Evaluación (GRUPO M&EED). El enfoque del M&E que se presenta a continuación fue preparado por el Grupo de M&EED9 con algunas modificaciones. Se debe resaltar que el M&E es una herramienta de apoyo para el proyecto y el involucramiento de especialistas del área que pueden apoyar para mejores resultados. 1.16.1 Acciones necesarias para las mediciones de M&E. Información requerida Responsabilidad Valoración/ Revisión. Análisis de actores. Especialistas sociales/ Jefes de proyecto. Los expertos de M&E. Dibuje el diagrama del proyecto de energía. Líderes del proyecto / Especialistas sociales para obtención de información. Desarrolle indicadores / Plan de M&E y recolección de información. Expertos de M&E / Especialistas sociales con insumos de los actores. Mejora de estructura del informe. Expertos de M&E / Especialistas sociales. Fuente: Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH Deutsche Welthungerhilfe (Agro Acción Alemana), Gamarra Alba, Canedo Walter, Gangotena Juan. 2001. 1.16.2 Valoración/revisión; Análisis de actores.10 Elabore una lista de los actores más importantes y su interés en el proyecto. Se debe incluir a las autoridades gubernamentales, donantes, implementadores, gestores del proyecto, consultores, usuarios y otros que sean relevantes. ¿Están los actores interesados en el M&E de los proyectos? Si es así, cuáles son sus planes? Si no, entonces pase al próximo paso. ¿Qué información puede ser obtenida de los diversos actores? Haga una lista o tabla de la información requerida. 1.16.3 Dibuje el diagrama del proyecto de energía. El diagrama del proyecto puede ser graficado usando el enfoque de DAC-OECD explicado en el inciso 2.2.5. 9 El M&E para el Grupo de Trabajo de Energía y Desarrollo (M&EED) está representado por varias organizaciones e individuos que trabajan en temas energéticos y de desarrollo. Ver: www.gvep.org para mayores detalles y documentos de trabajo en M&E. 10 El primer informe para el D25 del proyecto “Crecer con Energía” detalla los actores y su involucramiento tanto en Bolivia como Paraguay.
  • 43. CRECER CON ENERGIA D26 – Manual de M&E página 43 de 134 1.16.4 Desarrolle indicadores / Plan de M&E y recolección de información. Como se mencionó en el marco de M&E DAC, los indicadores específicos necesitan ser desarrollados para cada paso (insumos, resultados, objetivos e impacto). Los indicadores deben ser medibles para obtener resultados concretos. Sin embargo, los indicadores cualitativos, tales como cambios de comportamiento también pueden ser definidos. Es importante imaginar los métodos de recolección de información que serán usados para medición de indicadores. Cuadro para el Plan de M&E Elementos en el diagrama de la cadena causal Indicadores Métodos de recolección de datos Calendario ¿Quién llevará a cabo la recolección de los datos & su procesamiento? Costo estimado Línea de base Frecuencia InsumosActividadesResultadosImpactos Síntesis e informes Fuente: M&EED. A guide to monitoring and evaluation for energy projects. M&EED. 2006.