La función del FIDA en la reducción de la pobreza rural

Oficina de Evaluación
Manual de evaluación
METODOLOGÍA Y PROCEDIMIENTOS
Abril de 2009

Abreviaturas y siglas 03
Prólogo 05
1. Antecedentes 07
2. Conceptos metodológicos básicos 11
A. Criterios de evaluación 11
B. Evaluación del impacto 14
C. Sistema de calificación 16
D. Agregación 17
E. El “porqué” 18
F. Variabilidad entre distintos evaluadores 18
G. Serie de evidencias 18
H. Atribución y escenarios contrafácticos 18
I. Evaluación y análisis retrospectivo 19
J. Responsabilización respecto al aprendizaje 20
K. Técnicas e instrumentos 20
L. Establecimiento de bases de referencia 25
M. Evaluaciones conjuntas 26
N. Transparencia 26
3. Metodología para la evaluación de proyectos 27
A. Procedimientos más importantes 27
B. Informes de evaluación de proyectos: contenido, definiciones y ejemplos 36
4. Metodología para la evaluación de programas en los países 52
A. Fases clave del proceso de evaluación del programa en el país 55
B. Informes de las evaluaciones de los programas en los países:
contenido, definiciones y ejemplos 59
Apéndice: Fragmentos extraídos de los debates del Comité de Evaluación acerca del
Apéndice: Manual de evaluación de la OE 71
Anexos
1. Bibliografía 72
2. Referencias complementarias sobre técnicas de recopilación de datos 74
3. Lista de buenas prácticas: ejemplos de entregas clave de evaluación 75
4. Modelo de informe preparatorio del proyecto 76
5. Protocolo de la Oficina de Evaluación para las comunicaciones internas y externas
en las diferentes etapas del proceso de evaluación 80
6. Conflictos de interés de los consultores y ampliación de la reserva de especialistas
de evaluación 86
7. Modelo de acuerdo en el punto de culminación 89
8. Lista de las políticas y estrategias subsectoriales pertinentes del FIDA 90
9. Directrices sobre buenas prácticas para la organización de talleres 91
Índice

APC acuerdo en el punto de culminación
ARRI informe anual sobre los resultados y el impacto de las actividades del FIDA
CAD Comité de Asistencia para el Desarrollo de la OCDE
CCA consorcio central de aprendizaje
COSOP Programa sobre oportunidades estratégicas nacionales
DELP documento de estrategia de lucha contra la pobreza
EPP evaluación del programa en el país
GPP gerente del programa en el país
IFI institución financiera internacional
IFP informe final del proyecto
IFPRI Instituto Internacional de Investigación sobre Políticas Alimentarias
OCDE Organización de Cooperación y Desarrollo Económicos
OE Oficina de Evaluación
OMS Organización Mundial de la Salud
ONG organización no gubernamental
PIB producto interno bruto
PMD Departamento de Administración de Programas
(Programme Management Department)
PNUD Programa de las Naciones Unidas para el Desarrollo
SyE seguimiento y evaluación
Abreviaturas y siglas
03

Manual de evaluación
Metodología y Procedimientos
04

En el presente manual se expone la metodología básica que la Oficina de Evaluación
(OE) aplica al realizar sus evaluaciones, que comprenden, entre otras, evaluaciones
de proyectos, temáticas, de programas en los países y a nivel institucional. También
se presentan los procedimientos más importantes para el diseño y la realización de
evaluaciones de proyectos y programas en los países, que actualmente son los tipos
de evaluación que la OE realiza con mayor frecuencia.
El manual se basa en las buenas prácticas internacionales en esta esfera seguidas
por el Grupo de Cooperación en materia de Evaluación de los bancos multilaterales
de desarrollo, la Red de Evaluación del Comité de Ayuda al Desarrollo de la
Organización de Cooperación y Desarrollo Económicos y el Grupo de las Naciones
Unidas sobre Evaluación. También se han tenido en cuenta las últimas novedades
que se han producido en la coyuntura externa, como el aumento de la atención
prestada a las evaluaciones conjuntas entre organismos de desarrollo, la importancia
de utilizar los recursos de evaluación nacionales y la aplicación de la Declaración de
París sobre la Eficacia de la Ayuda y del Programa de Acción de Accra, así como los
recientes cambios introducidos en el FIDA, especialmente los derivados del Plan de
acción del FIDA para mejorar su eficacia en términos de desarrollo. El manual tiene
el objetivo fundamental de garantizar la coherencia, el rigor y la transparencia de las
distintas evaluaciones independientes y, en último término, mejorar la eficacia y la
calidad del trabajo de la OE.
Los destinatarios principales del manual son el personal y los consultores de la OE
que secundan a la Oficina en la realización de las evaluaciones previstas en su
programa de trabajo anual. Ahora bien, el documento también es útil para los colegas
que trabajan en el Departamento de Administración de Programas del FIDA y para los
asociados nacionales que participan en las evaluaciones de la OE, ya que explica con
claridad el enfoque global que ésta aplica a las evaluaciones independientes y las
funciones y responsabilidades de los distintos participantes durante el proceso.
El documento se ha elaborado de manera participativa, mediante amplios y variados
debates entre el personal de la OE y algunos consultores experimentados que han
colaborado en el pasado con la OE en la realización de evaluaciones. Además, se
han celebrado varias rondas de conversaciones con el personal y la dirección del
FIDA. Durante la elaboración del manual también se recabó información entre los
directores de determinados proyectos respaldados por el FIDA en todas las regiones.
La OE ha sacado partido de las reveladoras observaciones e indicaciones de un
grupo de expertos internacionales integrado por siete asesores superiores
independientes: el profesor Robert Picciotto (ex Director General del Grupo de
Evaluación Independiente del Banco Mundial) en calidad de presidente;
la Sra. Cheryl Gray (Directora del Grupo de Evaluación Independiente del Banco
Mundial); el Sr. Shiva Kumar (profesor invitado en la Indian School of Business,
en Hyderabad); el Sr. Hans Lundgren (Jefe de la Sección de Evaluación de la
Organización de Cooperación y Desarrollo Económicos); la Sra. Saraswathi Menon
(Directora de la Oficina de Evaluación del Programa de las Naciones Unidas para
Prólogo
05

el Desarrollo y Presidenta del Grupo de las Naciones Unidas sobre Evaluación); la
Sra. Zenda Ofir (especialista en evaluación, Sudáfrica), y el Sr. Rob D. van den Berg
(Director de Evaluación del Fondo para el Medio Ambiente Mundial). Por último, pero
no por ello menos importante, el manual también se examinó, antes de ultimarlo,
en un seminario oficioso del Comité de Evaluación de la Junta Ejecutiva del FIDA.
El manual, redactado en inglés, se ha traducido al árabe, el francés y el español
para que pueda utilizarse en todas las regiones geográficas en las que el FIDA lleva
a cabo sus operaciones, y está disponible en formato electrónico en los cuatro
idiomas en la sección de evaluación de la página web institucional del Fondo.
Luciano Lavizzari
Director de la Oficina de Evaluación
06

La agricultura y la ayuda en el programa
mundial de desarrollo. Tras varios decenios
de inversiones insuficientes y decrecientes de
los gobiernos, el sector privado y los organismos
de desarrollo en el sector agrícola, cada vez se
reconoce más ampliamente que la agricultura
es fundamental para el desarrollo. En el
Informe sobre el desarrollo mundial 2008:
Agricultura para el desarrollo del Banco
Mundial se destaca el papel de la agricultura
como motor del crecimiento de la economía
en general, medio de vida de la mayoría de las
personas que viven con menos de 1 dólar al
día y proveedora de servicios medioambien-
tales. En ese informe se estima que el creci-
miento del producto interno bruto (PIB) en la
agricultura es cuando menos el doble de eficaz
para reducir la pobreza extrema que el creci-
miento del PIB generado en otros sectores.
Sin embargo, a pesar de este acuerdo general
acerca de la importancia de la agricultura para
el crecimiento y la reducción de la pobreza,
el apoyo que se presta al sector sigue siendo
sumamente escaso, y el proteccionismo
obstaculiza el crecimiento y la innovación
agrícolas. La insuficiencia de las inversiones
públicas se ha visto agravada por la evolución
de la asistencia oficial para el desarrollo
destinada a la agricultura, que disminuyó de
USD 8 000 millones en 1984 a alrededor de
USD 3 000 millones en 2006. Tampoco está
claro que las nuevas fuentes de financiación
de la ayuda que han surgido (fundaciones
privadas, grandes países de ingresos medios,
etc.) sirvan para corregir ese desequilibrio.
La función del FIDA. En vista de lo que ante-
cede, la misión del FIDA es más pertinente que
nunca. El Fondo funciona como institución
1. Naciones Unidas (2006):
The Millennium Development
Goals Report 2006 (Informe
de 2006 sobre los objetivos
de desarrollo del Milenio).
2. IFPRI (2007): “Focus on the
World’s Poorest and Hungry
People” (Atención prioritaria a
las personas más pobres del
mundo y a quienes padecen
hambre).
3. Ravaillon M. et al. (2007):
New Evidence on the
Urbanisation of Global
Poverty (Nuevas pruebas
sobre la urbanización de la
pobreza mundial), Washington,
D.C.: Banco Mundial.
4. Datt y Ravallion (1996)
demuestran que el crecimiento
del sector rural en la India
provocó una reducción de la
pobreza tanto en las zonas
rurales como urbanas
mientras que el crecimiento
económico en las zonas
urbanas contribuyó poco a la
reducción de la pobreza rural.
Warr (2001) aporta pruebas
de que el crecimiento de la
agricultura en varios países
de Asia sudoriental contribuyó
a reducir notablemente la
pobreza, aunque no fue
acompañado por un
crecimiento del sector
manufacturero. Gallup et al.
(1997) demuestran que cada
aumento del 1% del producto
interno bruto (PIB) agrícola per
cápita lleva aparejado un
crecimiento del 1,61% de los
ingresos del 20% más pobre
de la población, lo que
representa un efecto mucho
mayor que el impacto que
tienen incrementos parecidos
en los sectores manufacturero
o de servicios.
El desafío de reducir la pobreza rural.
El compromiso que la comunidad dedicada al
desarrollo contrajo en la Cumbre del Milenio
para reducir a la mitad, entre 1990 y 2015, el
porcentaje de personas que viven en condiciones
de pobreza extrema y padecen hambre ha
arrojado resultados desiguales. Por un lado,
en los países en desarrollo la proporción de
personas que viven con menos de 1 dólar al
día ha disminuido del 28% al 19%. En cambio,
los progresos han sido mucho menos acusados
en lo que a la reducción del hambre y la malnu-
trición se refiere, y sigue habiendo enormes
diferencias regionales. Los impresionantes
progresos alcanzados en Asia meridional y
oriental contrastan con la lentitud de los avances,
o incluso los retrocesos, que se han producido
en otros lugares.1
La desigualdad de los ingresos
ha aumentado, al igual que la proporción de
personas en situación de pobreza extrema que
viven en África subsahariana y América Latina.2
Si bien la dinámica cambiante de la pobreza
pone de manifiesto un incremento de la propor-
ción de personas pobres que viven en las zonas
urbanas, la pobreza, y sobre todo la pobreza
extrema, todavía es un fenómeno predominan-
temente rural y lo seguirá siendo durante varios
decenios3
. La mayoría de los pobres del medio
rural depende de forma directa o indirecta de la
agricultura y, por consiguiente, el crecimiento
agrícola es más beneficioso por lo que se refiere
a la reducción de la pobreza que el crecimiento
en cualquier otro sector4
. De modo análogo, en
un momento de trastornos sin precedentes en
los mercados mundiales de productos básicos
la seguridad alimentaria es fundamental para
lograr un desarrollo equitativo y sostenible. Las
zonas rurales expuestas a los estragos del cam-
bio climático requieren una atención especial.
1Antecedentes
07

financiera internacional (IFI) a la par que como
organización especializada del sistema de las
Naciones Unidas, con el mandato de contri-
buir a reducir la pobreza rural prestando
apoyo a actividades agrícolas y de desarrollo
rural en los países en desarrollo. Los princi-
pales instrumentos de ejecución que utiliza
son proyectos y programas financiados
mediante préstamos, aunque también recurre
en pequeña medida a la modalidad de finan-
ciar sus actividades mediante donaciones5
.
El Fondo también participa cada vez más
en actividades no crediticias, como el diálogo
sobre políticas, la creación de asociaciones y
la gestión de los conocimientos.
Habida cuenta de su tamaño relativamente
reducido, el FIDA centra su labor en los pobres
de las zonas rurales y en la promoción de inno-
vaciones que les sean favorables6
y que otros
asociados, como los gobiernos, los organismos
donantes y el sector privado, puedan reproducir
y ampliar. El Fondo, cuyo mandato es de alcance
mundial, trabaja en cinco regiones geográficas7
y
está plenamente comprometido con el logro de
los objetivos de desarrollo del Milenio.8
Como
signatario de la Declaración de París sobre la
Eficacia de la Ayuda al Desarrollo (2005), suscribe
los principios de la apropiación nacional, la
armonización, la asociación, la alineación y la
responsabilidad por los resultados, que se
ratificaron en el Programa de Acción de Accra.
El objetivo primordial del FIDA, estipulado en el
Marco Estratégico del FIDA (2007-2010), es
empoderar a las mujeres y los hombres pobres
de las zonas rurales de los países en desarrollo
para que mejoren sus ingresos y la seguridad
alimentaria en el hogar. En el Marco Estratégico
se especifican seis objetivos principales, desti-
nados a garantizar que los hombres y mujeres
pobres de las zonas rurales tengan un acceso
más amplio y sostenible a los siguientes
elementos: i) recursos naturales; ii) tecnologías
agrícolas mejoradas; iii) servicios financieros
rurales; iv) mercados de insumos y productos;
v) oportunidades de empleo y creación de
empresas rurales fuera del sector agrícola, y
vi) procesos locales y nacionales de formulación
de políticas y programación.
La evaluación en el FIDA. Los procedimientos
y la metodología de evaluación independientes
del Fondo se rigen por los principios recogidos
en la política de evaluación9
aprobada por la
Junta Ejecutiva en abril de 2003. También se
fundamentan en el marco metodológico para la
evaluación de proyectos revisado por el Comité
de Evaluación10
en su 34º período de sesiones,
celebrado en 2003/2002. Las evaluaciones de
los programas en los países (EPP) se llevan a
cabo sobre la base de una metodología elabo-
rada en consulta con el Grupo de Evaluación
Independiente del Banco Mundial en 2005.
El objeto del presente manual es perfeccionar,
actualizar y consolidar las directrices actuales
con el fin de que las evaluaciones del FIDA
alcancen niveles de gran calidad en el marco
de la política de evaluación convenida.
La política de evaluación tiene su fundamento
en la rendición de cuentas, el aprendizaje, la
independencia y la asociación, cuatro principios
que rigen la realización de todas las evaluaciones
de la Oficina de Evaluación (OE), y cuya apli-
cación, por consiguiente, debe estar respal-
dada por los métodos y procedimientos adop-
tados. Para ello se precisa una gestión cuida-
dosa, puesto que la promoción de un principio
puede incidir en los demás. Por ejemplo, la OE
está decidida a garantizar la participación
durante todo el proceso de evaluación a fin de
promover la inclusión y el sentido de apropiación
en las constataciones y recomendaciones de
evaluación, pero, en cumplimiento del principio
de independencia, no se debe permitir que la
participación y el sentido de apropiación
adquieran el control del proceso de evaluación.
Análogamente, el principio del aprendizaje no
debe minar el principio de rendición de cuentas,
dado que la independencia de actuación exige
la producción sistemática de documentos de
evaluación rigurosos.
La independencia de la función de evaluación
del FIDA reviste especial importancia y queda
reflejada en varias disposiciones de la política
de evaluación que, entre otras cosas, estipulan
lo siguiente: i) el Director de la OE rinde cuentas
a la Junta Ejecutiva y no al Presidente del Fondo;
ii) el programa de trabajo y el presupuesto de la
5. El programa de trabajo del
Fondo para 2008 dispone de
un nivel de financiación de
USD 650 millones, el 10% de
los cuales se ha reservado
para conceder financiación
mediante donaciones.
6. Esas innovaciones pueden
producirse, por ejemplo, en
los ámbitos de la tecnología,
las disposiciones institucionales
y la ingeniería social.
7. Asia y el Pacífico, África
oriental y meridional, América
Latina y el Caribe, Cercano
Oriente y África del Norte y
África occidental y central.
8. En particular, los objetivos
de desarrollo del Milenio 1, 3 y 7.
9. Véase el documento EB
2003/78/R.17/Rev.1, “Política
de evaluación del FIDA”.
10. Véase el documento EC
2003/34/W.P.3, “Marco
metodológico para la
evaluación de proyectos –
Principales criterios y
preguntas clave para la
evaluación de proyectos”.
08

OE se elaboran con independencia de la direc-
ción del FIDA y se presentan directamente a la
aprobación de la Junta y al Consejo de Gober-
nadores; iii) el Presidente ha delegado su
autoridad en el Director de la OE para que
adopte todas las decisiones en materia de
recursos humanos relacionadas con la OE, y
iv) el Director de la OE está facultado para
presentar los informes de evaluación a la direc-
ción del Fondo y a sus órganos rectores, y
divulgarlos entre el público en general, sin
necesidad de obtener el visto bueno de ningún
funcionario ajeno a la Oficina.
La OE realiza evaluaciones de distintos tipos,
como evaluaciones de proyectos, de programas
en los países, temáticas y a nivel institucional.
En lo que se refiere a los proyectos, lleva a cabo
tanto evaluaciones intermedias como finales.
Estas últimas, de acuerdo con la política de
evaluación, son obligatorias. Las evaluaciones
intermedias se realizan cuando finaliza el
período de ejecución de un proyecto, antes de
que el FIDA y el país prestatario inicien el diseño
de una nueva fase de esa misma operación.
Las evaluaciones finales se llevan a cabo
después del cierre del proyecto.
El manual de evaluación. La elaboración del
presente manual obedece al empeño de la OE
por armonizar aún más sus metodologías con
las buenas prácticas seguidas en la comunidad
internacional dedicada a la evaluación del
desarrollo y, por consiguiente, representa un
paso adelante en la puesta en práctica de la
Declaración de París. Este manual de evaluación
consolidado y actualizado se ha preparado en
respuesta a la evidente necesidad de aumentar
el rigor, la coherencia y la imparcialidad de las
actividades de evaluación. Con él se trata
asimismo de satisfacer la obligación de trans-
parencia que lleva aparejada la excelencia de
la labor de evaluación.
La finalidad principal del manual es brindar
orientación al personal de la OE y a los consul-
tores que intervienen en la labor de evaluación.
En él se tienen en cuenta los recientes cambios
derivados de la aplicación del Plan de acción
del FIDA para mejorar su eficacia en términos
de desarrollo, como el Marco Estratégico del
FIDA (2007-2010), las estrategias de innova-
ción y gestión de los conocimientos, la política
de focalización, la adopción del nuevo modelo
operativo del FIDA (que conlleva la supervisión
directa y el apoyo a la ejecución, así como una
presencia en los países más pronunciada),
los nuevos mecanismos de mejora y garantía
de la calidad, las actividades de autoevaluación
(como la puesta en práctica de un marco insti-
tucional de medición de los resultados) y la
introducción del programa sobre oportunidades
estratégicas nacionales (COSOP) basado en
los resultados.
El manual se centra en las evaluaciones de
proyectos y en las EPP, ya que representan la
mayor parte de las evaluaciones que realiza la
OE. A la espera de que se elaboren nuevos
materiales de orientación dedicados a las
evaluaciones temáticas y a nivel institucional,
se prevé que en esas evaluaciones también se
sigan las disposiciones amplias contenidas en
el presente manual. En función de la naturaleza
y alcance de esas evaluaciones se definirán,
para cada caso concreto, procedimientos y
metodologías ad hoc. Además, se invita a los
evaluadores a complementar las disposiciones
del manual con las orientaciones formuladas
por el Comité de Asistencia para el Desarrollo
(CAD)11
cuando lleven a cabo la evaluación de
un proyecto o una EPP en naciones que se
encuentren en fases de conflicto o posteriores
a un conflicto.
Si bien con el manual se trata de inculcar un
cierto grado de coherencia en las evaluaciones
de la OE, también se deja un amplio margen
para la creatividad, la innovación y la flexibilidad.
Por ejemplo, aunque en el capítulo 2 figura una
lista de técnicas y métodos, basados en buenas
prácticas para la recopilación de datos, se deja
a los evaluadores la libertad de elegir el enfoque
y su aplicación final según las circunstancias
y el contexto específicos de la evaluación de
que se trate.
La elaboración y puesta en práctica de este
manual deben servir para facilitar la participación
de la OE en evaluaciones conjuntas con otras
11. Véase al respecto
“Encouraging Effective
Evaluation of Conflict
Prevention and Peace-
Building Activities: Towards
DAC Guidance” (Hacia
una guía del CAD para la
evaluación de las actividades
de prevención de conflictos
y construcción de la paz),
OCDE, septiembre de 2007.
09

organizaciones de desarrollo. Cada vez se está
recurriendo más a ese tipo de evaluaciones
con el fin de reducir los costos de transacción
para los países asociados, ampliar el alcance de
las evaluaciones para que todos los asociados
principales en las actividades de desarrollo
intervengan en los programas que se evalúan y
propiciar intercambios más amplios de conoci-
mientos y experiencias. También se prevé que
en las evaluaciones conjuntas se respete el
principio de la responsabilidad mutua consa-
grado en la Declaración de París y ratificado en
el Programa de Acción de Accra de 2008.
Este manual se ha elaborado de forma partici-
pativa mediante la interacción con el personal y
los consultores de la OE, así como con los
colegas del Departamento de Administración
de Programas (PMD) y los asociados sobre el
terreno.12
A fin de aprovechar los recientes
avances conseguidos en las metodologías y
prácticas de evaluación del desarrollo de otras
organizaciones, el personal de la OE también
ha colaborado con el Grupo de las Naciones
Unidas sobre Evaluación, el Grupo de Coope-
ración en materia de Evaluación, integrado por
los bancos multilaterales de desarrollo, la Red
de Redes sobre la Evaluación del Impacto y la
Red sobre Evaluación del CAD de la Organiza-
ción de Cooperación y Desarrollo Económicos
(OCDE). El manual se basa en las normas y
criterios del Grupo de las Naciones Unidas
sobre Evaluación, las normas pertinentes de
buenas prácticas del Grupo de Cooperación en
materia de Evaluación y los principios clave de
evaluación del CAD/OCDE.
En la elaboración del manual la OE ha tomado
en consideración las observaciones formuladas
por el grupo de expertos internacionales inte-
grado por asesores superiores independientes,13
cuya función principal ha sido brindar orienta-
ciones y contribuciones a la OE y dar seguri-
dades a los órganos rectores del FIDA de que
el manual se ajusta a las normas de buenas
prácticas en materia de evaluación internacional
del desarrollo. Formaban parte de ese grupo
representantes de IFI, las Naciones Unidas y
el CAD/OCDE, así como expertos de evalua-
ción provenientes de países en desarrollo.
Por último, antes de finalizar el documento, se
celebraron consultas con el Comité de Evalua-
ción de la Junta Ejecutiva del FIDA.
El manual está organizado de la manera
siguiente: en el capítulo 2 se ofrece un pano-
rama de los conceptos metodológicos básicos,
en el capítulo 3 figura información detallada
sobre la metodología para la evaluación de
proyectos, y en el capítulo 4 se hace otro tanto
con las EPP. En los anexos se han incluido,
entre otras cosas, ejemplos de buenas prác-
ticas en lo relativo al marco de evaluación, los
documentos conceptuales, prólogos de las
evaluaciones, resúmenes operativos, acuerdos
en el punto de culminación, etc.
12. Entre ellos, algunos
directores de proyectos.
13. El grupo estaba formado
por el profesor Robert
Picciotto (ex Director General
del Grupo de Evaluación
Independiente del Banco
Mundial), la Sra. Cheryl Gray
(Directora del Grupo de
Evaluación Independiente
del Banco Mundial); el
Sr. Shiva Kumar (Profesor
invitado en la Indian School
of Business, Hyderabad,
India); el Sr. Hans Lundgren
(Secretario de la Red sobre
Evaluación del Desarrollo del
Comité de Asistencia para el
Desarrollo de la OCDE); la
Sra. Saraswathi Menon
(Directora de la Oficina de
Evaluación del PNUD y
Presidenta del Grupo de las
Naciones Unidas sobre
Evaluación); la Sra. Zenda Ofir
(especialista en evaluación,
Sudáfrica) y el Sr. Robert
van den Berg (Director de la
Oficina de Evaluación del
Fondo para el Medio
Ambiente Mundial).
10

evaluación y gestión basada en resultados
del CAD/OCDE.14
Los criterios suscitan
preguntas genéricas15
que reflejan el marco
metodológico para la evaluación de proyectos
debatido con el Comité de Evaluación en
septiembre de 2003 y tienen en cuenta la
experiencia adquirida en la aplicación de
dicho marco, la introducción del Marco Estra-
tégico del FIDA (2007-2010), los cambios
fundamentales introducidos en virtud del Plan
de Acción y los esfuerzos por armonizar los
sistemas de autoevaluación y de evaluación
independiente en el FIDA.
Los principales criterios de evaluación utili-
zados por la OE para evaluar los resultados
de los proyectos y el impacto de las opera-
ciones del FIDA figuran, junto a sus defini-
ciones, en el cuadro 1. Los tres criterios
básicos son la pertinencia, la eficacia y la
eficiencia. La OE también emplea un criterio
específico para calcular el impacto en la
pobreza rural, que se desglosa en cinco
esferas de impacto: ingresos y activos de los
hogares; capital humano y social y empodera-
miento; seguridad alimentaria y productividad
agrícola; recursos naturales y medio ambiente,
e instituciones y políticas. Los otros criterios
son la sostenibilidad, las innovaciones y el
desempeño de los asociados.
La OE define el “impacto” como los cambios
que se han producido —tal como se perciben
en el momento de la evaluación— en la vida de
los pobres de las zonas rurales (tanto si son
positivos o negativos, directos o indirectos,
deliberados o involuntarios) como resultado de
las intervenciones del FIDA. En esta definición
también tiene cabida, de ser pertinente, una
En este capítulo se describen brevemente los
conceptos metodológicos básicos que la OE
utiliza en las evaluaciones de proyectos y en las
EPP. El conocimiento de estas nociones entre
los evaluadores ayuda a reducir las diferencias
en los distintos enfoques utilizados y en los
modelos de presentación de informes entre
distintos evaluadores y evaluaciones.
A. Criterios de evaluación
Los criterios de evaluación aplicados en las
evaluaciones de proyectos y en las EPP son
congruentes con las buenas prácticas interna-
cionales y garantizan la armonización de la
metodología de evaluación del FIDA con la de
los demás organismos donantes. Además, se
ajustan a las prácticas establecidas en el
Glosario de los principales términos sobre
Conceptos metodológicos básicos
14. Este glosario forma parte
de la colección Evaluation
and Aid Effectiveness Series
(Serie sobre evaluación y
eficacia de la ayuda) y fue
publicado en 2002 por el
Grupo de trabajo del CAD de
la OCDE sobre evaluación
de la ayuda (actualmente
conocido como Red de
Evaluación) y elaborado en
colaboración con otras IFI y
varias organizaciones de las
Naciones Unidas.
15. Las preguntas clave
relativas a las evaluaciones
de proyectos figuran en el
capítulo 3; las relativas a las
EPP se examinan en el
capítulo 4 de este manual.
A. Criterios de evaluación
B. Evaluación del impacto
C. Sistema de calificación
D. Agregación
E. El “porqué”
F. Variabilidad entre distintos
evaluadores
G. Serie de evidencias
H. Atribución y escenarios
contrafácticos
I. Evaluación y análisis retrospectivo
J. Responsibilización respecto
al aprendizaje
K. Técnicas e instrumentos
L. Establecimiento de bases
de referencia
M. Evaluaciones conjuntas
N. Transparencia
2
11

evaluación de los efectos previstos de las
intervenciones apoyadas por el FIDA. En las
evaluaciones finales de los proyectos y en las
EPP16
de la OE se hace hincapié en los efectos
a largo plazo (o lo que es lo mismo, en el
impacto) causados por una operación. Sin
embargo, en las evaluaciones intermedias, que
por lo general se realizan cuando el proyecto
está a punto de cerrarse con el fin de satisfacer
los requisitos de rendición de cuentas y extrac-
ción de enseñanzas, la evaluación de la OE se
centra en los efectos probables, además de en
los efectos a corto y medio plazo ya alcan-
zados. La sostenibilidad de los beneficios
generados por las operaciones financiadas por
el FIDA más allá de la fase de apoyo financiero
externo también recibe una calificación. Para
ello es preciso evaluar la medida en que los
resultados de desarrollo están expuestos a
riesgos que podrían afectar la continuidad a
largo plazo de los beneficios.
El FIDA presta una atención prioritaria a la
promoción, la reproducción y la ampliación de
alcance de las innovaciones en favor de la
población pobre. Esa atención es una
característica explícita del mandato del FIDA,
motivo por el cual la reproducción de solu-
ciones de desarrollo ensayadas por las opera-
ciones del FIDA, así como sus posibilidades
de ampliación de alcance por parte de los
gobiernos, los donantes, el sector privado y
otras partes interesadas, ocupa un lugar prefe-
rente en los criterios de evaluación del FIDA.
La evaluación del desempeño de los
asociados principales, especialmente del FIDA
y el gobierno interesado, también es parte
integrante de la metodología de la OE. Este
aspecto reviste importancia a efectos de
rendición de cuentas, así como para el
aprendizaje y la transparencia, dado que las
asociaciones se definen no sólo por los
objetivos compartidos, sino también por una
rendición de cuentas y obligaciones recíprocas
bien diferenciadas respecto al logro de los
resultados deseados.
En cuanto al cuadro 1, es preciso formular
tres observaciones. En primer lugar, los
resultados de un proyecto son una combina-
ción de su pertinencia, eficacia y eficiencia.
En segundo lugar, esos resultados no siempre
se corresponden con el desempeño del FIDA,
dado que existen otras influencias (en
particular, el desempeño de los gobiernos
asociados y otros factores exógenos) que
también contribuyen a los resultados de los
proyectos. Y en tercer lugar, la promoción de
la equidad de género y la focalización en la
pobreza no se evalúan ni se califican por
separado sino que, al contrario, se consideran
parte integrante de los distintos criterios de
evaluación adoptados por la OE.
CUADRO 1: Definiciones de los criterios de evaluación utilizados por la Oficina de Evaluación
Resultados del proyecto
• Pertinencia
• Eficacia
Medida en que los objetivos de una interven-
ción para el desarrollo son congruentes con
los requisitos de los beneficiarios, las necesi-
dades del país, las prioridades institucionales
y las políticas de los asociados y donantes.
Comporta asimismo realizar una evaluación
de la coherencia del proyecto para el logro
de sus objetivos.
Medida en que se lograron o se esperan lograr
los objetivos de la intervención para el desarro-
llo, tomando en cuenta su importancia relativa.
16. En las EPP también se
evalúan y califican proyectos
individuales financiados por
el FIDA.
12
CRITERIOS DEFINICIONESa

CUADRO 1 (continuación): Definiciones de los criterios de evaluación utilizados por la Oficina
de Evaluación
• Eficiencia
Impacto en la pobreza rural
• Ingresos y activos de los hogares
• Capital humano y social y
empoderamiento
• Seguridad alimentaria y
productividad agrícola
• Recursos naturales y medio ambiente
• Instituciones y políticas
Otros criterios de desempeño
• Sostenibilidad
Medida en que los recursos/insumos (fondos,
conocimientos técnicos, tiempo, etc.) se han
convertido económicamente en resultados.
El impacto se define como los cambios que
se han producido o se espera que se produz-
can en las vidas de la población rural pobre
(ya sean positivos o negativos, directos o
indirectos, deliberados o involuntarios) a raíz
de intervenciones de desarrollo.
Los ingresos de los hogares constituyen un
medio de evaluar la corriente de beneficios
económicos que han recaído en un individuo
o grupo, mientras que los activos guardan
relación con una reserva de productos acu-
mulados de valor económico.
Este criterio entraña una evaluación de los
cambios que se han producido en el empo-
deramiento de los individuos, la calidad de
las organizaciones de base y de las institu-
ciones, y la capacidad colectiva e individual
de la población pobre.
Cambios en la seguridad alimentaria relativos
a la disponibilidad, el acceso a los alimentos
y la estabilidad de ese acceso, mientras que
los cambios en la productividad agrícola se
miden en función de los rendimientos.
La atención prestada a los recursos naturales
y al medio ambiente implica evaluar el grado
en que un proyecto contribuye a producir
cambios respecto de la protección, rehabilita-
ción o agotamiento de los recursos naturales
y el medio ambiente.
El criterio relativo a las instituciones y políticas
está concebido para evaluar los cambios en
la calidad y desempeño de las instituciones,
las políticas y el marco regulador que influyen
en la vida de la población pobre.
Probabilidad de que los beneficios netos
producidos por una intervención de desarrollo
continúen más allá de la fase de prestación
de apoyo financiero externo. Comporta
también evaluar la probabilidad de que los
resultados efectivos y previstos consigan
superar los riesgos que se presenten un
vez finalizado el proyecto.
13

B. Evaluación del impacto
La comunidad internacional dedicada a la
evaluación de las actividades de desarrollo
lleva largo tiempo debatiendo la cuestión del
impacto. La Red sobre Evaluación del
Desarrollo del CAD, el Grupo de Cooperación
en materia de Evaluación, el Grupo de las
Naciones Unidas sobre Evaluación y la Asocia-
ción Europea de Evaluación han estudiado
métodos apropiados de abordar el impacto
de las intervenciones de desarrollo. Con todo,
últimamente el debate se ha intensificado aún
más si cabe.
Como consecuencia de ello, recientemente se
han formado redes y asociaciones centradas
en la evaluación del impacto, como la Red de
Redes sobre Evaluación del Impacto y la
Iniciativa Internacional para la Evaluación del
Impacto. En un esfuerzo por llevar a cabo
evaluaciones del impacto más rigurosas, se
están realizando investigaciones y celebrando
debates entre la comunidad académica (p. ej.,
el Abdul Latif Jameel Poverty Action Lab
del Instituto de Tecnología de Massachu-
setts). Fundaciones privadas y organiza-
ciones internacionales de desarrollo también
están contribuyendo al debate en torno a las
posibilidades y limitaciones de los métodos
experimentales utilizados en la evaluación de
las intervenciones de desarrollo.
En la etapa actual no hay acuerdo acerca de
metodologías convenidas que permitan atri-
buir con rigor a factores o causas específicos
el impacto que los proyectos y programas de
desarrollo tienen en la sociedad. Por un lado,
algunos investigadores instan a analizar
rigurosamente la causalidad a través de
mediciones cuantitativas del impacto y reco-
miendan el empleo de pruebas de control
aleatorias y otros métodos experimentales y
a.
Estas definiciones se han extraído del Glosario de los principales términos sobre evaluación y gestión basada en
resultados del CAD de la OCDE y del marco metodológico para la evaluación de proyectos concordado con el
Comité de Evaluación en septiembre de 2003.
14
CUADRO 1 (continuación): Definiciones de los criterios de evaluación utilizados por la Oficina
de Evaluación
• Promoción de innovaciones en favor
de la población pobre, reproducción y
ampliación de alcance
Logros generales del proyecto
Desempeño de los asociados
• FIDA
• Gobierno
• Institución cooperante
• ONG y organizaciones comunitarias
Medida en que las intervenciones de desarro-
llo del FIDA: i) han contribuido a introducir
enfoques innovadores de reducción de la
pobreza rural, y ii) han sido o es probable que
sean reproducidas y ampliadas por las auto-
ridades públicas, las organizaciones donantes,
el sector privado y otros organismos.
Este criterio ofrece una valoración general del
proyecto, haciendo uso del análisis efectuado
según los distintos criterios de evaluación
citados anteriormente.
Mediante este criterio se evalúa la contribu-
ción de los asociados al diseño, ejecución,
seguimiento y presentación de informes,
supervisión y apoyo a la ejecución y evalua-
ción del proyecto. Se evaluará el desempeño
de cada asociado de forma individual con
miras a establecer la función y responsabi-
lidad previstas del asociado en el ciclo de
vida del proyecto.

17. Las técnicas de
correspondencia basadas en
la puntuación de la propensión
se suelen utilizar para
mantener bajo control los
sesgos cuando no es posible
recurrir a la aleatorización. Se
desarrollaron para garantizar la
comparabilidad entre el grupo
de tratamiento y el grupo de
control en lo relativo a la
propensión a participar en un
programa de desarrollo.
En primer lugar es preciso
calcular las probabilidades
(la “puntuación de la
propensión”) que una persona
u hogar ha tenido de recibir
un tratamiento o beneficiarse
de una intervención teniendo
en cuenta ciertas
características. Una vez
calculadas las puntuaciones
de la propensión, éstas se
utilizan para agrupar
observaciones que mantienen
un cierto parecido. Luego las
comparaciones de los
resultados de las actividades
de desarrollo pueden aplicarse
a grupos diferentes de
observaciones que tienen la
misma propensión a participar
y de ese modo se garantiza
la comparabilidad (véase
Ravallion, M. (1999): “The
Mystery of the Vanishing
Benefits: Ms. Speedy
Analyst’s Introduction to
Evaluation” [El misterio de
los beneficios desaparecidos:
Introducción a la evaluación
de la Sra. Analista Rápida].
Documento de Trabajo
n.º 2153, Washington D.C.:
Banco Mundial).
15
cuasiexperimentales (p. ej., el uso de técnicas
de correspondencia basadas en la puntuación
de la propensión)17
como la “regla de oro”
para evaluar el impacto. Por el otro, nume-
rosos estudios publicados han demostrado
que esos métodos presentan serias limita-
ciones en entornos de desarrollo complejos e
inestables. La bibliografía al respecto también
plantea difíciles cuestiones de orden ético,
dado que esas actividades requieren una gran
cantidad de conocimientos técnicos y datos,
y son costosas. Para obtener resultados útiles
se precisa una cantidad considerable de
tiempo y trabajo. Por ello otros especialistas
afirman que las metodologías participativas
y cualitativas representan una base más
adecuada para analizar el impacto. Gracias a
esos métodos es posible medir el impacto
basándose en indicadores cualitativos, como
los cambios producidos en el empodera-
miento, la dignidad, la condición y el bienestar,
o bien en las modificaciones registradas en el
nivel de participación comunitaria.
No cabe duda de que el FIDA, habida cuenta
de la importancia especial que la Junta Ejecu-
tiva atribuye a la evaluación del impacto, debe
seguir con suma atención el debate actual.
El impacto es uno de los indicadores básicos
del marco de medición de los resultados para
la elaboración de informes de gestión sobre
los progresos realizados en la aplicación del
Marco Estratégico del FIDA (2007-2010)
aprobado por la Junta. La dirección del FIDA
evalúa el impacto tanto durante la ejecución
(es decir, el impacto previsto) como al finalizar
un proyecto, basándose en los procedimientos
vigentes y las entregas correspondientes
(p. ej., las revisiones a mitad de período, los
informes finales de los proyectos (IFP), los
informes sobre la situación de los proyectos
elaborados por los gerentes de programas en
los países [GPP] durante la ejecución, etc.).
Los indicadores (especialmente los conce-
bidos para medir el impacto) del marco de
medición de los resultados se han seleccio-
nado porque el FIDA puede emparejarlos con
los datos pertinentes en un plazo relativa-
mente breve sin tener que crear un conjunto
de sistemas complicados y costosos de
recopilación de datos.
El reto con que se enfrenta la OE es adoptar
un enfoque de evaluación del impacto rigu-
roso y fidedigno que utilice una combinación
de métodos cuantitativos y cualitativos y que
sea acorde con el nivel de recursos disponi-
bles. La OE también está decidida a garan-
tizar que los resultados estén disponibles
puntualmente para que puedan incorporarse
en los procesos institucionales relacionados
con la formulación de estrategias y políticas,
así como con el diseño y la ejecución de
proyectos. Como norma general, el enfoque
de evaluación del impacto de la OE se
basará en una combinación de análisis
contrafáctico (p. ej., utilizando grupos de
control), técnicas basadas en el “antes y
después” y métodos de triangulación. Se
utilizará el muestreo aleatorio para selec-
cionar a los beneficiarios que participarán
en encuentros individuales y en los debates
en grupos de discusión, así como para
determinar los lugares de ejecución de los
proyectos que se visitarán para fines de
observación directa. La utilización de estas
técnicas sentará las bases de las encuestas
y estudios de casos que se encargarán con
el fin de reunir datos primarios, especial-
mente en aquellas circunstancias en que la
falta de datos de seguimiento y evaluación
(SyE) frene los esfuerzos por llegar a una
evaluación pormenorizada del impacto de
los proyectos.
Gracias a su participación activa y constante
en el Grupo de Cooperación en materia de
Evaluación, la Red de Redes sobre la
Evaluación del Impacto, el Grupo de las
Naciones Unidas sobre Evaluación y otras
plataformas de evaluación del desarrollo, la
OE seguirá interviniendo en el debate inter-
nacional y en las iniciativas de investigación
relacionadas con las evaluaciones del
impacto. La OE estará abierta a los nuevos
métodos y enfoques que se vayan elabo-
rando y validando y los integrará en su labor
para utilizarlos en el contexto del FIDA.

18. En el que el 6 representa la
puntuación mejor y el 1 la peor.
¿Es necesario evaluar el criterio de la eficacia
separadamente del impacto en la pobreza
rural? Por un lado, resulta lógico que un
proyecto no pueda considerarse satisfactorio
si no ha generado un impacto beneficioso en
la pobreza rural. Por el otro, el criterio de la
eficacia se basa en las metas fijadas y se
centra principalmente en los efectos que se
pretendía conseguir, es decir, en si la interven-
ción ha alcanzado (o se prevé que alcance)
sus objetivos. Por el contrario, en los criterios
del impacto en la pobreza rural se tienen en
cuenta todos los efectos, deliberados o invo-
luntarios, directos o indirectos, positivos o
negativos y, por lo tanto, hay que examinar
con detenimiento si habrán de utilizarse para
arrojar luz sobre la función del FIDA como
incubadora de cambios en la realidad rural.
Los dos conjuntos de criterios, aun siendo
distintos, están estrechamente relacionados.
El riesgo de duplicación se atenúa si el criterio
de la eficacia se centra en el logro de los
objetivos inmediatos del proyecto y en los
efectos iniciales que éste tiene, mientras que
los criterios del impacto permiten determinar
todos los efectos secundarios y a largo plazo.
Así pues, la utilización de estos criterios
conduce a una comprensión mayor de las
vinculaciones regresivas y progresivas de una
operación financiada por el FIDA. Como
consecuencia de ello, esos criterios contri-
buyen a orientar las actividades de ampliación
de alcance de esas operaciones y el diseño
de los proyectos futuros del FIDA.
Además, cada vez con más frecuencia los
objetivos de los proyectos financiados por el
FIDA son más específicos y realistas que en
el pasado, y en la cadena de resultados de
la matriz del marco lógico de un proyecto
se colocan a nivel de los “propósitos”. Por
consiguiente, cuando se evalúa la eficacia
hay que determinar la medida en que un
proyecto ha alcanzado o se prevé que
alcance sus objetivos, mientras que, al
evaluar el impacto, deben evaluarse los
logros de un proyecto a nivel de las “metas”
de la cadena de resultados.
Existe otra razón para incluir los criterios del
impacto en la pobreza rural entre los criterios
relativos a los resultados. Se trata de una
necesidad estratégica: las cinco esferas
seleccionadas permiten a la OE establecer
una relación explícita entre el impacto en la
pobreza rural de cada proyecto evaluado y las
prioridades temáticas principales del Fondo y
de sus órganos rectores.
Además, la introducción de esas cinco esferas
entre los criterios del impacto en la pobreza
rural tiene por objeto facilitar la agregación de
las calificaciones y de los temas relativos al
aprendizaje en la elaboración del informe anual
sobre los resultados y el impacto de las activi-
dades del FIDA (ARRI), permitiendo de ese
modo identificar problemas sistémicos y ense-
ñanzas aprendidas, y contribuyendo a mejorar
la eficacia de las actividades de desarrollo del
FIDA en general, en lugar de limitarse simple-
mente a analizar cada proyecto por separado.
C. Sistema de calificación
En 2002 la OE estableció un sistema de
calificación de cuatro puntos aplicable a los
criterios de evaluación con el propósito de
cuantificar el juicio de los evaluadores, que es
de índole cualitativa, determinar las prácticas
de financiación del desarrollo satisfactorias y
deficientes, y facilitar la agregación dentro de
cada proyecto y entre distintos proyectos. A
partir de 2005, de conformidad con la prác-
tica adoptada en otras IFI, la OE comenzó a
utilizar un sistema de calificación de seis
puntos,18
que permite una valoración más
matizada de los resultados de los proyectos.
En concreto, este sistema puede ser útil para
superar la renuencia de los evaluadores a
atribuir la puntuación máxima (4) o mínima (1)
a las intervenciones, que suelen provocar una
concentración de las calificaciones en las
posiciones intermedias (2 y 3).
Además de elaborar informes sobre los resul-
tados basándose en la escala de calificación
de seis puntos, en 2007 la OE introdujo las
categorías amplias de “satisfactorio” e “insatis-
factorio” para dar cuenta de los resultados en
16

19. Para la preparación del
Examen Anual de la Eficacia
en Términos de Desarrollo,
el Grupo de Evaluación
Independiente del Banco
Mundial utiliza una
clasificación similar.
20. El Grupo de Evaluación
Independiente no utiliza
ponderaciones en sus
métodos de evaluación.
6 Muy satisfactorio
5 Satisfactorio
4 Moderadamente satisfactorio
3 Moderadamente insatisfactorio
2 Insatisfactorio
1 Muy insatisfactorio
SATISFACTORIO
INSATISFACTORIO
17
todos los criterios de evaluación (véase el
cuadro 2). Este método consiste en agregar el
porcentaje de calificaciones de los proyectos
que han obtenido las tres calificaciones más
altas (4-6) en el apartado de “satisfactorio”, y a
los que obtienen las tres puntuaciones más
bajas (1-3) en el de “insatisfactorio”. La intro-
ducción de estas dos categorías amplias19
permite realizar un seguimiento más preciso
de la evolución de los resultados.
PUNTUACIÓN EVALUACIÓN CATEGORÍA
CUADRO 2: Sistema de calificación
D. Agregación
En algunos casos, las calificaciones obtenidas
por los distintos criterios han de agregarse
para generar calificaciones globales. En las
evaluaciones de proyectos este método es
aplicable cuando se calculan los resultados
de un proyecto y su impacto en la pobreza
rural, y cuando se determinan los logros
generales del proyecto. Los resultados de los
proyectos se calculan como una media arit-
mética de las calificaciones atribuidas a la
pertinencia, la eficacia y la eficiencia, y, por
lo tanto, es posible que la calificación final
contenga decimales. La calificación del
impacto en la pobreza rural se basa en el
juicio fundado y objetivo de los evaluadores,
quienes tienen en cuenta las distintas califica-
ciones atribuidas a las diferentes esferas de
los criterios relativos al impacto en la pobreza
rural. Los logros generales de los proyectos
se calculan de un modo semejante, utilizando
las calificaciones obtenidas por la pertinencia,
la eficacia, la eficiencia, el impacto en la
pobreza rural, la sostenibilidad y la innova-
ción. Tanto en el caso del impacto en la
pobreza rural como en el de los logros
generales de los proyectos, los evaluadores
asignan una calificación en forma de número
entero, sin decimales.
También en las EPP es preciso recurrir a la
agregación de las calificaciones para deter-
minar los resultados de la cartera general de
proyectos, la calificación agregada de las
actividades no crediticias y los resultados
de los COSOP en cuanto a su pertinencia
y eficacia y, por último, para generar una
calificación global de las realizaciones de la
asociación entre el FIDA y el gobierno en
cuestión. En el capítulo 4 se facilitan orienta-
ciones para efectuar la agregación de las
calificaciones en las EPP.
Si se introdujera el uso de ponderaciones se
aumentaría el grado de complejidad de la
metodología de evaluación. En otros bancos
multilaterales la ponderación se utiliza a veces
para dar cuenta del volumen de los prés-
tamos y créditos. En el caso del FIDA, sin
embargo, las asignaciones financieras tienen
una importancia limitada a causa de la aten-
ción prioritaria que se presta a la innovación.20

18
21. Principalmente del
documento conceptual y del
borrador de informe final de
evaluación.
E. El “porqué”
Al tiempo que se vela por que las evaluaciones
independientes sean instrumentos para reforzar
la rendición de cuentas, hay que desplegar
esfuerzos concertados para comprender las
causas inmediatas de los buenos resultados o
determinar las operaciones del FIDA que deban
mejorarse y precisen mayor atención. Por ese
motivo, los informes de evaluación deben
dedicar suficiente espacio y atención a la
pregunta de “por qué” y garantizar que las cali-
ficaciones numéricas asignadas al análisis de
cada criterio de evaluación sea coherente con
las pruebas obtenidas en la evaluación.
Además de dar cuenta de “cuáles” han sido
los resultados, las evaluaciones deberían
proporcionar una comprensión más profunda
de “por qué” los resultados fueron los que
fueron. Esto, a su vez, ayuda a determinar y
consolidar las enseñanzas que se han de
tener en cuenta en la formulación de la estra-
tegia para el país, así como en el diseño y la
ejecución de los proyectos.
F. Variabilidad entre distintos
evaluadores
Con la expresión “variabilidad entre distintos
evaluadores” se hace referencia a las discre-
pancias en las apreciaciones y juicios relativos
a los resultados que se derivan principalmente
de las diferencias en la comprensión y aplica-
ción de la metodología de evaluación por parte
del personal y los consultores de la OE. Se
trata de un motivo legítimo de preocupación,
no sólo dentro de una determinada evaluación,
sino también entre diferentes evaluaciones,
pues la variabilidad entre distintos evaluadores
limita el grado de fiabilidad que se obtiene al
agregar los resultados, así como al comparar
los resultados de diversas evaluaciones.
Además de ofrecer orientaciones para el
empleo de las calificaciones numéricas, la OE
está desplegando medidas concretas para
reducir al mínimo esa variabilidad. A tal fin se
celebra una sesión informativa obligatoria para
todos los consultores jefes de los equipos de
evaluación y algunos miembros de los equipos
acerca de la metodología de evaluación y del
proceso que debe seguirse; dentro de la OE
se llevan a cabo sistemáticamente revisiones
internas21
inter pares de las entregas más
importantes elaboradas durante las evalua-
ciones; se pide a todos los miembros de los
equipos de evaluación que formulen observa-
ciones sobre las calificaciones y sobre el
proyecto de informe final de evaluación, y se
celebran periódicamente talleres en la OE para
ofrecer orientación al personal y a los consul-
tores de evaluación sobre las metodologías
que deben seguirse y la manera de aplicarlas.
G. Serie de evidencias
La credibilidad y calidad de cualquier evalua-
ción se basan en la solidez del análisis reali-
zado; a este respecto, es importante garan-
tizar que se deje clara constancia de las
evidencias halladas. Las constataciones y
conclusiones de una determinada evaluación,
por ejemplo, deberían estar fundadas cohe-
rentemente en el análisis y documentadas en
los informes de evaluación. Toda recomenda-
ción debería tener su origen en las conclu-
siones contenidas en la evaluación. Además,
para trazar esa serie de evidencias, los
informes de evaluación deberían contener
referencias cruzadas con las secciones y
párrafos pertinentes del documento, para
ayudar a los lectores a encontrar con facilidad
las constataciones que han llevado a una
determinada recomendación y el análisis que
ha conducido a una determinada conclusión.
H. Atribución y escenarios
contrafácticos
La cuestión de la atribución del impacto
requiere un atento examen, sobre todo
porque en las actividades respaldadas por
el FIDA intervienen numerosos asociados y,
además, porque los asociados están
expuestos a factores externos que inciden en
los resultados. En particular, los resultados
pueden verse afectados por las políticas de
los países donantes, las políticas nacionales
de los países beneficiarios, otros programas
de desarrollo, las fluctuaciones socioeconó-
micas, los cambios estructurales y los fenó-
menos climáticos. Por eso resulta complejo

19
atribuir los resultados alcanzados sobre el
terreno a un proyecto o programa concretos,
y mucho menos al propio desempeño del
FIDA. Sin embargo, superar este desafío es
fundamental para que las constataciones de
evaluación tengan validez.
Para atribuir los efectos logrados a una inter-
vención determinada se puede utilizar la
técnica del “antes y después”, un tipo de
análisis que suele toparse con el obstáculo
de la falta de datos de referencia y de
sistemas de SyE inadecuados. Aun así,
existen técnicas específicas (como el método
basado en la rememoración, la clasificación
con arreglo a la renta o la cartografía comuni-
taria) que pueden arrojar luz sobre la situación
imperante antes de la ejecución de un
proyecto o programa, o de la aplicación de
una política y, por lo tanto, facilitar la valora-
ción del “antes y después”.
Para abordar la atribución del impacto desde
una perspectiva aún más global es preciso
definir un escenario contrafáctico plausible,
que es la situación o escenario que hipotética-
mente reinaría en caso de no haberse ejecu-
tado la intervención de desarrollo. La utiliza-
ción de escenarios contrafácticos plausibles
es necesaria para determinar la contribución
al desarrollo de una intervención (p. ej., la
medida en que los resultados de desarrollo
observados pueden atribuirse a una operación
determinada). Por eso, la OE, teniendo en
cuenta las asignaciones presupuestarias
globales y los calendarios establecidos para la
evaluación, trata de examinar los resultados de
sus intervenciones en relación con los de
grupos de control pertinentes.
Este método también se conoce como análisis
“con o sin intervención” y puede utilizarse para
ayudar a comprender el impacto de las opera-
ciones respaldadas por el FIDA en los medios
de vida (p. ej, en lo relativo a los ingresos, la
situación nutricional, el acceso a los recursos,
etc.) evaluando los resultados de las interven-
ciones en los grupos-objetivo y comparán-
dolos con la situación de las poblaciones que
no forman parte de esos grupos en regiones
con una situación similar. Al empezar la
evaluación deberían determinarse claramente
los grupos de control seleccionados y los
criterios aplicados. Para que el análisis sea
fiable, el grupo de control debe ser lo más
parecido posible al grupo atendido por el
proyecto que se está evaluando, y hay que
seleccionarlo en zonas parecidas en cuanto
a la situación agroecológica, los servicios
sociales, los recursos destinados a infraes-
tructuras, el acceso a los mercados, etc.
I. Evaluación y análisis
retrospectivo
Hay otros tres dilemas que los evaluadores
deben abordar:
• ¿Cómo evaluar los resultados de una
estrategia u operación si el contexto ha
cambiado, por ejemplo, en lo relativo al
marco normativo nacional o a las disposi-
ciones institucionales?
• ¿Cómo evaluar los resultados si el modo
de entender el desarrollo ha cambiado
desde el inicio de una estrategia u
operación?
• ¿Cómo evaluar los resultados si las polí-
ticas y procedimientos del FIDA, o los
rasgos distintivos de su modelo opera-
tivo, han cambiado durante la ejecución?
El sentido común parecería sugerir que, para
evaluar resultados obtenidos en el pasado,
hay que utilizar los métodos de medición del
pasado, renunciando a las ventajas del análisis
retrospectivo. Ahora bien, también parece
lógico suponer que los resultados deberían
juzgarse en función de la información actuali-
zada acerca de las realizaciones y las normas
de política observadas. No es posible calificar
los resultados como si el diseño de los
proyectos y programas fuera inmutable e
inmune a la introducción de ajustes durante
la ejecución. Habida cuenta de la dimensión
de aprendizaje que tienen las operaciones del
FIDA, la capacidad de adaptación de los
instrumentos y prácticas que utiliza debería ser
un aspecto importante de las evaluaciones de
resultados. Al mismo tiempo, revisar el diseño

de los proyectos y programas no está exento
de costos y requiere el concurso de los
asociados, en particular los prestatarios. De
ahí que los evaluadores deban realizar una
valoración sólida de la viabilidad de introducir
ajustes para garantizar la equidad de las califi-
caciones atribuidas a los resultados.
En otras palabras, hay que distinguir el
aprendizaje de la rendición de cuentas. El
aprendizaje alcanza todo su potencial cuando
se evalúa en función de las normas actuales.
Pero quizá sería injusto achacar exclusiva-
mente al personal directivo la responsabilidad
de no haber cumplido las normas actuales
antes de conocerlas. Por ejemplo, sería
injusto juzgar la pertinencia y calidad del
diseño de un proyecto sin prestar atención a
los límites de los conocimientos disponibles
en ese momento. De modo análogo, no se
puede esperar que un proyecto de financia-
ción rural cuyo cierre estaba previsto para
finales de 2008 se retroadapte para cumplir
las disposiciones de una nueva política de
financiación rural que el FIDA comenzó a
aplicar en 2007. En los casos en que las
normas o políticas hayan cambiado tarde en
la vida de un proyecto —cuando la retroa-
daptación ya no es viable— la actuación del
personal directivo debe evaluarse sin apelar
al análisis retrospectivo.
También hay que tener en cuenta los costos
que puede suponer esa retroadaptación en
el caso, por ejemplo, de proyectos o compo-
nentes que no pueden cambiar fácilmente
sin consecuencias prohibitivas (p. ej,
sistemas de riego o caminos rurales). Por
otra parte, cuando haya sido posible ajustar
el diseño de los proyectos y programas de
manera económica y oportuna para que
sigan siendo pertinentes con el paso del
tiempo y la evolución de las circunstancias,
es justo y legítimo evaluar los resultados
retrospectivamente. En resumen, la utilización
sensata de una perspectiva de evaluación
actual permite determinar los resultados y el
impacto de los proyectos en función de las
normas en vigor.
La experiencia demuestra que el contexto
general en que se realizan las actividades de
desarrollo (político, agroecológico, normativo,
institucional, etc.) en un país y una zona del
proyecto determinados incide notablemente
en los resultados. Esto significa que los
equipos encargados del diseño de los
proyectos deben integrar desde un principio
en su labor los factores relacionados con el
contexto y que, durante la fase de ejecución,
la estrategia programática debe ajustarse
según sea necesario para adaptarse a los
cambios que se produzcan en el entorno de
ejecución. Así pues, los equipos de evalua-
ción deben determinar cuál era la naturaleza
del contexto de desarrollo imperante en la
fase de diseño, seguir su evolución y deter-
minar la idoneidad y viabilidad de introducir
ajustes en el curso de la ejecución.
J. Responsibilización respecto
al aprendizaje
En vista del mandato del FIDA relativo al
aprendizaje, la evaluación de resultados que
realiza la OE debe incluir una valoración de los
mecanismos para asegurar la calidad y los
sistemas de gestión de riesgos del Fondo, así
como de la adaptabilidad de sus instrumentos
y prácticas. En concreto, la OE debería
analizar en sus evaluaciones la medida en que
las recomendaciones formuladas en las
evaluaciones anteriores, los IFP, las revisiones
a mitad de período y las misiones de apoyo a
la ejecución han quedado reflejadas en el
proyecto, programa o política que se esté
examinando. En las evaluaciones se debería
analizar si el PMD ha asimilado, en las fases
subsiguientes de desarrollo de proyectos,
programas, estrategias y políticas, las suge-
rencias derivadas de los procedimientos de
mejora y garantía de la calidad del FIDA.22
K. Técnicas e instrumentos
Los evaluadores deben seleccionar técnicas e
instrumentos específicos de recogida de datos
que les permitan responder a las preguntas
contenidas en el marco de evaluación. Esos
instrumentos dependerán, entre otras variables,
del tipo de evaluación, los datos disponibles,
22. Se trata de nuevos
procesos introducidos en el
marco del Plan de Acción del
FIDA para mejorar la calidad en
las etapas iniciales. El proceso
de mejora de la calidad es de
la incumbencia del PMD,
mientras que el proceso de
garantía de la calidad se lleva a
cabo, de forma independiente
respecto del PMD, bajo la
responsabilidad de la Oficina
del Vicepresidente.
20

CUADRO 3: Ejemplos de métodos de recogida de datos
Cualitativos-semiestructurados
23. Véase el anexo D de la
Guía para el SyE de proyectos
(2002).
21
el contexto local, los recursos y el tiempo de
que se disponga. En el cuadro 3 figura una
breve descripción de distintos métodos utili-
zados para la recogida de datos.23
Algunos
de los instrumentos que la OE utiliza para
recoger y analizar datos son los siguientes:
estudios de casos (p. ej, contenidos en una
evaluación temática que abarque varios
países de una región geográfica determinada),
encuestas estadísticas para las evaluaciones
de los resultados y el impacto, cuestionarios
semiestructurados destinados a reunir informa-
ción, observaciones directas de las actividades
del proyecto (para evaluar, por ejemplo, la
calidad de las infraestructuras realizadas),
grupos de discusión con organizaciones comu-
nitarias, debates informales con informantes
clave, la clasificación con arreglo a la renta
(para determinar los ingresos y situación de los
hogares), evaluaciones rurales rápidas, etc.
MÉTODOS HABITUALES BREVE DESCRIPCIÓN OBSERVACIONES
Resulta necesaria en la mayor
parte de las evaluaciones;
puede ser una fuente de
constataciones inesperadas.
Es posible que resulte
problemático generalizar las
constataciones.
Resulta práctico en interven-
ciones que se ajustan a
criterios estándar (p. ej.,
agua potable, planes de riego,
centros de capacitación).
Requiere preparar minuciosa-
mente las directrices para la
calificación.
Es útil, entre otras cosas, para
debatir sobre cuestiones
delicadas que en condiciones
normales no se discutirían en
público. Puede resultar proble-
mático generalizar las constata-
ciones. Requiere preparar minu-
ciosamente los instrumentos.
Particularmente útiles para
fenómenos que afectan
profundamente al territorio
(crecimiento generalizado de
asentamientos humanos,
deforestación, agotamiento
de las aguas de superficie).
Método valioso para entender
las interrelaciones y las esferas
de acuerdo o desacuerdo.
Puede resultar problemático
generalizar las constataciones.
Observaciones de los sitios, prác-
ticas, condiciones de vida, construc-
ciones materiales (p. ej., silos) de
acuerdo con una lista de verificación
acordada previamente (se puede
llevar a cabo junto con la asignación
de calificaciones).
Clasificación sistemática de los pro-
ductos materiales (p. ej., la calidad de
los puntos de aguada o los centros de
salud) o de las características de orga-
nización (p. ej., sesiones de extensión,
instituciones de microfinanciación),
basándose en parámetros y escalas
de calificación preestablecidos.
Entrevistas individuales acerca de
varios temas seleccionados con
arreglo a una lista de comprobación
acordada previamente. La mayoría
de las preguntas son abiertas y
tienen por objeto estimular el debate
en lugar de obtener una sola palabra
o frase como respuesta.
Fotos terrestres, aéreas o satelitales
que representan un suceso (p. ej.,
un incendio) o proceso (p. ej., la
reducción del nivel de un lago o la
deforestación).
Intercambio de opiniones, con la
intervención de un moderador,
dentro de un grupo relativamente
pequeño de personas (generalmente
de 6 a 12) acerca de una serie
limitada de temas. Los beneficiarios
llegan a un acuerdo acerca de
distintas preferencias, conclusiones,
creencias, actitudes, etc.
Observaciones
directas
Calificaciones
realizadas por
observadores
capacitados
Entrevistas
individuales con
informantes clave
utilizando
cuestionarios
semiabiertos o
listas de
comprobación
Fotos e imágenes
Grupos de discusión

22
CUADRO 3: (continuación) Ejemplos de métodos de recogida de datos
Cualitativos-semiestructurados
Es una técnica que suele ser
necesaria en todas las
evaluaciones, especialmente
cuando no se dispone de
estudios de referencia.
Los indicadores y parámetros
se recaban de las personas y
no son los investigadores
quienes los seleccionan
previamente. Puede resultar
problemático generalizar las
constataciones.
Es probable que los
contenidos estén llenos de
observaciones perspicaces,
aunque quizá sean subjetivas,
especialmente si la selección
de los cambios importantes la
realizan agentes externos.
Se recomienda cotejar los
resultados con los obtenidos
mediante otras técnicas.
Puede resultar problemático
generalizar las constataciones.
Son importantes los criterios
con que se seleccionan los
casos. Las posibilidades son
seleccionar los mejores casos,
los peores o una combinación
de casos que hayan tenido
resultados buenos, medios o
malos.
En el procedimiento de
muestreo debería intentarse
reflejar las “medias
verdaderas” de la población.
Esta técnica es viable en el
contexto de la evaluación de
un proyecto o programa en el
país. Para planificar el diseño
de la encuesta y analizar
los datos se necesitan
especialistas capacitados.
Rememoración
Técnicas participa-
tivas: calificación
con arreglo a la
renta, calificación
de problemas,
cartografía comuni-
taria, transectos
históricos
Técnica de la
narración histórica
o del cambio más
importante
Estudios de casos
Miniencuestas
(normalmente
con muestras de
entre 100 y 200
encuestados y
observaciones de
los proyectos y
observaciones de
control)
Cuantitativos-estructurados
Consiste en entrevistar a los
beneficiarios y otros interesados,
individualmente o en grupo, para
que reconstruyan la situación
reinante antes del proyecto.
Se pide a los participantes que
elaboren sus propios criterios e
indicadores para analizar una
situación determinada, un proceso
o la distribución de los recursos,
y los cambios que se han producido
a lo largo del tiempo.
Recopilación de relatos sobre los
cambios importantes producidos
sobre el terreno y selección de los
más significativos por parte de
grupos de interesados o funcionarios
designados a tal fin. Una vez
detectados esos cambios, algunas
personas leen los relatos en voz alta
y se realizan debates periódicos y
detallados acerca del valor de los
cambios notificados.
Evaluación detallada de un número
muy limitado de observaciones
(p. ej., de algunas organizaciones
de microfinanciación, proyectos
de desarrollo comunitario o
explotaciones agrícolas). Las
técnicas adoptadas pueden
superponerse con las presentadas
más arriba.
Se extrae una muestra de la
población abarcada por el programa
(y, en su caso, de un grupo de
control). Las entrevistas corren a
cargo de encuestadores que se
basan en un cuestionario impreso
y codificado previamente. Las
anotaciones se registran en un
dispositivo auxiliar electrónico y se
analizan utilizando programas
informáticos sobre la base de
técnicas descriptivas, deductivas y
econométricas normalizadas.

Los datos pertinentes para la evaluación
pueden extraerse de los informes existentes
compilados por los responsables del proyecto
o por el personal de operaciones del FIDA.
Pueden consultarse asimismo materiales
provenientes de otras fuentes, como las
oficinas estadísticas o administrativas públicas,
los censos nacionales, los Indicadores del
desarrollo mundial del Banco Mundial y el
Programa de las Naciones Unidas para el
Desarrollo (PNUD), etc. Por consiguiente,
durante la misión preparatoria, es importante
estimar de qué datos secundarios se dispone
y su calidad. De este modo, la OE puede
centrar sus esfuerzos en la recopilación de
datos complementarios. En particular, es
importante comprobar si se ha realizado un
estudio de referencia y, en caso afirmativo,
determinar su calidad. Cuando no se hayan
realizado estudios de referencia o éstos no
posean la calidad necesaria, en el documento
conceptual se debe determinar de qué modo
habrá de realizarse la recogida de datos con el
fin de garantizar una base sustitutiva plausible
que permita evaluar las condiciones iniciales.
Los evaluadores pueden, por ejemplo,
realizar entrevistas detalladas con los benefi-
ciarios del proyecto y reconstruir a través de
ellos —utilizando técnicas como la rememo-
ración, entrevistas estructuradas o grupos de
discusión— la cadena lógica de los cambios
en comportamientos, productivos u organiza-
tivos generados o promovidos por el
proyecto. Ahora bien, deben actuar con
cautela y triangular la información obtenida
de distintas fuentes (véase más adelante).
Esta labor se realiza antes de decidir un
conjunto de variables que se consideren
representativas de las condiciones iniciales y
de las derivadas de las intervenciones del
proyecto, y reviste especial importancia en el
caso de los indicadores de ingresos y costos,
que pueden contener errores de medición
cuando se utilizan métodos basados en la
rememoración.24
Cuando es preciso reunir datos primarios, debe
utilizarse por lo general una combinación de
métodos (mixtos) para garantizar la exactitud
de los datos y facilitar su interpretación. Así
pues, mediante las encuestas es posible
obtener datos cuantitativos acerca de las
pautas de producción agrícola, los ingresos y
los medios de vida, mientras que las percep-
ciones sobre el desempeño de los asociados
en el desarrollo (como la capacidad de
respuesta del gobierno a las necesidades
comunitarias, la disponibilidad de insumos
suministrados privadamente o la utilidad de la
participación del FIDA) pueden afrontarse
mediante grupos de discusión. Debe adoptarse
un enfoque racional para ordenar secuencial-
mente las labores de recopilación de datos.
24. Entre los problemas
habituales que plantean los
métodos basados en la
rememoración destacan los
siguientes: i) la recopilación de
datos incorrectos, y ii) el
“efecto telescopio”, es decir, el
desplazamiento temporal de un
acontecimiento hacia delante o
hacia atrás. Por ejemplo, la
compra de un bien duradero
que tuvo lugar siete años atrás
(antes de que comenzara el
proyecto) podría proyectarse a
un punto temporal situado tan
sólo cuatro años antes,
durante la ejecución.
Nota: En este cuadro no se proporciona una lista exhaustiva de los métodos posibles. Se invita a los equipos de
evaluación a examinar la bibliografía especializada al respecto. En el anexo 2 figura una lista de referencias bibliográficas
que pueden consultarse para hallar otro material de lectura acerca de técnicas alternativas de recogida de datos.
23
CUADRO 3: (continuación) Ejemplos de métodos de recogida de datos
Las muestras amplias
permiten realizar análisis
más profundos y son
representativas de un mayor
número de subcategorías
de población (subregión,
provincia, etc.), pero su
realización puede resultar
costosa y llevar mucho
tiempo.
Encuestas más
amplias (de más de
400 hogares)
Cuantitativos-estructurados

Por ejemplo, la interpretación de los resultados
de las encuestas cuantitativas obtenidos antes
de la misión principal puede comprobarse
o analizarse, cuando ésta se lleve a cabo,
entrevistando a los participantes.
Cuando se elija a los beneficiarios y a un
grupo de control que represente a la pobla-
ción atendida por el proyecto para determinar
el impacto del mismo en las distintas esferas,
debe prestarse atención a evitar los sesgos
sistemáticos. Por ejemplo, es posible que se
produzcan sesgos por el hecho de reunir
datos principalmente de los beneficiarios más
acomodados o bien de los que están en peor
situación económica. Para conseguir una
muestra representativa, se utilizará el mues-
treo aleatorio para la selección de los lugares
donde se ha ejecutado el proyecto y para
la selección de los hogares. Existen tres
opciones de muestreo principales, a saber:
(i) Muestreo aleatorio simple. Se extrae una
muestra de la población total utilizando
números aleatorios o procedimientos
equivalentes.
(ii) Muestreo aleatorio estratificado.
Primero se divide la población en
estratos dotados de homogeneidad
interna (p. ej., propietarios de tierra
grandes, medianos y pequeños y
personas sin tierra) y las observaciones
se seleccionan mediante muestreo
aleatorio simple en cada estrato.
(iii) Muestreo por conglomerados. La
población se divide en grupos despro-
vistos de homogeneidad interna
(p. ej., con arreglo al sexo, los ingresos
o la actividad económica) y las observa-
ciones se extraen mediante muestreo
aleatorio simple en cada grupo.25
Las restricciones de la movilidad por razones
de seguridad, las consideraciones éticas o la
preocupación por la eficiencia pueden limitar
la adopción sistemática de técnicas de mues-
treo. No obstante, existen medios prácticos
para reducir al mínimo los posibles sesgos,
como los que se enumeran a continuación:
i) seleccionar las zonas de ejecución de
proyectos de modo que queden abarcadas
distintas zonas agroecológicas; ii) realizar
encuestas a beneficiarios que residan a dife-
rentes distancias de una carretera principal,
a fin de captar con exactitud los impactos
directos e indirectos en las comunidades;
iii) analizar los resultados en lugares donde las
actividades del proyecto se hallen en distintas
etapas de madurez; iv) seleccionar comuni-
dades y organizaciones dotadas de capaci-
dades diferentes (p. ej., una serie de coopera-
tivas de crédito rural cuyos registros indiquen
tasas de reembolso elevadas, moderadas y
bajas); v) realizar entrevistas a terratenientes
y a pequeños propietarios de tierras, a apar-
ceros y a trabajadores sin tierra, y vi) realizar
encuestas centradas en mujeres y hombres
ancianos y jóvenes.
Gracias a la recogida de datos y otros tipos
de información provenientes de distintas
fuentes y mediante métodos diferentes,26
el equipo de evaluación es capaz de formular
juicios bien fundados sobre importantes
dimensiones del impacto del proyecto (p. ej.,
¿Ha contribuido la intervención de un
proyecto determinado a mejorar el acceso a
los mercados?). Una técnica importante rela-
cionada con todo lo dicho es la triangulación
de la información y los datos reunidos. Según
el CAD/OCDE, la triangulación supone la
utilización de tres o más teorías, fuentes o
tipos de información, o tipos de análisis, para
verificar y sustentar una evaluación. De ese
modo los evaluadores eliminan el sesgo que
surge cuando se recurre a una sola fuente de
información, a un solo método o a una única
observación y, por consiguiente, se contri-
buye a garantizar la solidez y fiabilidad de
las constataciones de evaluación.25. Véase G. T. Henry (1990):
Practical Sampling (Muestreo
práctico).
26. Véase A. Tashakkori y
C. Teddlie (1998): Mixed
Methodology: Combining
Qualitative and Quantitative
Approaches (Metodología
mixta: combinar enfoques
cualitativos y cuantitativos).
24

27. Véase el Glosario de los
principales términos sobre
evaluación y gestión basada
en resultados, del CAD/OCDE.
28. El informe ARRI, que se
elabora todos los años,
contiene el análisis agregado
de los resultados de todas las
evaluaciones realizadas en un
año determinado. Normal-
mente cubre las cinco
regiones geográficas del FIDA.
29. La OE ha colaborado con
el Banco Africano de Desarrollo
en una importante evaluación
conjunta sobre la agricultura y
el desarrollo rural en África en
2007-2008. En el sitio web de
la OE, dentro del portal del
FIDA (www.ifad.org), hay una
sección específica dedicada a
esa evaluación conjunta.
GRÁFICO 1: Ejemplo de triangulación
Análisis de los datos
secundarios reunidos
en los documentos de
evaluación existentes,
como revisiones a
mitad de período,
informes de misiones
de supervisión, etc.
Evaluación final por el
equipo de evaluación
La triangulación consiste en examinar las
opiniones y percepciones de: i) los beneficiarios
del proyecto (utilizando, por ejemplo, una
combinación de encuestas y técnicas partici-
pativas); ii) el GPP en el país de que se trate
y/o el personal de los departamentos compe-
tentes encargados de la ejecución del proyecto
(obtenidas mediante un cuestionario semies-
tructurado), y iii) las fuentes secundarias
documentadas en los informes de autoevalua-
ción relacionados con el proyecto, como los
informes periódicos de situación, las revisiones
a mitad de período y los IFP (véase el gráfico 1,
en el que figura un ejemplo de triangulación).
L. Establecimiento de bases de
referencia
Para crear una base de referencia es preciso
utilizar un punto o modelo de referencia con
respecto al cual puedan evaluarse los resul-
tados o realizaciones.27
La comparación se
lleva a cabo internamente, con las opera-
ciones del FIDA, y externamente, con otras
instituciones pertinentes. Hay que hacer lo
posible para comparar datos similares. Inter-
namente, los resultados de las evaluaciones
de proyectos y de las EPP se compararán
con los datos contenidos en el ARRI,28
aunque también con los relativos a la región
geográfica específica del FIDA en la que se
realizó la evaluación del proyecto o la EPP. En
las evaluaciones se compararán asimismo los
resultados —en la medida de lo posible— con
los indicadores y metas contenidos en la
matriz para la medición de los resultados del
Marco Estratégico del Fondo. Externamente,
en lo referente a las EPP, hay que esforzarse
por reunir datos y comparar el desempeño
del FIDA con los resultados de otras IFI (en
particular, el Banco Mundial y los bancos
regionales de desarrollo apropiados) y otras
instituciones internacionales, sobre todo las
organizaciones de las Naciones Unidas que
trabajan en el sector agrícola y el desarrollo
rural, preferiblemente en el mismo país.
Existen varios aspectos en los que el tamaño
del FIDA y su mandato específico, así como
los métodos operacionales que utiliza, lo dife-
rencian de los demás organismos de desarro-
llo. Sin embargo, también existen numerosas
similitudes entre el FIDA, las IFI, las organiza-
ciones de las Naciones Unidas y otras organi-
zaciones multilaterales de desarrollo, entre las
que destacan la necesidad de demostrar los
resultados alcanzados, gestionar los riesgos y
trabajar en consonancia con los marcos de
desarrollo impulsados por los propios países.
También las IFI emplean instrumentos de de-
sarrollo parecidos (como préstamos, donacio-
nes, diálogo sobre políticas, etc.) y, al igual
que el FIDA, procuran hacer gala de creativi-
dad y capacidad de innovación. Por otro lado,
las políticas y metodologías de evaluación
presentan ciertas diferencias en las distintas
organizaciones y, por lo tanto, los resultados
de la comparación con las bases de referen-
cia deben interpretarse con cautela.
25
Percepciones de los
beneficiarios
Entrevistas al GPP y/o al personal de los
departamentos competentes
encargados de la ejecución del proyecto

26
M. Evaluaciones conjuntas
Las evaluaciones conjuntas reducen los
riesgos al mínimo porque ofrecen la oportu-
nidad de armonizar los enfoques de evalua-
ción de los distintos organismos donantes y
asociados. Además, esas evaluaciones29
pueden contribuir a avanzar en la aplicación
de las disposiciones contenidas en la Declara-
ción de París que tienen por objeto promover
la eficacia de la ayuda, y a ayudar a superar
problemas de atribución en la evaluación de la
eficacia de los programas y estrategias, la
complementariedad de las contribuciones de
los asociados, la calidad de la coordinación de
la ayuda, etc. Naturalmente, hay varios grados
de “conjunción”, según la medida en que los
distintos asociados colaboren en el proceso
de evaluación, hagan confluir los recursos
destinados a esa labor y combinen sus capa-
cidades de elaborar información al respecto.
Las evaluaciones conjuntas permiten poner
en común los recursos para realizar una
labor en los países más eficaz tanto desde el
punto de vista teórico como sobre el terreno,
lo que sin duda potenciará enormemente la
cobertura, calidad y credibilidad de la evalua-
ción. Además, dan la oportunidad de reunir
el considerable volumen de pruebas, expe-
riencias y conocimientos de evaluación
acumulados por más de una organización. Si
se gestionan debidamente, las evaluaciones
conjuntas también contribuyen a reducir los
costos de transacción que el país o países
abarcados por la evolución deben sufragar.
Por otro lado, las evaluaciones conjuntas
plantean riesgos mayores que los estudios
realizados por un solo responsable, porque
aumentan las posibilidades de desacuerdo
sobre los métodos, prioridades, constata-
ciones o la gestión de los recursos, y por las
susceptibilidades ligadas a los riesgos en
materia de reputación institucional. De modo
análogo, la coordinación de la labor conjunta
puede resultar compleja y, a menudo,
comporta un aumento del costo y la duración
de la evaluación como consecuencia de los
costos que supone la coordinación del tiempo
y los viajes del personal, procedimientos
de gestión más largos y otras causas
de retrasos.30
Dicho esto, es probable que el número de
evaluaciones conjuntas aumente por la impor-
tancia que los donantes atribuyen a trabajar
juntos más estrechamente en las iniciativas
de cooperación para el desarrollo (p. ej.,
mediante la financiación de proyectos que
adopten un enfoque sectorial, la preparación
de estrategias conjuntas de asistencia a los
países, etc.). Por todo ello, se trata de una
esfera a la que la OE debe prestar atención
para participar de manera selectiva en evalua-
ciones conjuntas de importancia para el FIDA
y contribuir al debate en curso que se está
desarrollando al respecto en el marco del
Grupo de las Naciones Unidas sobre Evalua-
ción, el Grupo de Cooperación en materia de
Evaluación y la Red de Evaluación del
Desarrollo del CAD.
N. Transparencia
Para que el proceso sea transparente, los
procedimientos y la metodología de evalua-
ción se debatirán con las partes interesadas
de la evaluación,31
mientras que los informes
de evaluación deberían incluir datos e infor-
mación que sustenten adecuadamente las
conclusiones, así como descripciones perti-
nentes del proceso de evaluación, la biblio-
grafía consultada y los documentos de trabajo
elaborados para respaldar las constataciones
y recomendaciones del informe. El informe
completo de evaluación y los documentos de
trabajo correspondientes son objeto de
divulgación pública.
30. Para un examen más
exhaustivo de estas cuestiones,
véase el Manual de gestión de
evaluaciones conjuntas,
Colección de Evaluación del
CAD, OCDE, París: 2006.
31. Las partes interesadas
pueden incluir al FIDA, las auto-
ridades gubernamentales y el
personal del proyecto, que son
los usuarios principales de los
resultados de las evaluaciones.

27
determinado para garantizar una realización
ordenada y puntual de la evaluación.
Diseño de la evaluación33
En lo que a la fase de diseño se refiere,
el oficial de evaluación designado por la
OE como evaluador principal prepara un
documento conceptual en el que figura un
marco de evaluación, y en el que se
enumeran las preguntas clave de evaluación,
se representa gráficamente el calendario
previsto, se describe la composición del
consorcio central de aprendizaje (CCA)
(véase más adelante el párrafo al respecto),
se determinan los conocimientos técnicos
necesarios y se proponen actividades de
comunicación y aprendizaje. El documento
conceptual es un componente fundamental
de cualquier evaluación porque es el
documento maestro de referencia en el que
se basará todo el proceso. La fase de diseño
también es la etapa en la que se identifican
las partes interesadas en la evaluación y se
definen las técnicas y métodos específicos
de evaluación para la recopilación de datos.
En el cuadro 4 figura un índice indicativo de
un documento conceptual para la evaluación
de proyectos, que debería ocupar unas 6 ó 7
páginas, excluidos los anexos. En el anexo 3
se presenta un ejemplo de documento
conceptual que puede resultar de utilidad.
Los proyectos siguen siendo el instrumento
principal utilizado por el FIDA para reducir la
pobreza rural y, por ello, en este capítulo se
proponen directrices detalladas sobre las
evaluaciones de proyectos, que son de dos
tipos: i) evaluaciones finales, que se llevan a
cabo al término de un proyecto cuando el
FIDA no prevé realizar ninguna otra fase, y
ii) evaluaciones intermedias, que se efectúan
al finalizar una fase y antes del diseño y la
ejecución de una nueva fase de la misma
operación financiada por el FIDA. La OE
también realiza evaluaciones de proyectos en
curso y cerrados para incorporarlas, como
elementos constitutivos, a evaluaciones de
programas en los países, temáticas y a nivel
institucional.
A. Procedimientos más
importantes
Este apartado comprende los procedimientos
más importantes de la evaluación de
proyectos, que se dividen en seis fases princi-
pales: i) diseño de la evaluación; ii) trabajo en
el país; iii) redacción de informes; iv) recopila-
ción de comentarios; v) concertación del
acuerdo en el punto de culminación (APC),32
y vi) comunicación de las constataciones y
recomendaciones de la evaluación. En función
de las circunstancias, la dirección de la OE
quizá tome en consideración perfeccionar
aspectos concretos de un procedimiento
32. De conformidad con la
política de evaluación del
FIDA, toda evaluación
concluye con un acuerdo en el
punto de culminación (APC),
que está integrado por el
acuerdo alcanzado por la
dirección del FIDA y el
gobierno respecto de las
constataciones principales de
la evaluación y el compromiso
de ambos de adoptar y poner
en práctica las recomenda-
ciones formuladas dentro de
unos plazos establecidos.
33. Antes de esta etapa tiene
lugar el proceso de selección
de los proyectos (y los
programas en los países) que
se evaluarán, que se realiza en
el contexto de la elaboración
del programa de trabajo y
presupuesto de la OE.
A. Procedimientos más importantes
B. Informes de evaluación de proyectos:
contenidos, definiciones y ejemplos
Metodología para la
evaluación de proyectos
3

28
Hay que tener especialmente en cuenta
cuatro aspectos del documento conceptual:
i) el marco de evaluación; ii) el CCA; iii) las
autoevaluaciones elaboradas por la división
de operaciones correspondiente del FIDA y
el gobierno interesado, y iv) el calendario. El
marco de evaluación, en el que se expone
la justificación de las metodologías y procedi-
mientos seleccionados, adopta la forma de
una matriz en la que se muestran los vínculos
entre los distintos objetivos de la evaluación
del proyecto, los criterios que se aplicarán,
las cuestiones primordiales y secundarias que
hay que abordar para alcanzar los objetivos
de la evaluación, y los instrumentos y fuentes
de recopilación de datos que la OE desple-
gará y utilizará para responder a las preguntas
contenidas en él. En el anexo 3 pueden
consultarse algunos ejemplos.
De conformidad con la política de evalua-
ción,34
la OE establece un CCA para cada
evaluación, cuyos miembros son los usuarios
principales de la evaluación.35
Para determinar
la composición del CCA, existe la posibilidad
de realizar un análisis de las partes intere-
sadas que permita al evaluador principal
seleccionar las instituciones y personas que
puedan contribuir en mayor medida a la
evaluación y beneficiarse de ella. El CCA
ayuda a identificar las cuestiones importantes
y las fuentes de información, y formula
observaciones en las etapas clave del
proceso (sobre todo de cara a los borradores
del documento conceptual y de la evaluación
final). Los miembros del CCA también parti-
cipan en el taller final de aprendizaje que la
OE organiza para cada evaluación. Por
último, una vez que se ha ultimado el informe
de evaluación independiente, el CCA examina
las constataciones del mismo y debate las
recomendaciones con miras a sentar las
bases para la elaboración de un APC.
Normalmente los CCA de las evaluaciones de
proyectos están integrados por: i) el GPP; ii) el
director/coordinador del proyecto; iii) un alto
funcionario del gobierno (del ministerio que
colabora con el FIDA y está encargado de la
coordinación); iv) un alto funcionario de la
administración provincial o estatal (del minis-
terio o departamento técnico interesado);
v) representantes de las organizaciones cofi-
nanciadoras y las instituciones cooperantes
(si las hay); vi) representantes de las organiza-
ciones no gubernamentales (ONG) vinculadas
a la ejecución del proyecto (si las hay) y un
representante de las organizaciones comunita-
rias, y vii) el evaluador principal de la OE. Estas
son indicaciones generales que deberán ser
usadas con flexibilidad, teniendo en cuenta las
circunstancias especiales de cada proyecto,
así como las opiniones de la división regional y
las autoridades públicas competentes.
Las autoevaluaciones permiten a todas las
personas que intervienen en el diseño y la ejecu-
ción del proyecto expresar sus conocimientos y
percepciones acerca de los resultados y el
desempeño de las operaciones. El alcance y los
plazos en que han de realizarse quedan refle-
jados en el documento conceptual.36
En las evaluaciones de proyectos, la prepara-
ción de autoevaluaciones corre a cargo del
GPP y de los responsables del proyecto, y la
OE imparte orientación respecto de la metodo-
logía, el enfoque y las entregas previstas. Por lo
general, las autoevaluaciones se llevan a cabo
temporalmente entre la misión preparatoria y la
34. Véase el párrafo 33 de la
política de evaluación del FIDA.
35. En una evaluación de
proyecto, por ejemplo, entre
los miembros del CCA podrían
figurar el GPP del FIDA que
tiene encomendado el país
en cuestión, un representante
de las autoridades
gubernamentales que
intervienen en la ejecución del
proyecto, tanto a nivel federal
como a un nivel administrativo
inferior, representantes de las
organizaciones de la sociedad
civil que participan en el
proyecto (p. ej., ONG u
organizaciones comunitarias).
También podrán formar parte
del CCA profesores
universitarios, representantes
de grupos de promoción y
grupos de estudiosos, así
como parlamentarios, ya que
pueden aportar puntos de vista
alternativos de utilidad para el
proceso de evaluación. Si se
desea más información al
respecto, véase el párrafo 33
de la política de evaluación
del FIDA.
36. En virtud de la política
de evaluación, esas
autoevaluaciones deben
realizarse como una
aportación a todas las
evaluaciones independientes
de la OE.
CUADRO 4: Cuadro de los contenidos de
un documento conceptual para la
evaluación de proyectos
I. Justificación
II. Antecedentes del país y del proyecto
III. Objetivos, metodología (marco de
evaluación incluido) y proceso de la
evaluación
IV. Recopilación de datos y pruebas
V. Consorcio central de aprendizaje
VI. Equipo de consultores
VII. Comunicación y divulgación
VIII. Calendario propuesto
IX. Bibliografía

29
misión principal de evaluación. La misión
preparatoria puede ser una ocasión para
celebrar un encuentro informativo con los
responsables del proyecto acerca de los
objetivos, el calendario y el enfoque general
de la autoevaluación.
Normalmente, cuando la misión principal de
evaluación llega al país interesado, ya se
dispone de una autoevaluación realizada por
el personal de operaciones. El marco de
evaluación sirve de base para las autoevalua-
ciones, por ejemplo, en lo relativo a la escala
de calificaciones y los criterios adoptados por
la OE para evaluar los resultados y el impacto.
De este modo se contribuye a que las autoe-
valuaciones estén mejor focalizadas y resulten
útiles para la evaluación que lleva a cabo la
OE. En particular, hay que invitar a las
personas que realizan las autoevaluaciones a
que proporcionen respuestas a las preguntas
contenidas en el marco de evaluación. Por lo
general conviene organizar un debate en el
país acerca de las autoevaluaciones en el que
participen plenamente los principales intere-
sados en la evaluación del proyecto. En esa
ocasión hay que dejar claro que los resul-
tados son tan sólo una aportación a la evalua-
ción que la OE realizará posteriormente y no
afecta a la independencia de esta evaluación.
Cuando se disponga de un IFP, éste deberá
cumplir los requisitos de la autoevaluación. En
esos casos no será necesario elaborar otro
informe, y la OE pedirá a la entidad respon-
sable de la autoevaluación que limite sus
aportaciones a los dos aspectos siguientes:
i) las calificaciones relativas a cada uno de los
criterios de evaluación, y ii) las respuestas a
las preguntas del marco de evaluación que no
se hayan abordado en el IFP.
El documento conceptual, según lo previsto,
ha de incluir un calendario específico del
proceso de evaluación del proyecto, que
debería abarcar todas las etapas esenciales,
junto a las fechas propuestas, por ejemplo las
relativas a la misión principal de evaluación, la
presentación de un borrador del informe de
evaluación, el plazo límite para que el personal
del PMD y los asociados en el país formulen
observaciones y la fecha de la reunión recapi-
tulativa. Ésta es una forma de garantizar que
todos los asociados en la evaluación hayan
concordado una hoja de ruta clara una vez que
el documento conceptual se haya ultimado.
Después de haber elaborado el documento
conceptual se preparará un informe prepara-
torio en el que se resumirán los resultados del
análisis de la bibliografía y del examen de la
documentación interna y de los intercambios
con el GPP y otros miembros del personal de
operaciones del FIDA. El informe preparatorio
contendrá también un análisis de los resul-
tados y el impacto del proyecto, con inclusión
de las calificaciones, así como las cuestiones
e hipótesis que merezcan estudiarse más a
fondo durante la misión principal de evalua-
ción. Además, se incluirá una breve explica-
ción de la evaluabilidad del proyecto objeto de
examen. La base para elaborar esos informes
son los documentos de evaluación disponi-
bles, como informes de las misiones de
supervisión, revisiones a mitad de período,
IFP e informes de situación y sobre la marcha
del proyecto preparados por los responsables
de la intervención y otras partes interesadas.
Por lo general, en el examen de las fuentes
externas se incluyen documentos como los
informes acerca del país de la Economist
Intelligence Unit, los indicadores económicos,
sociales y relativos a la pobreza tomados de
fuentes nacionales (p. ej., en el ministerio de
planificación), las estadísticas del Banco
Mundial, el documento de estrategia de lucha
contra la pobreza (DELP), de haberlo, y otros
documentos importantes que contengan infor-
mación actualizada sobre las condiciones y
perspectivas del país. Se consultan asimismo
los documentos pertinentes elaborados por
los donantes y las organizaciones de conoci-
mientos que trabajan en los temas de la agri-
cultura y el desarrollo rural.37
La fase de revi-
sión de documentación ayuda al personal y a
los demás participantes a tener una idea del
contexto operacional, ofrece información
37. Esas informaciones
pueden obtenerse en parte
visitando los sitios web del
Grupo de las Naciones Unidas
sobre Evaluación, el Grupo de
Cooperación en materia de
Evaluación y la Red sobre
Evaluación del Desarrollo del
CAD, cuyas respectivas
direcciones de Internet son las
siguientes: www.uneval.org,
www.ecgnet.org y
www.oecd.org.

La función del FIDA en la reducción de la pobreza rural

La función del FIDA en la reducción de la pobreza rural

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (10)

Similar a La función del FIDA en la reducción de la pobreza rural

Similar a La función del FIDA en la reducción de la pobreza rural (20)

La función del FIDA en la reducción de la pobreza rural