Présentation sur l'évaluation de programmes menée par les pays et le renforcement des capacités - 18ème Symposium annuel du Forum sur le rendement et la planification (FRP) (Ottawa, mai 2014) et 35ème Congrès annuel d'évaluation (Ottawa, juin 2014).
2. Basé sur “Country-led monitoring and
evaluation systems, better evidence, better
policies, better development results”
Mario Segone (2009)
2
3. Une nouvelle approche
Évaluateurs de programme en
développement international chevronnés
Évaluation = responsabilité des pays
bénéficiant des programmes
Capacité en évaluation
L’importance du diagnostic
3
4. Contexte
Relations multilatérales: les évaluations ont
peu de valeur pour les partenaires
Années 1990: évaluations conjointes
2008: Évaluation menée par le pays
4
5. Évaluation pour laquelle le pays partenaire, et
non le donateur, prend le contrôle de tout le
processus:
politique ou programme à évaluer
questions d’évaluation
méthodologie
approche analytique
façon de communiquer les résultats
utilisation finale de ces résultats
Définition
5
6. AVANTAGES DÉFIS
UTILITÉ
- Besoins en information
- Utilisation accrue des résultats
RESPONSABILITÉ
- Donateur face au pays partenaire
- Donateur et partenaire face aux
populations
- Partenaire face à la société civile
PROCESSUS
- Créer un système national de suivis-
évaluations
- Négociations entre partenaires
nationaux
PERCEPTION DE RISQUE
- Partenaires : évaluations
indépendantes = conséquences
politiques et financières
- Bailleurs de fonds : faible capacité
nationale = peu d’indépendance du
système national
Source : IDEAS (2006) et Segone (2009)
6
Pourquoi l’ÉMP?
7. Appropriation du développement par les pays
Renforcement des capacités:
- bailleurs de fonds (structures nationales de statistique)
- organisations internationales (SNSÉ)
Coopération
- Internationale: étendre le succès
- Nationale: associations en évaluation (offre et
utilisation des évaluations)
Conditions de succès
7
8. Renforcement des capacités
S’assurer que les fonctions de suivi et
d’évaluation permettent une meilleure
gouvernance, en améliorant les outils
évaluatifs disponibles
générer des produits d’évaluation
améliorer la demande
8
9. Le diagnostic
Identifier:
- forces et faiblesses du système
- durabilité
- résistance aux changements
- dépendance aux donateurs
- plan d’action efficace
- base de comparaison pour évaluer les
progrès
9
10. Importance du diagnostic
Limiter la duplication des efforts
Institutionnaliser les activités de suivi et
évaluation
Uganda: de 16 sous-systèmes à un système
national intégré
10
11. Diagnostic: comment faire?
• Instruments d’
évaluation de la
capacité
organisationnelle
• Identifier les secteurs a
améliorer
• Élaborer un plan efficace de
renforcement des capacités
11
12. Cadre d’analyse Bourgeois-
Cousins (2008)
Capacité des ministères et des agences de la
fonction publique fédérale à générer et à utiliser
des évaluations:
• ressources humaines
• ressources organisationnelles
• planification et activités d’évaluation
• formation en évaluation
• prise de décision en évaluation
• bénéfices d’apprentissage
12
14. Segone (2009)
Considérer plusieurs éléments:
- Genèse du système
- Rôles des parties prenantes
- Environnement du secteur public
- Secteurs soutenus par le SNSÉ
- Diagnostic de l’utilisation
- Outils disponibles
- Responsabilité du système
- Soutiens des bailleurs de fonds
14
15. Importance du diagnostic-pays
Bien que les pays soient à des niveaux variés
Développer un cadre plus rigoureux et plus
systématique d’analyse du SNSÉ
Un cadre plus rigoureux
15
Une vingtaine d’évaluateurs de programme en développement international chevronnés, menés par Mario Segone, Conseiller régional principal à l’UNICEF, présentent une nouvelle approche en évaluation et décrivent les raisons pour lesquelles l’évaluation de programme dans un contexte de développement international, devrait d’abord être la responsabilité des pays bénéficiant des programmes.
Mais avant que les pays puissent prendre en main l’évaluation des programmes, il est important que leur capacité en évaluation, comme celle de toute organisation, soit renforcée.
Quels éléments contribuent-ils au succès du renforcement des capacités en évaluation dans le contexte d’évaluations menées par les pays? Quels outils offrent Segone et al.?
L’évaluation menée par les pays s’inscrit dans le cadre de relations multilatérales entre pays donateurs et pays « partenaires. » Ces derniers reçoivent une assistance financière et technique qui se traduit par l’élaboration, la mise en place, le suivi et l’évaluation de différents programmes. Les évaluations ont peu de valeur pour les partenaires.
Dès le début des années 1990, des évaluations conjointes sont réalisées mais elles sont encore pour la plupart pilotées par les bailleurs de fonds, tandis que les partenaires se cantonnent à des rôles d’agent de collecte de données ou de commentateur des résultats de l’évaluation.
L’évaluation menée par les pays est définie comme étant une évaluation pour laquelle le pays partenaire, et non le donateur, prend le contrôle de tout le processus et décident :
de la politique ou du programme évaluer
des questions d’évaluation à poser
de la méthodologie à utiliser
de l’approche analytique choisie
de la façon de communiquer les résultats
et de l’utilisation finale de ces résultats.
UTILITÉ
Répond aux besoins en information
Utilisation accrue des résultats de l’évaluation
RESPONSABILITÉ
Du donateur face au pays partenaire
Du donateur et du partenaire face aux populations desservies
Du partenaire face à la société civile
PROCESSUS
Capacité de créer un système national de suivis-évaluations
Négociations entre les partenaires nationaux (ministères, société civile, évaluateurs)
PERCEPTION DE RISQUE
Par les partenaires : évaluations indépendantes = conséquences politiques et financières
Par les bailleurs de fonds : faible capacité nationale = peu d’indépendance du système national de suivi-évaluation.
APPROPRIATION
Les pays doivent prendre en main et coordonner eux-mêmes les efforts de développement.
RENFORCEMENT DES CAPACITÉS
Par les bailleurs de fonds: aider les partenaires à mettre en place des structures nationales de statistique
Par les organisations internationales: aider à la mise sur pieds de systèmes nationaux des suivis-évaluations par le pays
COOPERATION (INTER)NATIONALE
Coopération avec les pays où cette approche est implantée avec succès
Développement d’associations nationales en évaluation pour promouvoir l’offre et l’utilisation des évaluations (société civile, gouvernements, bailleurs de fonds et universitaires)
Definition
Capacité en évaluation: propension d’une organisation à coordonner objectifs, structure, processus, culture, et capital humain et technologique afin de produire des évaluations de qualité, destinées à faciliter la prise de décision au quotidien et à améliorer l’efficacité organisationnelle (Mackay, 2002).
Le renforcement des capacités en évaluation sert à s’assurer que les fonctions de suivi et d’évaluation permettent une meilleure gouvernance, en améliorant les outils évaluatifs disponibles.
La capacité en évaluation ne se limite pas à la capacité de générer des produits d’évaluation de qualité. Il est tout aussi important d’améliorer la demande de produits d’évaluation auprès des utilisateurs (gestionnaires, analystes des politiques et décideurs.)
À l’échelle d’un pays, le diagnostic et l’élaboration d’un plan d’action sont cruciaux, pour limiter la duplication des efforts.
EXEMPLE: Uganda
Problème: 16 sous-systèmes de suivi-évaluation
Solution: Création d’un système national intégré
Mesure la capacité en évaluation des ministères et des agences de la fonction publique fédérale à travers six dimensions principales, qui reflètent la capacité de l’organisation à générer et à utiliser des évaluations:
les ressources humaines
les ressources organisationnelles
la planification et les activités d’évaluation
la formation en évaluation
la prise de décision en évaluation
et les bénéfices d’apprentissage.
Segone et Al. préconisent d’établir un diagnostic-pays afin d’institutionnaliser les activités de suivi et évaluation, en considérant:
Genèse du système
Rôles des parties prenantes
Environnement du secteur public
Secteurs soutenus par le système de suivi-évaluation
Diagnostic de l’utilisation
Outils disponibles (évaluations, indicateurs de performance)
Responsabilité du système
Soutiens des bailleurs de fonds
Les auteurs ne présentent ni cadre d’analyse précis ni méthodologie ni illustration du diagnostic de la capacité en évaluation des pays
Vu l’importance du diagnostic-pays, dans l’élaboration d’un plan
Bien que les pays soient à des niveaux variés
Développer un cadre plus rigoureux et plus systématique d’analyse du système d’évaluation d’un pays afin de viendrait enrichir et valider cette nouvelle approche en évaluation.
Sources:
Bourgeois, I. et Cousins, J.B. (2008). Understanding organization capacity for evaluation: Synthesis and integration. La Revue canadienne d’évaluation de programmes, 23(3), 127-146.
Boyle, R. et Lemaire, D. (1999). Building Effective Evaluation Capacity : Lessons from Practice. Nouveau Brunswick, New Jersey. Transaction Publishers.
IDEAS. (2006), Country-led Evaluations and Systems: Practical experiences of the Central and Eastern European Region. Atelier régional, 19-20 juin, 2006. Prague.
Mackay, K.( 2002). The World Bank ECB Experience. New directions in Evaluation, No 93, Printemps 2002, pp. 88-99.
Rist, R.C., Boily, M. et Martin, F. (2011). Influencing Change: Building Evaluation Capacity to Strengthen Governance. World Bank.
Segone, M. (2009). Country-led monitoring and evaluation systems, better evidence, better policies, better development results. UNICEF