SlideShare una empresa de Scribd logo
1 de 45
www.wateraid.org
Webinar sur l’évaluation finale
et l’étude d’impact du
Programme GTF
Tuesday 23rd
April 2013
www.wateraid.org
Costa Rica
Honduras
Nicaragua
Guatemala
Burkina Faso
Ghana
Mali
Nigeria
Ethiopia
Kenya
Madagascar
Malawi
Uganda
Zambia
India
Bangladesh
Couverture du Programme GTF de
WA/FAN
www.wateraid.org
Contexte et Objet des 2 exercises
• Si l’évaluation porte
essentillement sur la
redevabilité l’étude d’impact se
penche plus sur
l’apprentissage
• Mais les 2 exercices se
completent
• Les PPs et les partenaires
constituent les 1ers
bénéficiaires des résultats de
ces exercices et les utilisent
pour les besoins de
communication, levée des
fonds,etc
• Important: la mesure/évaluation
doit se faire en comparaison
avec les données de
base/initiales
www.wateraid.org
Apercu des processus d’évaluation et
d’apprentissage et leur inter relations
 Evaluation Intermédiaire/ Revue
A Mi Parcours/RAM: qu’est ce qui
a été fait/réalisé a date?
 Evaluation: QUOI?
 Evaluation d’impact: activités
certes mais et apres?
 Examen des lecons tirées:
comment?
www.wateraid.org
Acteurs impliqués dans le
processus
DFID/KPMG
www.wateraid.org
Point sur ce que fera chaque Programme
Pays
www.wateraid.org
Comment prendre en charge les
différents niveaux variés?
• Evaluation exhaustive/grande échelle:7 pays
• Evaluation a petite échelle: 9 pays
• Etude d’impact: dans TOUS les pays sauf le
Kenya
• Evaluation a petite échelle = mise a jour de la
RAM
• Evaluation exhaustive ou a grande échelle veut
dire une évaluation approfondie fondée sur des
domaines clefs
www.wateraid.org
Durée de la consultation & bonne
utilisation de votre temps
• Nombre total de jours: 25 j a consacrer pour les 2
exercices
• Directives globales :
Etape 1: Compréhension du contexte: cerner le probleme que
veur résoudre le programme GTF dans le pays
• Lecture de base: - 1 jour
• Collaboration avec le personnel du PP et autres informateurs
clefs : renforcer la compréhension du programme, des acteurs et de la
structure de l’intervention, fles résultats de la RAM (la ou cela a été fait))
et les conclusions: jusqu’a 3 jours
Etape 2: Enquete: faire une auto évaluation, des interviews semi
structurée, des discussions en groupes ciblés: 8 jours
Etape 3: Analyse: auto évaluation et mise en commun des
résultats, codification des données qualitatives: 2,5 pour lanalyser
le volet redevabilité et 2,5 jours sur l’apprentissage;
Etape 4: rédaction de la version provisoire du rapport: 4 jours
Etape 5: Révisions et elaboration d’un rapport amélioré: 4 jours
www.wateraid.org
Calendrier
Dates Actions
4 avril Envoir des TDR d’évaluation et d’étude d’impact a tous les pays
19 Avril Signature des contrats avec les consultants locaux au niveau des
pays
23 avril Webinar impliquant tous les consultants
17 mai Soumission par les consultants locaux de la section portant sur
l’étude d’impact
31 mai Soumission par les consultants locaux des rapports provisoires
d’évaluation
24 juin Soumission par les consultants locaux des rapports finaux
d’évaluation, y compris l’étude d’impact
11 juillet Soumission par MoF du rapport consolidé sur l’étude d’impact
Semaine du 22
juillet
Soumission du rapport provisoire d’évaluation qui est partagé avec
KPMG
Semaine du 29
juillet
Derniere rencontre annuelle d’apprentissage/bilan
Mi Sept embre Soumission du rapport global d’évaluation par CM
Fin Sept /mi Papa partage le rapport avec KPMG
www.wateraid.org
Quelle différence faire entre
“Evaluation” et “Etude
d’Impact”
www.wateraid.org
La différence en résumé....
Questions Suivi Evaluation Etude d’Impact
Pourquoi? A
quelle fin?
Pour mesurer les
activités en cours
Mesurer la performance
par rapport aux objectifs
Mesurer les changements
opérés dans les vies des
populations
Principal centre
d’intéret?
Le centre d’intéret
porte sur les
interventions du
programme s
Le centre d’intéret porte
sur les interventions du
programme s
Intéret porté sur les
acteurs
Quel niveau? Extrants Résultats /impact Impact et changements
Principales
questions a se
poser?
•Que se passe-t-
il/que fait -on?
•Notre programme
progresse-t-il comme
prévu?
•Que s’est-il passé/qu’a-
t-on fait? A t on réalisé
ce que nous défini dans
les domaines suivants :
•Efficacité
•Efficience
•Pertinence
•Durabilité
•Alors qu’est ce qui a
réellement changé
•Au profit de qui?
•Combien importants ces
changements
représentent ils pour exu?
•Ces
changements/impacts
www.wateraid.org
Le volet “Evaluation” de
l’exercice
Catherine Currie
www.wateraid.org
Evaluation Sommative du
GTF
• On fait une analyse approfondie du GTF
pour apprécier si ce Programme a atteint
(ou non) ses objectifs de départ. Il s’agit
de déterminer:
 Si les activités planifiées ont été exécutées
 Si la mise en oeuvre de ces activités a conduit a
l’atteinte des objectifs;
 Le niveau d’efficacité du projet;
 Si le projet a été couteux ou pas; etc.
• C’est une évaluation sommative ou
évaluation de fin de programme
www.wateraid.org
But de l’évaluation
• Pour des raisons de redevabilité et
permettant ainsi aux bénéficiaires,
membres du conseil, etc. de savoir
l’utilisation faite de leurs fonds;
• Les évaluations de nos PP vont porter sur:
– L’atteinte des objectifs par rapport aux
objectifs;
– La performance du programme selon les
normes et criteres fixés par l’OCDE en
matiere d’efficacité, efficience, pertinence,
www.wateraid.org
Rapport Global d’ Evaluation
digne d’intéret• Quelques grandes astuces :
– i) processus de mise en commun, d’analyse et de rédaction
– ii) grande rigueur et comparaison des résultats et
rapports…………...so
• Position de fidélité/honneté
• Forum en ligne pour apporter un appui, des conseils
• Vérification des évidences/preuves
• Plusieurs étapes de validation des résultats de l’évaluation
• Assurance de la qualité
• Utiliser en priorité les systemes disponibles dans le PP
• Se servir d’une série des princiapaux termes définis de commun
accord
• Utiliser le canevas de rapportage de WaterAid
www.wateraid.org
Questions d’évaluation
Sur la pertinence:
• Ce qui est attendu : des détails sur l’importance du programme
sur les aspects comme une meilleure représenation de la voiz des
sans voix, redevabilité et réactivité au niveau local.
Questions:
1. Le Programme a t il un lien étroit avec les priorités de gouvenance
au niveau local, national ou interne? (le démontrer avec des
exemples portant sur : i) une meilleure voix des personnes
démunies; ii) redevabilité; et iii) réactivité au niveau local.
2. Le Programme a t il un lien étroit avec les buts et objectifs
consignés dans le document de stratégie du PP?, WaterAid et la ou
c’est le cas, le réseau FAN (c’est a dire lDFID et les secretariats
régionaux).
3. Quel est le niveau de logique de l’actuelle théorie de changement?
www.wateraid.org
Efficacité
• Il est attendu une évaluation du niveau de
réalisation des résultats attendus par rapport aux
objectids définis dans le cadre logique de départ.
Questions:
1. Les interventions ont elles atteints les objectifs
fixés? (au niveau régional et global ).
2. Dans quelle mesure le démarche ou approche du
Programme avait elle été efficace/ appropriée?
Quel est le niveau d’efficacité du cadre et du
systeme de S&E et d’apprentissage?
3. Avec du recul, comment peut-on améliorer?
www.wateraid.org
Partenariat
• Ce qui attendu: le partenariat et la
gestion de celui-ci ont-ils été efficaces?
Comment ces partenariats se sont ils
comporté dans le temps? (domaines a
prendre en compte: suivi, évaluation et
apprentissage). Si possible, avoir une
perspective régionale.
programme a t il aidé dans la mise en oeuvre réussie des stratégies de plaidoyer? Existe t il d’autres enseignements a tirer sur la mesure des action
programme a t il contribué a la stratégie de plaidoyer du pays?
www.wateraid.org
Plaidoyer
• Il est attendu une évaluation de la contribution
du GFT a la réalisation des objectifs d’influence
de WaterAid.
Questions:
1.Comment le programme a t il aidé dans la mise
en œuvre réussie des stratégies de plaidoyer?
Existe t il d’autres enseignements a tirer sur la
mesure des actions d’influence?
2.Comment le programme a t il contribué a la
stratégie de plaidoyer du pays?
www.wateraid.org
Equité
• Ce qui est attendu: échanges et discussions sur la différenciation
(ex: selon l’appartenance au genre, l’ethnie, socio économique,
handicap, etc.) et le niveau d’impact (positif) du programme sur les
groupes les plus marginalisés (sous l’angle de la redevabilité).
Questions:
1. Dans quelles mesure le programme a pu promouvoir de facon
active l’équité/genre?
2. Quel fut l’mpact du programme sur les enfants, la jeunesse et les
personnes agées?
3. Quel a éte l’impact du programme sur les minorités ethniques?
4. Si le programme impliquait la participation des enfants, comment les
questions de leur protection a t elle été prise en compte?
5. Comment, dans le cadre de la mise en oeuvre du GTF, les besoins
des groupes exclus (dont les PVVIH et handicapées) ont ils été
résolus?
www.wateraid.org
Optimisation des ressources
• Ce qui est attendu : Une bonne optimisation des ressources
consiste en une utilisation optimale des ressources disponibles
pour atteindre les résultats excomptés.
Questions:
1. A t on fait des économies dans la mise en oeuvre des activités du
programme?
2. Avec moins de ressources financieres, était ce possible de se
procurer les memes facteurs de production?
3. Les salaires et autres dépenses cadraient ils avec le contexte?
4. Quels sont les couts et avantages de ce programme?
5. Enregistre –t-on un bon équilibre entre l’économie, l’efficience et
l’efficacité? En somme, le programme est il rentable?
www.wateraid.org
Efficience
• Ce qui est attendu : Quel est le niveau de
contribution/blocage des ressources (financements,
personnel, reglements et administration, temps) et autres
ressources et procédures a la réalisation des résultats.
Questions:
1. Existe t il des liens clairs entre les principaux résultats et
dépenses du programme ? Comment ont fonctionné les
partenariats, leur gestion et développement dans le temps?
2. Comment a fonctionné le systeme financier?
3. A t on bien répéré et géré les risques?
4. Si vous souhaiter avoir des conseils sur comment mesurer la
rentabilité des programmes de gouvernance, aller au site
www.dfid.gov.uk pour disposer de la la note d’information de
DFID élaborée en juillet 2011 et intitulée “
Indicators and VFM in Governance Programming”
www.wateraid.org
Durabilité
• Ce qui est attendu : la possibilité de voir se
poursuivre les mécanismes de mise en oeuvre et
l’impact atteint, une fois que le financement
arrivera a terme.
Questions:
1. Quels sont les chances que les bénéfices du
programme seront durables a la fin du
financement?
2. Comment la durabilité est elle soutenue par les
aspects tels que la collaboration, le réseautage et
les actions d’influence d’opinion?
www.wateraid.org
Innovation & Replicabilité
• Ce qui est attendu comment peut on
reproduire le processus ayant engendré les
changements /les impact? En particulier,
penser aux aspects novateurs qui peuvent
etre répliqués/reproduits ailleurs.
Questions:
1.Quels sont les aspects du programme qui
peuvent etre reproduits ailleurs?
2.Dans quels cas et/ou contextes peut on
reproduire le programme?
www.wateraid.org
Impact et changements
attendus
• Il est attendu des détails d’ordre général sur les retombées économiques,
sociales et politiques du programme et la contribution aux objectifs globaux
de GTF (renforcement des capacités , aredevabilité et réactivité) et a la
réduction de la pauvreté.
Questions:
1. Il faut démontrer les progres en lien avec les indicateurs qui sont dans le cadre
logique de GTF . L’accent porte sur la redevabilité en ce qui concerne l’impact.
2. Quel a été l’impact global du programme’ et quelle conclusion peut on tirer en
comparaison avec ce qui était attendu? (faire la démonstration du point de vue de la
redevabilité si l’impact percu a été atteint; au cas échéant, sire pourquoi.
3. Le programme a t il résolu les problemes des groupes cibles ? Quel a été le niveau
réel de couverture? (toujours seloin la redevabilité a ton atteint la couverture? ISi non
dire pourquoi et si oui préciser comment?
4. Quels ont éte les bénéficiaires directs et indirect/globaux du programme? (ici
l’important c’est de les déterminer pour les besoins de redevabilité).
5. Quelle différence y a t il eu dans les vies de ceux ou celles impliquées dans le
programme? Décire l’impact.
6. Comme vous le savez, pour les besoins d’apprentissage, le consultant fait aussi une
analyse détaillée et critique des Impacts.
www.wateraid.org
Vertical Logic of Programme
Li’mpact concerne un
niveau plus élevé auquel
le projet contribue
Le résultat identifie ce
qui changera et les
bénéficiaires au cours
de la durée de vie du
projet
Extrants sont des
Livrables spécifiques
Apports en ressources
humaines et
financieres s
APPRENTISSAGE:
Ici il faut des
évidences qui
répondent a la
question : ‘et apres/la
suite?
APPRENTISSAGE:
Ici il faut des
évidences qui
répondent a la
question : ‘et apres/la
suite?
REDEVABILITE
Pour les consultants du
niveau global, ceci
demande des évidence en
vue de comparer avec les
objecfis spécifiques du
programme
REDEVABILITE
Pour les consultants du
niveau global, ceci
demande des évidence en
vue de comparer avec les
objecfis spécifiques du
programme
www.wateraid.org
Volet “Etude d’Impact”
www.wateraid.org
Pourquoi une composante “étude
d’Impact?”
• Pour des besoins d’apprentissage de d’amélioration:
• To enable Country programme staff, stakeholders in country,
Wateraid staff and others to really understand what changed as
a result of the programme and to apply this to future plans
• Pour tester et peaufiner notre compréhension de la facon
dont se produit le changement et comment nous avons réussi
a accompagner les changements positifs au profit de nos acteurs:
• Avons nous collaboré avec les personnes qu’il faut? De la bonne facon?
• Dans quelle mesure les changements attendus soutiennent ils les changements de
long terme que nous voulions influencer?
• Quels enseignements tire t on sur la facon dont il faut influencer le changement?
• A l’avenir, que faudra t il faire autrement ou différemment?
www.wateraid.org
L’étude/évaluaiton d’ Impact
– ...Se fonde sur la question “et apres”
• Qu’est ce qui a changé? (changements percus)
• Changements au profit de qui (quels sont les
bénéficiaires?
• Quel est le niveau de durabilité de ces
changements pour les différents groupes
d’acteurs?
• Comment le programme a t il contribué a cela?
– Prévoir l’imprévu/l’inattendu: ici nous
cherchons les preuves de changements
positif/négatifs/ attendus et non attendus,
– Prioriser l’analyse a la simple collecte
www.wateraid.org
Principales questions pour
l’étude d’Impact
www.wateraid.org
Historique et contexte – Ce que l’on doit
savoir (Théorie du change de
Programme Pays):
• Le contexte local et national, y compris les principales conditions
context sociales, politiques et environnementales et la manière
dont elles ont changé au fil de la durée de vie du programme
• Principaux problèmes que le programme avait prévu d’aborder
• Lmes groupes cibles qui devraient benéficier du programme la
mesure dans laquelle chacun en a bénéficié au bout du compte?
• Le processus ou la séquence des changements devant conduire
au but désiré à long terme
• Hypothèse faite par le programme à propos du processus de
changement anticipé
• Les autres acteurs/facteurs qui ont eu le potentiel d’influencer les
changements recherchés, tant positivement que negativement.
www.wateraid.org
Quatre Domaines de Changement
1. Changement dans les manières dont les OSC
fonctionnent et font réseau, et leur capacité à influencer
la conception, la mise en oeuvre et l’évaluation de politiques
AEPHA efficaces et à tous les niveaux
2. Changement dans les manières dont les OSC, y compris
celles représentant les groupes marginalisés, sont
capables de s’engager dans les processus de prise de
décisions affectant le secteur AEPHA.
3. Changement dans les manières dont les membres des
communautés locales exigent redevabilité et rétroactivité
de la part des gouvernements et des fournisseurs de
services dans le secteur AEPHA
4. Changement dans les manières dont les gouvernements
et les founrnisseurs de service sont redevables aux
citoyens et aux usagers dans le secteur AEPHA
www.wateraid.org
Chaque Domaine est reparti en
“Domaines de Recherche”
Voici les principalesquestions à explorer dans tous les Domaines:
1. Qu’est-ce qui a réellement changé pour chaque groupe d’acteurs,
notamment les communautés les plus pauvres et les plus marginalisées
en matière d’AEPHA (changements positifs, negatifs, intentionnels et/ou
non intentionnels)
2. Quelle est l’ampleur et/ou la durabilité de ces changements pour les
différents groupes cibles?
3. Dans quelles mesure ces changement sont-ils comparables avec les
données de références et avec les changements prévus et attendus?
4. A quel point sont-ils liés les uns aux autres et /ou s’influencent-ils les
uns les autres?
5. Dans quelle mesure le the programme GTF a-t-il contribué à ces
changements? Comment?
6. Qui ou quoi d’autre a pu contribué à ces changements? Comment?
7. A quel point êtes-vous sûrs de ces résultats (niveaux de preuves)?
www.wateraid.org
Domaines de Recherche Domaine 1
Domaine 1 Pricipaux Domaines de Recherche
Changement dans les
manières dont les OSC
fonctionnent et font réseau,
et leur capacité à influencer la
conception, la mise en oeuvre
et l’évaluation de plitiques
AEPHA efficaces et à tous les
niveaux
• Manières dont les réseaux se sont
développés et fontionnent au fil des temps
• Changement dans les capacités des OSC
• Dans quelle mesures ces changement de
capacités ont-ils influencer les politiques et
les pratiques aux
o Niveau local
o Niveau National
Note: nous fournirons de plus amples orientation sur la manière d’évaluer les
domaines de recherche au cours de la semaine prochaine
www.wateraid.org
Domaines de Recherche Domaine 2
• P
Domaine 2 Pricipaux Domaines de Recherche
Changement dans les
manières dont les OSC, y
compris celles représentant
les groupes marginalisés,
sont capables de s’engager
dans les processus de prise
de décisions affectant le
secteur AEPHA.
• Changement dans la conscience, la connaissance et la
confiance des groupes marginalisés
• Changement dans la manière dont les gens ont
été en mesure d’exiger lesurs droits
• Dans quelle mesure les voix des personnes
maginalisées font-elles une différence dans les
politiques et et pratiques
• La manière dont les stratégies des différentes
OSC ont influencé le changement (ex: suivi
budgétaire, participation dans les revues des
acteurs, etc…)
Note: nous fournirons de plus amples orientation sur la manière d’évaluer
les domaines de recherche au cours de la semaine prochaine
www.wateraid.org
Domaines de Recherche Domaine 3
Domaine 3 Pricipaux Domaines de Recherche
Changement dans les manières dont
les membres des communautés
locales exigent redevabilité et
rétroactivité de la part des
gouvernements et des
fournisseurs de services dans le
secteur AEPHA
• Niveau de conscience sur les droits aux
sein des communautés locales
• Manières dont la couverture
médiatique soutien la compréhension
des droits
• Manières dont les citoyens influencent
les politiques et les pratique au fil des
temps
• Changements dans l’accès des
communauté à l’AEPHA
• Changements dans l’influence des
colmmunauté sur les ressources
naturelles
Note: nous fournirons de plus amples orientation sur la manière d’évaluer les
domaines de recherche au cours de la semaine prochaine
www.wateraid.org
Domaines de Recherche Domaine 4
Domain e4 Pricipaux Domaines de Recherche
Changement dans les manières dont
les gouvernements et les
founrnisseurs de service sont
redevables aux citoyens et aux
usagers dans le secteur AEPHA
• Niveau de changement de la
gouvernance, de la transparence et
de la conformité
• Changements dans les politiques et
les règlementations (ex: nouvelles
politique, lois, normes, nouveau
cadre politique et institutionnel) – et
leur conséquences
• Changements dans les pratiques en
relation avec l’AEPHA (ex: fourniture
de nouveau services et systèmes)
ainsi que leurs conséquences
Note: nous fournirons de plus amples orientation sur la manière d’évaluer les domaines
de recherche au cours de la semaine prochaine
www.wateraid.org
Methodologie pour les deux composantes
Veuillez vous en tenir à l’utilisation de quelques outils
éprouvés. Nous vous proposons:
– Auto-évaluation facilitée: en s'appuyant sur la revue à
mis parcours qui soutiendra le volet évaluation
• Comment faire cela et qui devrait être impliqué
• NOTE: Cette fois-ci nous allons ajouter quelques questions
changements supplémentaires
– Atelier de suivi pour valider les résultats et se concentrer
sur l'élément d'évaluation d'impact
• Comment faire cela et qui devrait être impliqué
– Autres interviews en profondeurs / FGD avec des
informateurs clés tel que requis
• Cela pourrait permettre une meilleure compréhension des
exemples de comment les changements ont pu affecter des
groupes cibles particuliers
www.wateraid.org
Principes directeurs pour la
méthodologie
• Créer une atmosphere qui permet aux
informateurs de donner des réponses
honnetes et importantes. Utiliser une
démarche de sondage d’appréciation
• Collecter a la fois des
données/informations qualitatives et
quantitatives
• Pour l’étude d’impact: poser des questions
ouvertes et d’approfondissement pour
mieux comprendre les changements induits
• Soutenir les résultats/constats de preuves
et comparer avec la situation de référence.
www.wateraid.org
Prise en compte de la taille de
l’échantillon
Questions:
• Combien de personnes interviwer?
• Qu’est-ce qui constitue un “échantillon assez bon?”
Réponses:
• Soyez pragmatique (vous disposez d’un temps limité mais
devez être assez représentatif).
• Plannifier avec le point focal national:
– Inclure des personnes/groupes/interventions qui
répresentent
• bien/fort
• Moyen
• Mauvais/faible
• Expliquer votre décision d’échantillonage dans la section
du rapport sur la méthodologie ( avec une indication du
niveau de rigueur que vous croyer que cela fournit)
www.wateraid.org
Le Rapport
la semaine prochaine, nous donnerons des orientations détaillées. Ceci
est donc a titre indicatif:
35 -40 pages avec les éléments suivants:
• Synthese x 2 - (4 pages au total)
• Sommaires + abréviations (1 page)
• Méthodologie + difficultés et limites (2 pages )
• Contexte du pays et présentation du programme (3 pages )
• Rapport de l’évaluation (10 pages): résultats/constats et conclusions selon
les titres suivants:
– Pertinence, efficacité, partenariats, plaidoyer, équité, optimisation des
ressources, efficience, durabilité, innovation et réplicabilité, impacts et
changements attendus.
• Rapport de l’étude d’Impact A (10 pages) résultats/constats et conclusions
selon les titres suivants :
– Changement dans chaque domaine
– Analyse globale de l’impact sur les différents groupescibles
– Quelle différence le programme a t elle apporté dans son ensemble
• Conclusions générales et lecons en particulier pour les PPs et le secteur et
d’une maniere globale (4 pages)
• Annexes
www.wateraid.org
Autres manières de présenter les
résultats
• Opportunités de partager les résultats et les leçons
avec un grand groupe d’acteurs pour Wateraid -
• Groupes cibles:
– Personnel des programme pays
– Réseaux au sein du pays
– Partenaires
– Donnateurs de Wateraid
– Spécialistes du secteur
• Manière additionnelles de présenter les résultats
(optionel)
– Etudes de cas
– Video reportage
– Photos
www.wateraid.org
Prochaines Etapes
• Maureen et Catherine: envoyer des orientations
plus détaillées le vendredi 26 avril
• Equipe d’évaluation au niveau Pays/national: faire
le point des résultats du webniar et
• Préparer et envoyer au plus tard le 26 avril
Catherine & Maureen (avec copie a Marta &Papa)
un apercu de votre plan qui doit comprendre les
éléments suivants:
– Calendrier
– Votre approche méthodologique
– Les principaux informateurs
– Echantillonnage et justification de ce processus
www.wateraid.org
Appui et assistance
• Notes d'orientation à suivre:
– Quelques conseils thématiques
– Format à utiliser pour l’auto-évaluation
– Des questions d'apprentissage
– Format du rapport
• Forum en ligne: vous pourrez poser des questions, débattre des questions
et des résultats avec d'autres consultants impliqués dans l'évaluation finale
et l'évaluation d'impact du GTF.
– Catherine ou sa collègue Erica Packington Erica ( qui vont gérer l'accès au forum
privé) vous transmettront un mot de passe ainsi que des détails d’utilisateur, Bien
vouloir vous attendre à recevoir un e-mail dans votre boîte de réception à cet effet.
– Veuillez actionner immédiatement l’e-mail pour garantir l'accès.
• Contacts Email:
– Conseil Technique
• Catherine Currie catherine@iodparc.com
• Maureen O’Flynn maureen@oflynn.demon.co.uk
– Logistique:
• Papa Diouf PapaDiouf@wateraid.org
• Marta Barcelo MartaBarcelo@wateraid.org
Veuillez copier toutes vos corrspondances à Marta
www.wateraid.org
Questions?

Más contenido relacionado

Similar a Final outline plan for webinar evaluation and impact assessment mof 2004 french

Gestion Axée sur les Résultats (GAR) et Suivi-evaluation
Gestion Axée sur les Résultats (GAR) et Suivi-evaluationGestion Axée sur les Résultats (GAR) et Suivi-evaluation
Gestion Axée sur les Résultats (GAR) et Suivi-evaluationUSIGGENEVE
 
1 5 rims
1 5 rims 1 5 rims
1 5 rims cinyo77
 
Suivi & Evaluation des Programmes Pop
Suivi & Evaluation des Programmes PopSuivi & Evaluation des Programmes Pop
Suivi & Evaluation des Programmes PopWatani Veux Apprendre
 
La reforme de notre système éducatif
La reforme de notre système éducatifLa reforme de notre système éducatif
La reforme de notre système éducatifleraptor
 
Atelier_MEO et Gestion Financière des projets.ppt
Atelier_MEO et Gestion Financière des projets.pptAtelier_MEO et Gestion Financière des projets.ppt
Atelier_MEO et Gestion Financière des projets.pptVanessaHouing
 
Evaluation projet Hy-SUP
Evaluation projet Hy-SUPEvaluation projet Hy-SUP
Evaluation projet Hy-SUPNicolas Coltice
 
Repérer et accompagner les initiatives liées aux compétences clés
Repérer et accompagner les initiatives liées aux compétences clésRepérer et accompagner les initiatives liées aux compétences clés
Repérer et accompagner les initiatives liées aux compétences clésDavideCavanna
 
2009-01-27 Jean-Gynse Bolivar Intégrer le développement durable aux outils mé...
2009-01-27 Jean-Gynse Bolivar Intégrer le développement durable aux outils mé...2009-01-27 Jean-Gynse Bolivar Intégrer le développement durable aux outils mé...
2009-01-27 Jean-Gynse Bolivar Intégrer le développement durable aux outils mé...PMI Lévis-Québec
 
005 p1.1 gar-concepts_et_principes
005 p1.1 gar-concepts_et_principes005 p1.1 gar-concepts_et_principes
005 p1.1 gar-concepts_et_principesJean-michel Neugate
 
Evaluation finale du programme leader quercy rouergue en quercy rouergue lead...
Evaluation finale du programme leader quercy rouergue en quercy rouergue lead...Evaluation finale du programme leader quercy rouergue en quercy rouergue lead...
Evaluation finale du programme leader quercy rouergue en quercy rouergue lead...Admir Pepeljak
 
Developpement territorial oriente vers l'efficacite, objectifs, indicateurs, ...
Developpement territorial oriente vers l'efficacite, objectifs, indicateurs, ...Developpement territorial oriente vers l'efficacite, objectifs, indicateurs, ...
Developpement territorial oriente vers l'efficacite, objectifs, indicateurs, ...regiosuisse
 
Ckf15 effectively supporting k mb - presentation- leduc, phipps, sundar...
Ckf15   effectively supporting k mb - presentation- leduc, phipps, sundar...Ckf15   effectively supporting k mb - presentation- leduc, phipps, sundar...
Ckf15 effectively supporting k mb - presentation- leduc, phipps, sundar...davidjphipps
 
Annual Results and Impact Evaluation Workshop for RBF - Day Eight - Évaluatio...
Annual Results and Impact Evaluation Workshop for RBF - Day Eight - Évaluatio...Annual Results and Impact Evaluation Workshop for RBF - Day Eight - Évaluatio...
Annual Results and Impact Evaluation Workshop for RBF - Day Eight - Évaluatio...RBFHealth
 
Graine pays de loire référentiel
Graine pays de loire référentielGraine pays de loire référentiel
Graine pays de loire référentielIreps
 
Preliminary findings from the study “Strengthening synergies and complementar...
Preliminary findings from the study “Strengthening synergies and complementar...Preliminary findings from the study “Strengthening synergies and complementar...
Preliminary findings from the study “Strengthening synergies and complementar...Sahel and West Africa Club
 
Tracking the 2014 commitments: miles stones, process, tools (in English and F...
Tracking the 2014 commitments: miles stones, process, tools (in English and F...Tracking the 2014 commitments: miles stones, process, tools (in English and F...
Tracking the 2014 commitments: miles stones, process, tools (in English and F...sanitationandwater4all
 
Session d’Atelier I: Evaluation de la Responsabilité Financière des Dépenses ...
Session d’Atelier I: Evaluation de la Responsabilité Financière des Dépenses ...Session d’Atelier I: Evaluation de la Responsabilité Financière des Dépenses ...
Session d’Atelier I: Evaluation de la Responsabilité Financière des Dépenses ...icgfmconference
 

Similar a Final outline plan for webinar evaluation and impact assessment mof 2004 french (20)

module-7.pdf
module-7.pdfmodule-7.pdf
module-7.pdf
 
Gestion Axée sur les Résultats (GAR) et Suivi-evaluation
Gestion Axée sur les Résultats (GAR) et Suivi-evaluationGestion Axée sur les Résultats (GAR) et Suivi-evaluation
Gestion Axée sur les Résultats (GAR) et Suivi-evaluation
 
1 5 rims
1 5 rims 1 5 rims
1 5 rims
 
Suivi & Evaluation des Programmes Pop
Suivi & Evaluation des Programmes PopSuivi & Evaluation des Programmes Pop
Suivi & Evaluation des Programmes Pop
 
La reforme de notre système éducatif
La reforme de notre système éducatifLa reforme de notre système éducatif
La reforme de notre système éducatif
 
461311.ppt
461311.ppt461311.ppt
461311.ppt
 
Atelier_MEO et Gestion Financière des projets.ppt
Atelier_MEO et Gestion Financière des projets.pptAtelier_MEO et Gestion Financière des projets.ppt
Atelier_MEO et Gestion Financière des projets.ppt
 
Evaluation projet Hy-SUP
Evaluation projet Hy-SUPEvaluation projet Hy-SUP
Evaluation projet Hy-SUP
 
Prog activites
Prog activitesProg activites
Prog activites
 
Repérer et accompagner les initiatives liées aux compétences clés
Repérer et accompagner les initiatives liées aux compétences clésRepérer et accompagner les initiatives liées aux compétences clés
Repérer et accompagner les initiatives liées aux compétences clés
 
2009-01-27 Jean-Gynse Bolivar Intégrer le développement durable aux outils mé...
2009-01-27 Jean-Gynse Bolivar Intégrer le développement durable aux outils mé...2009-01-27 Jean-Gynse Bolivar Intégrer le développement durable aux outils mé...
2009-01-27 Jean-Gynse Bolivar Intégrer le développement durable aux outils mé...
 
005 p1.1 gar-concepts_et_principes
005 p1.1 gar-concepts_et_principes005 p1.1 gar-concepts_et_principes
005 p1.1 gar-concepts_et_principes
 
Evaluation finale du programme leader quercy rouergue en quercy rouergue lead...
Evaluation finale du programme leader quercy rouergue en quercy rouergue lead...Evaluation finale du programme leader quercy rouergue en quercy rouergue lead...
Evaluation finale du programme leader quercy rouergue en quercy rouergue lead...
 
Developpement territorial oriente vers l'efficacite, objectifs, indicateurs, ...
Developpement territorial oriente vers l'efficacite, objectifs, indicateurs, ...Developpement territorial oriente vers l'efficacite, objectifs, indicateurs, ...
Developpement territorial oriente vers l'efficacite, objectifs, indicateurs, ...
 
Ckf15 effectively supporting k mb - presentation- leduc, phipps, sundar...
Ckf15   effectively supporting k mb - presentation- leduc, phipps, sundar...Ckf15   effectively supporting k mb - presentation- leduc, phipps, sundar...
Ckf15 effectively supporting k mb - presentation- leduc, phipps, sundar...
 
Annual Results and Impact Evaluation Workshop for RBF - Day Eight - Évaluatio...
Annual Results and Impact Evaluation Workshop for RBF - Day Eight - Évaluatio...Annual Results and Impact Evaluation Workshop for RBF - Day Eight - Évaluatio...
Annual Results and Impact Evaluation Workshop for RBF - Day Eight - Évaluatio...
 
Graine pays de loire référentiel
Graine pays de loire référentielGraine pays de loire référentiel
Graine pays de loire référentiel
 
Preliminary findings from the study “Strengthening synergies and complementar...
Preliminary findings from the study “Strengthening synergies and complementar...Preliminary findings from the study “Strengthening synergies and complementar...
Preliminary findings from the study “Strengthening synergies and complementar...
 
Tracking the 2014 commitments: miles stones, process, tools (in English and F...
Tracking the 2014 commitments: miles stones, process, tools (in English and F...Tracking the 2014 commitments: miles stones, process, tools (in English and F...
Tracking the 2014 commitments: miles stones, process, tools (in English and F...
 
Session d’Atelier I: Evaluation de la Responsabilité Financière des Dépenses ...
Session d’Atelier I: Evaluation de la Responsabilité Financière des Dépenses ...Session d’Atelier I: Evaluation de la Responsabilité Financière des Dépenses ...
Session d’Atelier I: Evaluation de la Responsabilité Financière des Dépenses ...
 

Final outline plan for webinar evaluation and impact assessment mof 2004 french

  • 1. www.wateraid.org Webinar sur l’évaluation finale et l’étude d’impact du Programme GTF Tuesday 23rd April 2013
  • 3. www.wateraid.org Contexte et Objet des 2 exercises • Si l’évaluation porte essentillement sur la redevabilité l’étude d’impact se penche plus sur l’apprentissage • Mais les 2 exercices se completent • Les PPs et les partenaires constituent les 1ers bénéficiaires des résultats de ces exercices et les utilisent pour les besoins de communication, levée des fonds,etc • Important: la mesure/évaluation doit se faire en comparaison avec les données de base/initiales
  • 4. www.wateraid.org Apercu des processus d’évaluation et d’apprentissage et leur inter relations  Evaluation Intermédiaire/ Revue A Mi Parcours/RAM: qu’est ce qui a été fait/réalisé a date?  Evaluation: QUOI?  Evaluation d’impact: activités certes mais et apres?  Examen des lecons tirées: comment?
  • 6. www.wateraid.org Point sur ce que fera chaque Programme Pays
  • 7. www.wateraid.org Comment prendre en charge les différents niveaux variés? • Evaluation exhaustive/grande échelle:7 pays • Evaluation a petite échelle: 9 pays • Etude d’impact: dans TOUS les pays sauf le Kenya • Evaluation a petite échelle = mise a jour de la RAM • Evaluation exhaustive ou a grande échelle veut dire une évaluation approfondie fondée sur des domaines clefs
  • 8. www.wateraid.org Durée de la consultation & bonne utilisation de votre temps • Nombre total de jours: 25 j a consacrer pour les 2 exercices • Directives globales : Etape 1: Compréhension du contexte: cerner le probleme que veur résoudre le programme GTF dans le pays • Lecture de base: - 1 jour • Collaboration avec le personnel du PP et autres informateurs clefs : renforcer la compréhension du programme, des acteurs et de la structure de l’intervention, fles résultats de la RAM (la ou cela a été fait)) et les conclusions: jusqu’a 3 jours Etape 2: Enquete: faire une auto évaluation, des interviews semi structurée, des discussions en groupes ciblés: 8 jours Etape 3: Analyse: auto évaluation et mise en commun des résultats, codification des données qualitatives: 2,5 pour lanalyser le volet redevabilité et 2,5 jours sur l’apprentissage; Etape 4: rédaction de la version provisoire du rapport: 4 jours Etape 5: Révisions et elaboration d’un rapport amélioré: 4 jours
  • 9. www.wateraid.org Calendrier Dates Actions 4 avril Envoir des TDR d’évaluation et d’étude d’impact a tous les pays 19 Avril Signature des contrats avec les consultants locaux au niveau des pays 23 avril Webinar impliquant tous les consultants 17 mai Soumission par les consultants locaux de la section portant sur l’étude d’impact 31 mai Soumission par les consultants locaux des rapports provisoires d’évaluation 24 juin Soumission par les consultants locaux des rapports finaux d’évaluation, y compris l’étude d’impact 11 juillet Soumission par MoF du rapport consolidé sur l’étude d’impact Semaine du 22 juillet Soumission du rapport provisoire d’évaluation qui est partagé avec KPMG Semaine du 29 juillet Derniere rencontre annuelle d’apprentissage/bilan Mi Sept embre Soumission du rapport global d’évaluation par CM Fin Sept /mi Papa partage le rapport avec KPMG
  • 10. www.wateraid.org Quelle différence faire entre “Evaluation” et “Etude d’Impact”
  • 11. www.wateraid.org La différence en résumé.... Questions Suivi Evaluation Etude d’Impact Pourquoi? A quelle fin? Pour mesurer les activités en cours Mesurer la performance par rapport aux objectifs Mesurer les changements opérés dans les vies des populations Principal centre d’intéret? Le centre d’intéret porte sur les interventions du programme s Le centre d’intéret porte sur les interventions du programme s Intéret porté sur les acteurs Quel niveau? Extrants Résultats /impact Impact et changements Principales questions a se poser? •Que se passe-t- il/que fait -on? •Notre programme progresse-t-il comme prévu? •Que s’est-il passé/qu’a- t-on fait? A t on réalisé ce que nous défini dans les domaines suivants : •Efficacité •Efficience •Pertinence •Durabilité •Alors qu’est ce qui a réellement changé •Au profit de qui? •Combien importants ces changements représentent ils pour exu? •Ces changements/impacts
  • 12. www.wateraid.org Le volet “Evaluation” de l’exercice Catherine Currie
  • 13. www.wateraid.org Evaluation Sommative du GTF • On fait une analyse approfondie du GTF pour apprécier si ce Programme a atteint (ou non) ses objectifs de départ. Il s’agit de déterminer:  Si les activités planifiées ont été exécutées  Si la mise en oeuvre de ces activités a conduit a l’atteinte des objectifs;  Le niveau d’efficacité du projet;  Si le projet a été couteux ou pas; etc. • C’est une évaluation sommative ou évaluation de fin de programme
  • 14. www.wateraid.org But de l’évaluation • Pour des raisons de redevabilité et permettant ainsi aux bénéficiaires, membres du conseil, etc. de savoir l’utilisation faite de leurs fonds; • Les évaluations de nos PP vont porter sur: – L’atteinte des objectifs par rapport aux objectifs; – La performance du programme selon les normes et criteres fixés par l’OCDE en matiere d’efficacité, efficience, pertinence,
  • 15. www.wateraid.org Rapport Global d’ Evaluation digne d’intéret• Quelques grandes astuces : – i) processus de mise en commun, d’analyse et de rédaction – ii) grande rigueur et comparaison des résultats et rapports…………...so • Position de fidélité/honneté • Forum en ligne pour apporter un appui, des conseils • Vérification des évidences/preuves • Plusieurs étapes de validation des résultats de l’évaluation • Assurance de la qualité • Utiliser en priorité les systemes disponibles dans le PP • Se servir d’une série des princiapaux termes définis de commun accord • Utiliser le canevas de rapportage de WaterAid
  • 16. www.wateraid.org Questions d’évaluation Sur la pertinence: • Ce qui est attendu : des détails sur l’importance du programme sur les aspects comme une meilleure représenation de la voiz des sans voix, redevabilité et réactivité au niveau local. Questions: 1. Le Programme a t il un lien étroit avec les priorités de gouvenance au niveau local, national ou interne? (le démontrer avec des exemples portant sur : i) une meilleure voix des personnes démunies; ii) redevabilité; et iii) réactivité au niveau local. 2. Le Programme a t il un lien étroit avec les buts et objectifs consignés dans le document de stratégie du PP?, WaterAid et la ou c’est le cas, le réseau FAN (c’est a dire lDFID et les secretariats régionaux). 3. Quel est le niveau de logique de l’actuelle théorie de changement?
  • 17. www.wateraid.org Efficacité • Il est attendu une évaluation du niveau de réalisation des résultats attendus par rapport aux objectids définis dans le cadre logique de départ. Questions: 1. Les interventions ont elles atteints les objectifs fixés? (au niveau régional et global ). 2. Dans quelle mesure le démarche ou approche du Programme avait elle été efficace/ appropriée? Quel est le niveau d’efficacité du cadre et du systeme de S&E et d’apprentissage? 3. Avec du recul, comment peut-on améliorer?
  • 18. www.wateraid.org Partenariat • Ce qui attendu: le partenariat et la gestion de celui-ci ont-ils été efficaces? Comment ces partenariats se sont ils comporté dans le temps? (domaines a prendre en compte: suivi, évaluation et apprentissage). Si possible, avoir une perspective régionale. programme a t il aidé dans la mise en oeuvre réussie des stratégies de plaidoyer? Existe t il d’autres enseignements a tirer sur la mesure des action programme a t il contribué a la stratégie de plaidoyer du pays?
  • 19. www.wateraid.org Plaidoyer • Il est attendu une évaluation de la contribution du GFT a la réalisation des objectifs d’influence de WaterAid. Questions: 1.Comment le programme a t il aidé dans la mise en œuvre réussie des stratégies de plaidoyer? Existe t il d’autres enseignements a tirer sur la mesure des actions d’influence? 2.Comment le programme a t il contribué a la stratégie de plaidoyer du pays?
  • 20. www.wateraid.org Equité • Ce qui est attendu: échanges et discussions sur la différenciation (ex: selon l’appartenance au genre, l’ethnie, socio économique, handicap, etc.) et le niveau d’impact (positif) du programme sur les groupes les plus marginalisés (sous l’angle de la redevabilité). Questions: 1. Dans quelles mesure le programme a pu promouvoir de facon active l’équité/genre? 2. Quel fut l’mpact du programme sur les enfants, la jeunesse et les personnes agées? 3. Quel a éte l’impact du programme sur les minorités ethniques? 4. Si le programme impliquait la participation des enfants, comment les questions de leur protection a t elle été prise en compte? 5. Comment, dans le cadre de la mise en oeuvre du GTF, les besoins des groupes exclus (dont les PVVIH et handicapées) ont ils été résolus?
  • 21. www.wateraid.org Optimisation des ressources • Ce qui est attendu : Une bonne optimisation des ressources consiste en une utilisation optimale des ressources disponibles pour atteindre les résultats excomptés. Questions: 1. A t on fait des économies dans la mise en oeuvre des activités du programme? 2. Avec moins de ressources financieres, était ce possible de se procurer les memes facteurs de production? 3. Les salaires et autres dépenses cadraient ils avec le contexte? 4. Quels sont les couts et avantages de ce programme? 5. Enregistre –t-on un bon équilibre entre l’économie, l’efficience et l’efficacité? En somme, le programme est il rentable?
  • 22. www.wateraid.org Efficience • Ce qui est attendu : Quel est le niveau de contribution/blocage des ressources (financements, personnel, reglements et administration, temps) et autres ressources et procédures a la réalisation des résultats. Questions: 1. Existe t il des liens clairs entre les principaux résultats et dépenses du programme ? Comment ont fonctionné les partenariats, leur gestion et développement dans le temps? 2. Comment a fonctionné le systeme financier? 3. A t on bien répéré et géré les risques? 4. Si vous souhaiter avoir des conseils sur comment mesurer la rentabilité des programmes de gouvernance, aller au site www.dfid.gov.uk pour disposer de la la note d’information de DFID élaborée en juillet 2011 et intitulée “ Indicators and VFM in Governance Programming”
  • 23. www.wateraid.org Durabilité • Ce qui est attendu : la possibilité de voir se poursuivre les mécanismes de mise en oeuvre et l’impact atteint, une fois que le financement arrivera a terme. Questions: 1. Quels sont les chances que les bénéfices du programme seront durables a la fin du financement? 2. Comment la durabilité est elle soutenue par les aspects tels que la collaboration, le réseautage et les actions d’influence d’opinion?
  • 24. www.wateraid.org Innovation & Replicabilité • Ce qui est attendu comment peut on reproduire le processus ayant engendré les changements /les impact? En particulier, penser aux aspects novateurs qui peuvent etre répliqués/reproduits ailleurs. Questions: 1.Quels sont les aspects du programme qui peuvent etre reproduits ailleurs? 2.Dans quels cas et/ou contextes peut on reproduire le programme?
  • 25. www.wateraid.org Impact et changements attendus • Il est attendu des détails d’ordre général sur les retombées économiques, sociales et politiques du programme et la contribution aux objectifs globaux de GTF (renforcement des capacités , aredevabilité et réactivité) et a la réduction de la pauvreté. Questions: 1. Il faut démontrer les progres en lien avec les indicateurs qui sont dans le cadre logique de GTF . L’accent porte sur la redevabilité en ce qui concerne l’impact. 2. Quel a été l’impact global du programme’ et quelle conclusion peut on tirer en comparaison avec ce qui était attendu? (faire la démonstration du point de vue de la redevabilité si l’impact percu a été atteint; au cas échéant, sire pourquoi. 3. Le programme a t il résolu les problemes des groupes cibles ? Quel a été le niveau réel de couverture? (toujours seloin la redevabilité a ton atteint la couverture? ISi non dire pourquoi et si oui préciser comment? 4. Quels ont éte les bénéficiaires directs et indirect/globaux du programme? (ici l’important c’est de les déterminer pour les besoins de redevabilité). 5. Quelle différence y a t il eu dans les vies de ceux ou celles impliquées dans le programme? Décire l’impact. 6. Comme vous le savez, pour les besoins d’apprentissage, le consultant fait aussi une analyse détaillée et critique des Impacts.
  • 26. www.wateraid.org Vertical Logic of Programme Li’mpact concerne un niveau plus élevé auquel le projet contribue Le résultat identifie ce qui changera et les bénéficiaires au cours de la durée de vie du projet Extrants sont des Livrables spécifiques Apports en ressources humaines et financieres s APPRENTISSAGE: Ici il faut des évidences qui répondent a la question : ‘et apres/la suite? APPRENTISSAGE: Ici il faut des évidences qui répondent a la question : ‘et apres/la suite? REDEVABILITE Pour les consultants du niveau global, ceci demande des évidence en vue de comparer avec les objecfis spécifiques du programme REDEVABILITE Pour les consultants du niveau global, ceci demande des évidence en vue de comparer avec les objecfis spécifiques du programme
  • 28. www.wateraid.org Pourquoi une composante “étude d’Impact?” • Pour des besoins d’apprentissage de d’amélioration: • To enable Country programme staff, stakeholders in country, Wateraid staff and others to really understand what changed as a result of the programme and to apply this to future plans • Pour tester et peaufiner notre compréhension de la facon dont se produit le changement et comment nous avons réussi a accompagner les changements positifs au profit de nos acteurs: • Avons nous collaboré avec les personnes qu’il faut? De la bonne facon? • Dans quelle mesure les changements attendus soutiennent ils les changements de long terme que nous voulions influencer? • Quels enseignements tire t on sur la facon dont il faut influencer le changement? • A l’avenir, que faudra t il faire autrement ou différemment?
  • 29. www.wateraid.org L’étude/évaluaiton d’ Impact – ...Se fonde sur la question “et apres” • Qu’est ce qui a changé? (changements percus) • Changements au profit de qui (quels sont les bénéficiaires? • Quel est le niveau de durabilité de ces changements pour les différents groupes d’acteurs? • Comment le programme a t il contribué a cela? – Prévoir l’imprévu/l’inattendu: ici nous cherchons les preuves de changements positif/négatifs/ attendus et non attendus, – Prioriser l’analyse a la simple collecte
  • 31. www.wateraid.org Historique et contexte – Ce que l’on doit savoir (Théorie du change de Programme Pays): • Le contexte local et national, y compris les principales conditions context sociales, politiques et environnementales et la manière dont elles ont changé au fil de la durée de vie du programme • Principaux problèmes que le programme avait prévu d’aborder • Lmes groupes cibles qui devraient benéficier du programme la mesure dans laquelle chacun en a bénéficié au bout du compte? • Le processus ou la séquence des changements devant conduire au but désiré à long terme • Hypothèse faite par le programme à propos du processus de changement anticipé • Les autres acteurs/facteurs qui ont eu le potentiel d’influencer les changements recherchés, tant positivement que negativement.
  • 32. www.wateraid.org Quatre Domaines de Changement 1. Changement dans les manières dont les OSC fonctionnent et font réseau, et leur capacité à influencer la conception, la mise en oeuvre et l’évaluation de politiques AEPHA efficaces et à tous les niveaux 2. Changement dans les manières dont les OSC, y compris celles représentant les groupes marginalisés, sont capables de s’engager dans les processus de prise de décisions affectant le secteur AEPHA. 3. Changement dans les manières dont les membres des communautés locales exigent redevabilité et rétroactivité de la part des gouvernements et des fournisseurs de services dans le secteur AEPHA 4. Changement dans les manières dont les gouvernements et les founrnisseurs de service sont redevables aux citoyens et aux usagers dans le secteur AEPHA
  • 33. www.wateraid.org Chaque Domaine est reparti en “Domaines de Recherche” Voici les principalesquestions à explorer dans tous les Domaines: 1. Qu’est-ce qui a réellement changé pour chaque groupe d’acteurs, notamment les communautés les plus pauvres et les plus marginalisées en matière d’AEPHA (changements positifs, negatifs, intentionnels et/ou non intentionnels) 2. Quelle est l’ampleur et/ou la durabilité de ces changements pour les différents groupes cibles? 3. Dans quelles mesure ces changement sont-ils comparables avec les données de références et avec les changements prévus et attendus? 4. A quel point sont-ils liés les uns aux autres et /ou s’influencent-ils les uns les autres? 5. Dans quelle mesure le the programme GTF a-t-il contribué à ces changements? Comment? 6. Qui ou quoi d’autre a pu contribué à ces changements? Comment? 7. A quel point êtes-vous sûrs de ces résultats (niveaux de preuves)?
  • 34. www.wateraid.org Domaines de Recherche Domaine 1 Domaine 1 Pricipaux Domaines de Recherche Changement dans les manières dont les OSC fonctionnent et font réseau, et leur capacité à influencer la conception, la mise en oeuvre et l’évaluation de plitiques AEPHA efficaces et à tous les niveaux • Manières dont les réseaux se sont développés et fontionnent au fil des temps • Changement dans les capacités des OSC • Dans quelle mesures ces changement de capacités ont-ils influencer les politiques et les pratiques aux o Niveau local o Niveau National Note: nous fournirons de plus amples orientation sur la manière d’évaluer les domaines de recherche au cours de la semaine prochaine
  • 35. www.wateraid.org Domaines de Recherche Domaine 2 • P Domaine 2 Pricipaux Domaines de Recherche Changement dans les manières dont les OSC, y compris celles représentant les groupes marginalisés, sont capables de s’engager dans les processus de prise de décisions affectant le secteur AEPHA. • Changement dans la conscience, la connaissance et la confiance des groupes marginalisés • Changement dans la manière dont les gens ont été en mesure d’exiger lesurs droits • Dans quelle mesure les voix des personnes maginalisées font-elles une différence dans les politiques et et pratiques • La manière dont les stratégies des différentes OSC ont influencé le changement (ex: suivi budgétaire, participation dans les revues des acteurs, etc…) Note: nous fournirons de plus amples orientation sur la manière d’évaluer les domaines de recherche au cours de la semaine prochaine
  • 36. www.wateraid.org Domaines de Recherche Domaine 3 Domaine 3 Pricipaux Domaines de Recherche Changement dans les manières dont les membres des communautés locales exigent redevabilité et rétroactivité de la part des gouvernements et des fournisseurs de services dans le secteur AEPHA • Niveau de conscience sur les droits aux sein des communautés locales • Manières dont la couverture médiatique soutien la compréhension des droits • Manières dont les citoyens influencent les politiques et les pratique au fil des temps • Changements dans l’accès des communauté à l’AEPHA • Changements dans l’influence des colmmunauté sur les ressources naturelles Note: nous fournirons de plus amples orientation sur la manière d’évaluer les domaines de recherche au cours de la semaine prochaine
  • 37. www.wateraid.org Domaines de Recherche Domaine 4 Domain e4 Pricipaux Domaines de Recherche Changement dans les manières dont les gouvernements et les founrnisseurs de service sont redevables aux citoyens et aux usagers dans le secteur AEPHA • Niveau de changement de la gouvernance, de la transparence et de la conformité • Changements dans les politiques et les règlementations (ex: nouvelles politique, lois, normes, nouveau cadre politique et institutionnel) – et leur conséquences • Changements dans les pratiques en relation avec l’AEPHA (ex: fourniture de nouveau services et systèmes) ainsi que leurs conséquences Note: nous fournirons de plus amples orientation sur la manière d’évaluer les domaines de recherche au cours de la semaine prochaine
  • 38. www.wateraid.org Methodologie pour les deux composantes Veuillez vous en tenir à l’utilisation de quelques outils éprouvés. Nous vous proposons: – Auto-évaluation facilitée: en s'appuyant sur la revue à mis parcours qui soutiendra le volet évaluation • Comment faire cela et qui devrait être impliqué • NOTE: Cette fois-ci nous allons ajouter quelques questions changements supplémentaires – Atelier de suivi pour valider les résultats et se concentrer sur l'élément d'évaluation d'impact • Comment faire cela et qui devrait être impliqué – Autres interviews en profondeurs / FGD avec des informateurs clés tel que requis • Cela pourrait permettre une meilleure compréhension des exemples de comment les changements ont pu affecter des groupes cibles particuliers
  • 39. www.wateraid.org Principes directeurs pour la méthodologie • Créer une atmosphere qui permet aux informateurs de donner des réponses honnetes et importantes. Utiliser une démarche de sondage d’appréciation • Collecter a la fois des données/informations qualitatives et quantitatives • Pour l’étude d’impact: poser des questions ouvertes et d’approfondissement pour mieux comprendre les changements induits • Soutenir les résultats/constats de preuves et comparer avec la situation de référence.
  • 40. www.wateraid.org Prise en compte de la taille de l’échantillon Questions: • Combien de personnes interviwer? • Qu’est-ce qui constitue un “échantillon assez bon?” Réponses: • Soyez pragmatique (vous disposez d’un temps limité mais devez être assez représentatif). • Plannifier avec le point focal national: – Inclure des personnes/groupes/interventions qui répresentent • bien/fort • Moyen • Mauvais/faible • Expliquer votre décision d’échantillonage dans la section du rapport sur la méthodologie ( avec une indication du niveau de rigueur que vous croyer que cela fournit)
  • 41. www.wateraid.org Le Rapport la semaine prochaine, nous donnerons des orientations détaillées. Ceci est donc a titre indicatif: 35 -40 pages avec les éléments suivants: • Synthese x 2 - (4 pages au total) • Sommaires + abréviations (1 page) • Méthodologie + difficultés et limites (2 pages ) • Contexte du pays et présentation du programme (3 pages ) • Rapport de l’évaluation (10 pages): résultats/constats et conclusions selon les titres suivants: – Pertinence, efficacité, partenariats, plaidoyer, équité, optimisation des ressources, efficience, durabilité, innovation et réplicabilité, impacts et changements attendus. • Rapport de l’étude d’Impact A (10 pages) résultats/constats et conclusions selon les titres suivants : – Changement dans chaque domaine – Analyse globale de l’impact sur les différents groupescibles – Quelle différence le programme a t elle apporté dans son ensemble • Conclusions générales et lecons en particulier pour les PPs et le secteur et d’une maniere globale (4 pages) • Annexes
  • 42. www.wateraid.org Autres manières de présenter les résultats • Opportunités de partager les résultats et les leçons avec un grand groupe d’acteurs pour Wateraid - • Groupes cibles: – Personnel des programme pays – Réseaux au sein du pays – Partenaires – Donnateurs de Wateraid – Spécialistes du secteur • Manière additionnelles de présenter les résultats (optionel) – Etudes de cas – Video reportage – Photos
  • 43. www.wateraid.org Prochaines Etapes • Maureen et Catherine: envoyer des orientations plus détaillées le vendredi 26 avril • Equipe d’évaluation au niveau Pays/national: faire le point des résultats du webniar et • Préparer et envoyer au plus tard le 26 avril Catherine & Maureen (avec copie a Marta &Papa) un apercu de votre plan qui doit comprendre les éléments suivants: – Calendrier – Votre approche méthodologique – Les principaux informateurs – Echantillonnage et justification de ce processus
  • 44. www.wateraid.org Appui et assistance • Notes d'orientation à suivre: – Quelques conseils thématiques – Format à utiliser pour l’auto-évaluation – Des questions d'apprentissage – Format du rapport • Forum en ligne: vous pourrez poser des questions, débattre des questions et des résultats avec d'autres consultants impliqués dans l'évaluation finale et l'évaluation d'impact du GTF. – Catherine ou sa collègue Erica Packington Erica ( qui vont gérer l'accès au forum privé) vous transmettront un mot de passe ainsi que des détails d’utilisateur, Bien vouloir vous attendre à recevoir un e-mail dans votre boîte de réception à cet effet. – Veuillez actionner immédiatement l’e-mail pour garantir l'accès. • Contacts Email: – Conseil Technique • Catherine Currie catherine@iodparc.com • Maureen O’Flynn maureen@oflynn.demon.co.uk – Logistique: • Papa Diouf PapaDiouf@wateraid.org • Marta Barcelo MartaBarcelo@wateraid.org Veuillez copier toutes vos corrspondances à Marta

Notas del editor

  1. Papa to do the welcome and introductions Explain also that this webinar will be followed up in the next few days with more detailed guidelines
  2. papa
  3. Papa to lead
  4. Papa
  5. papa
  6. Papa to lead
  7. Maureen to lead on this slide with Catherine adding in. Explain that all processes support each other but that they have different focus and purpose. The questions we ask are different. Go through the set. Use social housing example Will share two brief examples of successful programmes which have had negative impacts ... Tanzania and ??? As illustrations Point out that we evaluate impact ( and they will be doing this) to demonstrate the levels to which we achieved the impact we set out to achieve.. But with assessment we go further – instead of starting with the programme logic and plans, we start with changes in governance and transparency and the people this affects ... We explore what has changed for them ( good and bad) and then we assess what – if anything - our programme was able to contribute. WE ARE NOT TALKING ABOUT ATTRIBUTION
  8. Catherine to lead on all of this component
  9. A consistent stance in the evaluation that does not assume attribution of results to the Governance and Transparency Fund, but rather takes a critical approach and examines alternative explanations; Both the consultant in charge of the Impact Assessments and the consultant in charge of the Global Evaluation Report are available to support and advise individual national evaluation coordinators and consultants. Verification of evidence emerging through ongoing triangulation between the multiple data sources and methods employed; Step-by-step validation of evaluation results by national WaterAid teams (with peer review/ discussions as appropriate); Quality assurance processes that are built in to each national evaluation (as well as the preparation of the final global evaluation report) – should all meet the DAC Evaluation Quality Standards, UNEG Standards, or the comparable national or regional standards where these have been adopted; Prioritising the use of country systems to capitalise on existing data/literature including academia, universities, and civil society; and Using a set of agreed working definitions for key terms [and the WaterAid style Guide] to avoid confusion and inconsistent treatment.
  10. Maureen to lead on this component
  11. Build on what was said earlier.. In doing the evaluation, we have completed the accountability to the donor section and answered many questions around relevance and effectiveness etc. Now we really want to focus on the learning
  12. Build on what we said earlier... This is really much more of an investigation... Really trying to find out what happened. I treat it as a murder mystery story... We know what’s changed but we don’t know how it happened. Your job is to find out.
  13. As impact assessment is so focussed on change and our ability to influence change successfully, we need to be very clear about how we thought change would come about in different countries and contexts Each country programme should have developed its Theory of Change . We need to know about context, issues , key stakeholders. We especially need to understand the sequence of change that we thought would work ( what short term changes might lead to longer term change), what assumptions we made ( e.g. Moe press coverage will serve to influence both the wider public and eventually policy makers) We need to be clear abut other actors and factors who might either support or hinder progress in the areas we are working on
  14. This is based on the specific outcomes that GTF hoped to influence. It is worded in neutral language to allow for you to explore negative and/or unintended changes as well as positive and expected changes Example - successful capacity building programme- staff plan and manage well, programmes are focussed and effective, staff are able to source funding etc... All good and lots of ticks. Bu the impact could be... They are so highly trained that they all leave to get jobs for the UN. We have to ask the so what question in order to understand what we should do differently next time
  15. These are key questions ... You may have covered the positive and expected changes in the evaluation section, but this is an opp to really explore the “so what question” And find out if there have been unexpecxted and/or negative changes too. Baseline question – might be tricky to find the baseline, so you should build in questions that help you understand... E.g. Ask how networks have developed and changed over time the linking question is really important, as we want to know for example if it is worth investing efforts into capacity building – its not for itself... It should lead to changes in policy and practice... There might be bettre ways of making this happen To what extent did GTF contribute- really important question. The change might have happened but GTF might not have had anything to do with it. Example of girls education in Ethiopia - figures doubled in 4 years but it was because the big donors gave the Ethiopian gvt an ultimatum. Smaller orgs also working in advocacy in this area took credit for the change, but it wasn’t really as a result of their work. Remember – success has many parents but failure is an orphan! So try to find out who/what else might have been partly responsible for changes that you see Confidence is an important thing to think about. If you dont have concrete evidence for your claims, then the claims are weak. This is not always bad but you need to be clear about your levels of confidence in reporting change
  16. Explain why we use areas of enquiry rather than indicators – to encourage answers that we don’t expect – remember open and probing questions We use words like shift and trends and levels. Where possible it is good to have checklists/scales to help you make sense of what has changed and for us to compare it across countries and programme. We’ll be sending checklists and ideas to support this. Will provide handout on characteristics of a functioning network Shifts in capacity - will be using the 7 s framework.. aspirations; strategy; organisational skills; human resources; systems and infrastructure; organisational structure; and culture. Each section is broken down into several indicators. Need to be aware that some partners may have stronger capacity that Wateraid, so there may be two way capacity building Wateraid advocacy scrap book make be able to help with trends in the way that organisations have been able to influence policy and practice
  17. Awareness... Note to self – look at CAFOD voice and accountabilty tool – what has Wateraid got? See sustainability framework Need to look at all strategies and explore what differemce they have made –if any
  18. Wiil find notes Need soemthing on media, Must read learning papers: Sustainability in Governancve programmes; Governance and Power analysis tools
  19. Catherine to lead on this slide and following two
  20. Catherine
  21. Catherine
  22. Maureen to lead on this slide and the following
  23. Maureen
  24. Papa to lead Mention reading lists
  25. Papa to lead