A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French version.

1. De la note Conceptuelle aux
réalités sur le terrain?
Défis et leçons tirées de la mise
en œuvre des évaluations
d'impact de RBF

2. Étapes de l'évaluation de l'impact
Note
Concept
uelle
Finaliser
conception
du
programme
et EI
Enquête
de base
Mise en
œuvre de RBF
Enquête
final
Analyse et la
diffusion
RCA
Cameroun
Benin
India

3. Impact de la crise sur la Mise en
Œuvre de l’évaluation d’impact
en Centrafrique:
Phase: Enquête de base
Gervais Yama

4. Projet pilote de FBR prévu en
République Centrafricaine
• FBR dans les FOSAs publics, confessionnelles et ONG de 9 préfectures
des régions 2, 3, 4 et 6 de la RCA
• Une population d'environ 2,5 millions d’habitants
4

5. Questions de recherche
de l’EI
• L'évaluation d'impact portera
essentiellement sur les questions de
recherche suivantes:
o Est-ce que la variationdu niveau des paiementspour les
servicesde santé maternelle et infantile PBF livré entraînent
des variationsdans la couverturedes servicesde SMI et de la
qualité des résultats?
o Ou peut-être des résultats similaires obtenusà moindre coût?
o Quel est le barème optimal (niveaudes paiementsPBF) pour
améliorerla santé maternelle et infantile de couverturedu
service et de la qualité?
5

6. Groupes d’intervention de
l’EI
T1: Paquet PBF complet C1: Paquet PBF complet mais
avec des niveaux de paiement
PBF à 50% des niveaux de
paiement Groupe T1
C2: Statut quo
6

7. Mise en œuvre de l’EI
7
• L’enquête de base de l’évaluation d’impact est mise en œuvre
en deux tranches:
(i) L’Enquête auprès de la formation sanitaires a été réalisée en
mars 2012 et celle de ménage en novembre-décembre 2012;
(ii) 351 Formations sanitaires ont été enquêtées et un échantillon
de 5464 ménages a été visité au cours de cette enquête.

8. Impact de crise sur la
mise en œuvre
8
• Trois événements sont à l’origine de modification
des indicateurs de l’enquête de base de l’évaluation
d’impact :
(i) La première est due à l’offensif des groupes armés en
décembre 2012, juste à la fin de la collecte de l’enquête de
base;
(ii) La deuxième est en mars 2013 avec le coup d’Etat qui a
provoqué le départ de président BOZIZE du pouvoir par les
groupes armés,
(iii) La Troisième c’est celle de 5 décembre 2013 par un autre
groupe armé« anti-Balaka ».

9. Les données collectées sont-elles
encore valide pour l’analyse d’impact?
9
Au niveau des FOSA
• la fuite du personnel vers le niveau central principalement à
Bangui ;
• le pillage des médicaments et de matériels dans la plus part
des Fosa;
• Très peu des formations sanitaires qui son fonctionnel, dans
la majorité cas, ce sont celle qui ont bénéficié l’appui des
ONG notamment les Médecin sans frontière.
• Le niveau de la plupart des indicateurs obtenus lors de
l'enquête de 2012 s'est détérioré dans toutes les pyramides
sanitaires, surtout dans la zone du projet qui constitue
principalement les zones des attaques des groupes armés.

10. 10
Au niveau de ménage
• La crise détérioration les conditions de vie des ménages :
problème d’axe aux nourritures, leur grenier pille ou brûler, et
les leur champ sont devenus les lieux des pâturages ;
• Leurs maisons sont saccagées ou brulées, leurs biens sont
emportés par les groupes armés ;
• Inexistence des certains villages à cause déplacement
permanant dans tous les pays dû au attaque des groupes
armés ;
• Vulnérabilité aux maladies à cause de l’inaccessibilité au
centre des soins d’une part et la mauvaise condition de vie
d’autre part.
Les données collectées sont-elles
encore valide pour l’analyse d’impact?

11. Comment le PBF se comportera vis-à-
vis de la Crise?
11
• Avec l’état actuel des choses, comment le PBF vas se
comporter vis-à-vis de la crise? Etant donné que:
(i) Au niveau de FOSA, la majorité ne sont pas opérationnelles,
même quelques peu qui sont appuyées par les MSF ne
dispose pas assez des personnels, des matériels et les
médicaments ?
(i) Au niveau de ménage on note un grand changement de niveau
de vie de la population affectée par la crise ?

12. Thank you for your kind attention
12

13. De la note conceptuelle à la réalité sur
le terrain : difficultés à surmonter et
leçons à tirer de l'exécution des
évaluations d'impact du FBR au
Cameroun
Joseph Shu Atanga
M.D. MPH

14. ZONE
D'INTERVENTI
ON
CAMEROUN CAMEROUN

15. Grandes étapes de l'évaluation d’impact
• Lancement public du projet
• Répartition aléatoirepubliquedes établissements sanitaires dans le groupe
d'intervention et le groupe témoin avec des caractéristiques prédéfinies
• Identification de l'ensemble des communautés et des établissements sanitaires
légalisés dans les circonscriptions hospitalières
• Cartographiedes communautés desservies par chaque établissement sanitaire
• Collecte de données de référence (enquêtes auprès des formations sanitaires et
des ménages)
• Formation des différentes parties prenantes au financement basé sur la
performance (FBP)
• Élaboration de plans d'activité et signature de différents types de contrats
• Production et déclaration des différentes formations sanitaires
• Vérification et validation de l'organisme d'achat
• Paiement aux établissements

16. T1
FBP complet assorti
de primes liées aux
résultats pour le
personnel médical
C1
FBP doté de subventions
sans rapport avec la
performance
C2
Suivi renforcé seulement
comme dans T1 et C1.
C3
Statu quo: aucune
forme d'intervention
Evaluation d’impact et
enquête de suivi
Oui Oui Oui Oui
Contrat Contrat classique pour
le FBP
Contrat stipulant les
conditions du FBP en
termes de contrôle/audit/
surveillance
Contrat fournissant un appui
technique en termes de
surveillance renforcée
Aucun contrat
Plans d’activité Oui, à élaborer Oui, à élaborer Plan d'activité allégé, fondé
sur la surveillance renforcée
Aucun plan d'activité
Évaluation de la
qualité
Évaluation de la
qualité, appréciations
et prise en compte
dans le paiement.
Évaluation de la qualité
avec appréciations comme
dans T1, mais sans effet
sur le paiement.
Évaluation de la qualité
avec appréciations comme
dans T1.
Aucune évaluation de la
qualité
Déclaration/vérificatio
n des quantités de
services
Déclaration et
vérification des
quantités de services
produites
Déclaration et vérification
des quantités de services
produites comme dans T1
Déclaration et vérification
des quantités de services
produites comme dans T1
Aucune enquête, aucun
audit
Paiement Lié à la performance Paiement sans rapport
avec la performance
Aucun paiement Aucun paiement
Autonomie de gestion Autonomie de gestion
avec rétention de tout
le produit réalisé
Autonomie de gestion avec
rétention de tout le produit
réalisé
Aucune autonomie de
gestion, maintien du
système existant de quote-
part (incitations)
Aucune autonomie de
gestion, maintien du
système existant de
quote-part (incitations)
Rapport d'activité
mensuel soumis au
district sanitaire
Oui Oui Oui Oui

17. Principaux enseignements
• Groupe d'interventionet groupe témoin différents
o Paiement de subventions (T1 ou C1)
o Autonomie de gestion T1, C1 ou C2,C3
o Suivi renforcé T1,C1,C2 ou C3
• Caractéristiquesidentiquespour le groupe d'interventionet le
groupe témoindurant la sélection aléatoire
o Urbain ou rural
o Public ou privé
• Paiementsde même montant pour les groupesT1 et C1
o Établissements sanitaires T1 payés en fonction des résultats
o Établissements sanitaires C1 payés en fonction de la contribution en % de la population à la
population totale de tous les établissements C1
• Étroit suivi de l’exactitude des services déclarés et de la façon dont
la communautéperçoit la qualité des soins
• Collecte de données d’enquêtede base et finale et collecte
régulière de donnéesvisant à informer le S&E
• Suivi de l'utilisation des subventionspar les établissements
sanitaires (bénéficiaires finals)

18. Grands défis à relever
• Autonomie de gestion vis-à-vis des groupes T1 et C1
• Détermination du nombre d’habitants desservis par chaque
établissement sanitaire, surtout en milieu urbain
• Collaboration entre PPA et les établissements sanitaires C2
o Collaboration minime voire nulle pour élaborer les plans d'activité et signer les
contrats (faute de motivation financière)
o Pas toujours prêts à déclarer les résultats aux fins de leur validation en raison de
l’absence d’incitations financières
• Achat de services fournis aux clients en dehors de la
circonscription hospitalière. Cas des hôpitaux de référence
desservant d'autres régions et d'autres pays
• Niveau initial de développement des établissements
sanitaires

19. De l’élaboration à la mise en
oeuvre de l’intervention
“autonomie de gestion” au Bénin
Phase: Préparation et mise en oeuvre
Maud Juquois

20. Contexte au Bénin avant
le pilote FBR
• Avant la mise en œuvre du FBR (Mars 2012):
o Autonomie limitée des FS pour dépenser leurs revenus (des recettes
communautaires);
o Le Médecin Coordonateur de Zone doit approuver les dépenses
proposées avec les recettes communautaires (les fonds peuventrester
quelques mois dans le compte en banque s’il n’y a pas de supervision
du Médecin Coordonateur)
• A partir des succès du FBR dans d’autres pays:
o Le FBR peut avoir un plus grand impact si les responsables sont plus
autonome;
o Proposition pour l’EI au Bénin : tester cet aspect spéficique à travers
une évaluation randomisée .

21. Design de l’Evaluation
d’Impact au Benin
• Une combinaison de deux interventionsest testée:
o FBR “financements conditionnels” (crédits liés aux résultats atteints
par les centres de santé) versus “financements inconditionnels”
(crédits non liés aux résultats atteints).
o Autonomie de gestion versus pas d’autonomie de gestion.
• Par conséquent,il y a actuellement 5 groupes dans l’EI:
FBR traitement
(85 FS)
FBR contrôle (financement
additionnel)
(87 FS)
Pas intervention
Autonomiede gestion traitement
(84 FS)
T1
40 FS
T2
44 FS
-
Autonomiede gestion contrôle
(88 FS)
T3
45FS
T4
43FS
-
Pas intervention - - C
46 FS

22. Mise en œuvre de cette
intervention
• Avec le FBR:
o Un groupe de FS a une autonomie de gestion accrue: transmission pour
information des business plans au Médecin Coordonateur de Zone
Sanitaire;
o Un groupe de FS sans autonomie de gestion accrue: le business plan et les
dépenses doivent être approuvés.
• Mais les fonds du FBR ne peuvent être utilisés pour le
recrutement de personnels de santé ou pour réaliser des
travaux;
• Cette intervention était perçue comme une 1ère étape pour
ensuite accroitre davantage l’autonomie des FS.

23. Pas de différence réelle entre les
deux groupes (centres de santé)
0
100
200
300
400
500
600
700
800
Nombre de CPN4
RBF+managerial autonomy
RBF only
0
100
200
300
400
500
600
700
800
900
1000
Suivi de la croissancedes moins de 5 ans
RBF+managerial autonomy
RBF only

24. Explications
• 1. L’autonomie de gestion dans les centres de
santé contrôle et traitement demeure très limitée,
la différence entre les deux bras de l’intervention
est faible;
• 2. Analyse de l’utilisation des financements au
niveau des centres de santé
o Utiliser la partie des fonds FBR pour les dépenses de fonctionnement
apparaît un processus lourd et nécessite davantage de documentation que
pour utiliser les ressources générées par les recettes communautaires;
o Les personnels craignent également les audits sur les fonds du FBR.

25. Conclusion
• Il est difficile de mettre en œuvre une intervention telle que
« l’autonomie de gestion », même à un niveau limité
lorsqu’elle n’est pas pleinement portée par les autorités
aux niveaux de la zone sanitaire et national;
• Comment augmenter l’autonomie de gestion désormais au
Bénin?
o Développer et disséminer les meilleurs exemples des centres de santé les plus
autonomes qui ont de meilleurs résultats FBR;
o Coacher les formations sanitaires;
o Former les coordinateurs de zone sur « la gestion axée sur les résultats » qui pourrait
aider à leur démontrer les avantagesd’une plus grande autonomie de gestion des FS
pour améliorer leur performance.
o Mieux aligner les mécanismes de contrôle des ressources générées à la fois par le
FBR et les recettes communautaires

26. Étude de cas : Karnataka, Inde
Phase: Analyse et dissemination
Neeraj Sood

27. L'intervention :
Programme Vajpayee Aarogyashri (VAS)
• Les ménages pauvres sont automatiquement inscrits au VAS
o Ils bénéficient de soins gratuitsdans les hôpitaux publics et
privés
o L'objectif est de réduire les besoins non satisfaitsde soins
coûteux et d'améliorer les résultats en termes de santé
• Le VAS prend en charge les soins tertiaires pour les conditions
suivantes
o Soins cardiaques
o Cancer
o Maladies neurologiques
o Maladie rénale
o Problèmes néonatals/anomalies congénitales
o Brûlures
o Multiples traumatismes
• Les hôpitaux reçoivent un remboursement fixe pour un ensemble
prédéfini de services
o 402 ensembles de services de soins tertiaires

28. Stratégie empirique applicable aux
données de l’enquête de Base
0 80 16040 Kilometers
VAS
Non-VAS
Bellary
HaveriUttara
Kannada
Shimoga
Davangere
Chitradurga
Discontinuité de la régression
géographique
• En 2010, le régime VAS a été
arbitrairement mis en place dans
seulement la moitié de l'État de
Karnataka (partie nord)
• Enquêtes réalisées auprès des
ménages près de la frontière
d'éligibilité nord-sud
• Stratégie d’appariement utilisée pour
garantir la comparabilité des données
entre zone éligible et non éligible
• Comparer les résultats entre zones
éligible et non éligible
Zone
éligible
Zone non
éligible

29. Le Régime VAS a réduit la mortalité
pour les conditions prises en charge
Pauvres Riches
Tauxdemortalité

30. Débat
• Question liées à l’exécution
o Calendrier
o Rétention
o Suivi
• Innovation
o Énumération de données
o Utilisations potentielles des données de l’enquête de base
o Tests indirects de la stratégie empirique
• Difficultés liées à la diffusion

31. Perspectives des responsables
sur l'évaluation d'impact
• Principales difficultés inhérentes à la réalisation
d‘une évaluation d'impact
• Ambition d’utiliser l'évaluation d'impact pour
améliorer la prise de décision

32. Étapes de l'évaluation de
l'impact
Note
Concep
tuelle
Finaliser
conception
du
programme
et EI
Enquêt
e de
base
Mise en
œuvre de
RBF
Enquête
final
Analyse et
la diffusion
RCA
Cameroun
Benin
India

33. Discussion
• Quels sont les principaux leçons tirés de ces études de
cas?