A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French version.

1. Evaluation d’impact du FBP dans le
district du Haut-Katanga en RDC
Résultats, leçons et recommandations pour les
futurs programmes

2. Design du projet du PARSS
• Objectif de développement du projet (ODP): sʼassurer que la population
cible dans les zones de santé du projet a accès à un paquet bien défini de
services de santé essentiels de qualité et en fait usage"
• Population cible: 10 millions dʼindividus dans 5 provinces"
• Horizon temporel: 2007-2014"
• Paquet dʼintervention exhaustif:"
– Construction et réhabilitation de formations"
– Fourniture dʼéquipements et de médicaments"
– Formation des agents de santé et du district"
– Supervision renforcée"
– Renforcement du système dʼinformation et de gestion sanitaire (SIGS)"
– Politique de réduction du ticket modérateur"
• Lʼintervention est devenue opérationnelle en avril 2007"
– Bonus liés à la performance introduits en juin 2010"
• BUDGET PARSS TOTAL: $335 millions"
– Pilote de FBP en Haut-Katanga: $1.2 million"

3. District du Haut-Katanga

4. Questions de recherche de l’évaluation
d’impact
• Paiement fixe: "
– Basé sur le personnel (nombre dʼagents de santé
sur les registres du personnel du gouvernement)"
– Pas dʼautonomie dans lʼallocation des paiements"
• Paiement basé sur la performance: "
– Basé sur la quantité de patients pour une liste
donnée de services de santé"
– Autonomie dans lʼallocation du paiement"
– Vérification de la performance"

5. Questions de recherche (2)
Les paiements à la performance:"
• Incitent-ils les agents de santé à accroître leur
efforts plus que ne le fait un paiement fixe? "
– Plus dʼoffre de services de santé?"
– Plus de présence du personnel?"
– Des services de santé plus intéressants (prix, qualité)?"
• Augmentent-ils lʼutilisation des services de
santé? "
• Ecartent-ils les services non ciblés? "

6. Stratégie empirique
• Nous souhaitons comparer les résultats des formations sanitaires qui
sont sous le régime de paiements à la performance à ce quʼils seraient
advenus si les formations étaient sous un régime de paiement fixe. "
• 96 zones de santé dans le Haut-Katanga ont été assignées à deux
groupes: "
– Paiements basés sur la performance (groupe FBP, 48 zones de
santé)"
– Paiements fixes (groupe de comparaison, 48 zones de santé)"
– Assignation aléatoire => deux groupes identiques pour
commencer "
• Le groupe de comparaison fournit un bon contrefactuel: ce quʼil
serait advenu du groupe FBP si les paiements avaient été fixes, plutôt
que basés sur les performances"

7. Diagramme de flux de l’étude
Enquête
de
base
Données
administra3ves
Entre3ens
qualita3fs
Inspec3on
surprise
de
la
présence
Enquête
finale
Paiements
Vérifica3ons
communautaires

8. Design contre
mise en œuvre

9. Design du pilote contre mise en œuvre
Design
prévu
Design
de
fait
Groupe
Incita5ons
financières
Groupe
de
comparaison
Groupe
Incita5ons
financières
Groupe
de
comparaison
Volume
du
Paiement
Pareil
Pas
de
différence
dans
le
volume
des
paiements
au
total
–
bien
que
paiements
plus
élevés
dans
le
groupe
de
comparaison
pendant
les
six
premiers
mois,
neutralité
du
budget
respectée
pour
le
reste
du
pilote
Mécanisme
de
Paiement
Paiement
basé
sur
la
quan3té
de
services
de
santé
fournis
par
la
forma3on
=
Mécanisme
de
Paiement
à
l’acte
Paiement
basé
sur
la
taille
de
la
forma3on
(le
nombre
d’agents
de
santé
sur
le
registre
de
paiements
gouvernemental)
Paiement
basé
sur
la
quan3té
de
services
de
santé
fournis
par
la
forma3on
avec
un
budget
total
fixe
=
Système
de
Points
Comme
prévu
Vérifica5on
technique
Une
visite
chaque
mois
par
les
superviseurs
IRC/PARSS
et
l’administra3on
de
la
zone
de
santé
–
pour
vérifica3on
de
la
concordance
entre
les
registres
de
la
forma3on
et
les
données
déclaréees
Comme
prévu
(pas
de
visite
quand
il
n’y
avait
pas
de
paiement)

10. Design du pilote contre mise en œuvre (2)
Design
prévu
Design
de
fait
Groupe
Incita5ons
financières
Groupe
de
comparaison
Groupe
Incita5ons
financières
Groupe
de
comparaison
Vérifica5on
communau-­‐
taire
Une
vérifica3on
par
mois
de
30
pa3ents
par
zone
de
santé
dans
un
sous-­‐
échan3llon
de
zones
de
santé
–
pour
vérifier
la
véracité
des
registres
et
détecter
les
pa3ents
fantômes.
Sanc3ons
au
cas
par
cas.
Pas
de
vérifica3on
prévue
Bien
que
28
vérifica3ons
étaient
an3cipées,
seules
6
furent
menées.
Pas
de
sanc3on
excepté
l’ajustement
du
paiement
propor3onnel
aux
divergences.
2
vérifica3ons
communautaires
dans
un
objec3f
de
comparaison
(pas
de
conséquence
sur
les
paiements)
Autonomie
Le
manager
de
la
forma3on
pouvait
décider
de
l’alloca3on
du
paiement
dans
la
forma3on
Le
manager
de
la
forma3on
suivait
le
registre
de
paiements
gouvernemental
qui
indique
qui
doit
recevoir
quoi
Comme
prévu

11. Design du pilote contre mise en œuvre (3)
Design
prévu
Design
de
fait
Groupe
Incita5ons
financières
Groupe
de
comparaison
Groupe
Incita5ons
financières
Groupe
de
comparaison
Sou5en
d’inves5ssem
ent
en
équipement
Certains
équipements
fournis
par
le
PARSS
Comme
prévu
Médicaments
Médicaments
pour
le
stock
de
la
pharmacie
fournis
par
le
PARSS
Comme
prévu
Forma5on
Forma3on
clinique
des
agents
de
santé
(par
IRC)
Comme
prévu
Ticket
modérateur
Toutes
les
forma3ons
sanitaires
du
pilote
engagées
à
réduire
la
réduc3on
du
3cket
modérateur
Plus
grande
réduc3on
du
3cket
modérateur
dans
le
groupe
Incita3ons
financières
que
dans
le
groupe
de
comparaison,
malgré
des
varia3ons
substan3elles
dans
le
niveau
de
réduc3on
entre
forma3ons
sanitaires
Enquête
de
base
Oui
Du
fait
de
délais
dans
le
lancement
du
projet
et
de
changements
des
forma3ons
sanitaires
inclues
dans
le
pilote,
l’échan3llon
de
l’enquête
de
base
n’était
pas
exactement
le
même
que
l’échan3llon
du
pilote.
L’enquête
de
base
a
été
u3lisée
pour
contrôler
l’équilibre,
mais
pas
pour
es3mer
l’impact
Enquête
finale
Oui
Comme
prévu

12. Résultats de
l’évaluation
d’impact

13. Résultats: Impact sur l’effort du personnel et
l’offre de services
• Les formations sanitaires dans le groupe FBP ont fourni plus
des services ciblés que les formations dans le groupe payé sur
une base fixe:"
– La présence du personnel sʼest révélée 14% supérieure"
– Le nombre de sessions de prévention pour les services ciblés dans
la formation sʼest révélé 43% supérieur"
– Le nombre dʼactivités de sensibilisation liées aux services ciblés
dans la communauté sʼest révélé de 30% à 50% supérieur"
• Les formations ont aussi essayé de rendre les services ciblés
plus intéressants"
– de 20% à 60% de réduction du ticket modérateur pour les services
ciblés et les médicaments"
• Les services non ciblés nʼont pas été écartés: "
– Pas de réduction dans lʼoffre de services non ciblés"
– Pas de réduction dans la qualité des services (mais pas
dʼaugmentation non plus)"

14. Résultats: Impact sur l’utilisation des services
Lʼutilisation des services sʼest révélée similaire quel que soit le
mécanisme de paiement"
• Même nombre de patients lors du dernier mois (800 par
formation sanitaire) "
• Même utilisation des services lors des 12 derniers mois:"
– Accouchement en institution (82%)"
– Enfants immunisés contre la TB (60%)"
– Visites prénatales par femme enceinte (3,4)"
• Même résultats de santé lors des 12 derniers mois: "
– Nouveau-né toujours vivant = 98% contre 99%"
– Nombre de décès par ménage = 0.14"
– Ratio poids-pour-taille des moins de cinq ans "

15. Résultats: Impact sur les ressources des
formations sanitaires
• Le revenu total sʼest révélé 42% plus faible dans le
groupe de FBP lors du dernier mois"
– Revenus du ticket modérateur plus faibles"
– Revenus de la vente de médicaments plus faibles"
• 28% de salaire en moins pour les agents de santé
du groupe de FBP "
• Indices dʼéquipement plus faibles (à la fois en
matière de quantité et de qualité) (écart type -0.6)"

16. Résultats: Impact sur la motivation du
personnel
• La motivation du personnel a augmenté sous le régime de
FBP"
• Mais quatre mois après la fin du pilote:"
– La présence du personnel sʼest révélée plus faible dans
lʼancien groupe de FBP comparée à celle de lʼancien
groupe de comparaison (-25%)"
– La satisfaction vis-à-vis de lʼemploi était plus faible (-14%)"
– Les directeurs de formation sanitaire étaient plus inquiets
vis-à-vis de la volatilité du financement (+72%)"
– Les agents de santé se sont révélés plus enclins à
attacher de lʼimportance dans la rémunération de leur
emploi (+34%)"

17. Liens potentiels
entre le design
du FBR et les
résultats

18. Effets potentiels des caractéristiques du design
Design et mise en
œuvre conseillée"
Pilote du Haut-Katanga, RDC" Effets potentiels dʼun design et dʼune
mise en œuvre faibles"
Paquet
de
bénéfices
équilibré
à
tous
les
niveaux
Seul
un
niveau
couvert
et
qui
plus
est
couvert
de
manière
incomplète
(seulement
7
services).
Trois
services
addi3onnels
au
centre
de
santé
de
référence.
Poten3el
pour
les
prestataires
de
se
focaliser
sur
certains
services
au
détriment
des
autres;
moins
de
lien
et
de
référence
entre
centre
de
santé
et
le
niveau
hospitalier
Vérifica5on
des
résultats
rigoureuse
Vérifica3on
ex-­‐ante
très
limitée;
au
lieu
de
28*
(une
par
mois);
seulement
6*.
Les
sanc3ons
pour
les
divergences
étaient
légères.
Pas
de
contre-­‐
vérifica3on.
Opportunités
pour
l’accroîssement
des
pa3ents
fantômes;
des
mécanismes
de
vérifica3on
incomplets
ou
faibles
peuvent
entraîner
un
manque
de
confiance
dans
les
résultats
Usage
de
la
vérifica5on
communautaire
et
d’enquêtes
de
sa5sfac5on
clients
Enquêtes
de
sa3sfac3on
auprès
de
la
communauté/des
clients
très
limitées;
résultats
peu
clairs
et
inconnus
Manque
de
confiance
dans
les
résultats;
augmenta3on
des
pa3ents
fantômes;
pas
de
retour
sur
la
percep3on
des
clients
sur
les
services
rendus
Usage
d’une
checklist
de
qualité
quan5fiée
dont
les
résultats
sont
liés
aux
paiements
Pas
d’usage
d’une
checklist
de
qualité
quan3fiée;
pas
de
mesure
de
la
qualité
liée
au
paiement
Pourrait
poten3ellement
entraîner
une
augmenta3on
de
la
quan3té
combinée
à
une
augmenta3on
plus
faible
de
la
qualité,
pas
d’augmenta3on
de
la
qualité,
ou
même
une
réduc3on
de
la
qualité

19. Effets potentiels des caractéristiques du
design (2)
Design et mise en œuvre
conseillée"
Pilote du Haut-Katanga, RDC"
Effets potentiels dʼun design et
dʼune mise en œuvre faibles"
Usage
d’un
mécanisme
de
paiement
à
l’acte
pour
le
paiement
des
prestataires
Pas
un
vrai
paiement
à
l’acte;
plutôt
une
pondéra3on
pour
la
valeur
rela3ve,
et
ensuite
une
répar33on
du
budget
disponible
sur
la
base
de
la
valeur
obtenue.
Récompense
pour
l’effort
pas
clair,
accroître
la
produc3vité
pourrait
conduire
à
une
déprécia3on
de
la
valeur
de
chaque
service
fourni.
Peut
être
interprété
par
les
prestataires
comme
être
pénalisé
pour
une
performance
élevée
Tarifs
individuels
et
gains
totaux
qui
sont
significa5fs
et
payés
régulièrement
Paiements
irréguliers;
les
gains
totaux
sont
restés
les
mêmes
pendant
l’interven3on
à
$550
par
mois
par
forma3on
sanitaire
en
moyenne
De
pe3ts
paiements
de
bonus
peuvent
se
révéler
insuffisants
pour
remédier
aux
mécanismes
d’adapta3on
du
personnel;
pour
acheter
des
médicaments,
de
l’équipement
et
faire
des
répara3ons
mineures.
Des
récompenses
plus
faibles
donnent
moins
d’opportunité
d’inves3r
dans
l’améliora3on
de
la
quan3té
et
la
qualité
des
services

20. Recommandations pour un design du FBP
amélioré
1. Augmenter les budgets pour les résultats pour des
opérations dans des contextes similaires à environ $3
par tête par an;"
2. Utiliser un mécanisme de paiement des
prestataires de paiement à lʼacte; "
3. Introduire la checklist de qualité au niveau de la
formation sanitaire et de lʼhôpital et rendre les
paiements à la performance dépendants de la
qualité;"
4. Introduire des outils de gestion de la formation
sanitaire (plan dʼactivité, outils dʼindice, évaluations
de la performance individuelle);"
5. Renforcer la vérification communautaire et la
contre-vérification;"
6. Renforcer la vérification ex-ante et le coaching;"

21. Merci"