Annual Results and Impact Evaluation Workshop for RBF - Day One - Utiliser les données opérationnelles et SIGS pour le suivi de programme et l’évaluation d’impact – Zambie
Similar a Annual Results and Impact Evaluation Workshop for RBF - Day One - Utiliser les données opérationnelles et SIGS pour le suivi de programme et l’évaluation d’impact – Zambie
RBF & DHIS2 : Smart data systems benin - Bluesquare.orgNicolas de Borman
Similar a Annual Results and Impact Evaluation Workshop for RBF - Day One - Utiliser les données opérationnelles et SIGS pour le suivi de programme et l’évaluation d’impact – Zambie (20)
Providing Health in Difficult Contexts: Pre-Pilot Performance-Based Financing...
Annual Results and Impact Evaluation Workshop for RBF - Day One - Utiliser les données opérationnelles et SIGS pour le suivi de programme et l’évaluation d’impact – Zambie
1. Utiliser les données opérationnelles
et SIGS pour le suivi de programme
et l’évaluation d’impact – Zambie
Atelier sur les Résultats et l’Evaluation d’Impact 2014
Délégation zambienne
25 Mars 2014
2. Modèle de FBR en Zambie
L’undes rares exemples de “contrat interne” à travers le secteur
public de la santé
Quasi séparation Acheteur-Prestataire par différents niveauxdu
système de prestation de soins de santé zambien
Vérification des données sur la quantité et la qualité
Comités de pilotage (CPs) en tantque vérificateurs indépendants
Vérification externe périodique
Paiements basés sur la performance
“Paiement à l’acte” sur un ensemble d’indicateurs de santématernelle,
néonatale et infantile (SMNI) dans les centres de santé
Cadre d’Evaluation de la Performance pour les Bureaux Médicaux de District
Autonomie de gestion et financière des formations sanitaires
2
4. Tendances des indicateurs de performance:
T2 2012-T4 2013
4
0
2,000
4,000
6,000
8,000
10,000
12,000
14,000
16,000
T2 2012 T3 2012 T4 2012 T1 2013 T2 2013 T3 2013 T4 2013
Nombre
Accouchements
qualifiés
Visites anténatales
et de suivi pendant
la grossesse
Visite postnatale
Enfant
complétement
immunisé
3ème dose de TPI
Fansidar
Femmes enceintes
ayant reçu
Niverapine et AZT
5. Tendances des indicateurs de performance:
T2 2012-T4 2013…
5
0
100,000
200,000
300,000
400,000
500,000
600,000
700,000
800,000
900,000
T2 2012 T3 2012 T4 2012 T1 2013 T2 2013 T3 2013 T4 2013
Nombre
Consultation
curative
Utilisateurs de
méthodes
modernes de
PF
Femmes
enceintes
conseillées et
testées au VIH
6. Augmentation en pourcentage –
Indicateurs de Quantité
6
14%
-1%
23%
-49%
69%
44%
94%
70%
203%
14% 19% 21% 22% 22% 25%
63% 67%
88%
-100%
-50%
0%
50%
100%
150%
200%
250%
Consultation
curative
Femmes
enceintes HIV+
ayant reçu
Niverapine et
AZT
Femmes
enceintes
conseilléeset
testées au VIH
Visites
anténataleset
de suivi pendant
la grossesse
Accouchements
qualifiés
3ème dose de
TPI Fansidar
Visite postnatale Enfant
complétement
immunisé
Utilisateurs de
méthodes
modernesde PF
Pourcentagedechangement
T2 2012 contre T4 2013 (depuis début projet) T4 2012 contre T4 2013
8. Similarités et différences:
Données opérationnelles (OP) contre données SIGS
• Les données OP et SIGS sont collectées des mêmes formations sanitaires, et
des mêmes entrées de données
• Cependant, les données OP sont compilées bien plus vite que les données
SIGS étant donnés les conditions nécessaires à la vérification, et les liens
avec les paiements
• Les données opérationnelles sont seulement compilées à partir des patients
inscrits, tandis que les données HMIS sont compilées à partir des registres et
des feuilles de comptage
• La consolidation des données OP et SIGS est faite par un personnel distinct
au niveau du district
• 100% des données OP sont vérifiées sur une base mensuelle, tandis que les
données SIGS reposent principalement sur des données auto-rapportées qui
sont vérifiées occasionnellement
• Les données OP et SIGS DOIVENT indiquer les mêmes tendances dans les
indicateurs, malgré des différences de magnitude 8
9. Utiliser les données SIGS pour comparer les 3
bras de l’étude de l’évaluation d’impact
Que peut-on dire avant l’enquête finale?
Analyse en différences-de-différencesdes tendances avant et
après le FBR
Période d’analyse – jan 2011 à déc 2012: FBR introduit en avril
2012
Pas une analyse définitive puisqueles données SIGS sont auto-
rapportées mais:
Vérification importante sur le FBR: Les résultats des
données opérationnelles concordent-ils avec les données
SIGS?
Quel est l’impact du FBR sur les indicateurs non incités?
9
10. Evaluation d’Impact
Explore s’il existe un lien causal entre le projet de FBR et les
résultats
Enquête de base – quantitative et qualitative
Evaluation de processus (entretiens,observations, revue des
donnéesopérationnelles et SIGS)
Enquête finale – quantitative et qualitative
Trois (3) bras d’étude:
10 districts d’intervention FBR (FBR)
10 districts financés sur la base des intrants (C1)
10 districts de pur contrôle (C2) 10
11. Impact sur les indicateurs incités
Toutes les mesures: par service par formation par mois
Gains dans plusieurs services ciblés, pas de changement dans l’utilisation totale, et
déclins dans l’immunisation
Pas de gains du financement additionnel aux districts
11
12. Tendance dans l’accouchementqualifié
(Jan 2011-Déc 2012)
0
200
400
600
800
1000
1200
1400
1600
1800
2000
Basé sur les intrants
Pur contrôle
Sourcedonnées:SIGS, Ministèrede la Santé
FBR implémenté
12
FBR
13. Impact sur indicateurs non incités
Peu de répercussionsurles non incités
Financementadditionnela embauchéplus de personnel(mais pas
de changementsur les mesuresdes services) 13
14. Utilisation des données OP et SIGS a
rendu possible de:
Triangulerles données OP et SIGS càd. vérifierla
concordancedes données OP avec les données SIGS
Vérifier indépendemment les données OP
Suivre les tendances des indicateursincités et non-incités
dans les trois (3) bras de recherche
Suivre l’utilisationdes fonds par indicateur,et le montant
total alloué au projet de FBR
Faire des ajustements au design du FBR, ainsi que fournir
plus de renforcement des capacités et de soutien
technique 14
15. Exemples de comment l’information
émergente a été utilisée
Changementde l’application de l’outil qualité pourrécompenserles
améliorations de qualité plutôt que de pénaliser les déficits de
qualité
Etablissementde la composanteinvestissementà un minimum de
40% et des incitations à la performancepour le personnelà un
maximum de 60%
Augmentation des frais d’évaluation pour leshôpitauxfaisant les
audits de la qualité
Révision du pack assistancetechniquepour s’appuyer sur les
capacitéslocales
Soutien techniqueaccru aux formations sanitairesen sous-
performance
Introduction defrais de supervision pour les comités de pilotage du
FBR de la province
15
16. Défis
• Transmission tardive des données SIGS
• Faible qualité des données SIGS du fait de la migration
à un système en ligne DHIS-2
• Agents de saisie des données inadéquats dans les
formations sanitaires en particulier dans les districts de
contrôle
• Coûteux de faire une évaluation de processus
impliquant des observations en formation sanitaire et
des entretiens avec prestataires de service, patients et
membres de la communauté
16