Méthodes et pratique de l’évaluation communautaire
1. Méthodes et pratique deMéthodes et pratique de
ll’évaluation communautaire’évaluation communautaire
La science programmatique dans la pratiqueLa science programmatique dans la pratique
Événement auxiliaire de lÉvénement auxiliaire de l’’ACRV 2015ACRV 2015
30 avril 201530 avril 2015
Javier MignoneJavier Mignone
Javier.mignone@umanitoba.caJavier.mignone@umanitoba.ca
2. Aperçu de la présentationAperçu de la présentation
- Clarifier la terminologieClarifier la terminologie
- Enjeux à aborderEnjeux à aborder
- Évaluation de programme :Évaluation de programme :
un processus en sept étapesun processus en sept étapes
- Exemples de collaborationExemples de collaboration
J Mignone - Université du Manitoba -
2015 2
3. QuQu’est-ce que l’évaluation de’est-ce que l’évaluation de
programme?programme?
« L’évaluation de programme est la« L’évaluation de programme est la collectecollecte
systématique d’informationsystématique d’information au sujet desau sujet des
activités, des caractéristiques et desactivités, des caractéristiques et des
résultats d’un programme, afin derésultats d’un programme, afin de
formuler des jugements sur celui-ci,formuler des jugements sur celui-ci,
d’améliorer son efficacité et/ou d’éclairerd’améliorer son efficacité et/ou d’éclairer
les décisions concernant des programmesles décisions concernant des programmes
futurs. » (Patton, 1997)futurs. » (Patton, 1997)
J Mignone - Université du Manitoba -
2015
4. Pourquoi?Pourquoi?
« ...« ... à l’usage d’individus spécifiquesà l’usage d’individus spécifiques afin deafin de
réduire l’incertitude, d’améliorerréduire l’incertitude, d’améliorer
l’efficacité et de prendre des décisionsl’efficacité et de prendre des décisions
quant à ce que ces programmes font etquant à ce que ces programmes font et
influencent. » Cela implique de « recueillirinfluencent. » Cela implique de « recueillir
des données qui visent à être utilisées, etdes données qui visent à être utilisées, et
le sont réellement, pour améliorer lesle sont réellement, pour améliorer les
programmes et prendre des décisions àprogrammes et prendre des décisions à
leur sujet. » (Patton, 1997)leur sujet. » (Patton, 1997)
J Mignone - Université du Manitoba -
2015
5. Différence entre évaluation etDifférence entre évaluation et
rechercherecherche
La recherche scientifique fondamentale sert àLa recherche scientifique fondamentale sert à
générer de nouvelles connaissances, à vérifiergénérer de nouvelles connaissances, à vérifier
des théories, à établir des vérités et àdes théories, à établir des vérités et à
généraliser dans le temps et lgénéraliser dans le temps et l’espace.’espace.
LL’évaluation de programme sert à éclairer des’évaluation de programme sert à éclairer des
décisions, à clarifier les options, à atténuer desdécisions, à clarifier les options, à atténuer des
points d’incertitude et à fournir despoints d’incertitude et à fournir des
informations au sujet de programmes et deinformations au sujet de programmes et de
politiques, dans les limites contextuelles dupolitiques, dans les limites contextuelles du
temps, de l’espace, des valeurs et de latemps, de l’espace, des valeurs et de la
politique.politique.
J Mignone - Université du Manitoba -
2015
6. Différence entre évaluation etDifférence entre évaluation et
recherche (suite)recherche (suite)
La différence entre la recherche etLa différence entre la recherche et
ll’évaluation est exprimée comme suit par’évaluation est exprimée comme suit par
Cronbach et Suppes : la rechercheCronbach et Suppes : la recherche
cherche la vérité; l’évaluation est axée surcherche la vérité; l’évaluation est axée sur
l’action.l’action.
J Mignone - Université du Manitoba -
2015
8. Évaluation communautaireÉvaluation communautaire
Quelle communauté?Quelle communauté?
◦ LieuLieu
◦ IdentitéIdentité
◦ IntérêtIntérêt
Que signifie « communautaire »?Que signifie « communautaire »?
◦ Varie selon le but et le processusVarie selon le but et le processus
J Mignone - Université du Manitoba -
2015 8
9. Évaluation communautaire (suite)Évaluation communautaire (suite)
But de lBut de l’évaluation’évaluation
Processus dProcessus d’évaluation’évaluation
J Mignone - Université du Manitoba -
2015 9
10. Éléments spécifiques à aborderÉléments spécifiques à aborder
Attentes relatives à lAttentes relatives à l’évaluation’évaluation
Ordres du jour multiples ou conflictuelsOrdres du jour multiples ou conflictuels
ConfianceConfiance
Exigences et organismes de financementExigences et organismes de financement
Développement d’un plan dDéveloppement d’un plan d’évaluation’évaluation
Interprétations/connaissances culturellesInterprétations/connaissances culturelles
J Mignone - Université du Manitoba -
2015 10
11. Éléments à aborder (suite)Éléments à aborder (suite)
Méthodologie appropriéeMéthodologie appropriée
ÉchéanciersÉchéanciers
Propriété des données (p. ex., PCAP)Propriété des données (p. ex., PCAP)
PolitiquePolitique
ParticipationParticipation
ÉthiqueÉthique
Utilisation/dissémination des conclusionsUtilisation/dissémination des conclusions
J Mignone - Université du Manitoba -
2015 11
12. Évaluation de programme :Évaluation de programme :
un processus en sept étapesun processus en sept étapes
1.1. Identifier les principaux utilisateurs prévus deIdentifier les principaux utilisateurs prévus de
l’évaluationl’évaluation
2.2. Identifier et préciser les questions d’évaluationIdentifier et préciser les questions d’évaluation
pertinentespertinentes
3.3. Prendre des décisions quant aux méthodologiesPrendre des décisions quant aux méthodologies
et aux mesureset aux mesures
4.4. Recueillir des donnéesRecueillir des données
5.5. Organiser les données pour l’analyse desOrganiser les données pour l’analyse des
dépositaires d’enjeuxdépositaires d’enjeux
6.6. Impliquer les utilisateurs dans l’interprétation desImpliquer les utilisateurs dans l’interprétation des
résultatsrésultats
7.7. Faciliter l’utilisation prévue par les utilisateursFaciliter l’utilisation prévue par les utilisateurs
prévusprévus
J Mignone - Université du Manitoba -
2015 12
13. Exemples de collaborationExemples de collaboration
Summer Institute on Program EvaluationSummer Institute on Program Evaluation
[Session d[Session d’été en évaluation de programme]’été en évaluation de programme]
(Université du Manitoba)(Université du Manitoba)
Community Health Information and ResearchCommunity Health Information and Research
Partnerships [Partenariats dPartnerships [Partenariats d’information et de’information et de
recherche en santé communautaire] (CHIRP)recherche en santé communautaire] (CHIRP)
(étudiants de l’Université du Manitoba)(étudiants de l’Université du Manitoba)
J Mignone - Université du Manitoba -
2015 13
15. RéférencesRéférences
Chomsky N (2003)Chomsky N (2003) Necessary illusions: Thought control in democratic societiesNecessary illusions: Thought control in democratic societies. Toronto: House of. Toronto: House of
Anansi Press.Anansi Press.
First Nations Centre at NAHO (2007) OCAP: Ownership, control, access and possession.First Nations Centre at NAHO (2007) OCAP: Ownership, control, access and possession.
NAHO: OttawaNAHO: Ottawa
Horne T (1995)Horne T (1995) Making a difference: Program evaluation for health promotionMaking a difference: Program evaluation for health promotion. WellQuest. WellQuest
Consulting: Edmonton.Consulting: Edmonton.
Kaufman Kantor G & Kendall-Tackett K (2000)Kaufman Kantor G & Kendall-Tackett K (2000) A guide to family intervention and preventionA guide to family intervention and prevention
program evaluationprogram evaluation. University of New Hampshire. Electronic version.. University of New Hampshire. Electronic version.
King JA, Stevahn L, Ghere G & Minnema J (2001) Toward a taxonomiy of essential programKing JA, Stevahn L, Ghere G & Minnema J (2001) Toward a taxonomiy of essential program
evaluator competencies.evaluator competencies. American Journal of Evaluation, 22American Journal of Evaluation, 22(2), 229-247.(2), 229-247.
Morra Imas LC & Rist RC (2009) The road to results: Designing and conducting effectiveMorra Imas LC & Rist RC (2009) The road to results: Designing and conducting effective
development evaluations. The World Bank: Washington DC.development evaluations. The World Bank: Washington DC.
Patton MQ (1997)Patton MQ (1997) Utilization-focused evaluation: The new century text.Utilization-focused evaluation: The new century text. 33rdrd
edition, Thousand Oaks:edition, Thousand Oaks:
Sage.Sage.
Patton MQ (2008)Patton MQ (2008) Utilization-focused evaluationUtilization-focused evaluation, 4th Edition, Thousand Oaks: Sage., 4th Edition, Thousand Oaks: Sage.
Patton MQ (2012) Essentials of utilization-focused evaluation. Thousand Oaks: Sage.Patton MQ (2012) Essentials of utilization-focused evaluation. Thousand Oaks: Sage.
The Provincial Centre for Excellence for Child and Youth Mental Health at CHEO (2007)The Provincial Centre for Excellence for Child and Youth Mental Health at CHEO (2007) DoingDoing
more with program evaluation: A toolkit for conducting program evaluationmore with program evaluation: A toolkit for conducting program evaluation. Ottawa, Ontario. Ottawa, Ontario
www.onthepoint.cawww.onthepoint.ca
Shadish WR, Cook TD, Campbell DT (2002)Shadish WR, Cook TD, Campbell DT (2002) Experimental and quasi-experimental designs forExperimental and quasi-experimental designs for
generalized causal inferencegeneralized causal inference. Boston: Houghton Mifflin.. Boston: Houghton Mifflin.
Suchman EA (1967) Evaluative research: Principles and practice in public service and social actionSuchman EA (1967) Evaluative research: Principles and practice in public service and social action
programs. New York: Russell Sage.programs. New York: Russell Sage.
J Mignone - Université du Manitoba -
2015 15
Notas del editor
Who is the community? Who determines who is the community? It can’t be the university-based researcher that determines who the community is.
Community of place
Community of identity
Community of interest
Just because we say it is community-based it doesn’t mean it is. As in participatory research, “You participate, I decide”
Doing research in a community does not mean community-based (should be called community-placed)
Doing research about a community does not guarantee that it is community-based
Doing research for a community is not necessarily community-based
The difference is in the purpose and the process
Insomuch that it is anchored in community the program evaluation decisions will be made with the community and uses of the information/findings will serve the purposes of the community.
Purpose and process are intimately related.
Too high expectations – e.g., findings will lead to funding
Too low (sceptical) expectations – What’s the point? Nothing will change. “Researched to death”
Burned by previous evaluation experiences.
Plural or conflicting agendas
Mistrust of researchers. Mistrust among community members.
University-based researchers as PI’s
Trampling others’ knowledge.
Appropriate methodology: Not only from a technical perspective but from a community perspective
Not culturally appropriate
Not feasible
Not ethical
Community-based research methods are to be judged on the basis of appropriateness, utility, practicality, credibility, and relevance. These criteria are necessarily situational and context-bound.
OCAP principles: Ownership, Control, Access, Possession
Ethics: Not simply signing a consent form
Community consent (eg, Chief and Council)
Individual consent
These issues should be dealt with upfront from the beginning.