Présentation de Thomas Saïas, Ph. D., Chercheur, CRISE, Professeur, UQAM réalisée le 28 mai 2018 dans le cadre de l'institut d'été du CRISE. Cette présentation discute des enjeux reliés à la modélisation d'un programme à évaluer ainsi que ceux qui émanent de l'évaluation de type "implantation" et des "des effets".

1. Évaluer nos dispositifs et nos
interventions : par où commencer ?
Thomas Saïas
Professeur, UQAM
Membre du CRISE

2. Évaluer oui, mais bien, svp
• Nurse-Family Partnership
• Effets
• Implantation
• Réplication
 Mise en évidence de « l’effet Thomas »

3. L’évaluation d’interventions
• Tout un programme
• « Est-ce que ça marche ? »
• « Que faudrait-il faire pour que ça fonctionne ? »
• « Comment atteindre nos objectifs ? »
• « Pourquoi ne parvenons-nous pas à avoir des effets alors que
d’autres en ont eu ? »

4. Différentes conception de l’évaluation
Intervention
Effets

5. Différentes conception de l’évaluation
Intervention
Effets
Processus

6. Différentes conception de l’évaluation
Théorie de l’intervention
Effets
Processus
Intervention

7. Différentes conception de l’évaluation
Théorie de l’intervention
Processus
Intervention
Implantation
Effets

8. Différentes conception de l’évaluation
Théorie de l’intervention
Effets positifs
Processus
Intervention
Effets à long terme + ou -
Effets négatifs
Implantation

9. Différentes conception de l’évaluation
Théorie de l’intervention
Effets positifs
(chez qui ?)
Processus
Intervention
Effets à long terme + ou -
Effets négatifs
(chez qui ?)
Implantation

10. Différentes conception de l’évaluation
Théorie de l’intervention
Effets positifs
(chez qui ?)
Processus
Intervention
Effets à long terme + ou -
Effets négatifs
(chez qui ?)
Contextes
Implantation
Contextes
Contextes
Contextes
Contextes
Contextes
Contextes

11. Différentes conception de l’évaluation
Théorie de l’intervention
Effets positifs
Processus
Intervention
Effets à long terme + ou -
Effets négatifs
Contextes
Implantation
Contextes
Contextes
Contextes
Contextes
Contextes
Contextes
Qui pense ?
Qui implante ?
Qui évalue ?
Qui paie ?
Qui promeut ?
Qui utilise ?

12. L’évaluation : multidimensionnelle
• Produire de l’information scientifique (cognitif)
• Porter des jugements (normatif)
• Améliorer une situation (instrumental)
• Provoquer des débats (démocratique)
• «L’utilité sociale d’une évaluation dépend des conditions d’appropriation des
conclusions par les acteurs sociaux auxquels elle est destinée» (Monnier 1992).

13. Ce que l’on vise
1. Savoir pour élaborer une intervention (but stratégique)
2. Savoir pour décider si on continue, si on arrête, si on change (but sommatif)
3. Savoir pour modifier (but formatif)
4. Savoir pour… savoir (but fondamental)
5. Savoir pour avoir de l’influence sur les décisions politiques (but tactique &
politique)

14. Interventions diverses, évaluations diverses
• LA classique :
• Objectif unique
• Indicateurs objectivables (psychométrie)
• Sujets identifiables
• Processus cadrés
= Recherche « expérimentale »

15. • Dans la réalité

16. « L’évaluation »
1. N’existe pas
2. Si on vous dit le contraire (et on vous le dira), on vous ment
3. Une multiplicité de stratégies permettent d’évaluer ce que vous
avez à évaluer
4. Le choix de la stratégie dépend de votre théorie d’intervention
et de vos questions évaluatives
Commençons par là : arrêter de faire, puis réfléchir

17. Révéler la logique des interventions

18. L'intervention et ses composantes
• « Une intervention peut se concevoir comme un système
organisé d'action visant, dans un environnement donné, à
un moment donné, et durant une période donnée à
modifier le cours prévisible d'un phénomène pour
corriger une situation problématique »
(Contandriopoulos, 2007)

19. L'intervention et ses composantes
• Cinq composantes:
1. Une structure
2. Des acteurs et leurs pratiques
3. Des processus d'action
4. Une ou des finalités
5. Un environnement
• Une intervention peut être:
• Une technique
• Un traitement
• Une pratique
• Un programme
• Une politique

20. Vos exemples
1. Structure
2. Acteurs et leurs pratiques
3. Processus d'action
4. Finalités
5. Environnement

21. L’intervention (Brousselle et al.)

22. L’intervention (Brousselle et al.)

23. Modéliser les interventions
• S’éloigner du modèle de la boîte noire
=
• Bien connaître l’intervention
• Essentiel pour identifier les relations de cause à effet
• Permet de s’assurer du lien entre les résultats et le programme
• Étape pour comprendre pourquoi certains programmes fonctionnent ou ne
fonctionnent pas
• Utile pour décider quelle évaluation effectuer

24. Approches et questions d’évaluation

25. Questions et approches pour l’évaluation
d’une intervention

26. Modéliser des interventions : la première de
toutes les tâches

27. L’objectif de la modélisation
• Mieux saisir la logique sous-jacente de l’intervention (Chen, Cato et Rainford,
1998 cité par Renger et Titcomb, 2002)
• Modéliser revient à représenter les composantes de l’intervention et leurs liens
(Frechtling 2007)
• La modélisation présente les quoi, les comment et les pourquoi de
l’intervention (Weiss 2000).
• Trois modèles:
• Le modèle causal
• Le modèle logique théorique (change model: comment nous pensons que le
changement va s’opérer)
• Le modèle logique opérationnel (program model: opérationnalisation du programme)

28. De la logique à la modélisation
On veut régler
un problème
En agissant sur une ou
plusieurs causes et en
en ignorant d’autres
En agissant sur les
déterminants des causes
Et leurs déterminants
En produisant des services
En faisant des activités
En utilisant des ressources
Objectif ultime
Objectif d’intervention
Objectifs de production
(proximaux, intermédiaires)
Processus
Structure

29. On veut régler
un problème
En agissant sur une ou
plusieurs causes et en
en ignorant d’autres
En agissant sur les
déterminants des causes
Et leurs déterminants
En produisant des services
En faisant des activités
En utilisant des ressources
Objectif ultime
Objectif d’intervention
Objectifs de production
(proximaux, intermédiaires)
Processus
Structure
Modèle causal
Modèle logique théorique
Modèle logique opérationnel

30. Exemple d’influence théorique
• Prévention du suicide des aînés
• Version santé publique (Saïas et coll., 2014)
• Quel modèles causal & théorique
• Liens avec dépression
• Isolement
• Facteurs de risque : TS parmi tous
• Quelles conséquences pour le modèle opérationnel
• Version psychologie communautaire critique
• Alternatives aux modèles causal & théorique
• Conséquences pour le modèle opérationnel
• Le théorique n’est pas très loin du politique

31. Évaluer la logique de nos interventions :
trois modèles

32. 
problèmes
Problème
ciblé
Objectifs d’intervention:
FDR et population
Objectif
Ultime
Autres FDR
Structure
(moyens
ressources)
Processus
Objectif de
production
Analyse
stratégique
Analyse
logique

33. 
problèmes
Problème
ciblé
Objectifs d’intervention:
FDR et population
Objectif
Ultime
Autres FDR
Structure
(moyens
ressources)
Processus
Objectif de
production
Modèle CAUSAL

34. 
problèmes
Problème
ciblé
Objectifs d’intervention:
FDR et population
Objectif
Ultime
Autres FDR
Structure
(moyens
ressources)
Processus
Objectif de
production
Modèle LOGIQUE
THEORIQUE

35. 
problèmes
Problème
ciblé
Objectifs d’intervention:
FDR et population
Objectif
Ultime
Autres FDR
Structure
(moyens
ressources)
Processus
Objectif de
production
Modèle LOGIQUE
OPERATIONNEL

36. Ensuite
• On peut maintenant se demander « ce qui fonctionne »
Mais…
• Comment : pour pouvoir le faire, l’adapter et le refaire
• Quoi : les effets, positifs ET négatifs
• Pour qui : pour éviter « l’effet Matthieu »
• Sous quelles conditions : pour éviter « l’effet Thomas »

37. La suite
• Relève davantage du technique
• Sera bonne si la logique est bonne
• Doit être fait éthiquement
• En vous appuyant sur votre expérience
• En réfutant le scientisme et le totalitarisme de l’evidence-based
• En amenant néanmoins des arguments pour les décideurs

38. Bon courage !
On est là pour vous aider !
Equipe de recherche Epione : santé publique, santé communautaire
laboepione.ca
thomas.saias@uqam.ca