Survol de différentes stratégies d’évaluation des services d’intervention téléphonique/texto/clavardage en prévention du suicide
Les grandes étapes d’une évaluation d’un service d’intervention téléphonique/texto/clavardage
Enjeux et défis propres à l’évaluation des services d’intervention par texto/clavardage
L’importance de la triangulation des méthodes d’observation
Le devis d’évaluation idéal
Autogestion des troubles anxieux et dépressifs en milieu de travail
L’évaluation des meilleures pratiques d'intervention par texto en prévention du suicide
1. Meilleures pratiques d’évaluation des
interventions par texto/clavardage
LOUIS-PHILIPPE CÔTÉ - DOCTORANT EN PSYCHOLOGIE
INSTITUT D’ÉTÉ DU CRISE - UQAM - 30 MAI 2018
2. Plan de la présentation
Survol de différentes stratégies d’évaluation des services d’intervention
téléphonique/texto/clavardage en prévention du suicide
Les grandes étapes d’une évaluation d’un service d’intervention
téléphonique/texto/clavardage
Enjeux et défis propres à l’évaluation des services d’intervention par texto/clavardage
L’importance de la triangulation des méthodes d’observation
Le devis d’évaluation idéal
3. Les évaluations de type écologique
Postulat
Présence d’un services d’intervention
téléphonique/texto/clavardage sur un
territoire
Baisse du taux de suicide sur ce territoire
4. Les évaluations de type écologique
Les évaluations écologiques ne
permettent pas d’isoler les causes
d’une variation dans un taux de
suicide
Exemple: un nouveau Centre de
Prévention du Suicide (CPS) est
implanté dans une région. Une baisse
du taux de suicide est observée dans
les années subséquentes.
La baisse du taux de suicide est-elle
attribuable à :
Les activités du CPS?
Les activités d’un programme de
prévention du suicide dans la région?
Le développement ou l’amélioration
des services en santé mentale de 1ère
ligne dans la région?
Etc., etc., etc…
5. Les évaluations de type écologique
Les évaluations écologiques ne permettent pas de mesurer les impacts
d’un service d’intervention sur le risque suicidaire de ses utilisateurs.
Dans notre exemple:
A-t-on observé une baisse du taux de suicide chez le(s) groupe(s) desservi(s)
par le CPS?
Si oui, les individus décédés par suicide dans la région utilisaient-ils moins le CPS
que ceux qui ne sont pas passé à l’acte?
En bref, pour attribuer une variation d’un taux de suicide dans une région
aux activités d’un service d’intervention, il faut faire « acte de foi ».
6. Données d’opération du service
Souvent utilisées pour rendre compte des impacts de services d’intervention.
Intéressantes certes, mais généralement insuffisantes pour évaluer un service
Nombre d’appels reçu
Les personnes qui contactent le service sont-elles celles qui sont ciblées par
l’organisation?
Nombre de personnes qui contactent le service à plusieurs reprises
Est-ce une bonne chose?
Est-ce que ça dépend des profils d’appelants?
Si oui, pour qui c’est une bonne chose et pour qui ce ne l’est pas?
7. Données d’opération du service
Activités de promotion du service
Les personnes ciblées par l’organisation ont-elles entendu parlé du service?
Les personnes ciblées par l’organisation sont-elles disposées à contacter le
service?
En bref, pour mesurer l’impact d’un service d’intervention, il faut mesurer
ses effets auprès de …
la population ciblée par l’organisation
les utilisateurs du service
9. Étapes d’une « bonne » évaluation
Étape 1. Décrire les appelants
% catégories d’âge
% catégories de genre
Problématiques
Personnes isolées qui ont besoin de
parler VS personnes vulnérables au
suicide?
Appelants occasionnels VS appelants
fréquents?
Étape 2. Mesurer les impacts
Réduction de la détresse?
Réduction du risque suicidaire?
Résolution de problèmes?
Orientation vers des ressources?
10. Étape 3. Analyser les impacts du service sur les différents
profils d’appelants
Description
des
appelants
Profil 1
Profil 2
Profil 3
Impacts du
service sur
…
Profil 1
Profil 2
Profil 3
11. Étapes 1à 3 = évaluation sommaire
À cette étape-ci, vous pourrez répondre aux questions d’évaluation
suivantes
Rejoins-t-on la population cible?
Le service est-il efficace?
Pour qui le service est bénéfique?
Pour qui le service est néfaste?
Cependant, ce type d’évaluation ne permet pas d’identifier les bonnes
pratiques d’intervention et ainsi d’améliorer le service…
Problème de la boite noire
12. Le problème de la boite noire
Appelants
Différents profils
d’appelant
BOITE NOIRE
Qu’est-ce qui
fonctionne?
Pour qui ça fonctionne?
Pourquoi ça fonctionne?
Impacts
Réduction de la détresse
& du risque suicidaire,
résolution de problèmes,
orientation vers des
ressources
13. Le problème de la boite noire
Appelants
Différents profils
d’appelant
BOITE NOIRE
Quelles sont les pratiques
efficaces?
Pour qui c’est efficace?
Pourquoi c’est efficace?
Impacts
Réduction de la détresse
& du risque suicidaire,
résolution de problèmes,
orientation vers des
ressources
14. Le problème de la boite noire
Appelants
Différents profils
d’appelant
BOITE NOIRE
Quelles sont les pratiques
efficaces?
Pour qui c’est efficace?
Pourquoi c’est efficace?
Impacts
Réduction de la détresse
& du risque suicidaire,
résolution de problèmes,
orientation vers des
ressources
15. Le problème de la boite noire
Appelants
Différents profils
d’appelant
BOITE NOIRE
Quelles sont les pratiques
efficaces?
Pour qui c’est efficace?
Pourquoi c’est efficace?
Impacts
Réduction de la détresse
& du risque suicidaire,
résolution de problèmes,
orientation vers des
ressources
17. Étape 4. Décrire les processus cliniques
Degré d’adhésion au
modèle d’intervention
Exploration de la situation
Évaluation du risque suicidaire
Exploration des solutions
Plan d’action
Etc.
Diversité des techniques
d’intervention utilisées
Questions sur le problème
Reformulation
Reflet des émotions
Recadrage
Etc.
Qualités cliniques
Empathie
Respect
Directivité
Etc.
19. Étape 6. Mesurer les impacts des différents styles
d’intervention sur les différents profils d’appelant
Différents styles
d’intervention
Impacts
Style 1
Style 2Style 3
Profil
1
Profil
2
Profil
3
Style 1 X profil 1
Style 2 X profil 2
Style 3 X profil 3
Différents profils
d’appelant
20. Étapes 1 à 6 = évaluation transformative
•Réflexion sur la
mission et les
objectifs du
service
•Formation des
intervenants
•Changement
des pratiques
Amélioration
des impacts
du service
•Comment
intervenir
•De quelle
manière
•Auprès de qui
Identification
des bonnes
pratiques
•Qu’est-ce qui
fonctionne
•Pour qui ça
fonctionne
•Pourquoi ça
fonctionne
Processus
cliniques
•Qui bénéficie
du service
•Qui ne
bénéfice pas
du service
Impacts
actuels du
service
•Qui contacte le
service
•Qui ne
contacte pas le
service
Population
rejointe
22. Utilisateurs des
services d’intervention
via texto/clavardage
Plus de jeunes
souvent 50% des appelants ont moins de
20 ans
Plus de filles
Pour les jeunes = souvent 4/5
Crises suicidaires plus fréquentes
Problématiques plus sévères
Problématiques d’automutilation
fréquentes
23. Défis d’intervention dans les services d’intervention via
texto/clavardage
Défis techniques
La quantité d’informations échangées
La durée et le rythme de l’intervention
Défis cliniques
L’évaluation de la détresse
Évaluation du risque suicidaire
Le contrôle de l’intervention
Complétion du modèle d’intervention -
plan d’action pas toujours abordé
26. Pour évaluer quelque chose, il
faut d’abord être en mesure de
l’observer…
Variation du risque suicidaire
Variation de la détresse
Changements dans les motivations et intentions
Caractéristiques techniques des interventions
Caractéristiques cliniques des interventions
Impacts des interventions
28. Avantages et inconvénients
des fiches d’intervention
Avantages
Peu couteux
Rapide
Facile à implanter
Inconvénients
Auto-évaluation
Ce que l’intervenant a fait VS ce qu’il
voulait faire?
Problèmes de communication = mauvaise
interprétation de l’interaction et des
impacts de l’intervention
29. L’analyse de contenu comme méthode d’observation
L’analyse de contenu (Bardin, 1989)
Analyse d’une communication en vue de
décrire et déchiffrer tout passage de
signification d'un émetteur à un récepteur.
Pertinence pour l’évaluation
Analyser les transcriptions d’intervention pour
caractériser le profil des appelants, les processus
cliniques et les impacts du services
d’intervention
32. L’analyse de contenu - avantages
Risque suicidaire
présence de verbalisations
suicidaires
Processus cliniques
Description des pratiques
d’intervention
Description des pratiques
d’évaluation du risque suicidaire
Impacts (évidents, verbalisés)
Indices d’impacts des différents
types d’interventions
Indices de réduction de la détresse
et du risque suicidaire
Indices de changement dans les
motivations et intentions de
l’appelant (ex.: intention d’utiliser
une référence)
33. L’analyse de contenu - inconvénients
L’appelant était-il suicidaire?
Les idéations suicidaires ne sont pas toujours exprimées
Pratiques d’estimation du risque suicidaire ont un impact sur la divulgation des
idéations (dont ask, dont tell)
Absence d’indices para-verbaux rend difficile la détection des états mentaux
Dépend beaucoup du style d’écriture, de l’expression des émotions
Beaucoup d’inférences de la part de l’observateur
Résolution de problèmes & orientation vers des ressources externes
Ne permet pas d’observer l’utilisation de ressources externes par les appelants
Ne permet pas d’évaluer la pertinence et l’utilisation des références par les
appelants
35. Compenser les faiblesses de l’analyse de
contenu par l’emploi de questionnaires
Permet d’investiguer le risque suicidaire en l’absence d’une évaluation de la part
de l’intervenant
Description plus élaborée des profils d’appelants(ex: historique de tentatives,
facteurs de risque, problématiques)
Permet une meilleure description des variations dans l’état mental des appelants
Suivi post-intervention (mise en œuvre du plan d’action discuté avec l’intervenant,
utilisation d’une référence, pertinence de la référence)
Possibilité de demander à l’appelant ce qui, dans l’intervention, a été le plus utile
36. Limites de la combinaison de l’analyse
de contenu et du questionnaire
Il se peut que certains indicateurs donnent des résultats contradictoires (ex.:
verbalisations de détresse ≠ détresse rapportée dans le questionnaire)
Instruments de mesure inadéquats?
Erreurs de mesure?
Complexité du phénomène que l’on tente de mesurer?
Indication de la présence d’un phénomène que l’on n’avait pas anticipé/théorisé?
Il peut donc être utile de …
Effectuer des entretiens de suivi avec les appelants
Discuter les résultats avec l’organisation et les intervenants
37. À qui sert l’évaluation? - Le choix des instruments de
mesure
Afin d’assurer l’utilité des résultats pour l’organisation, s’assurer que les
outils de mesure employés …
Opérationnalisent adéquatement leur théorie d’intervention
Mesurent bien leurs pratiques
Produisent des données interprétables
38. Le devis d’évaluation idéal
Co-construction &
validation des instruments
de mesure auprès de
l’organisation
Pilote – valider l’utilité et
l’interprétabilité des
données produites par les
instruments de mesure
Questionnaire pré-
intervention
•Profil d’appelant
•État mental
•Risque suicidaire
Analyse de contenu
•Description des processus cliniques
•Impacts manifestes :
•La détresse, le risque suicidaire
•Intentions, motivations – plan
d’action, références
Questionnaire post-intervention
•État mental
•Risque suicidaire
•Satisfaction
Fiches d’appelants
•Perceptions des intervenants
Questionnaire et entretien
de suivi
•État mental
•Risque suicidaire
•Utilisation des ressources
•Mise en œuvre du plan d’action
Discussions des résultats
avec les intervenants
Modification des pratiques
40. Population cible
Promotion du service
La population cible a-t-elle entendu parler du service?
Est-elle disposé à utiliser le service?
Données d’opération du service
La population cible contacte-t-elle le service?
41. La boite noire
Décrire les processus cliniques afin
d’identifier les meilleures pratiques
d’intervention
“Qu’est-ce qui fonctionne?” “
“Pour qui ça fonctionne?”
“Pourquoi ça fonctionne?”
42. L’observation
Trianguler les méthodes
d’observation
Quantitatif, qualitatif
Fiches d’intervention,
questionnaires,
analyses de contenu,
entretiens
43. Fidélité des
instruments de mesure
Ne pas se fier uniquement aux fiches
d’intervention
Utiliser des instruments de mesure ayant
une bonne fidélité
2 observateurs + 1 instrument de mesure =
résultats similaires
44. Pragmatisme
S’assurer que les résultats de l’évaluation seront
interprétables et utiles pour l’organisation
Valider les outils auprès de l’organisation
Outils opérationnalisent adéquatement la
théorie d’intervention de l’organisation
Outils mesurent bien leurs pratiques
Effectuer un pilote
Discuter les résultats avec les intervenants
45. Adopter une posture “critique”
Apprécier la complexité
Accueillir la découverte
Mettre à l’épreuve nos
croyances
Questionner nos dogmes