a training program on participative evaluation in French

1. Formation-action nationale à
destination des cadres des services
sociaux des CARSAT/CRAM
L'évaluation au service du management
Évaluer évite d’être dans la nuit où les vaches sont
noires, Hegel
catherine.snyers@picarre.com
06 80 45 01 02
© Picarré Associés 1

2. Objectifs
•Permettre aux cadres de proximité de trouver leur place,
au cœur des démarches d’évaluation, en qualité de
partenaires stratégiques, à l’interface des donneurs d’ordre,
des professionnels de leur équipe et des usagers ;
•Développer la connaissance et la compréhension des
processus d’évaluation (vision macro, interne et externe à
l’institution) dans une logique d’intervention et d’aide à la
décision ;
•Concevoir, piloter, mettre en œuvre un dispositif
d’évaluation interne ;
•Mieux intégrer les évaluations, dans un contexte
institutionnel, en évolution permanente.
© Picarré Associés 2

3. Roue de Deming
© Picarré Associés 3

4. Programme
•Jour 1 : Planifier : L’évaluation en appui de la
stratégie de projet et de ses acteurs
•Jour 2 : Développer : la mise en œuvre de la
démarche évaluative
•Jour 3 : Contrôler : L’évaluation au service du
management
•Jour 4 : Ajuster : L’évaluation au service de
l’action
© Picarré Associés 4

5. Les étapes de la formation
Jour 1 et 2 Jour 3 et 4
1. Le contexte de 1. Le référentiel et les
l’évaluation indicateurs
2. Evaluation et projet 2. L’évaluation d’impact
3. La planification de 3. Analyser
l’évaluation 4. Les actions correctives
4. La participation des et le changement
parties prenantes 5. Communiquer pour
5. Les perspectives d’actions impliquer
6. La collecte et l’analyse des 6. Plan d’actions
données
5

6. L’évaluation?
Pour situer l’évaluation dans notre
contexte
6

7. La loi 2-2002
•Loi du 2 janvier 2002 rénovant l’action sociale et médico sociale
–L’évaluation au-delà du contrôle: son objet est d’évaluer les « bonnes pratiques
professionnelles »
–Usagers au centre des actions:
•Droit des usagers
•Association de tous les acteurs
–Obligation d’évaluation
•Interne tous les 5 ans
•Externe tous les 7 ans
–Impact: renouvellement d’autorisation des établissements et services mentionnés dans L
312-1 du CASF
–Création de l’ANESM
•Guide méthodologique et site informatif
•De l’évaluation des projets à l’évaluation des pratiques, la globalisation d’une
démarche qualité, et le lien avec les politiques publiques
7

8. Démarche qualité ou évaluation
?
 La démarche qualité décline des processus
opérationnels qui visent à obtenir et mesurer la
satisfaction des clients en contrôlant la performance
de la démarche (efficacité et efficience)
 La démarche évaluative vise le plus souvent à
répondre à des questions stratégiques. L’évaluation
est un examen systématique (et aussi objectif que
possible) d’un projet prévu, en cours ou achevé.
L’évaluation a pour objet
 d’apporter une réponse à des questions spécifiques
 de porter un jugement d’ensemble sur une opération
 d’en tirer des enseignements destinés à améliorer les
actions, la planification et les décisions futures.
8

9. Pourquoi et Pour qui Evaluer?
 trois buts classiques d’une évaluation,
 Renforcer ses savoir-faire en terme d’impact, d’efficacité et d’efficience (comment faire mieux avec les ressources
existantes?) ;
 Anticiper, prendre du recul
 Mesurer les résultats, l’utilité
 Négocier
 Donner de la valeur/plus-value au service rendu
 Partager collectivement ses objectifs et ses connaissances (dans le cadre d'un partenariat par exemple) ;
 Donner à voir, donner du sens
 Partager ses valeurs,
 Mobiliser les équipes dans une démarche participative
 Valoriser les pratiques
 Développer l’apprentissage des parties prenantes
 Gérer le développement du projet (dans le cadre d'un contrat programme pluriannuel par exemple)
 Décider
 Mesurer les écarts
 Accompagner la stratégie
 Pour qui:
 L’usager
 Le donneur d’ordres
 Les partenaires
 Les équipes
 Soi même
Parce que on se ou on nous pose des questions auxquelles il
faut répondre
9

10. Une évaluation au service du
projet
• Un projet a une finalité, de l'identification d'un besoin a
la définition d'impact, que l'on qualifie souvent
d'objectifs
• Une évaluation est un chemin
–Ex ante, on évalue le chemin à parcourir: l’étude de faisabilité
–In itinere: on s'assure que le chemin est toujours adapté
–Ex post, on évalue le chemin parcouru: expliquer les écarts
• Une évaluation n’est pas que le mesure du
changement
• Elle nécessite une analyse des éléments évalués
«La finalité réelle de l’évaluation est le pouvoir qu’elle permet
d’exprimer », Pierre Bourdieu (sociologue)
© Picarré Associés 10

11. Les étapes de la formation
Jour 1 et 2 Jour 3 et 4
1. Le contexte de l’évaluation 1. Le référentiel et les
2. Evaluation et projet indicateurs
3. La planification de 2. L’évaluation d’impact
l’évaluation 3. Analyser
4. La participation des 4. Les actions correctives
parties prenantes et le changement
5. Les perspectives d’actions 5. Communiquer pour
6. La collecte et l’analyse des impliquer
données
6. Plan d’actions
11

12. L’évaluation
Pour valoriser un projet?
12

13. Quoi évaluer?, un projet ou un
service
 Un projet n’est que la suite d’un autre…
• Evaluer c’est anticiper!
• C’est accompagner une démarche stratégique
• C’est se poser des questions et les poser,
• comment pourrais je démontrer et mesurer que j’ai atteint mes
objectifs?
• Et construire les outils évaluatifs qui nous permettront d’y
répondre
 Si le but ultime d’une évaluation est la gestion de
l’impact – et cela devrait être ainsi –, celle-ci doit
promouvoir la participation des parties prenantes et
être orientée vers l’apprentissage.
13

14. Urgent et Important
 Est important:
 Ce qui fait partie de ma mission
 Ce qui contribue à l’atteinte de mes objectifs
 Le pilotage
 L’accompagnement et le développement des équipes
 Ce qu’il vaut mieux faire sans urgence, car cela requiert de la concentration
et de l’attention!!!
 Est urgent:
 Les imprévus, les urgences
 Toutes actions dont la date limite est proche, si ce n’est pas fait avant la date
limite, cela ne sert plus à rien
 Les urgences des autres (attention au singe!)
 Demande d’un collaborateur, de la direction
 Ce qui fait partie de ses objectifs…
 Et aussi peut être ce qu’on aurait pu faire avant
© Picarré Associés
14

15. « La Matrice d’Eisenhower »
+ 2 1
Stratégique: Les problèmes,
I Organisationnel l’urgence critique
M Existentiel
P
O
4 3
R
Les distractions: Les déviations
T poubelle ou plaisir du chronophages, à
A lien social déléguer
N
T
© Picarré Associés
- URGENT +15

16. La Matrice
 Priorité 1 : Les problèmes (Urgent et Important)
 Cela ne peut attendre, il faut agir immédiatement. On trouve dans cette case les activités
destinées à résoudre les problèmes (disfonctionnements ou crises accidentelles).
 Priorité 2 : La Stratégie (Important et Non urgent)
 Il s'agit de préparer l'avenir : réflexion stratégique, organisation, prévention, formation, etc.
 Priorité 3 : Les déviations chronophages (Urgent mais non important)
 On trouve ici toutes les perturbations bien connues : visiteurs imprévus, appels
téléphoniques, réponses à des courriers, etc…
 A déléguer en priorité
 Priorité 4 : les distractions (Non Urgent et Non important)
 Cette case n'est jamais vide : courrier, quelques communications téléphoniques,
rangement, lectures non professionnelles...
 Ce ne sont pas obligatoirement des activités à proscrire mais elles consomment beaucoup
de temps.
 Elles créent du lien social
© Picarré Associés
16

17. Choix du projet
• Choisissez un projet qui rentre dans la case 2
• Et essayez de répondre aux questions suivantes:
• Qu’est-ce qui nous a mené à cette situation?
• A ce jour, quels ont été les objectifs du projet?
• Quelles ont été les actions significatives? Qu’est ce
qui a été réalisé?
• Quels sont les acteurs?
©© Picarré Associés 17

18. L’évaluation des politiques
ou programmes publics
© Picarré Associés 18

19. Quelle évaluation pour quel projet?
Finalité: Quel Impact?
Contexte
Projet
© Picarré Associés 19

20. Les étapes de la formation
Jour 1 et 2 Jour 3 et 4
1. Le contexte de l’évaluation 1. Le référentiel et les
2. Evaluation et projet indicateurs
3. La planification de 2. L’évaluation d’impact
l’évaluation 3. Analyser
4. La participation des 4. Les actions correctives
parties prenantes et le changement
5. Les perspectives d’actions 5. Communiquer pour
6. La collecte et l’analyse des impliquer
données 6. Plan d’actions
20

21. La planification de l’évaluation
21

22. La planification de
l'évaluation: trois axes
• Contexte: établir un Diagnostic et définir les acteurs « importants »
• Parce qu’il faut comprendre l’environnement du départ pour analyser l'impact
• Et être en mesure d'intégrer dans l'analyse les changements contextuels sur lesquels l'équipe projet
n'a pas de pouvoir:
Sociétal: législatifs, sociologique
Entreprise: moyens,..
Environnement: partenaires,...
• Celle qui permettra d'intégrer des indicateurs que nous qualifierons de points de vigilance
• Impact: donner à voir les effets obtenus
• L’impact est défini comme l’ensemble des changements dans les conditions de vie des gens, tels
qu’eux-mêmes et les acteurs les perçoivent au moment de l’évaluation, ainsi que tout changement
durable dans leur environnement, auxquels le projet a contribué
• Celle qui donnera les indicateurs les plus qualitatifs, donc les plus subjectifs
• Réalisation du projet: efficacité et efficience de notre projet
• Parce qu’il faut anticiper le chemin pour réagir aux imprévus et à la complexité
• Celle qui se fera in itinere, avec des indicateurs majoritairement quantitatifs
© Picarré Associés 22

23. Le chemin de l’évaluation: pour s’assurer
qu’on se dirige vers où on veut arriver
1.Le périmètre: ce que je veux évaluer
1.Contexte
2.Acteurs
2.Finalité: qualitatif, but de mission, mon étoile polaire…, pour s’assurer d’un voyage efficace
1.La Mienne: quel besoin de l’usager, quel effet attendu?
2.Est-elle partagée par les acteurs?
3.Objectifs: mesurables, mes premiers jalons
1.Effets temps: mes étapes pour tendre vers ma finalité
2.Effet but de système
4.La base de départ ou la collecte des données : qu’il faut mesurer au départ pour pouvoir comparer
1.Données d’activités pertinentes
2.Processus et Procédures existants
3.Textes législatifs
5.Identification des actions existantes et/ou construire pour atteindre les objectifs
1.Effets attendus
2.Eléments de preuve ou de mesure
6.Techniques d’évaluation: s’appliquant des étapes 2 à 5
1.Qualitatives: questionnaires, entretiens, observations, permutation de rôles, Groupes focus..
2.Quantitatives: Données d’activités, Chiffres Insee, diagnostic territorial, Requêtes Anaiss,…
© Picarré Associés 23

24. Les étapes de la formation
Jour 1 et 2 Jour 3 et 4
1. Le contexte de l’évaluation 1. Le référentiel et les
2. Evaluation et projet indicateurs
3. La planification de 2. L’évaluation d’impact
l’évaluation 3. Analyser
4. La participation des 4. Les actions correctives
parties prenantes et le changement
5. Les perspectives d’actions 5. Communiquer pour
6. La collecte et l’analyse des impliquer
données 6. Plan d’actions
24

25. La prise en compte des
acteurs
Pour une démarche participative et la
définition des questions clés
© Picarré Associés
25

26. Les acteurs de l’évaluation
engendrent la complexité
•Les promoteurs: ceux, qui en raison de leur responsabilité institutionnelle,
ont le devoir de promouvoir et soutenir les stratégies de développement et
de transformation de l’offre de services;
•Les gestionnaires: ceux qui ont la tâche de construire les conditions
nécessaires à la réalisation des orientations stratégiques établies dans un
cadre d’obligations réglementaires, économiques, techniques et
organisationnelles;
•Les réalisateurs: ceux qui ont le devoir technique de réaliser l’offre de
service selon des orientations et des critères préétablis ou fruits d’un
accord;
•Les destinataires: ceux à qui est destinée prioritairement une offre
spécifique de service.
© Picarré Associés 26

27. Créer une vision commune
•Identifier notre vision du projet futur
–Que souhaitons nous faire, quelle est la finalité?
–Pourquoi souhaitons nous le faire?
–Quel en sera le bénéfice à long terme?
•Partager notre vision avec les acteurs, et créer une vision
commune
–Que souhaitez vous faire, quelle est la finalité?
–Pourquoi souhaitez vous le faire?
–Quel en sera le bénéfice à long terme?
–Pour dégager des options stratégiques
© Picarré Associés 27

28. La vision de chacun:
Promoteur Gestionnaire Réalisateur Destinataire
Quel intérêt ?
Quelle
contribution/sacrifice?
Quelle influence sur
le projet?
Quelle implication
dans l'évaluation?
© Picarré Associés 28

29. Une vision partagée et des options
stratégiques
Promoteurs
Destinataires Gestionnaires
Réalisateurs
Les questions clés qui suscitent l’intérêt de
© Picarré Associés chacun des acteurs 29

30. Des options stratégiques
à la définition d’objectifs
• Les options stratégiques sont difficilement
évaluables, elles expriment des questions
clés
• Mais peuvent se traduire en perspectives
d’actions,
• Qui ayant un effet attendu, peuvent se définir
en objectifs mesurables
• Ainsi se construit le processus d’évaluation et
son référentiel
© Picarré Associés 30

31. Diagramme des objectifs et des
effets attendus
Objectif
général:
Vision
•Impact
Objectif
intermédiaire:
Options Objectifs
stratégiques opérationnels:
•Résultat Actions/activités à
mettre en œuvre
•Réalisation
© Picarré Associés 31

32. Les étapes de la formation
Jour 1 et 2 Jour 3 et 4
1. Le contexte de l’évaluation 1. Le référentiel et les
2. Evaluation et projet indicateurs
3. La planification de 2. L’évaluation d’impact
l’évaluation
4. La participation des 3. Analyser
parties prenantes 4. Les actions correctives
5. Les perspectives et le changement
d’actions 5. Communiquer pour
6. La collecte et l’analyse des impliquer
données 6. Plan d’actions
32

33. Les perspectives d’actions
Pour s’assurer de l’atteinte des
objectifs général et intermédiaires
33

34. L’analyse des forces, faiblesses, opportunités,
menaces
• Quelles sont mes forces dans ce projet?
• Quelles sont mes faiblesses?
• Quelles opportunités à travers le projet?
• Quelles menaces au projet?
–Pour dégager des perspectives d’actions
© Picarré Associés 34

35. Description méthode FFOM
•Une vision est évidemment nécessaire avant tout travail de planification Si c’est une
vision idéaliste qui manque de sens pratique, elle n’aboutira pas... : Pourquoi ce
programme
•L’analyse externe consiste en l’analyse des opportunités et des menaces. L’externe
peut être analysé en terme de système (à l’extérieur de notre système), ou en terme
de temps (un autre espace temps, l’avenir)
–Les organisations et les projets ne sont pas isolés dans la société. Les organisations et les
projets sont en permanence influencés par différents facteurs extérieurs, qui à leur tour influent sur
ceux-ci. Il s’agit de facteurs qui contribuent ou qui empêchent que la mission ou les objectifs de
l’organisation ou du projet soient atteints.
–Les opportunités sont les éléments du contexte qui contribuent, facilitent, aident, à la réalisation
de la mission/ vision institutionnelle ou du projet.
–Les menaces sont les éléments du contexte qui empêchent, qui font obstacle à la réalisation de
la mission/ vision institutionnelle ou du projet.
•L’analyse interne consiste en l’analyse des forces et des faiblesses.
–Les organisations et les projets sont aussi en permanence influencés par différents facteurs
internes. Il s’agit de facteurs qui contribuent ou qui empêchent que la mission ou les objectifs de
l’organisation ou du projet soient atteints.
–Les forces sont les éléments internes qui contribuent, facilitent, aident, à la réalisation de la
mission/ vision institutionnelle ou du projet.
–Les faiblesses sont les éléments internes qui empêchent, qui font obstacle à la réalisation de la
mission/ vision institutionnelle ou du projet.
© Picarré Associés 35

36. Logique d'utilisation de l'analyse SWOT dans le domaine
stratégique (Selon "Stratégique" - édition Pearson France)
© Picarré Associés 36

37. Analyse stratégique : Analyse
FFOM
FORCES FAIBLESSES
INTERNES
OPPORTUNITES MENACES
EXTERNES
© Picarré Associés 37

38. Les étapes de la formation
Jour 1 et 2 Jour 3 et 4
1. Le contexte de l’évaluation 1. Le référentiel et les
2. Evaluation et projet indicateurs
3. La planification de 2. L’évaluation d’impact
l’évaluation
4. La participation des 3. Analyser
parties prenantes 4. Les actions correctives
5. Les perspectives d’actions et le changement
6. La collecte et 5. Communiquer pour
l’analyse des impliquer
données 6. Plan d’actions
38

39. La collecte et l’analyse
des données
Pour définir la base de départ et
se donner les moyens d’évaluer
39

40. Quelles données à prendre en
compte?
 Ces données doivent nous permettre de
 Répondre aux questions clés
 Mesurer ou démontrer l’atteinte des effets attendus
 Elles doivent être facilement disponibles et consultables
 Elles doivent être quantifiées ou qualifiées dans la phase de
planification pour donner lieu à mesure d’écarts
 Elles se déclinent en:
 Bases documentaires
 Législatives
 Procédures internes
 Données locales
 Diagnostic territorial
 Résultats de l’activité
 Questionnaires, enquêtes
40

41. Les collectes de données
 Les méthodes quantitatives produisent des données (numériques)
quantitatives relativement faciles à résumer et à comparer. L’analyse est
indispensable pour comprendre le pourquoi.
 Les méthodes qualitatives sont utilisées pour connaître la « raison d’être
» de votre projet. Elles privilégient le traitement de données non
numériques (mots, images, jeux) et peuvent être utilisées pour expliciter les
faits émanant des données quantitatives
 Les méthodes individuelles impliquent que les données soient recueillies
auprès de personnes individuelles n’ayant aucune relation avec les autres
personnes interrogées (par exemple, les questionnaires et les interviews).
 Les méthodes de groupe prônent l’interaction entre personnes
interrogées, ce qui leur permet d’échanger leurs connaissances, reflétant
une image plus fidèle de la situation (focus groupe).
 Les méthodes participatives reposent sur le principe d’une participation
des parties prenantes à l’équipe d’évaluation et au processus de collecte
des données. Elles peuvent coordonner leurs activités en contact direct
avec les autres parties prenantes, ce qui leur permet de mieux comprendre
le projet, ses objectifs et son impact.
41

42. Les outils d’évaluation
 Entretien individuel
L'entretien individuel permet de collecter auprès d'acteurs et de bénéficiaires des informations à toutes les étapes de
l'évaluation : faits et vérifications de faits, opinions et points de vue, analyses des acteurs et propositions.
 Focus group
Le focus group vise à débattre des informations, des opinions et des jugements déjà collectés. Il permet d'éclairer les
raisons qui motivent les opinions exprimées, notamment les analyses sur lesquelles elles se fondent, et de s'assurer de
leur consistance. On utilise fréquemment le focus group pour recueillir les opinions des bénéficiaires sur leur participation à
un programme et ce qu'ils en ont retiré de positif ou négatif - alternative aux entretiens. Quel que soit l'usage qui en est
fait, la caractéristique distinctive du focus group est de recueillir un opinion stabilisée après discussion approfondie, au lieu
d'une opinion spontanée.
 Enquête par questionnaire
L'enquête par questionnaire permet de collecter auprès d'un échantillon de population des réponses comparables. Lorsque
l'échantillon est représentatif, l'enquête par questionnaire permet des mesures statistiquement significatives qui peuvent
être nécessaires pour des indicateurs quantifiés.
 Etude de cas
L'étude de cas vise à répondre aux questions "Comment" et "Pourquoi" à partir de l'étude détaillée de cas concrets, choisis
en fonction des objectifs de l'évaluation. Dans des contextes qui le permettent et qui le nécessitent, le ou les cas étudiés
peuvent être sélectionnés pour que les conclusions soient généralisables à l'ensemble de l'évaluation.
 Panel d'experts
Le panel d'experts est un groupe de spécialistes indépendants et reconnus dans au moins un des champs concernés par
l'objet à évaluer. Le panel permet de proposer des jugements collectifs, nuancés et argumentés, fondés sur les
connaissances et l'expérience des experts.
© Picarré Associés 42

43. Les étapes de la formation
Jour 1 et 2 Jour 3 et 4
1. Le contexte de l’évaluation 1. Le référentiel et les
2. Evaluation et projet indicateurs
3. La planification de 2. L’évaluation d’impact
l’évaluation
3. Analyser
4. La participation des
4. Les actions correctives et
parties prenantes
le changement
5. Les perspectives d’actions
5. Communiquer pour
6. La collecte et l’analyse des impliquer
données
6. Plan d’actions
43

44. La structuration d’un
référentiel
Pour définir les modalités et les
indicateurs qui devront être pris
en compte
44

45. Construire le référentiel
•Le référentiel est une déclinaison du projet et permet de structurer la démarché
évaluative
•Il se fonde sur les objectifs à atteindre
•C’est un référentiel de « bonnes pratiques » prioritaires à évaluer incluant des
•Procédures: « Manières de faire codifiées, définies à l’avance, des passages obligés… »
Mais aussi
•Des Processus, du latin « Progrès », qui impliquent le mouvement, la progression, et des
pratiques non formalisées
•Il se décline en
–Dimensions, Domaines ou objectifs: les grands domaines d’activités, les objectifs poursuivis, les
priorités fondées sur les valeurs du service; les questions clés
–Critères ou traceurs: ils représentent les actions, les moyens mis en œuvre pour atteindre les
objectifs poursuivis, les procédures formelles et les processus informels. Ces actions sont les
bonnes pratiques, ce qui va témoigner de quelque chose. Ils sont au service des objectifs;
–Indicateurs: ils forment la base du référentiel. Ils permettent d’appréhender le niveau de
réalisation des exigences portées par chaque action/critère. Ils permettent de rendre mesurables
ou démontrables les questions clés
•Il est issu d’un processus de co-développement avec tous les acteurs
•C’est une démarche de contractualisation entre l’ensemble des acteurs
© Picarré Associés 45

46. Le Référentiel
Finalité Visio
n
Options Domaines/
stratégiques Objectifs
Actions,
Processus et Pratiques, Critères
procédures
Effets attendus et degré
d’exigence
Indicateurs (qualitatif ou quantitatif)
Éléments de mesure (quantitatif)
ou de preuve (qualitatif)
© Picarré Associés 46

47. Le référentiel:
Vision: ……………………………
Options Éléments de mesure
Actions/Activités Effets attendus Degré d'exigence
stratégiques/Objectifs ou de preuve
© Picarré Associés 27 47

48. Types d’indicateurs
• Indicateurs de contexte: situation du contexte dans lequel
l’action intervient.
• Indicateurs d’activité ou d’efficience: moyens consommés pour
la mise en œuvre des actions.
• Indicateurs de réalisation ou d’efficacité: produit des actions (ce
que l’on à fait avec les ressources qui ont été consommées).
• Indicateurs de résultat: avantage immédiat généré par l’action
pour les publics ciblés.
• Indicateurs d’impact: effets indirects des actions au-delà des
résultats pour les publics ciblés.
© Picarré Associés 49

49. Des indicateurs qualitatifs et
quantitatifs
 Ils permettent de répondre aux questions clés
 Ils peuvent aider à évaluer si les activités liées au projet ont été
mises en œuvre et l’impact prévu atteint.
 Un indicateur quantitatif est une mesure:
 Des moyens mis en œuvre pour évaluer l’efficience d’une action, par
exemple le temps passé
 Des réalisations directes de l’action pour évaluer l’efficacité d’une
action, par exemple les personnes touchées par un message
 Des résultats de l’action comme changements sur la population ciblée,
par exemple une meilleure connaissance des dispositifs
 Un indicateur qualitatif se rapporte
 à des changements sur le plan de la perception, par exemple,
l’opinion des utilisateurs sur le contenu d’un même programme
 À des impacts sur la population ciblée, par exemple une plus grande
autonomie, un respect de la personne, plus de motivation
50

50. Types d’indicateurs SMART et
SPICED
Quantitatif Qualitatif
SMART SPICED
S = Spécifique (mais simple)
M = Mesurable S = Subjectif
A = Applicable ou réalisable P = Participatif
(parfois spécifique à un domaine) I = Interprété et communicable
R = Réaliste C = Recoupé et comparé
T = Temporellement opportun E = Donnant du pouvoir
D = Divers et désagrégé
51

51. Le référentiel:
Vision: ……………………………:
Éléments de Degré
Objectifs/
Options mesure ou de preuve d'exigence
Actions Effets attendus Quantitatif
stratégiques Qualitatif ou de
vigilance
Contexte:
Activité:
Réalisation:
Résultat
Impact
48

52. Les étapes de la formation
Jour 1 et 2 Jour 3 et 4
1. Le contexte de l’évaluation 1. Le référentiel et les
2. Evaluation et projet indicateurs
3. La planification de 2. L’évaluation
l’évaluation d’impact
4. La participation des 3. Analyser
parties prenantes 4. Les actions correctives et
5. Les perspectives d’actions le changement
5. Communiquer pour
6. La collecte et l’analyse des
impliquer
données
6. Plan d’actions
52

53. L’évaluation d’impact
Pour convaincre et persuader
53

54. La mise en œuvre d’une
évaluation d’impact
 Elle se planifie le plus en amont possible
 Elle permettra de répondre aux questions clés des
acteurs
 Elle peut comporter des indicateurs
 Quantitatifs: analyse de questionnaires, éléments de
contexte, ..
 Qualitatifs: observations, ressentis
 Tous deux sont subjectifs, car ils ne mesurent ou
démontrent que du changement, l’analyse est
nécessaire
 L’évaluation d’impact doit être mise en œuvre ni
trop tôt ni trop tard
54

55. Les méthodes spécifiques
 L’utilisation des données disponibles sur le groupe cible avant et après le projet,
« l’assignation aléatoire »
 Nécessité de créer un groupe test et un groupe témoin parmi le groupe cible par tirage au sort
 Résistance sur le terrain (choix?)
 Un questionnaire sur le groupe cible. L’évaluation sera conduite parmi un groupe
représentatif de bénéficiaires présumés du projet. Si le groupe cible est vaste, l’échantillon
sera important (au moins 500 personnes)
 L’auto-évaluation. Elle peut porter sur divers aspects du changement (par exemple, le
changement en termes de capacités) et permet d’utiliser un large éventail d’outils. Elle
s’appuiera sur l’observation et la participation des acteurs, par exemple photo, ..
 Les récits sur l’impact. Il s’agit de recueillir des informations qualitatives très détaillées
(des « récits ») auprès d’un nombre limité d’individus au sein du groupe cible.
 Les méthodes participatives: demander aux membres du groupe cible (et aux autres
parties prenantes) de décrire les éléments clés du projet et comment ces éléments ont
contribué aux changements observés ou perçus
55

56. Les étapes de la formation
Jour 1 et 2 Jour 3 et 4
1. Le contexte de l’évaluation 1. Le référentiel et les
2. Evaluation et projet indicateurs
3. La planification de 2. L’évaluation d’impact
l’évaluation 3. Analyser
4. La participation des 4. Les actions correctives et
parties prenantes le changement
5. Les perspectives d’actions 5. Communiquer pour
6. La collecte et l’analyse des impliquer
données 6. Plan d’actions
56

57. Analyser
57

58. Analyser et comprendre les
données
• Identifier les écarts et en déterminer les causes
–Les écarts sont ils dus à
•L’organisation
•À l’environnement
•A la définition en amont de la finalité (valeurs, besoins, impact)
–Attention
•Problème: en tant que cadre, je peux faire quelque chose
•Difficultés sont posées comme telles, mais sans beaucoup de moyens d’actions
dans le collectif de travail défini
• La communication institutionnelle, formelle et
informelle est clé à cette étape
58

59. Piloter les actions correctives
• L’analyse des données doit être co construite
• Les actions correctives portées par l’équipe
• La responsabilité de chacun engagée
• Dans la limite des critères de cohérence:
– A-t-on les moyens de ses ambitions ou les
ambitions de ses moyens?????
59

60. Les étapes de la formation
Jour 1 et 2 Jour 3 et 4
1. Le contexte de l’évaluation 1. Le référentiel et les
2. Evaluation et projet indicateurs
3. La planification de 2. L’évaluation d’impact
l’évaluation 3. Analyser
4. La participation des 4. Les actions
parties prenantes correctives et le
5. Les perspectives d’actions changement
6. La collecte et l’analyse des 5. Communiquer pour
données impliquer
6. Plan d’actions
60

61. Le changement comme
phénomène systémique, Crozier
61

62. Et accompagner le changement
 Les acteurs approuvent les résultats et les
recommandations et sont disposées à les
valoriser.
 Les acteurs approuvent les résultats et les
recommandations, sont disposées à les mettre
en œuvre mais sont incapables de les valoriser.
 Les acteurs approuvent les résultats, mais pas les
recommandations, et ne sont pas disposées à les
valoriser.
 Les acteurs rejettent les résultats et les
recommandations.
62

63. Le changement?
•Le changement est omniprésent,
c’est la vie
•C’est une évolution vécue, subie ou choisie, d’une situation actuelle à une situation
future,
il place l’individu dans une position d’incertitude
•Le changement implique une projection dans l’avenir,
ce qui crée de l’anxiété.
63
Pi-carré Associés 2010

64. Le postulat initial qui fonde l’approche sociologique :
une organisation ne fonctionne jamais uniquement selon
ses règles formelles
Les individus disposent toujours d’une
marge de liberté dans leur façon
d’agir;
Les individus qui composent une
organisation ne s’opposent au
changement que s’il n’y voient pas leur
Ils poursuivent des objectifs propres, intérêt;
distincts de ceux que leur assigne
l’entreprise;
Les relations de pouvoir dans
l’organisation ne se réduisent pas aux
positions hiérarchiques : elles existent
dès lors qu’un individu maîtrise des
ressources dont d’autres ont besoin;
Il n’existe pas de comportements
“aberrants” : les individus sont
rationnels;
64
Pi-carré Associés 2010

65. Les systèmes d’action
• Est un ensemble humain structuré
• Qui coordonne les actions de ses participants
• Par des mécanismes de jeux relativement stables
• Et qui maintient sa structure,
• Par des mécanismes de régulation.
65
Pi-carré Associés 2010

66. Toute organisation constitue un
système d’action
•Où les règles de pouvoir s’imposent et se
confrontent à la rationalité attendue des
acteurs
Souvent vécues
comme une double contrainte
•Où les zones d’incertitudes ne sont jamais
laissées vides….
Nous les appelons les marges de manœuvre
66
Pi-carré Associés 2010

67. L’implication des acteurs dans
un projet
La coordination La coopération
• Nécessite une fonction spécialisée • Se fait par contact direct entre les acteurs
• Relève de la hiérarchie • Relève de la situation
• Est mise en œuvre { travers des procédures
• Est "obligatoire" • Se fait par ajustement mutuel entre les acteurs
• Est volontaire
Il faut une méthodologie Il faut une volonté
Ce qui freine la réussite des projets, c’est souvent le manque de coopération entre les
acteurs
• L’attitude de retrait vis-à-vis d’un projet qui dérange
• Le jeu personnel de ceux qui ne partagent pas le projet
• Le cloisonnement des structures qui se protègent
• La difficulté naturelle des acteurs à coopérer,…
©67

68. Créer les conditions de la coopération, c’est agir
sur les dimensions organisationnelles et
humaines
Peuvent-ils ? Ont-ils intérêt ?
La structure
AGIR SUR L'organisation physique Le systèmes de mesure
L'ORGANISATION Les procédures Les systèmes de
Les dispositifs matériels reconnaissance
Savent-ils ?
Ont-ils envie ?
Les profils Les modes de management
AGIR SUR LES Les compétences Le climat de confiance
HOMMES Le langage commun Le sens de l’action
©68

69. La socio-dynamique
Synergie
• Les Passifs = ils font le minimum
• Les Hésitants = ils sont prêts à s’investir…
B4 B5 s’ils sont payés en retour
+4
B3 • Les Déchirés = ils ont autant de façons positives
de voir les choses que de capacités
à les détruire sur l’instant ou plus tard
+3
• Les Engagés = ils soutiennent la cause
• Les Constructifs = ils soutiennent tout en faisant
preuve d’esprit critique… positif
+2
• Les Opposants = ils agissent contre
B1 B7 et ne céderont que face à un pouvoir plus fort
+1
• Les Irréductibles = ils préféreront
se démettre que se soumettre !
-1 -2 -3 -4 Antagonisme
La place des partenaires sur la carte souligne leurs attitudes,
qui peuvent être décrites comme plus ou moins synergiques /antagonistes
69

70. La Carte de partenaires:
pour décoder puis agir L’individu L’individu cherche
Les acteurs cherche la réussite à changer
ont toujours une position du projet... le projet...
par rapport à … mais n’a pas … mais se soumet
un projet donné vraiment de
position personnelle mais négocie
s’il n’est pas
le plus fort
…
pour obtenir … quoi qu’il
Synergie un bon accord lui en coûte
… quelle que soit +4
militant
notre réaction
L’individu
prend l’initiative...
… mais s’arrête +3
coopératif
si on ne le suit pas
… mais suit +2
intéressé
les nôtres
L’individu
ne prend pas
l’initiative...
… et ne suit +1
minimaliste
pas les nôtres
Antagonisme
-1 -2 -3 -4
conciliant résistant opposant irréconciliant
©70

71. Les étapes de la formation
Jour 1 et 2 Jour 3 et 4
1. Le contexte de l’évaluation 1. Le référentiel et les
2. Evaluation et projet indicateurs
3. La planification de 2. L’évaluation d’impact
l’évaluation 3. Analyser
4. La participation des 4. Les actions correctives et
parties prenantes le changement
5. Les perspectives d’actions 5. Communiquer pour
6. La collecte et l’analyse des impliquer
données
6. Plan d’actions
71

72. Communiquer
72

73. La communication au service de
l’évaluation continue
Le véritable voyage de découverte ne
consiste pas à chercher de nouveaux
paysages, mais à avoir de nouveaux
yeux, Marcel Proust
73

74. La roue de l’apprentissage
individuel
•Une interaction entre action et réflexion, de concret et d’abstrait
74

75. Les quatre styles d’apprentissages
de Kolb
•Kolb a donné un nom aux différents types d’apprenants, en
fonction de la•phase du cycle d’apprentissage qu’il préfère.
Agit
• Explore
•L'accommodateur
•L'assimilateur
• Décide • Analyse
•Le convergent
75

76. Le divergent
 Il préfère les phases d’ expérience concrète et de réflexion sur cette
expérience. Les divergents s’intéressent aux gens et aux émotions. Il
a le sens de l’observation, il est habile à percevoir un objet ou un
problème sous différents angles. Il apprécie les activités
novatrices, il a une imagination fertile et des intérêts variés. Il
s’intéresse aux personnes et accorde de l’importance aux
sentiments.
 Il apprécie apprendre par l’expérience
76

77. L'assimilateur
 Il préfère les phases de réflexion sur une expérience et de
conceptualisation abstraite et théorique d’une expérience. Les
assimilateurs aiment créer des modèles théoriques et s’intéressent
moins que les autres aux gens et aux applications pratiques des
connaissances. Il réorganise logiquement des informations, jongle
avec les idées et les théories.
 Il apprécie les cours théoriques.
77

78. Le convergent
 Il préfère les phases de conceptualisation abstraite et théorique de
l’expérience et de mise en application de l’idée/action. Les
convergents aiment être pratiques et ont tendance à être peu
émotifs. De plus, ils préfèrent composer avec des choses plutôt
qu’avec des gens. Il préfère résoudre des problèmes donc la
solution est unique. Il a des facilités dans les taches techniques et
dans la prise de décision.
 Il apprécie les projets et les activités autogérés
78

79. L'accommodateur
 Il préfère les phases d’expérience concrète et de mise en application
de l’idée/action fondée sur cette expérience. Les accommodateurs
s’adaptent facilement à de nouvelles expériences et ont tendance à
trouver des solutions. Il apprend par manipulation, exécutant les
tâches. Il aime être impliqué dans la planification et la réalisation
d’activités, il fonctionne par essais / erreurs plutôt que par la
logique ; Il a tendance a se fier aux réflexions des autres plutôt que
sa propre analyse, il accepte facilement de prendre des risques.
 Il apprécie les exercices en petit groupe.
79

80. Exemple
• Vous voulez montrer à une employée comment faire des recherches et
rédiger un rapport, ce qu’elle n’a jamais fait auparavant. Que peut faire le
manager pour aider l’employée à apprendre par le biais du cycle
d’apprentissage?
– Expérimentation: Montrez à l’employée un rapport bien écrit et
correctement structuré, et demandez-lui de le lire. Il vous demandera
« Pourquoi? »
– Réflexion: Discutez avec l’employée de la valeur de ce rapport; précisez-lui
les points qui font qu’il s’agit d’un bon rapport et signalez-lui les points à
améliorer. Il vous demandera « Quoi? »
– Raisonnement: Montrez à l’employée d’autres exemples de styles de
rédaction pour un rapport et donnez-lui les lignes directrices à utiliser pour
bien structurer un rapport. Il vous demandera « Comment? »
– Mise en pratique: Demandez à l’employée de rédiger la première version
d’un rapport. Révisez le rapport et donnez-lui une rétroaction détaillée
pour qu’elle en rédige une deuxième version. Il ne vous demandera rien?
80

81. La roue de l’apprentissage
collectif
+ Actions
coordonnées Analyses en
concret
4 Mise en commun de
Pratique 1 Expérimentation l’existant
3
2 Réflexion Partage de
Raisonnement
Co valeurs et
construction création de
+ vision
abstrait Référentiel
commune
+ action + réflexion 81

82. La communication de
l’évaluation
• Toujours resituer l’étape 1=J’informe
par rapport à la vision et au 4=J’implique
sens Ils prennent
Ils agissent
• En prenant en compte la conscience
charge émotionnelle
3=Je transfère 2=J’explique
• 4 étapes en fonction de
l'avancement du projet et Ils s’engagent Ils comprennent
de l'individu
83

83. Dans une posture d ’évaluation en
continu dialogique
• La communication
– Institutionnelle doit être régulière,
– Les réunions programmées,
– Le cadre doit garder une vigilance sur la communication informelle.
• Les pouvoirs de chacun respectés par une
parole accordée
• Le chemin est constamment évalué
– En s’appuyant sur les résultats obtenus et une analyse des écarts
– Les traceurs et indicateurs sont comme des bornes sur la route que
nous avons tracée
84

84. La matrice de la communication
 Quelle communication à quel moment?
 Définir l’objectif: décider ou informer, expliquer, impliquer, s’approprier
 Considérer les différents acteurs ciblés
 Qui?
 Antagonisme/synergie?
 Les risques en jeu
 Prévoir la communication orale
 Réunions
 Collectif informatif
 Forum
 Et la communication écrite
 Accompagnement de la démarche
 Résultats intermédiaires
 Etude d’impact
85

85. Les étapes de la formation
Jour 1 et 2 Jour 3 et 4
1. Le contexte de l’évaluation 1. Le référentiel et les
2. Evaluation et projet indicateurs
3. La planification de 2. L’évaluation d’impact
l’évaluation 3. Analyser
4. La participation des 4. Les actions correctives et
parties prenantes le changement
5. Les perspectives d’actions 5. Communiquer pour
6. La collecte et l’analyse des impliquer
données 6. Plan d’actions
86

86. Mon plan d’actions
 Ce que j’ai appris
…………………………………………
….
 Ce que j’ai ressenti
…………………………………………
…………
 Ce que je vais mettre en
œuvre
…………………………………………
………………………...
 Ce que je ne vais pas
garder
…………………………………………
……………
87