L’évaluation des Interfaces Homme-Machine (IHM) est un thème de recherche très vaste dont les travaux remontent à plus d’une vingtaine d’années. Les travaux dans ce contexte sont variés et très nombreux. Ils s’articulent essentiellement autour de méthodes, techniques et outils pour l’évaluation. Les outils existants se basent généralement sur une seule méthode d’évaluation. Dans ce papier, nous proposons un environnement pour l’évaluation des IHM. Cet environnement a l’avantage de se baser sur trois méthodes d’évaluation : le questionnaire, l’inspection de la qualité ergonomique et le mouchard électronique. L’originalité de cet environnement proposé réside essentiellement dans le fait qu’il est d’être automatique et configurable.

1. International Workshop IHM 2012
Les 16émes journées de l’UR SETIT
Sousse 15 -18 Juin 2012- Tunisie
Un environnement pour
l’évaluation des IHM
Selem CHARFI, Houcine EZZEDINE & Christophe KOLSKI
L.A.M.I.H, CNRS UMR 8201, UVHC

2. Plan de la présentation
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Plan
1. Introduction
2. Les outils d’évaluation des IHM: l’existant
3. Proposition d’un environnement automatique, générique
et configurable pour l’évaluation des IHM
4. Conclusion
2

3. Introduction
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Introduction
Les SI sont devenus omniprésents dans tous les domaines et tous les
secteurs.
Défi croissant.
Domaines d’application sensibles aux erreurs de manipulations
Transport, production d’énergie, santé, etc.
De nombreux travaux ont été élaborés.
Visent à promouvoir:
l’utilité, l’utilisabilité et l’accessibilité des IHM
S’articulent essentiellement autour de techniques, outils et approches
pour la conception et l’évaluation des IHM.
3

4. Introduction
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Introduction
Objectif de l’évaluation:
Détecter les aspects pouvant engendrer des problèmes
d’utilisation (Nielsen, 1994),
améliorer l’acceptabilité de l’IHM (Zhang, 1999),
comparaison entre différentes alternatives de conception
(Mayhew, 1999),
minimiser les risques d’erreurs (Wickens et al., 2004)
améliorer la sécurité des données (Olsen, 2007),
mesure la productivité et les performances (Rubin et al., 2008),
protéger l’utilisateur des situations indésirables (Abowd et al.,
2004),
améliorer, voire même optimiser, l’efficacité et la productivité des
systèmes interactifs (Zhang, 1999),
Etc.
4

5. Les outils d’évaluation
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Les outils d’évaluation
Données d’évaluation
•Quantitative & qualitative
Nature des problèmes détectés
Nombreux outils d’évaluation des SI •Critique, majeur, moyen, mineur & cosmétique
Ces outils peuvent varier suivant : Phase du cycle de conception des SI
•Spécification et conception, évaluation (Test)
Facteur de qualité
•Utilité, utilisabilité & accessibilité
Degrés d’automatisation
•Capture, analyse & critique.
Nature des interfaces graphiques
•WIMP, WUI & Mobile.
Principe d’évaluation utilisé
Nature de l’évaluation
•Statique ,Dynamique & Appréciation de l’utilisateur.
5

6. Les outils d’évaluation
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Les outils d’évaluation
Limites des outils existants pour l’évaluation des IHM:
L’analyse et l’exploitation des données pour l’évaluation est une tâche difficile à élaborer
Absence de métriques pour l’évaluation,
Difficulté d’exploitation des règles ergonomiques, elles requièrent une interprétation
contextuelle (Vanderdonckt, 1999),
Le coût élevé de l’évaluation des IHM (ressources matérielles et temps),
Difficultés de l’évaluation (choix de la méthode appropriée, difficulté de l’analyse, etc.),
Etc.
6

7. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Proposition d’un environnement automatique, générique et configurable pour
l’évaluation des IHM
Motivation de cet environnement:
 se baser sur différentes techniques d’évaluation de l’IHM (Nielsen, 1993),
étendre la gamme de fonctionnalités des outils existants,
évaluer les IHM de différents plateformes.
7

8. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Proposition d’un environnement automatique, générique et configurable pour
l’évaluation des IHM
Evaluation des IHM
Automatique: Capture, Analyse & Critique
Générique
WIMP, WUI et Mobile.
Pas de codage en dur des Règles ergonomiques
Configurable : Architecture modulaire qui permet sa configuration tout au long
du processus d’évaluation
La phase finale de conception des SI
8

9. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Proposition d’un environnement automatique, générique et configurable pour
l’évaluation des IHM
Se base sur trois méthodes différentes et complémentaires pour
l’évaluation des IHM
Mouchard électronique
Inspection de la qualité ergonomique
Questionnaire
9

10. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Proposition d’un environnement automatique, générique et configurable pour
l’évaluation des IHM
Une flexibilité du choix des règles ergonomiques utilisées
Un outil de modélisation des règles ergonomiques afin
d’inspecter la conformité de l’interface à évaluer par rapport à
ces règles.
Le processus d’évaluation est automatisé
capture, analyse et critique.
10

11. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Module 1 : Gestionnaire de règles ergonomiques
XML
Outil de définition
Règles des RE
ergonomiques
(RE) Base de données
Module 2 : Module de capture des règles
ergonomiques
Générateur de Extracteur Mouchard
Interface questionnaire de données électronique
utilisateur
graphique
Questionnaire
Module 3 : Moteur d’évaluation
Inspection
Analyseur de Analyseur de Base de
de
questionnaires l’interaction données des
l’interface
graphique interactions
système
utilisateurs
Interpréteur des
analyses
Module 4 : Générateur de rapports
Rapport
d’évaluation
Générateur de Générateur de
rapport PDF rapport Web
11

12. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Module 1 : Gestionnaire de règles ergonomiques
XML
Outil de définition
Règles des RE
ergonomiques
(RE) Base de données
Module 2 : Module de capture des règles
ergonomiques
Générateur de Extracteur Mouchard
Interface questionnaire de données électronique
utilisateur
graphique
Questionnaire
Module 3 : Moteur d’évaluation
Inspection
Analyseur de Analyseur de Base de
de
questionnaires l’interaction données des
l’interface
graphique interactions
système
utilisateurs
Interpréteur des
analyses
Module 4 : Générateur de rapports
Rapport
d’évaluation
Générateur de Générateur de
rapport PDF rapport Web
12

13. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Module 1 : Gestionnaire de règles ergonomiques
XML
Outil de définition
Règles des RE
ergonomiques
(RE) Base de données
Module 2 : Module de capture des règles
ergonomiques
Générateur de Extracteur Mouchard
Interface questionnaire de données électronique
utilisateur
graphique
Questionnaire
Module 3 : Moteur d’évaluation
Inspection
Analyseur de Analyseur de Base de
de
questionnaires l’interaction données des
l’interface
graphique interactions
système
utilisateurs
Interpréteur des
analyses
Module 4 : Générateur de rapports
Rapport
d’évaluation
Générateur de Générateur de
rapport PDF rapport Web
13

14. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Module 1 : Gestionnaire de règles ergonomiques
XML
Outil de définition
Règles des RE
ergonomiques
(RE) Base de données
Module 2 : Module de capture des règles
ergonomiques
Générateur de Extracteur Mouchard
Interface questionnaire de données électronique
utilisateur
graphique
Questionnaire
Module 3 : Moteur d’évaluation
Inspection
Analyseur de Analyseur de Base de
de
questionnaires l’interaction données des
l’interface
graphique interactions
système
utilisateurs
Interpréteur des
analyses
Module 4 : Générateur de rapports
Rapport
d’évaluation
Générateur de Générateur de
rapport PDF rapport Web
14

15. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Module 1 : Gestionnaire de règles ergonomiques
XML
Outil de définition
Règles des RE
ergonomiques
(RE) Base de données
Module 2 : Module de capture des règles
ergonomiques
Générateur de Extracteur Mouchard
Interface questionnaire de données électronique
utilisateur
graphique
Questionnaire
Module 3 : Moteur d’évaluation
Inspection
Analyseur de Analyseur de Base de
de
questionnaires l’interaction données des
l’interface
graphique interactions
système
utilisateurs
Interpréteur des
analyses
Module 4 : Générateur de rapports
Rapport
d’évaluation
Générateur de Générateur de
rapport PDF rapport Web
15

16. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Module 1 : Gestionnaire de règles ergonomiques
XML
Outil de définition
Règles des RE
ergonomiques
(RE) Base de données
Module 2 : Module de capture des règles
ergonomiques
Générateur de Extracteur Mouchard
Interface questionnaire de données électronique
utilisateur
graphique
Questionnaire
Module 3 : Moteur d’évaluation
Inspection
Analyseur de Analyseur de Base de
de
questionnaires l’interaction données des
l’interface
graphique interactions
système
utilisateurs
Interpréteur des
analyses
Module 4 : Générateur de rapports
Rapport
d’évaluation
Générateur de Générateur de
rapport PDF rapport Web
16

17. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Module 1 : Gestionnaire de règles ergonomiques
XML
Outil de définition
Règles des RE
ergonomiques
(RE) Base de données
Module 2 : Module de capture des règles
ergonomiques
Générateur de Extracteur Mouchard
Interface questionnaire de données électronique
utilisateur
graphique
Questionnaire
Module 3 : Moteur d’évaluation
Inspection
Analyseur de Analyseur de Base de
de
questionnaires l’interaction données des
l’interface
graphique interactions
système
utilisateurs
Interpréteur des
analyses
Module 4 : Générateur de rapports
Rapport
d’évaluation
Générateur de Générateur de
rapport PDF rapport Web
17

18. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Module 1 : Gestionnaire de règles ergonomiques
XML
Outil de définition
Règles des RE
ergonomiques
(RE) Base de données
Module 2 : Module de capture des règles
ergonomiques
Générateur de Extracteur Mouchard
Interface questionnaire de données électronique
utilisateur
graphique
Questionnaire
Module 3 : Moteur d’évaluation
Inspection
Analyseur de Analyseur de Base de
de
questionnaires l’interaction données des
l’interface
graphique interactions
système
utilisateurs
Interpréteur des
analyses
Module 4 : Générateur de rapports
Rapport
d’évaluation
Générateur de Générateur de
rapport PDF rapport Web
18

19. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Module 1 : Gestionnaire de règles ergonomiques
XML
Outil de définition
Règles des RE
ergonomiques
(RE) Base de données
Module 2 : Module de capture des règles
ergonomiques
Générateur de Extracteur Mouchard
Interface questionnaire de données électronique
utilisateur
graphique
Questionnaire
Module 3 : Moteur d’évaluation
Inspection
Analyseur de Analyseur de Base de
de
questionnaires l’interaction données des
l’interface
graphique interactions
système
utilisateurs
Interpréteur des
analyses
Module 4 : Générateur de rapports
Rapport
d’évaluation
Générateur de Générateur de
rapport PDF rapport Web
19

20. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Module 1 : Gestionnaire de règles ergonomiques
XML
Outil de définition
Règles des RE
ergonomiques
(RE) Base de données
Module 2 : Module de capture des règles
ergonomiques
Générateur de Extracteur Mouchard
Interface questionnaire de données électronique
utilisateur
graphique
Questionnaire
Module 3 : Moteur d’évaluation
Inspection
Analyseur de Analyseur de Base de
de
questionnaires l’interaction données des
l’interface
graphique interactions
système
utilisateurs
Interpréteur des
analyses
Module 4 : Générateur de rapports
Rapport
d’évaluation
Générateur de Générateur de
rapport PDF rapport Web
20

21. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Module 1 : Gestionnaire de règles ergonomiques
XML
Outil de définition
Règles des RE
ergonomiques
(RE) Base de données
Module 2 : Module de capture des règles
ergonomiques
Générateur de Extracteur Mouchard
Interface questionnaire de données électronique
utilisateur
graphique
Questionnaire
Module 3 : Moteur d’évaluation
Inspection
Analyseur de Analyseur de Base de
de
questionnaires l’interaction données des
l’interface
graphique interactions
système
utilisateurs
Interpréteur des
analyses
Module 4 : Générateur de rapports
Rapport
d’évaluation
Générateur de Générateur de
rapport PDF rapport Web
21

22. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Module 1 : Gestionnaire de règles ergonomiques
XML
Outil de définition
Règles des RE
ergonomiques
(RE) Base de données
Module 2 : Module de capture des règles
ergonomiques
Générateur de Extracteur Mouchard
Interface questionnaire de données électronique
utilisateur
graphique
Questionnaire
Module 3 : Moteur d’évaluation
Inspection
Analyseur de Analyseur de Base de
de
questionnaires l’interaction données des
l’interface
graphique interactions
système
utilisateurs
Interpréteur des
analyses
Module 4 : Générateur de rapports
Rapport
d’évaluation
Générateur de Générateur de
rapport PDF rapport Web
22

23. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Module 1 : Gestionnaire de règles ergonomiques
XML
Outil de définition
Règles des RE
ergonomiques
(RE) Base de données
Module 2 : Module de capture des règles
ergonomiques
Générateur de Extracteur Mouchard
Interface questionnaire de données électronique
utilisateur
graphique
Questionnaire
Module 3 : Moteur d’évaluation
Inspection
Analyseur de Analyseur de Base de
de
questionnaires l’interaction données des
l’interface
graphique interactions
système
utilisateurs
Interpréteur des
analyses
Module 4 : Générateur de rapports
Rapport
d’évaluation
Générateur de Générateur de
rapport PDF rapport Web
23

24. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Module 1 : Gestionnaire de règles ergonomiques
XML
Outil de définition
Règles des RE
ergonomiques
(RE) Base de données
Module 2 : Module de capture des règles
ergonomiques
Générateur de Extracteur Mouchard
Interface questionnaire de données électronique
utilisateur
graphique
Questionnaire
Module 3 : Moteur d’évaluation
Inspection
Analyseur de Analyseur de Base de
de
questionnaires l’interaction données des
l’interface
graphique interactions
système
utilisateurs
Interpréteur des
analyses
Module 4 : Générateur de rapports
Rapport
d’évaluation
Générateur de Générateur de
rapport PDF rapport Web
24

25. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Proposition d’un environnement automatique, générique et configurable pour
l’évaluation des IHM
Who Where
When Why
How Evaluation What
25

26. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Proposition d’un environnement automatique, générique et configurable pour
l’évaluation des IHM
Processus d’évaluation:
Configuration
Définir les Mise en place Analyse et
Spécification des méthodes Capture des
objectifs de du modèle traitement Rapport
du contexte de recueil de données
l’évaluation d’évaluation des données
données
26

27. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Proposition d’un environnement automatique, générique et configurable pour
l’évaluation des IHM
Module 1 : Gestionnaire de connaissances ergonomiques
Gestion des règles ergonomiques
Spécifier les règles en des fichiers XML
La base de règles ergonomique est un ensemble de fichiers XML
Les règles sont définies grâce à des opérateurs logiques et arithmétiques
(<, >, between, etc.)
27

28. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Proposition d’un environnement automatique, générique et configurable pour
l’évaluation des IHM
Module 2 : Module de capture
Capture des données pour l’évaluation.
Générateur de questionnaires
Parseur de données
Mouchard électronique
28

29. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Proposition d’un environnement automatique, générique et configurable pour
l’évaluation des IHM
Module 3 : Moteur d’évaluation
Le « cœur » de l’environnement de l’évaluation.
Analyse grâce à ces quatre sous-modules les données
provenant du mouchard, du questionnaire et de la
description de l’interface graphique.
Permet la synthèse entre les résultats issus des
différentes méthodes. Ces sous-modules sont :
L’analyseur automatique des interactions
Homme-Machine
L’analyseur des questionnaires
L’analyseur de l’interface graphique
L’interpréteur des données (synthétiser et de
combiner entre les résultats issus des trois autres
sous-modules)
29

30. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Proposition d’un environnement automatique, générique et configurable pour
l’évaluation des IHM
Module 4 : Générateur de rapports
exprimés suivant la norme Common Industrial Format (CIF).
Le rapport comporte :
Un état concernant le déroulement du processus d’évaluation,
Liste des problèmes détectées dans l’interface,
Liste de critiques et suggestions d’amélioration de l’IHM évaluée.
30

31. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Proposition d’un environnement automatique, générique et configurable pour
l’évaluation des IHM
Apport par rapport à l’existant
Couplage entre les différentes méthodes de recueil de données.
Flexibilité du choix et de la spécification des règles ergonomiques à prendre en
considération lors de l’évaluation des IHM.
31

32. Proposition d’un environnement automatique, générique et
configurable pour l’évaluation des IHM
Sousse 15 -18 Juin 2012
Les 16émes journées de l’UR SETIT : International Workshop IHM 2012 Tunisie
Conclusion
L’évaluation de la partie interactive des systèmes fait l’objet de nombreuses
recherches depuis les 30 dernières années.
Parmi les difficultés de l’évaluation
le choix de la méthode et de l’outil à utiliser.
Environnement automatique, générique et configurable.
Contribuer à des IHM utiles et utilisables tout en exploitant trois méthodes
d’évaluation.
Perspectives
 Evaluer expérimentalement cet environnement dans le cadre du projet
CISIT SART (Système d’Aide à la Régulation dans le Transport).
32

33. International Workshop IHM 2012
Les 16émes journées de l’UR SETIT
Sousse 15 -18 Juin 2012- Tunisie
Un environnement pour l’évaluation des
IHM
Merci pour votre attention
Selem Charfi
Selem.Charfi@univ-valenciennes.fr