Dans le jeu du projet CE Elektra, le joueur-apprenant résout des problèmes, gagnant de la sorte des connaissances. Notre joueur devra également gagner la confiance d’un NPC, personnage que le joueur ne peut incarner. Cette confiance est mesurée par le degré de certitude que le joueur a de solutionner le problème. Ces dias présentent un expérience à propos de la formulation de la certitude que le joueur devra exprimer. Nous avons organisé une expérience prouvant le manque de fidélité des expressions verbales. Vingt trois adultes ont été soumis à deux tests sur l’orthographe grammaticale de leur langue natale. Les participants devaient écrire le mot manquant dans chacune des 20 phrases et associer leur certitude, la première fois à l’aide d’expression verbale et la seconde avec les probabilités. Nous avons montré que les expressions verbales prennent des valeurs différentes de personne à personne mais également de question à question.
2. Jean-Loup Castaigne, AIPU, Montréal 2007
Plan
Introduction
Recueil de
l’information
Feedbacks délivrés
Conclusion et
perspectives
2
3. Introduction
GBL & PU
Elektra, le jeu
Métacognition
Jean-Loup Castaigne, AIPU, Montréal 2007
Plan
3
4. Jeux et P.U. ?
L’âge moyen du joueur est de 33 ans.
Le joueur adulte moyen joue depuis 13
années.
4 http://www.theesa.com/facts/gamer_data.php
Jean-Loup Castaigne, AIPU, Montréal 2007
25 %
44 %
31 %
< 18 ans
18 - 49 ans
50 ans & +
5. Avec quel support technique ?
Computer Gamers...
< 18 ans
18 - 35 ans
> 35 ans
30 %
Jean-Loup Castaigne, AIPU, Montréal 2007
5
44 %
26 %
Console Gamers...
25 %
35 %
40 %
< 18 ans
18 - 35 ans
> 35 ans
6. Et les femmes adultes ?
2003 2006
Jean-Loup Castaigne, AIPU, Montréal 2007
6
43 %
57 %
Hommes
Femmes
38 %
62 %
8. Comprendre les éclipses solaires
astronomie : planètes, étoiles, sate'ites
optique : propagation de la lumière
Variation des stratégies d’Ens/App
Résolution d’énigmes, des problèmes,…
Expérimentation,…
Activité pour soutenir la métacognition
Jean-Loup Castaigne, AIPU, Montréal 2007
8
9. jeu d’aventure
3D, style FPS
Objectifs
retrouver les grimoires
de professeur
gagner la confiance du
fantôme de Galilée en démontrant sa capacité de
douter et d’être sûr à juste titre
Jean-Loup Castaigne, AIPU, Montréal 2007
9
10. Gagner la confiance du fantôme de
Galilée !
Comment recuei'ir l’information pour évaluer
si Galilée peut avoir confiance ?
Quels feedbacks donner ?
Jean-Loup Castaigne, AIPU, Montréal 2007
10
12. 1. Définitions
Métacognition
Flavell, 1979
Noël, 1991
Nelson et Narrens, 1994; Nelson 1996
Jean-Loup Castaigne, AIPU, Montréal 2007
12
13. Flavell, 1979, 1987
Métacognition
Connaissances métacognitives
• facteurs personne,
• facteurs tâche,
• facteurs stratégie
Expériences métacognitives
• moment de conscience de phénomène métacognitif
• planification, suivi et évaluation de l’exécution de la
tâche cognitive
Jean-Loup Castaigne, AIPU, Montréal 2007
13
14. Jean-Loup Castaigne, AIPU, Montréal 2007
Noël, 1991
3 objets
une activité cognitive
un ensemble d’activités cognitives
produit mental de ces activités
2 moments : en train ou vient d’effectuer
3 opérations mentales
prise de conscience (“processus métacognitif ”)
jugement de qualité, exprimé ou non
décision ou non de modifier 14
16. Jean-Loup Castaigne, AIPU, Montréal 2007
Plan
Introduction
Recueil de
l’information
Feedbacks délivrés
Conclusion et
perspectives
16
17. Comment l‘information est-elle
recueillie ?
Le fantôme guide le joueur et...
il “transmet” des informations
il pose des questions et demande la certitude
Quand le joueur expérimente, il donne une
prédiction de succès pour cette tentative
Jean-Loup Castaigne, AIPU, Montréal 2007
17
18. Quels est l’intérêt ?
2 étudiants ont 16 / 20
Sont-ils égaux ?
À ce degré de finesse de mesure oui, mais…
si nous ajoutons la notion de certitude des
réponses choisies, nous augmentons la
finesse et dès lors, nous pouvons
imaginer…
Jean-Loup Castaigne, AIPU, Montréal 2007
18
19. 2 étudiants ont 16 / 20
étudiant A
4 erreurs mais
chaque fois en
disant qu’il est sûr
16 réponses
correctes mais
chaque fois en
doutant de sa
réponse
Jean-Loup Castaigne, AIPU, Montréal 2007
19
20. 2 étudiants ont 16 / 20
Jean-Loup Castaigne, AIPU, Montréal 2007
étudiant B
4 erreurs mais
chaque fois en
disant qu’e'e
doute
16 réponses
correctes mais
chaque fois en
étant sûre de sa
réponse
20
!tudiant A
4 erreurs mais
chaque fois e!
disant qu"il est s#r
16 r$ponses
correctes mais
chaque fois e!
doutant de sa
r$pons%
21. Galilée
pose une question
demande la certitude
le joueur
répond
donne sa certitude
Galilée donne des feedbacks
Jean-Loup Castaigne, AIPU, Montréal 2007
21
Quelle est ta
certitude ?
Certitude 0 % 20 % 40 % 60 % 80 % 100 %
22. Jean-Loup Castaigne, AIPU, Montréal 2007
Littérature
Do not use
Verbal
expressions
1-not sure at all
2-weakly sure
3-average
4-partly sure
5-fairly sure
6-strongly sure
Use numerical expressions
22
Utilisateurs ß
0% 20% 40%
60% 80% 100%
Pourquoi pas
moins ou plus que
6 choix ?
Quelle est la
différence entre
sûr à 20% et sûr à
40% ?
Shuford, E. H., Albert, A., and Massengill, H. E. (1966)
23. Jean-Loup Castaigne, AIPU, Montréal 2007
Littérature
Do not use
Verbal
expressions
1-not sure at all
2-weakly sure
3-average
4-partly sure
5-fairly sure
6-strongly sure
Use numerical expressions
23
Utilisateurs ß
0% 20% 40%
60% 80% 100%
Pourquoi pas
moins ou plus que
6 choix ?
Quelle est la
différence entre
sûr à 20% et sûr à
40% ?
Shuford, E. H., Albert, A., and Massengill, H. E. (1966)
Les preuves scientifiques
ne suffisent pas à lever
le sentiment de savoir
mieux ce qui convient
pour moi, pour mes
étudiants,…
25. Commentaires
Quels sont vos sentiments vis-à-vis de
l’utilisation de “sûr” et “pas sûr” ?
Manque de degrés intermédiaires : “presque
sûr”, “moyennement sûr”, “peu sûr”, “hasard
complet”, …
Consignes simples… mais interprétation
difficile et peu fidèle : quelle signification donner
aux notions “sûr” et “pas sûr” ?
Utilisation de règles personnelles, définies ou
non, systématiquement respectées ou non
Jean-Loup Castaigne, AIPU, Montréal 2007
25
27. mot manquant
Mot manquant
mot manquant
mot manquant
mot manquant
mot manquant
mot manquant
mot manquant
mot manquant
mot manquant
mot manquant
mot manquant
mot manquant
Jean-Loup Castaigne, AIPU, Montréal 2007 27
28. Variations inter individuelles #1
Sûr pour 9 questions
Pas sûr pour 11 questions
7
6
5
4
3
2
1
0
Mean: 29.091 62.222
# of points: 11 9
Std deviation: 16.404 12.019
Mann-Whitney U-statistic = 6.000
two-tailed P value = 0.0010 ***
Sûr
Pas Sûr
0 20 40 60 80 100
Sûr 0 0 1 6 2 0
Pas Sûr 1 5 4 1 0 0
Jean-Loup Castaigne, AIPU, Montréal 2007 28
29. Variations inter individuelles #2
Sûr pour 11 questions
Pas sûr pour 9 questions
7
6
5
4
3
2
1
0
Sûr
Pas Sûr
Mean: 51.111 80.000
# of points: 9 11
Std deviation: 36.209 25.298
Mann-Whitney U-statistic = 25.500
Two-tailed P = 0.0720
0 20 40 60 80 100
Sûr 0 0 2 2 1 6
Pas Sûr 1 2 2 1 1 2
Jean-Loup Castaigne, AIPU, Montréal 2007 29
32. 2 stagiaires
Sur pour 10 questions
Pas sur pour 6 questions
6,0
4,5
3,0
1,5
0
0 % 20 % 40 % 60 % 80 % 100 %
Jean-Loup Castaigne, AIPU, Montréal 2007
Sur
Pas sur
32
33. Variations intra individuelle
Phrase R 1 Certitude R 2 DC
Jean-Loup Castaigne, AIPU, Montréal 2007
33
Il me paraît très
important qu'il
______ en toi.
croie pas sûr croie 100
Des propositions
d'emploi, j'en ai
______ quelques-unes
depuis les
vacances.
reçues sûr reçues 40
34. Variations intra individuelle
Jean-Loup Castaigne, AIPU, Montréal 2007
34
sur 80
sur 100
sur 80
sur 100
pas sur 80
pas sur 80
sur 80
pas sur 60
pas sur 80
Sûr et Pas sûr
5x sûr
• 1 RC et 4 RI
• de 80 à 100%
4x pas sûr
• 3 RC et 1 RI
• 3x 80% et 1x60%
Degrés de certitude
100%
• Utilisé 2x et 2x sûr
• 1 RI et 1 RC
80%
• 3 sûr et 3 pas sûr
• 3 RI (les 3 sûr) et
• 3 RC (les 3 pas sûr)
60%
• Utilisé 1x et pas sûr
• 1 RI
35. Jean-Loup Castaigne, AIPU, Montréal 2007
Plan
Introduction
Recueil de
l’information
Feedbacks délivrés
Conclusion et
perspectives
35
39. Feedbacks pour le tuteur
Three types of knowledge situation
(1993)
misinformed
uninformed
informed
Jean-Loup Castaigne, AIPU, Montréal 2007
39
Hunt
40. Hémispectres
Hunt (1993) ; Jans et Leclercq (1999)
Réponses incorrectes Réponses correctes
Certitude : de -100 à -0 Certitude : de 0 à +100
Nombre de réponses
Jean-Loup Castaigne, AIPU, Montréal 2007
omissions
40
41. Hémispectres
Hunt (1993) ; Jans et Leclercq (1999) ; Leclercq (2003)
Méprise
grave
Méconnaissance
Certitude : de -100 à -0 Certitude : de 0 à +100
Nombre de réponses
Jean-Loup Castaigne, AIPU, Montréal 2007
omissions
Maîtrise
Mi Connaissance
41
42. Des hémispectres
dans mon jeu ! Des
spectres, d ’accord, mais
des hémispectres !
Jean-Loup Castaigne, AIPU, Montréal 2007
42
44. Jean-Loup Castaigne, AIPU, Montréal 2007
Plan
Introduction
Recueil de
l’information
Feedbacks délivrés
Conclusion et
perspectives
44
45. Jean-Loup Castaigne, AIPU, Montréal 2007
Être sûr ?
Quand ils utilisent l’expression verbale
‘sûr’, les participants associent
principalement des certitudes s’étalant
de 40% à 100%
Les utilisations de 0% et 20% ne
représentant que trois utilisations sur les 65.
La certitude moyenne quand les
personnes ont utilisé la notion ‘sûr’ est
de 74%.
45
46. Ne pas être sûr ?
Quand ils utilisent l’expression verbale
‘pas sûr’, les participants associent
principalement des certitudes s’étalant
de 20% à 100%
La certitude moyenne quand les
personnes ont utilisé la notion ‘pas sûr’
est de 58%.
Jean-Loup Castaigne, AIPU, Montréal 2007
46
47. Probabilités subjectives
De Finetti: “It is only subjective
probability that can give an
objective meaning to every
response and scoring
method.” (p. 111)
Jean-Loup Castaigne, AIPU, Montréal 2007
Bruno De Finetti (1906-1985), Italian probabilist and statistician
« Methods of discriminating levels of partial knowledge concerning a test item »
Brit. Journ. of Math. & Statist. Psychol., 1965, 18, 87-123.
47
48. Perspectives
L’utilisation de valeur numérique ne
diminue-t-elle pas l’immersion dans le
jeu ?
Mettre au point des questions et des
feedbacks pertinents et variés
Fournir des données quantitatives
durant l’apprentissage est-il favorable ?
Les seuils de 50% ne sont pas toujours
pertinents
Jean-Loup Castaigne, AIPU, Montréal 2007
48
49. Merci de votre attention
Jean-Loup Castaigne, AIPU, Montréal 2007
Plan
Introduction
Recueil de
l’information
Feedbacks délivrés
Conclusion et
perspectives
49
ESA = trade group representing U.S. computer and video game publishers.
Women make up 43 percent of all video game players, according to the 2005 survey by the Entertainment Software Association. That's up from 38 percent in a similar survey in 2003. Though women aren't quite yet the majority among game players, they're involved in 55 percent of all game-buying decisions, according to the association of the video game makers.
Comment recueillir des indices et fournir des feedbacks métacognitifs quantitatifs sans perdre la jouabilité ?
facteurs personne : sur soi et les autres en tant qu’apprenant et “connaisseur”
facteurs tâche : compréhension
facteurs stratégie
la métacognition est un processus mental dont l’objet est soit...
Notion de métacognition régulatrice.
la métacognition est un processus mental dont l’objet est soit...
Notion de métacognition régulatrice.
la métacognition est un processus mental dont l’objet est soit...
Notion de métacognition régulatrice.
jugement métacognitif
processus métacognitif : prise de conscience
décision métacognitive : apporter ou non une régulation.
jugement métacognitif
processus métacognitif : prise de conscience
décision métacognitive : apporter ou non une régulation.
jugement métacognitif
processus métacognitif : prise de conscience
décision métacognitive : apporter ou non une régulation.
jugement métacognitif
processus métacognitif : prise de conscience
décision métacognitive : apporter ou non une régulation.
jugement métacognitif
processus métacognitif : prise de conscience
décision métacognitive : apporter ou non une régulation.
Shuford, E. H., Albert, A., and Massengill, H. E. (1966, Jun). Admissible probability measurement procedures. Psychometrika, 31 (2), 125-45.
Shuford, E. H., Albert, A., and Massengill, H. E. (1966, Jun). Admissible probability measurement procedures. Psychometrika, 31 (2), 125-45.
Shuford, E. H., Albert, A., and Massengill, H. E. (1966, Jun). Admissible probability measurement procedures. Psychometrika, 31 (2), 125-45.