Le MOOC (cours en ligne ouvert et massif) est un type récent de formation à distance d’un cours accessible à tous en ligne et sans restrictions quant au nombre de participants (Educause, 2013). L’évaluation des apprentissages en ligne est parmi les plus importantes préoccupations dans ce type de formation. En effet, même les MOOCs de plus petite envergure rendent l'évaluation traditionnelle laborieuse. Pour ceux accueillant plus de 150 000 participants pour un seul cours (Gee, 2012) la question de l'évaluation des apprentissages demande, sans contredit, des ajustements. En effet, des méthodes d’évaluation inadéquates pourraient porter préjudice à la valeur des MOOCs et aux certifications délivrées. Cette conférence exposera donc une revue de littérature portant sur les outils d’évaluations utilisés dans les MOOCs. Afin de mener à terme cette synthèse de recherche, des bases de données importantes d’articles scientifiques en éducation ont été consultées. Parmi les résultats principaux, on observe que l’évaluation par les pairs est une méthode d’évaluation appréciée par les concepteurs de MOOCs. De plus, lorsque cette méthode est utilisée, les étudiants évaluent leurs pairs en leur attribuant une note supérieure à ce que le personnel de l’établissement d’enseignement attribue habituellement (Kulkarni, et al., 2013). À la suite de cette synthèse de recherche, on peut affirmer que plus d’études se doivent d’être entreprises afin d’étudier et de raffiner les méthodes d’évaluation les plus adaptées lorsque l’on offre des formations à des milliers, voire des centaines de milliers d’étudiants.

1. Quelle valeur pour les
MOOCs?
Une synthese de la validité des outils d'evaluatioǹ ́
Stéphane Villeneuve, Ph.D.
Université du Québec à Montréal
Professeur
Chercheur associé au CRIFPE
Twitter: @Prof_UQAM_TIC
ADMEE, Liège (Belgique), 27 au 30 janvier 2015

2. Ce document est sous Licence Creative Commons
Cette œuvre de Stéphane Villeneuve (villeneuve.stephane.2@uqam.ca) est mise à
disposition selon les termes de la Licence Creative Commons Attribution - Pas
d’Utilisation Commerciale - Pas de Modification 2.5 Canada. (CC BY-NC-ND)
Détails de la licence:
http://creativecommons.org/licenses/by-nc-nd/2.5/ca/deed.fr

3. MOOC
MOOC: Massive Open Online Course
CLOM: Cours en ligne offert aux masses
CLOM: Cours en ligne ouvert et massif
CLOT: Cours en ligne ouverts à tous
FLOT: Formation en ligne ouverte à tous
Existent depuis 2008, mais forte présence en 2012
(Sandeen, 2013)

4. Le
XMOOC
et cMOOC

5. Bref, un MOOC c’est…
•Formation en ligne
•Gratuite
•Et…

6. …sans limite de participants

7. En présentiel
Évaluations:
professeurs
auxiliaires d’enseignement (correcteur)
MOOC
Exigerait de grandes ressources humaines et
financières pour les évaluations
Les grandes universités américaines peuvent en
accueillir + 150 000 (Gee, 2012)

8. Utiliser des types
d’évaluations appropriées

9. RECENSION DES ÉCRITS
Méthodologie
Bases de données bibliographiques
Australian Education Index
ERIC
Repère
SCOPUS
Google Scholar

10. MÉTHODOLOGIE
Mots-clés utilisés
1.MOOC
2.Assessment
3.Evaluation method
4.Validity
Et opérateurs booléens appropriés

11. MÉTHODOLOGIE
Autres critères
Aucune restriction de date
Documentation francophone et
anglophone
Recherche manuelle des principaux
articles dans la bibliographie

12. QUELS TYPES
D’ÉVALUATION POUR LES
MOOCs ?

13. 3 types d’évaluation
• Automatisée par logiciel (Balfour, 2013; Beg,
2014; Widom, 2012)
• Par les pairs (Kulkarni et al., 2013)
• Auto-évaluation (Wilkowski, Russel et Deutsch,
2014)
• Validation
• « Proctoring » (Briggs, 2013)

14. ÉVALUATION
AUTOMATISÉE PAR
LOGICIEL

15. ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
2 formes
• Quiz
• AET (Évaluation automatisée de
textes ou Automated Essay Scoring)

16. ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
Quiz (choix multiples, réponses courtes)
• Facile à créer et à corriger
• Bon portrait du niveau de connaissance d’un
sujet, mais pas au niveau des compétences de
haut niveau.
• Bien pour maintenir le rythme de l’étudiant
• Pour s’assurer de la compréhension du sujet

17. ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
Quiz sont moins pertinents lorsque l’on
veut évaluer des…
• compétences de second niveau
(logique, résolution de problèmes)
• textes longs (profondeur d’une
réflexion personnelle)
• travaux pratiques (créativité, qualité)

18. ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET (Évaluation automatisée de textes ou Automated
Essay Scoring AES)
•Historique
•But: prédire l’évaluation qui serait donnée par un
humain
•Donne une rétroaction sur la mécanique de l’écriture
•Bien pour un cours de langue, mais discutable pour
d’autres disciplines.

19. ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET (Évaluation automatisée de textes)
• 3 marques commerciales dominent le
marché
• E-rater (Educational Testing Service)
• Intellimetric (Vantage Learning)
• Intelligent Essay Assessor (Pearson Knowledge
Technologies)

20. ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET (Évaluation automatisée de textes)
• Variables utilisées ?
• longueur et nombre des mots
• longueur des éléments du discours
• proportion des erreurs grammaticales
• vocabulaire, mots moins communs
• organisation et style

21. ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET (Évaluation automatisée de textes)
• Les évaluations automatisées sont
plus corrélées à celle des humains
qu’entre les humains = plus
constantes (Shermis et al., 2010)

22. ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET
• Ne permet pas d’évaluer
• les nouvelles métaphores
complexes
• l’humour
• les patois, le langage régional
(Graesser et McNamera, 2012)

23. ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET
• Le National Council of Teachers of English se
positionne (NCTE, 2013) contre les AET:
• restriction quant au type de texte qui peuvent
y avoir recours
• la plupart des rétroactions sont trop vagues
• possibilité de “trafiquer le système” au lieu
de travailler son style et le contenu

24. ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET
• Des études suggèrent que l’évaluation
par les pairs dans les MOOC est plus
utile pour les étudiants selon le type de
travail demandé que les AET (Heise, Palmer-
Judson et Su, 2002; Likkel, 2012)

25. ÉVALUATION PAR
LES PAIRS

26. ÉVALUATION PAR LES
PAIRS
Basée sur l’évaluation d’autres travaux
exposant les étudiants à d’autres solutions et
stratégies que celles vues dans en cours
(Chinn, 2005; Tinapple et al., 2013)

27. ÉVALUATION PAR LES
PAIRS
FONCTIONNEMENT GÉNÉRAL DES EPP
•Protocole d’évaluation en double-aveugle (les
identités ne sont pas révélées)
•Pénalité pour les évaluations tardives
•Attribution aléatoire
•1 évaluation balisée (faux travail) + 4 de pairs
•Note = moyenne des résultats

28. ÉVALUATION PAR LES
PAIRS
AVANTAGES
• Allège la tâche des professeurs,
essentielle dans un MOOC
• Permet de consolider les apprentissages

29. ÉVALUATION PAR LES
PAIRS
Appréciée par certains étudiants
• Notes avec 7% de + (Kulkarni et al.,
2013)

30. ÉVALUATION PAR LES
PAIRS
Détestée par d’autres:
• « I hated the peer assessments as in some
cases, their anonymity gave the peers an
excuse to say mean-spirited things. »
(Suen, 2014, p. 319)

31. ÉVALUATION PAR LES
PAIRS
Les MOOCs avec évaluation
par les pairs ont un plus
faible niveau de complétion
(Jordan, 2013)

33. Étude de Kulkarni
Contexte de la recherche
Sujet
•Cours sur l’interaction homme-machine (HCI)
Contenu
•Présence d’exposés magistraux (vidéo) (n = 4 / sem.)
Évaluations:
•Courts quiz
•Devoir hebdomadaire
Nombre de participants
•~35 000

34. ÉVALUATION PAR LES
PAIRS
20% des étudiants ont effectué
plus d’évaluations que requis (5)
(Kulkarni et al., 2013)

35. ÉVALUATION PAR LES
PAIRS
Comment améliorer les évaluateurs?
En donnant une rétroaction sur
l’évaluation balisée pour indiquer si
elle était plus haute ou plus basse que
l’évaluation d’un expert.

36. ÉVALUATION PAR LES
PAIRS
Améliore la justesse des évaluations subséquentes

37. ÉVALUATION PAR LES
PAIRS
Même si les noms étaient cachés, les
participants ont donné en moyenne 3,6% de
plus à leurs compatriotes (Kulkarni et al.,
2013)
Codes culturels
Contexte géographique des exemples
Différences d’attentes et standards

38. COMMENT
AMÉLIORER LES
ÉVALUATIONS?

39. ÉVALUATION PAR LES
PAIRS
Utiliser l’EPP à plusieurs reprises
dans un même MOOC pour
augmenter la justesse des
évaluations
Les étudiants deviennent de meilleurs
évaluateurs avec le temps

40. ÉVALUATION PAR LES
PAIRS
Augmenter le nombre
d’évaluateurs diminue la
variabilité et augmente la validité
entre les évaluateurs

41. ÉVALUATION PAR LES
PAIRS
• Problèmes liés à l’EPP
• Crédibilité: évaluation de novices faite par des
novices (Suen, 2014)
• Même les étudiants ne font pas confiance aux
résultats (Furman et Robinson, 2003)
• Erreurs d’évaluation: que faire si tous les
évaluateurs d’un examen sont mauvais?

42. ÉVALUATION PAR LES
PAIRS
• 6 types d’écarts (Suen, 2014)
a) Entre l’évaluation d’un pair et d’un expert
b) Fluctuations situationnelles de l’évaluation par un pair
d’un même travail sous des conditions différentes
c) Incohérence de résultats entre des travaux similaires
d) Entre des pairs sur le même travail
e) Écarts systématiques entre des pairs à cause de
différences de compétence ou de rigueur
f) Fluctuations situationnelles de l’évaluation d’un expert
d’un même travail sous des conditions différentes

43. Autoévaluation

44. AUTO-ÉVALUATION
• Basée sur l’importance du développement
d’habiletés métacognitives (Veenman, Van
Hout-Wolters et Affleerbach, 2006)
• Plus d’apprentissage comparé à l’évaluation
de pairs (Sadler et Good, 2006)
(Wilkowski, Russel et Deutsch, 2014)

45. AUTO-ÉVALUATION
Aussi efficace que l’évaluation
d’experts
• 71,6% moins de 2 points/27 de
différence avec les experts

47. AUTO-ÉVALUATION
13% se sont donnés tous les
points, mais ont plagié ou soumis
un travail bidon
Repérage nécessaire

48. AUTO-ÉVALUATION
• Importance de bien former les étudiants à s’auto-
évaluer
• Les laisser s’auto-évaluer seulement quand ils
ont réussi à donner la même note qu’un expert
sur un exercice
• Importance d’une grille claire et simple afin d’être
bien comprise par les étudiants

49. VALIDATION
Comment assure-t-on la crédibilité des évaluations?

50. VALIDATION
3 formes de tricherie (Meyer et Zhu, 2013)
• Donner, prendre ou recevoir de l’information
• Communiquer par cellulaire avec un ami pour de
l’aide
• Faire le test en équipe avec un autre étudiant

51. VALIDATION
• Utiliser du matériel interdit
• Chercher les réponses sur Internet avec
son appareil intelligent pendant un
examen sur ordinateur
• Obtenir l’examen/les réponses à l’avance

52. VALIDATION
• « Jouer le système »
Faire faire le test par quelqu’un
d’autre
Faire le test plus d’une fois

53. VALIDATION
• Besoin de mesures pour réduire les
possibilités de tricher en ligne
• Le “proctoring” – évaluation surveillée
• Méthode physique
• Méthodes électroniques

54. Méthode physique
Faire les évaluations dans un local sous supervision (Pearson Vue)

55. VALIDATION
Méthodes électroniques
• Diminuer les risques de tricherie en:
• Filmant l’étudiant pendant qu’il effectue le test
• Balayant la salle pour repérer s’il y a des
personnes ou des outils pour tricher
• Captant le pattern du doigté sur le clavier
durant l’écriture
• Vérifiant la structure des phrases et le
vocabulaire utilisé d’un travail à l’autre

56. VALIDATION
Méthodes électroniques
• S’assurer l’identité de l’étudiant à l’aide:
• Pièce d’identité officielle avec photo
• Empreinte occulaire/digitale
• Reconnaissance vocale

57. EN BREF…
3 types d’évaluations

58. Automatisée par
logiciel

59. Par les pairs

60. Auto-évaluation

61. Une question d’équilibre?
Automatisée
par logiciel
Automatisée
par logiciel Par les pairsPar les pairs
Auto-
évaluation
Auto-
évaluation

62. Sources des images
• Free Digital Photos