To be presented at EIAH 2023 WS "La diversité de la recherche en EIAH par l’exemple" (https://eiah2023.sciencesconf.org/resource/page/id/25)

1. Diversité des EIAH par l’exemple
Une réflexion sur mon expérience
Mar Pérez-Sanagustín
Université Paul Sabatier de Toulouse, Institute de Recherche en Informatique de Toulouse
EIAH, 13 June 2023

2. 2
Paradigme scientifique
Cadre fondamental d'hypothèses, de principes et de
méthodes à partir duquel les membres de la
communauté travaillent (Kuhn, 1962)
Paradigme scientifique
Technology Enhanced Learning

3. 3
Paradigme scientifique
Technology Enhanced Learning
Computer Science;
Engineering
Educational Sciencies &
Psychology
Social sciences;
Humanities
TEL
TEL as “human development of competence […] with tools that afford isolated or collaborative endeavors
in formal and informal situations” (Wild, 2016). Ref. for figure: Pammer-Schindler et al., 2020)

4. 4
1. Sélection d’articles
1. Détermination d'un fait
important
2.Correspondance entre les
faits et la théorie
3. Articulation d'une théorie
paradigmatique : amélioration
de la valeur d'une chose connue

5. 5
1. Sélection d’articles
2. Méthodes de recherche
3. Validité et généricité
4. Collaborations

6. 6
1. Sélection d’articles
2. Méthodes de recherche
3. Validité et généricité
4. Collaborations

7. 7
1. Sélection d’articles
Cas 1
Évaluation et validation d'un modèle éducatif existant
Contexte : Besoin d'enseignants qualifiés pour répondre
aux exigences d'établissements d'enseignement supérieur
en pleine croissance
Objectif : Proposer et évaluer un modèle scalable de avec
des plates-formes nationales d'enseignement en ligne en
utilisant la plate-forme OpenEdu utilisée par huit universités
russes top-8.
I. Chirikov, T. Semenova, N. Maloshonok, E.
Bettinger, R. F. Kizilcec, Online education
platforms scale college STEM instruction with
equivalent learning outcomes at lower cost.
Sci. Adv. 6, eaay5324 (2020).

8. 8
1. Sélection d’articles
Cas 2
Conception et évaluation d'un outil d'aide à l'autoréflexion
Contexte : Les étudiants ont du mal à comprendre les
attentes des enseignants et des propriétaires dans les
environnements numériques
Objectif : Présenter et évaluer le SAM (Student Activity
Meter) afin d'aider les enseignants et les apprenants à
s'auto-réfléchir et à prendre conscience de ce que font les
apprenants et de la manière dont ils le font.
Govaerts, S., Verbert, K., Duval, E., & Pardo, A.
(2012). The student activity meter for
awareness and self-reflection. In CHI'12
Extended Abstracts on Human Factors in
Computing Systems (pp. 869-884).

9. 9
1. Sélection d’articles
Cas 3
Améliorer les modèles analytiques existants sur la
prédiction de la réussite académique
Contexte : Les modèles génériques de prédiction de la
réussite scolaire ne parviennent pas à saisir les spécificités
de la conception des cours.
Objectif : Avancer dans la proposition d'analyses qui
permettent de saisir la spécificité de la conception du
cours et de sa discipline.
Jovanović, J., Saqr, M., Joksimović, S., &
Gašević, D. (2021). Students matter the most in
learning analytics: The effects of internal and
instructional conditions in predicting academic
success. Computers & Education, 172, 104251.

10. 10
1. Sélection d’articles
2. Méthodes de recherche
3. Validité et généricité
4. Collaborations

11. 11
Approches méthodologiques: l’humain au centre
• Design Based Research (DBR) (Reimann, 2011), approche
itératif - Relier la recherche pédagogique empirique avec
la conception théorique d'environnements d'apprentissage
par le biais d’experimentation et expériences
• Design Science Research (Peffers, 2017), se concentre sur le
développement et la validation des connaissances dans les
sciences de l'information - Développement d'artefacts
avec l'intention explicite d'améliorer ses performances
fonctionnelles.
2. Méthodes de recherche

12. 12
2. Méthodes de recherche

13. 13
2. Méthodes de recherche

14. 14
2. Méthodes de recherche
Styles de recherche en éducation et Computation
• Études de cas - échantillon non sélectionné
• Expérimentations: expérimentations, -quasi-
expérimentations recherche sur un cas unique - filtrage des
échantillons
• Lessons Learned - échantillon non sélectionné
• Synthetic - sans échantillon

15. 15
2. Méthodes de recherche
Data collection & Analysis
• Qualitative nature : focus-group, interviews
• Structured anlaysis using NVIVO
• Quantitative nature : grades, results from instruments
• Statistical analysis

16. 16
Testing the effectiveness of teh OpenEduModel, including
the effect of instruction modality/condition (fully online
instruction, BL, in-person instruction)
1. Multisite Randomized Controlled Trial (RCT)
2. Selection of 2 requiered semester-long STEM Courses
at 3 institutions
3. 325 Students randomly assigned to each of the three
conditions, offering identical content for all and with a
sociodemographic balance
4. Data collection
1. Grades: Pre & Post test mastery
2. Students’ profile: Sociodemographic information
3. Students’ satisfaction
5. Analysis: Ordinary least squares regression (OLR)
2. Méthodes de recherche
Cas 1

17. 17
Evaluate the usefulness and usability of different visualization techniques to
support awareness and self-reflection
1. DBR in 4 iterations of the solution
2. Data collection: Teachers and students from real courses over 24 months
3. Analysis: Qualitative and quantitative data
2. Méthodes de recherche
Cas 2

18. 18
To apply existing indicators to an homogeneous set of BL
courses in médicine for evaluating whether these
indications are valid or not.
1. Data collection: Moodle logfiles from 15 courses with 3-
4 instances
2. Data analysis: mixed effect linear models
Méthodes de recherche

19. 19
1. Sélection d’articles
2. Méthodes de recherche
3. Validité et généricité
4. Collaborations

20. 20
3. Validité et géneralité
La validité et la généralité dépendent de la nature de l'étude
et des données collectées, mais il existe de bonnes pratiques
• Présenter la méthodologie
• Présentez les stratégies de collecte des données et joignez
ou créez un lien vers les instruments utilisés ou les lignes
directrices pour les entretiens.
• Présenter les analyses de manière exhaustive

21. 21
3. Validité et géneralité
Cas 1

22. 22
3. Validité et géneralité
https://osf.io/xgav4/

23. 23
1. Sélection d’articles
2. Méthodes de recherche
3. Validité et généricité
4. Collaborations

24. 24
1. Soutenir l’autórégulation de l’apprentissage
• Outils basées sur visualisations / Chat GPT
• Méthodologies d’analyse des tactiques et
stratégies
2. Étude de l’apprentissage BL et en ligne
3. Explications d’IA et IA literacy
NOTE: Voir sélection d’articles dans liste références
4. Collaborations

25. 25
M. Pérez-Sanagustín, Université Paul Satabier, IRIT
Réferences Sélection Colaboration Pérez-Sanagustín
Full list in Google scholar: https://scholar.google.com/citations?hl=fr&user=pTN_8XIAAAAJ&view_op=list_works
SRL Interventions
• Kizilcec, R. F., Pérez-Sanagustín, M., & Maldonado, J. J. (2017). Self-regulated learning strategies predict learner behavior and goal attainment in Massive Open Online Courses. Computers
& education, 104, 18-33
• Kizilcec, R. F., Pérez-Sanagustín, M., & Maldonado, J. J. (2016, April). Recommending self-regulated learning strategies does not improve performance in a MOOC. In Proceedings of the
third (2016) ACM conference on learning@ scale (pp. 101-104).
SRL Tools
• Pérez-Álvarez, R., Maldonado-Mahauad, J. J., Sapunar-Opazo, D., & Pérez-Sanagustín, M. (2017). NoteMyProgress: A tool to support learners’ self-regulated learning strategies in MOOC
environments. In Data Driven Approaches in Digital Education: 12th European Conference on Technology Enhanced Learning, EC-TEL 2017, Tallinn, Estonia, September 12–15, 2017,
Proceedings 12 (pp. 460-466). Springer International Publishing.
• Pérez-Álvarez, R., Maldonado-Mahauad, J., & Pérez-Sanagustín, M. (2018). Tools to support self-regulated learning in online environments: Literature review. In Lifelong Technology-
Enhanced Learning: 13th European Conference on Technology Enhanced Learning, EC-TEL 2018, Leeds, UK, September 3-5, 2018, Proceedings 13 (pp. 16-30). Springer International
Publishing.
• Hilliger, I., De Laet, T., Henríquez, V., Guerra, J., Ortiz-Rojas, M., Zuñiga, M. Á., ... & Pérez-Sanagustín, M. (2020). For learners, with learners: Identifying indicators for an academic advising
dashboard for students. In Addressing Global Challenges and Quality Education: 15th European Conference on Technology Enhanced Learning, EC-TEL 2020, Heidelberg, Germany,
September 14–18, 2020, Proceedings 15 (pp. 117-130). Springer International Publishing.
• Pérez-Sanagustín, M., Pérez-Álvarez, R., Maldonado-Mahauad, J., Villalobos, E., & Sanza, C. (2022, September). Designing a moodle plugin for promoting learners’ self-regulated learning in
blended learning. In Educating for a New Future: Making Sense of Technology-Enhanced Learning Adoption: 17th European Conference on Technology Enhanced Learning, EC-TEL 2022,
Toulouse, France, September 12–16, 2022, Proceedings (pp. 324-339). Cham: Springer International Publishing.
SRL Analytics
• Villalobos, E., Pérez-Sanagustin, M., Sanza, C., Tricot, A., & Broisin, J. (2022, September). Supporting Self-regulated Learning in BL: Exploring Learners’ Tactics and Strategies. In Educating for a
New Future: Making Sense of Technology-Enhanced Learning Adoption: 17th European Conference on Technology Enhanced Learning, EC-TEL 2022, Toulouse, France, September 12–16,
2022, Proceedings (pp. 407-420). Cham: Springer International Publishing.
• Maldonado-Mahauad, J., Pérez-Sanagustín, M., Kizilcec, R. F., Morales, N., & Munoz-Gama, J. (2018). Mining theory-based patterns from Big data: Identifying self-regulated learning
strategies in Massive Open Online Courses. Computers in Human Behavior, 80, 179-196.
• Matcha, W., Gašević, D., Ahmad Uzir, N. A., Jovanović, J., Pardo, A., Maldonado-Mahauad, J., & Pérez-Sanagustín, M. (2019, September). Detection of learning strategies: A comparison of
process, sequence and network analytic approaches. In Transforming Learning with Meaningful Technologies: 14th European Conference on Technology Enhanced Learning, EC-TEL 2019,
Delft, The Netherlands, September 16–19, 2019, Proceedings (pp. 525-540). Cham: Springer International Publishing.
BL & Online Learning
• Hernandez, J., Rodriguez, F., Hilliger, I., & Perez-Sanagustin, M. (2018). MOOCs as a remedial complement: Students’ adoption and learning outcomes. IEEE Transactions on Learning
Technologies, 12(1), 133-141.

26. 26
M. Pérez-Sanagustín, Université Paul Satabier, IRIT
Réferences
- Kuhn, T. S. (2012). The structure of scientific revolutions. University of Chicago press.
- Shapere, D. (1964). The structure of scientific revolutions. The Philosophical Review, 73(3), 383-394.
- Wild, F. (2016). Learning Analytics in R. Berlin: Springer.
- Pammer-Schindler, V., Wild, F., Fominykh, M., Ley, T., Perifanou, M., Soule, M. V., ... & Maillet, K. (2020,
August). Interdisciplinary doctoral training in technology-enhanced learning in Europe. In Frontiers in
Education (Vol. 5, p. 150). Frontiers Media SA.
- Peffers, K., Tuunanen, T., Rothenberger, M. A., & Chatterjee, S. (2007). A design science research
methodology for information systems research. Journal of management information systems, 24(3), 45-
77.
- Reimann, P. (2011). Design-based research. Meth. Choice and Design. Springer: NE, 37-50.
- Cohen, L., Manion, L., & Morrison, K. (2017). Research methods in education. routledge.
- Zelkowitz, M. V., & Wallace, D. R. (1998). Experimental models for validating
technology. Computer, 31(5), 23-31.
- Zelkowitz, M. V. (2009). An update to experimental models for validating computer technology. Journal
of Systems and Software, 82(3), 373-376.

27. ¡Gracias!
mar.perez-sanagustin@irit.fr
Presentation et références en:
https://mperezsanagustin.wordpress.com/