Presentatie gegeven voor beleidsmedewerkers van het ministerie van onderwijs, cultuur en wetenschap.

1. Utrecht, 30 april 2018
Ministerie van Onderwijs, Cultuur en Wetenschap
Prof. Dr. Marco Kalz
Drs. Martine Schophuizen
Open University of the Netherlands
Interim project presentatie

2. AGENDA
• Doelstelling SOONER
• Overview SOONER: resultaten en voortgang
• Project A: Self-regulated learning skill acquisition
• Project B: Motivation and intentions as key to drop-out
• Project C: Scaling of support, feedback and interaction
• Project D: Organizational development and educational
innovation
• Discussie

3. CONTEXT VAN OPEN EDUCATION
Open
Educational
Resources
Open
Courses/
MOOCs
Formal
education
Non-formal
learning
Open
Learning
Communities

4. UITDAGINGEN VOOR ONDERZOEK
SELF REGULATED
LEARNING
SCALABILITY
DROP-OUT
ORGANISATION
& INNOVATION

5. SOONER – IN A NUTSHELL
• Fundamenteel & begeleidend onderzoek over open online onderwijs (OOO)
• OOO als strategische en organisatorische activiteit met systematische implicaties
• 4 PhD projecten
• Zelfregulerend leren vaardigheden ontwikkeling in het kader van OOO
(MICRO)
• Motivatie en intenties als bepalend voor drop-out (i.e., het gat tussen intentie
en werkelijk gedrag) in OOO (MICRO)
• Schaalbare ondersteuningsoplossingen voor OOE (MESO)
• OOO en de organisatie (MACRO)
• Verschillende bronnen voor dataverzameling (SURF-projecten, Europese
projecten, partners etc.)
• Strikt open access beleid

6. DOELSTELLING SOONER
• Het opleveren van kennis over condities en impact van
OOE op het individu (micro & meso) en de instellingen
(macro)
• Wetenschappelijke kennis en praktijkkennis
• Systemic approach:
“Under which conditions, which approaches
work best to reach which goals”
• Welke effecten hadden de subsidies?

7. HIGHLIGHTS

8. KENNISVERSPREIDING

9. KENNISVERSPREIDING

10. SOONER TEAM
dr. Jeroen
Janssen
dr. ir. Karel
Kreijns
dr. Peter van
Rosmalen
prof dr. Marco
Kalz
prof dr.
Liesbeth Kester
dr.
Anoushka van
Leeuwen
drs. Renée
Jansen
drs. Maartje
Henderikx
drs. Julia
Kasch
drs. Martine
Schophuizen

11. MICRO, MESO, MACRO
PhD B
Motivation and
intentions as key to
drop-out
PhD C
Scaling of support,
feedback and
interaction
PhD D
Organizational
development and
educational innovation
PhD A
Self-regulated learning
skill acquisition
MACRO:
Organizational
Level
MESO:
Course level
MICRO:
Learners
level
Fundamenteel onderzoek Begeleidend onderzoek

12. PHD A: SELF-REGULATED LEARNING
SKILL AQUISITION
PhD B
Motivation and
intentions as key to
drop-out
PhD C
Scaling of support,
feedback and
interaction
PhD D
Organizational
development and
educational innovation
PhD A
Self-regulated
learning skill
acquisition
MACRO:
Organizational
Level
MESO:
Course level
MICRO:
Learners
level
drs. Renée Jansen
Universiteit Utrecht

13. SELF-REGULATED LEARNING

14. SELF-REGULATED LEARNING

15. Assess the
task
Evaluate
Strength and
Weaknesses
Plan
Apply
strategies
Monitor
progress
Reflect &
Adjust
Individual
Learning Dispositions
Ambrose et al., 2010
SELF-REGULATED LEARNING

16. STUDIES
SELF-REGULATED LEARNING SKILL
AQUISITION
Studie 1:
Jansen, R. S., van Leeuwen, A., Janssen, J., Kester, L., & Kalz, M. (2017).
Validation of the self-regulated online learning questionnaire. Journal of
Computing in Higher Education, 29, 6–27. https://doi.org/10.1007/s12528-016-
9125-x
Studie 2a:
Quantitative log-data study: Behaviour in online learning environments (in review)
Studie 2b:
Qualitative interview study: Behaviour in online learning environments (in progress)
Studie 3:
Meta-analysis/review study: Relationship between (1) SRL interventions, (2) SRL and (3)
study results in higher education (in progress)
Studie 4:
Intervention study: How to scaffold SRL in open online learning environments (in progress)

17. STUDIE 1:
THE SELF-REGULATED ONLINE LEARNING
QUESTIONNAIRE
Doel:
• Ontwikkeling en validatie van een vragenlijst voor
SRL specifiek voor online onderwijs.
Bevindingen:
• Dit meetinstrument maakt valide en betrouwbaar
onderzoek naar SRL in online onderwijs mogelijk.
Jansen, Van Leeuwen, Janssen, Kester & Kalz, 2017

18. STUDIE 2:
BEHAVIOUR IN ONLINE LEARNING
ENVIRONMENTS
Doel:
• Combineren van vragenlijst resultaten (SRL) met
leergedrag.
• Aanname: Studenten die aangeven anders hun leren te
reguleren, gedragen zich ook anders.
Bevindingen:
• Zelfregulatie ondersteunen is belangrijk voor succesvol
leergedrag.
• Zwakke reguleerders volgen sterk het voorgestelde pad
in de cursus. Zij zijn dus het beste te helpen met
ondersteuning geïntegreerd in de cursus.

19. STUDIE 3:
META-ANALYSIS: SRL INTERVENTIONS, SRL,
STUDY RESULTS
Doel:
• Review studie naar de relatie tussen (1) SRL
interventies, (2) SRL en (3) prestatie in hoger en
online onderwijs.
Bevindingen:
• Sterke relatie tussen:
– (1) SRL interventies en (2) SRL en tussen
– (1) SRL interventies en (3) prestatie
• Ondersteuning van SRL is effectief voor zowel SRL
als voor prestatie.

20. STUDIE 3:
META-ANALYSIS: SRL INTERVENTIONS, SRL,
STUDY RESULTS
Bevindingen (vervolg):
• Kenmerken van een succesvolle interventie voor
SRL zijn anders dan de kenmerken van een
succesvolle interventie voor prestatie.
• Het is belangrijk het doel van de ondersteuning
goed voor ogen te hebben, voordat er keuzes
gemaakt worden over het ontwerp.
• Het artikel bevat tips voor beide situaties.

21. PHD B: MOTIVATION AND
INTENTIONS AS KEY TO DROP-OUT
PhD B
Motivation and
intentions as key
to drop-out
PhD C
Scaling of support,
feedback and
interaction
PhD D
Organizational
development and
educational innovation
PhD A
Self-regulated learning
skill acquisition
MACRO:
Organizational
Level
MESO:
Course level
MICRO:
Learners
level
drs. Maartje Henderikx
Open Universiteit

22. MOTIVATION AND INTENTIONS AS
KEY TO DROP-OUT

23. DROP-OUT – THE CATEGORY ERROR
Jordan, 2015

24. A […] more important limitation
[…] is the tendency to ignore the
perspective of the individual […]
Such definitions of dropout […]
imply connotations of inferiority
[…] of the individual dropping out.
Tinto & Cullen, 1973

25. STUDIES
MOTIVATION AND INTENTIONS AS KEY
TO DROP-OUT
Studie 1:
Henderikx, M., Kreijns, K. ,& Kalz, M. (2017). Refining Success and Dropout in
Massive Open Online Courses. Distance Education. 38 (3). 353-368.
doi:10.1080/01587919.2017.1369006
Studie 2a:
Exploratory study: A classification of barriers that influence intention achievement in
Massive Open Online Courses (submitted)
Studie 2b:
Confirmatory study: A classification of barriers that influence intention achievement in
Massive Open Online Courses (in progress)
Studie 3:
Exploring factors that predict the encounter of barriers to learning in Massive Open
Online Courses (in progress)
Studie 4:
Implementation intentions and goal achievement; a match made in heaven?
(in progress)

26. STUDIE 1:
COMPARING SUCCESS PARADIGMS
MOOC “Marine Litter”
De traditionele benadering
6500, 4000 starters, 400 certificates
10 % successful learners
90 % dropouts
De intentie benadering
49,2 % Inclined abstainers
23,8 % Inclined actors
27 % Disclined abstainers

27. STUDIE 1:
SUCCESS PARADIGMS
MOOC “The Adolescent Brain”
De traditionele benadering
1500 participants, 80 certificates
5,5 % successful learners
95,5 % dropouts
De intentie benadering
23,3 % Inclined abstainers
8,1 % Inclined actors
68,6 % Disclined abstainers

28. STUDIE 2A:
EXPLORATORY STUDY: A CLASSIFICATION OF BARRIERS
THAT INFLUENCE INTENTION ACHIEVEMENT IN MASSIVE
OPEN ONLINE COURSES (SUBMITTED)
Hoofdconclusie: De meeste barrières zijn niet MOOC gerelateerd
Component Label Type Coping level
1 Technical and online
related skills
Non-MOOC related Can be dealt with on a
personal level
2 Social context Partly MOOC and
partly non-MOOC
related
Can be dealt with on both
personal and MOOC-level
3 Course design MOOC related Can be dealt with on MOOC
level
4 Time, support and
motivation
Non-MOOC related Can be dealt with on a
personal level or on a MOOC
level

29. IMPLICATIONS FOR POLICY
• Overweeg alternatieve manieren om online
leersucces (non-compulsory) te meten
• Ondersteun modulaire certificering van (non-
compulsory) online cursussen
• Focus op transversal skills en study skill
ontwikkeling in open online leeromgevingen

30. IMPLICATIONS FOR PRACTICE
• Een meer complete visie op cursus succes (of failure)
wat zal leiden tot minder onnodige online learning
design inteventions en onjuiste negatieve reviews
• Als men weet welke barrières lerenden tegenkomen,
dan kunnen MOOC designers/providers hier
passende ontwerp oplossingen voor vinden (als het
betrekking heeft op MOOC gerelateerde barrières)

31. PHD C: SCALING OF SUPPORT,
FEEDBACK AND INTERACTION
PhD B
Motivation and
intentions as key to
drop-out
PhD C
Scaling of
support,
feedback and
interaction
PhD D
Organizational
development and
educational innovation
PhD A
Self-regulated learning
skill acquisition
MACRO:
Organizational
Level
MESO:
Course level
MICRO:
Learners
level
drs. Julia Kasch
Open Universiteit

32. SCALABILITY
QUALITY
COSTS
SCALING OF SUPPORT, FEEDBACK
AND INTERACTION

33. CONFUSION OF TONGUES

34. SCALABLE
DESIGN
SCALABLE
TECHNOLOGY
Worked out examples Bots and virtual tutors
Self-organised groups Matchmaking (question-answering)
Peer-Assessment Recommender Systems
Self-Assessment Prediction-Algorithms
SCALABILITY: WELKE ONDERWIJS
METHODES ZIJN SCHAALBAAR?

35. STUDIES
SCALING OF SUPPORT, FEEDBACK
AND INTERACTION
Studie 1:
Kasch, J., Van Rosmalen, P,, & Kalz, M. (2017). A Framework Towards
Educational Scalability of Open Online Courses. Journal of Universal Computer
Science. 23 (9). 845-867.
Studie 2:
Kasch, J., Van Rosmalen, P., Löhr, A., Ragas, A., & Kalz, M. (accepted).
Guerrero-Roldan, A. & Ras, E. (Eds). Student's peer-feedback perceptions in
MOOCs. In Proceedings of Technology-Enhanced Assessment Conference,
Barcelona, Spain. Communications in Computer and Information Science Vol.
829. Springer.
Studie 3: Impacts of Online Peer-Feedback Training on Students' Conceptions of Peer-
Feedback in a Massive Open Online Course (MOOC)
Studie 4: Best practices of scalable feedback and student support in Massive Open Online
Courses (MOOCs)

36. STUDIE 1:
A FRAMEWORK TOWARDS EDUCATIONAL
SCALABILITY OF OPEN ONLINE COURSE
Doel:
▪ Introduceren & valideren van framework voor scalability van
educational design elementen in MOOCs
▪ Determine scalable practices in MOOCs regarding support
and formative assessment & feedback
Onderzoeksvraag:
• Which methods for support and formative assessment and
feedback are suitable for open online courses without
impacting the teacher bandwidth?
Kasch, Van Rosmalen & Kalz, 2017

37. STUDIE 1:
A FRAMEWORK TOWARDS EDUCATIONAL
SCALABILITY OF OPEN ONLINE COURSE
Bevindingen:
▪ Middels het gebruiken van ons analyse instrument
(Educational Scalability Analysis Instrument) vonden wij:
▪ Het concept van scale is niet geoperationaliseerd en is
meestal een impliciet kwantitatief begrip
▪ MOOC design heeft een focus op low complexity learning
activities met weinig interactie en samenwerking
▪ Er is sprake van een uitdaging m.b.t. het opzetten van
complexe en interactieve leeractiviteiten waarbij er tevens
geen hoge kosten zijn voor docenten
Kasch, Van Rosmalen & Kalz, 2017

38. STUDIE 1:
EDUCATIONAL SCALABILITY MODEL
Kasch, Van Rosmalen & Kalz, 2017

39. STUDIE 1:
ANALYSIS EXAMPLE
Kasch, Van Rosmalen & Kalz, 2017

40. STUDIE 1:
A FRAMEWORK TOWARDS EDUCATIONAL
SCALABILITY OF OPEN ONLINE COURSE
Aanbevelingen voor beleid & praktijk:
▪ Cursusontwerp zou zich moeten richten op kwaliteit en
kwantiteit: OER ≠ Education en scale ≠ educational scalability
▪ Grote cursussen (offline en online) kunnen baat hebben bij
ontwerp richtlijnen m.b.t. formatieve assessment en feedback.
Bijvoorbeeld:
▪ Welke types van feedback worden gebruikt, en hoe? Feed-up,
feedback, feedforward?
▪ Hoe kan je uitgebreide feedback verzorgen?
▪ …

41. STUDIE 2:
STUDENT PERCEPTION OF SCALABLE PEER-FEEDBACK
DESIGN IN MASSIVE OPEN ONLINE COURSES
Doel:
• Inzicht krijgen in de perceptie van studenten m.b.t. peer
feedback/training als ook het design hiervoor verzorgen
• Ontwerpen van peer feedback training met een focus op clarity,
transparancy en de mogelijkheid om op voorhand te oefenen om zo:
– Vergroten van bereidheid om mee te doen in toekomstige peer-
feedback activiteiten en training
– Verhogen van de perceived usefulness en preparedness van
studenten
– Verbeteren van algemene attitude van studenten m.b.t. peer
feedback
Onderzoeksvraag:
How do instructional design elements of peer-feedback training influence
student perception of peer-feedback activities in MOOCs?
Kasch, Van Rosmalen, Löhr, Ragas & Kalz (accepted)

42. STUDIE 2:
STUDENT PERCEPTION OF SCALABLE PEER-FEEDBACK
DESIGN IN MASSIVE OPEN ONLINE COURSES
Bevindingen:
• MOOC studenten hadden waren weinig bekend met peer-
feedback in MOOCs
• Na deelname in de peer-feedback training is de perceptie van
studenten de volgende:
– Usefulness increased *(M= 2.1 -> 2.7)
– Preparedness increased *(M= 1.9 -> 2.3)
– General attitude regarding peer-feedback increased *(M=
1.4 -> 2.7)
*on a scale from 0 (low) – 3 (high)
Kasch, Van Rosmalen, Löhr, Ragas & Kalz (accepted)

43. STUDIE 2:
STUDENT PERCEPTION OF SCALABLE PEER-FEEDBACK
DESIGN IN MASSIVE OPEN ONLINE COURSES
Aanbevelingen voor beleid & praktijk:
• Peer-feedback is een skill/leerdoel die studenten moeten
ontwikkelen. Daarom zullen zij hier voorafgaand aan peer-
feedback activiteiten in getraind moeten worden
• Peer-feedback is een scalable design element, echter de
kwaliteit van training en feedback moet bewaakt worden met
behulp van een passend cursusontwerp

44. PHD D: ORGANIZATIONAL DEVELOPMENT
AND EDUCATIONAL INNOVATION
PhD B
Motivation and
intentions as key to
drop-out
PhD C
Scaling of support,
feedback and
interaction
PhD D
Organizational
development and
educational
innovation
PhD A
Self-regulated learning
skill acquisition
MACRO:
Organizational
Level
MESO:
Course level
MICRO:
Learners
level
drs. Martine Schophuizen
Open Universiteit

45. MACRO
research
MICRO
research
MESO
research
MEASURE 1 MEASURE 2 MEASURE 3 MEASURE 4
ANALYSE
ANALYSE
total runtime surf project
START
MID-
TERM
END
FOLLOW
-UP
runtime course
PHD D: ORGANIZATIONAL DEVELOPMENT AND
EDUCATIONAL INNOVATION

46. STUDIES
ORGANIZATIONAL DEVELOPMENT AND
EDUCATIONAL INNOVATION
Studie 1a:
Schophuizen, M., Kreijns, K., Stoyanov, S., & Kalz, M. (2018). Eliciting the challenges and
opportunities organizations face when delivering open online education: a group-concept
mapping study. The Internet and Higher Education. 36, 1-12. doi:10.1016/j.iheduc.2017.08.002
Studie 1b:
GCM follow up study: Does project focus influence challenges and opportunities of open online education? A
sub-group analysis of group-concept mapping data. (submitted EC-TEL)
Studie 2:
Theoretical paper: Through which lens can OOE projects be analysed? (in progress)
Studie 3:
Mixed method/case studies: How do institutions differ in adoption mechanisms and barriers and facilitators of
OOE? (in progress)
Studie 4:
Theoretical study: How can open online educational innovation be described in the context of new
commons? (in progress)
Studie 5:
To what extend is OOE a part of higher education institution strategy in The Netherlands? (in progress)

47. STUDIE 1a:
ORGANIZATIONAL CHALLENGES AND
OPPORTUNITIES & OPEN ONLINE EDUCATION

48. STUDIE 1a:
ORGANIZATIONAL CHALLENGES AND
OPPORTUNITIES & OPEN ONLINE EDUCATION

49. STUDIE 1a:
ORGANIZATIONAL CHALLENGES AND
OPPORTUNITIES & OPEN ONLINE EDUCATION

50. STUDIE 1a:
ORGANIZATIONAL CHALLENGES AND
OPPORTUNITIES & OPEN ONLINE EDUCATION
Bevindingen:
• Kansen voor open online onderwijs worden erkend door de OOE
project leiders
• Online teaching wordt ervaren als een grote uitdaging. Dit komt
voornamelijk door een skills gap voor docenten en
onderwijsontwikkelaars
• Support mechanisms mist op verschillende niveaus van de organisatie:
– Breder algemeen bewustzijn m.b.t. open online onderwijs mist
– Organisatie strategie, beleid en commitment ontbreekt
– Centrale ondersteuning (technisch en qua onderwijsontwerp)
missen

51. STUDIE 1B:
DOES PROJECT FOCUS INFLUENCE CHALLENGES AND
OPPORTUNITIES OF OPEN ONLINE EDUCATION?
OOE vs. OER

52. STUDIE 1B:
DOES PROJECT FOCUS INFLUENCE CHALLENGES AND
OPPORTUNITIES OF OPEN ONLINE EDUCATION?
OOE vs. OER

53. IMPLICATIONS FOR POLICY
• Meer ruimte voor experimenteren en onverwachte uitkomsten in
“openess in education”.
• Geen korte termijn focus op directe resultaten, maar een lange termijn
commitment door de overheid en subsidiemogelijkheden (zien van
resultaat kost tijd!).
• Meer aandacht voor onderwijs en didactische aspecten van
onderwijzen en online onderwijzen in digitale omgevingen.
• Open is geen duidelijke waarde binnen het onderwijs! à Meer
aandacht voor hetgeen “open” daadwerkelijk kan betekenen in
verschillende onderwijscontexten. Denk aan verschillende definities en hoe
deze specifiek kunnen bijdragen aan verbeteren van onderwijs.

54. IMPLICATIONS FOR POLICY
• Ga verder dan alleen ambitie: Vorm een visie, stem af op strategie
en beleid en vertaal het concreet naar de praktijk (top-down)
• Creëer kansen binnen de organisatie om lokale initiatieven en
experimenten kans op slagen te geven OOO te implementeren (top-
down)
• Maak gebruik van de kansen die OOO biedt, welke al erkend
worden, en ben niet bang om te experimenteren (bottom-up)
• Gebruik OOO om bestaand onderwijs de complementeren en zo
de algemene kwaliteit van onderwijs te verbeteren. (top-down &
bottom-up)

55. VRAGEN?
Liesbeth Kester
Marco Kalz
Peter van Rosmalen
Jeroen Janssen
Karel Kreijns
Anoushka van Leeuwen
AIO A - Renee Jansen
AIO B - Maartje Henderikx
AIO C - Julia Kasch
AIO D - Martine Schophuizen
l.kester@uu.nl
marco.kalz@ou.nl
peter.vanrosmalen@ou.nl
j.j.h.m.janssen@uu.nl
karel.kreijns@ou.nl
a.vanleeuwen@uu.nl
r.s.jansen@uu.nl
maartje.henderikx@ou.nl
julia.kasch@ou.nl
martine.schophuizen@ou.nl
www.sooner.nu