Workshop 128 Over data-geïnformeerd veranderen op een pabo

1. Data-geïnformeerd onderwijs veranderen
Opleiders op de Pabo geschoold
Promotieonderzoek naar de werking van een datateam in het hogeronderwijs
drs. E.D. Bolhuis
Promotor: Prof. Dr. J.M. Pieters
Co-promotoren: Dr. J.M. Voogt & Dr. K.
Schildkamp
* 1
1

2. Datateams in het hogeronderwijs
Data wordt in het HO gebruikt ter verantwoording.
Voor accreditatie, rendementscijfers, etc.
Naast het verantwoorden, kun je met
data:
•beslissingen nemen,
•professionaliseren
•en/of om leren
(Her)ontwerp van afstandsonderwijs m.b.v. TPACKhet HO.
Promotieonderzoek naar de werking van datateams in
2

3. Aanleiding
Oproep in American Journal of Education:
Little (2012)112, p. 114: ‘ microprocess studies stand
to make a much-needed contribution to a program of
research on data use and schoolimprovement..
(these) studies expose aspects of practice that
otherwise remain opaque, and further, that these
dynamics of practice are likely to prove salient in
accounting for the evolving nature and
consequences of “data use” in schools and
districts’ .
Promotieonderzoek naar de werking van datateams in het HO.
3

4. Onderzoeksvraag
Hoe functioneert een datateam in het
hoger onderwijs?
Promotieonderzoek naar de werking van datateams in het HO.
4

5. Deelvragen
1.Welke activiteiten voert een datateam uit?
2.Wat is de relevantie van de gesprekken van het datateam?
3.Wat is diepgang van de gesprekken in het datateam?
4.Welke activiteiten onderneemt een data-coach om het
datateam te ondersteunen in haar functioneren?
Promotieonderzoek naar de werking van datateams in het HO.
5

6. Theoretisch model
Datateams, Schildkamp
Diepgang / relevantie: Henry
Rol datacoach: Lachat et al, Fieldman
Promotieonderzoek naar de werking van datateams in het HO.
6

7. Datateams: activiteiten
E P
M H
I&C D
A K
Promotieonderzoek naar de werking van datateams in het HO.
7

8. Diepgang / relevantie:
Een gesprek heeft depth of inquiry als de gesprekken een
proces weerspiegelen van onderzoek gericht op het
nemen van actie waarbij elke stap kritisch wordt doorlopen
(Inquiry habit of mind; Henry, 2012, p. 83).
Een gesprek is relevant als het gaat over het onderwerp
(Henry, 2012, p. 87).
Promotieonderzoek naar de werking van datateams in het HO.
8

9. Rol datacoach
Een datacoach:
•Externe coach: cyclisch werken
•Ondersteuning datateam (o.m. in het werken met data)
•Probleem oplossen
•Verantwoordelijk voor het leerklimaat
Promotieonderzoek naar de werking van datateams in het HO.
9

10. Rol datacoach
Datacoach heeft twee verschillende rollen (Lachat et al,
2005):
•Een faciliterende rol
•Een expertrol.
Promotieonderzoek naar de werking van datateams in het HO.
10

11. Mixed method research, singlecase
Deelvraag Observatie Interview Interview Logboek Overige
datateam datacoach materialen
Welke activiteiten voert een X X X X X
datateam uit?
Wat is de relevantie van de X - X X X
gesprekken van het
datateam?
Wat is diepgang van de X - X X X
gesprekken in het datateam?
En welke activiteiten X X X X X
onderneemt een data-coach
om het datateam te
ondersteunen in haar
functioneren?
Promotieonderzoek naar de werking van datateams in het HO.
11

12. Datateam: uitvoering
•Binnen het propedeuseteam van de Pabo;
•Gepland: 10 bijeenkomsten, uitvoering 11
bijeenkomsten
• 6 teamleden, allen docenten. De manager van
het propedeuseteam is af en toe aanwezig
•Periode 12 december 2011 tot 3 juli 2012
Promotieonderzoek naar de werking van datateams in het HO.
12

13. Casus I
Uitval propedeuse 1e jr VT: 48% > terugdringen!
Oorzaak uitval:
•Vooropleiding
•Gender
•Reistijd
•Binding met de klas en klasgenoten
Data verzamelen middels exit-enquête
Promotieonderzoek naar de werking van datateams in het HO.
13

14. Uitval propedeuse 1e jr VT: 48% > terugdringen!
Oorzaak uitval:
•Geringe studievaardigheden
•Geringe planningsvaardigheden
•GAP-vooropleiding - HBO ondanks summercourse
Maatregel:
•Studenten volgen en selecteren
•Begeleiding studenten in P2
Data:
•Studievoortgang
•Bevragen SLB-ers
Promotieonderzoek naar de werking van datateams in het HO.
14

15. Welke activiteiten
voert het datateam
uit?
Promotieonderzoek naar de werking van datateams in het HO.
15

16. Onderwerp bijeenkomsten
Gepland Onderwerp Daadwerkelijk onderwerp
1 Werkwijze datateam en probleemformulering Hypotheses opstellen
2 Probleemformulering en hypothese opstellen Hypothese opstellen
3 Data verzamelen Data verzamelen d.m.v. exit enquête
4 Verzamelde data bespreken Data verzamelen d.m.v. exit enquête
5 Data analyse Data verzamelen d.m.v. exit enquête
6 Interpretatie en conclusie Analyse
7 Maatregelen nemen Interpretatie & conclusie
8 Evaluatie Analyse
9 Reserve Interpretatie & conclusie
10 Reserve Maatregelen & evaluatie
11 Niet ingepland Maatregelen
Promotieonderzoek naar de werking van datateams in het HO.
16

17. Nr. Daadwerkelijk onderwerp Uitgevoerde activiteiten Aantal malen
dat de activiteit
is gecodeerd
1 Hypotheses opstellen Introductie op de werkwijze 1
Probleemdefinitie 1
Hypothese opstellen 9
Data verzamelen 1
2 Hypothese opstellen Probleemdefinitie 1
Hypothese 11
Data verzamelen 4
3 Data verzamelen d.m.v. exit enquête Probleemdefinitie 1
Hypothese opstellen 3
Data verzamelen 9
Kwaliteit van de data 1
Maatregelen 1
4 Data verzamelen d.m.v. exit enquête Data verzamelen 10
Kwaliteit data 5
Maatregelen 1
Promotieonderzoek naar de werking van datateams in het HO.
17

18. Nr. Daadwerkelijk onderwerp Uitgevoerde activiteiten Aantal malen dat
de activiteit is
gecodeerd
5 Data verzamelen d.m.v. exit enquête Data verzamelen 12
Analyse 1
6 Analyse Probleemdefinitie 6
Hypothese opstellen 1
Data verzamelen 3
Analyse 8
Maatregelen 1
7 Interpretatie & conclusie Probleemdefinitie 1
Hypothese opstellen 1
Data verzamelen 2
Kwaliteit data 1
Analyse 4
Interpretatie & conclusie 7
8 Analyse Hypothese opstellen 7
Data verzamelen 1
Analyse 9
Interpretatie & conclusie 2
Maatregelen 4
9 Interpretatie & conclusie Interpretatie & conclusie 5
10 Maatregelen & evaluatie Maatregelen
Maatregelen 4
6
Evaluatie 5
11 Maatregelen Maatregelen 6
Evaluatie 1
Promotieonderzoek naar de werking van datateams in het HO.
18

19. R P
R
H
R
D
E
K
M
I&C A
Promotieonderzoek naar de werking van datateams in het HO.
19

20. R
20

21. Resultaten: planning
De activiteiten worden grosso modo uitgevoerd
zoals in de cirkel beschreven wordt, echter er is:
1.Minder aandacht: probleemdefinitie, kwaliteit
van de data, analyse, interpretatie & conclusie en
de evaluatie;
2.Meer aandacht: hypothese, dataverzamelen
en maatregelen
3.Iteratieve karakter
Promotieonderzoek naar de werking van datateams in het HO.
21

22. Resultaten: overig
1. Attributie van de hypotheses: van extern naar
interne attributie
2. Content knowledge (in dit geval knowledge over
de organisatie van het curriculum) speelt een
rol;
3. Content vision speelt een rol;
4. Misconcepties rondom data.
Promotieonderzoek naar de werking van datateams in het HO.
22

23. Wat is de relevantie
diepgang van de
gesprekken
Promotieonderzoek naar de werking van datateams in het HO.
23

24. Relevantie
gesprekken
Alle gesprekken waren relevant: geen small talk
Promotieonderzoek naar de werking van datateams in het HO.
24

25. Diepgang
B1 B2 B3 B4 B5 B6 B7 B8 B9 B10 B11 T
Geen diepgang 0,32 0,25 0,15 0,17 0,17 0,17 0,11 0,02 0,02 0,04 0,03 0,12
Enigszins diepgang 0,24 0,38 0,58 0,33 0,2 0,47 0,14 0,18 0,15 0,1 0,03 0,24
Gedeeltelijk
diepgang 0,38 0,28 0,18 0,5 0,63 0,28 0,08 0,62 0,43 0,86 0,94 0,49
Veel diepgang 0,06 0,09 0,09 0 0 0,08 0,67 0,18 0,4 0 0 0,15
Promotieonderzoek naar de werking van datateams in het HO.
25

26. Diepgang
Promotieonderzoek naar de werking van datateams in het HO.
26

27. Diepgang
B1 B2 B3 B4 B5 B6 B7 B8 B9 B10 B11 T
Geen diepgang 0,32 0,25 0,15 0,17 0,17 0,17 0,11 0,02 0,02 0,04 0,03 0,12
Enigszins diepgang 0,24 0,38 0,58 0,33 0,2 0,47 0,14 0,18 0,15 0,1 0,03 0,24
Gedeeltelijk
diepgang 0,38 0,28 0,18 0,5 0,63 0,28 0,08 0,62 0,43 0,86 0,94 0,49
Veel diepgang 0,06 0,09 0,09 0 0 0,08 0,67 0,18 0,4 0 0 0,15
Promotieonderzoek naar de werking van datateams in het HO.
27

28. Diepgang
Promotieonderzoek naar de werking van datateams in het HO.
28

29. Verschillen in diepgang: welke
activiteiten?
Promotieonderzoek naar de werking van datateams in het HO.
29

30. Conclusie
1. Een team moet leren diepgaand met elkaar te
spreken: naar mate de bijeenkomsten vorderen, meer
diepgang.
2. Activiteiten verschillen in diepgang
3. Diepgang? Eerst data op tafel..
4. Knip na bijeenkomst 3 en 7
Promotieonderzoek naar de werking van datateams in het HO.
30

31. Rol datacoach
B1 B2 B3 B4 B5 B6 B7 B8 B9 B10 B11
Expert .86 .47 .49 .61 .00 .29 .69 .52 .61 .04 .09 4.67
Coach .14 .53 .51 .39 1.00 .71 .31 .48 .39 .96 .91 6.33
1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00
Promotieonderzoek naar de werking van datateams in het HO.
31

32. Diepgang waardoor?
In bijeenkomst 1 en 2 (bijna geheel) door DC,
bijeenkomst 7 en 8 geheel door DC en bijeenkomst 10 en
11 niets door DC
Promotieonderzoek naar de werking van datateams in het HO.
32

33. Conclusie
1. Datacoach is in begin vooral als expert aanwezig en
genereerd diepgang
2. Op cruciale momenten als expert aanwezig
3. In bijeenkomst 7 en 8 expertrol erg belangrijk:
verkeerde dataverzamelen, data-analyse
Promotieonderzoek naar de werking van datateams in het HO.
33

34. Meer diepgang door:
1. Een team moet leren diepgaand met elkaar te
spreken: naar mate de bijeenkomsten vorderen, meer
diepgang.
2. Activiteiten verschillen in diepgang
3. Diepgang? Eerst data op tafel..
4. Knip na bijeenkomst 3 en 7
Promotieonderzoek naar de werking van datateams in het HO.
34

35. Discussie
1. Zorg voor zo snel mogelijk data
2. Externe geattribueerde hypotheses zijn een
noodzakelijke stap naar intern geattribueerde
hypotheses
3. Meet de accuraatheid van data, zelfbevraging levert
een vertekend beeld
4. Datacoach moet naast coach ook expert zijn
Promotieonderzoek naar de werking van datateams in het HO.
35

36. Vragen?
e.d.bolhuis@utwente.nl
@Ebolhuis
Promotieonderzoek naar de werking van datateams in het HO.
36