Silvester Draaijer, Vrije Universiteit Amsterdam

1. 1
Toetsen en Rendement
HANovatie themadag 3 november 2010.
Silvester Draaijer
Onderwijscentrum VU
s.draaijer@ond.vu.nl
Workshop 1 10.45-11.55 uur: Compensatorisch Toetsen

2. 2
Typen toetskoppelingen
Conjunctief: alle toetsen moeten met een voldoende worden
afgesloten
Complementair: niet op alle toetsen hoeft een voldoende
cijfer te worden gehaald
Compensatorisch: een deel van de toetsen mag met een
onvoldoende worden afgesloten MITS er één of meer hogere
score in het curriculum tegenover staan.

3. 3
Casus -1
Welke van onderstaande examenregelingen is het ‘beste’
• In ons curriculum worden herkansingen afgeschaft. Als een cursus niet met een
voldoende wordt afgesloten dient het volgend academisch jaar te worden
overgedaan
• In ons curriculum mogen maar maximaal 3 eindtoetsen herkanst te worden per
student per jaar.
• In ons curriculum mag de eindtoets van elke cursus maar éénmaal per jaar herkanst
worden.
• In ons curriculum mag de eindtoets van elke cursus éénmaal twee weken na afloop
van de 1e
kans worden herhaald, mits de score op de 1e
kans hoger was dan een 5,0
en daarna direct na de zomervakantie.
• In ons curriculum mag de eindtoets van elke cursus éénmaal twee weken na afloop
van de 1e
kans worden herhaald en daarna direct na de zomervakantie.

4. 4
Casus 0
Welke van onderstaande examenregelingen is het ‘beste’
• Een eerstejaarsprogramma bestaat uit 10 cursussen. Een
student slaagt voor het eerstejaarsprogramma indien:
• hij alle cursussen met een voldoende afsluit.
• hij alle vakken met een voldoende afsluit waarbij er één 5 is
toegestaan.
• hij alle vakken met een voldoende afsluit waarbij er één 5 is
toegestaan, mits gecompenseerd met een 8 op een ander
willekeurig vak.
• hij alle vakken met een voldoende afsluit waarbij er één 5 is
toegestaan, mits gecompenseerd met een 8 op vak in hetzelfde
thema (bijv. methoden en technieken, communicatie, project
e.d.).

5. 5
Casus A
Welke van onderstaande toetsen is de ‘beste’.
U geeft een toets aan studenten. In de toets zitten 20
vierkeuzevragen.
• Als een student 1 of meer vragen fout heeft zakt hij voor de
toets.
• Als een student 10 of meer vragen fouten heeft is hij gezakt
voor de toets.
• Als een student 7 of meer vragen fouten heeft is hij gezakt voor
de toets.
• een student 3 of meer vragen fout heeft zakt hij voor de toets.

6. 6
Casus B
Welke van onderstaande cursussen is de ‘beste’.
• U geeft een cursus aan studenten. De toetsing bestaat uit 4
opdrachten die elk 10% van het eindcijfer bepalen en 1
eindtoets die 60% van het eindcijfer bepaalt.
• De student slaagt voor de cursus als alle onderdelen met een
voldoende zijn afgerond. Bij niet slagen moet de gehele cursus
worden over gedaan.
• De student slaagt voor de cursus als het gemiddelde van de
opdrachten voldoende is gescoord en hij slaagt voor de
eindtoets. Bij niet slagen moet de gehele cursus worden over
gedaan.
• De student slaagt voor de cursus als het gemiddelde van de
opdrachten voldoende is gescoord en hij een voldoende scoort
voor de eindtoets. Bij niet slagen moet de gehele cursus worden
over gedaan.
• De student slaagt voor de cursus als het gemiddelde van alle
opdrachten en de eindtoets tot een voldoende leidt. Bij niet
slagen moet de gehele cursus worden over gedaan.
• De student slaagt voor de cursus als het gemiddelde van alle
opdrachten en de eindtoets tot een voldoende leidt. Bij niet
slagen kan de student zelf bepalen welk onderdeel hij herkanst
om alsnog gemiddeld op een voldoende uit te komen.

7. 7
Waarom compensatorisch?
• Om foute examenbeslissingen te verminderen (misclassificaties)
• Stimuleert om hard te studeren en niet uit te stellen. Wilbrink1
Zie:
heeft e.e.a. theoretisch benaderd en komt op basis van
nutsfuncties tot de conclusie dat studenten simpelweg harder
gaan studeren bij compensatorisch toetsen, mits de toetsen
‘doorzichtig’ zijn.
http://www.benwilbrink.nl/publicaties/77CesuurbepalingCOWO.htm
. Dit betreft een ‘oud’ artikel van Ben Wilbrink uit 1977! Hoe veel
geldigheid heeft die informatie op dit moment dan nog steeds!
1
http://www.benwilbrink.nl/publicaties/95StudiestrategieORD.htm

8. 8
Wat kan er wettelijk?
De wetgever schrijft voor dat de faculteit vastlegt hoeveel malen per
studiejaar de gelegenheid wordt geboden tot het afleggen van de
tentamens (art. 7.13 WHW).
Ten aanzien van het Bindend Studieadvies stelt de wetgever als eis
dat 'de desbetreffende opleiding zorgt voor zodanige voorzieningen
dat de mogelijkheden voor goede studievoortgang zijn gewaarborgd'
(art. 7.8b WHW).

9. 9
En wat zegt de ethiek2?
Bespreking van casus Universiteit Utrecht
• Gelijkheidsbeginsel
• Gokkans
• Knowledge of results.
• Geen cum-laude.
• Bestrijding van gokgedrag en zesjescultuur.
• Optimaal gebruik van voorzieningen.
• Verhoogde slaagkans voor vele studenten.
• Bestrijding van gokgedrag.
• Schade voor minder vlotte studeerders.
• A-normale studenten worden gedupeerd.
• Inconsistente prikkels.
• Beheersing van de regeldruk.
Maar wat zou je moeten concluderen?
2
Wes Holleman, weblog onderwijs 7-6-2010, http://www.onderwijsethiek.nl

10. 10
Effecten compensatorisch toetsen
• Snellere doorstroming, minder deelname aan herkansingen.
• Geen aantoonbare negatieve gevolgen.
• Het voordeel van conjunctief toetsen is ook niet aangetoond.
• Meer positieve BSA adviezen (dus minder voorwaardelijke
gevallen)
• Gelijkblijvend aantal negatieve BSA adviezen
• Minder discussie over bijvoorbeeld de 5,4’s etc. De eisen
kunnen gewoon wat zwaarder worden. Dat is positief. Zie
bijvoorbeeld: http://www.dub.uu.nl/content/strengere-
herkansingseisen-zijn-bedoeld-als-straf of
http://www.onderwijsethiek.nl/?p=1762
• Maken docenten dan vakken moeilijker? Misschien. Interessant.

11. 11
Mogelijke nadelen van compensatorisch toetsen
• Laag cijfer op een belangrijk vak gecompenseerd kan worden
door een hoog cijfer op een minder belangrijk vak. Maar wat is
belangrijk? --> het vak waarop laag wordt gescoord.
• Laatste vak verwaarlozen – geen docent wil zijn/haar vak meer
in juni hoeven afronden? Dus heel erg moeilijk vak in het begin
van het curriculum plaatsen
• Beschuldiging moeten pareren dat compensatorisch toetsen
een NEP-onderwijsverbetering is.
• Oplossen dmv toepassing van gedeeltelijke compensatie
o Alleen 5-en compenseren
o Alleen 1 vak onvoldoende
o Alleen 1 vak binnen cluster van ‘vergelijkbare’ vakken
o Compensatie alleen laten gelden voor beperkte periode
o Zorg dat het eindbeeld van een opleiding helder is!

12. 12
Toetsen en Rendement
Workshop 2 13.00 – 14.10 uur: Cesuurstelling en Misclassificaties.

13. 13
Cesuurstelling - Zak/slaaggrens
Onderbelicht fenomeen in het onderwijs
Algemeen model voor toetsen en scoreverdeling
Betrouwbaarheid
• Betrouwbaarheid neemt toe bij toename van aantal vragen (of
opdrachten, criteria, beoordelingen etc.)
• Betrouwbaarheid neemt toe bij grotere spreiding van kennis in
de te toetsen populatie.

14. 14
Basisprincipes voor cesuurstelling
Absoluut Bij de absolute methode bepaalt u vooraf de
voldoende/onvoldoende grens (cesuurscore). Die
grens wordt ingegeven door het uitgangspunt dat
gecontroleerd moet worden of studenten voldoen aan
de eisen die kunnen worden afgeleid uit de
doelstellingen van het onderwijs.
Relatief De relatieve methode gaat uit van het idee dat de
toets afgestemd moet zijn op studenten die gerechtigd
zijn tot het volgen van onderwijs. Op basis van dat
principe moet de meerderheid van hen in staat geacht
worden om te slagen voor een toets. Omdat vooraf
niet bekend is waartoe studenten bij het gegeven
onderwijs en de gegeven toets in staat zijn, kan de
norm niet vooraf worden vastgesteld. Het resultaat op
de toets moet worden afgewacht om de grens te
kunnen vaststellen.
Compromis De compromismethode probeert de principiële
verschillen tussen absoluut en relatief cesuurstellen te
overbruggen en heeft in de onderwijspraktijk de
voorkeur. Bij de compromismethode wordt in het
algemeen uitgegaan van een absolute norm en wordt
aangegeven onder welke omstandigheden van deze
absolute norm zal worden afgeweken. Een van de
compromismethoden staat hieronder beschreven.

15. 15
Meer uitgewerkte methoden
Absoluut
Angoff (kans dat een 6-jes student de vraag goed beantwoord)
Nedelsky (meerkeuzevragen – elimineren van alternatieven – rest
wordt kans)
Ebel (matrix met kans hoeveel items 6-jes student per cel goed heeft)
Kernitem
Neem ongeveer 25% van de vragen die echt de kern van de stof
bevatten en die elk goed onderscheid maken tussen de studenten die
de stof beheersen en die deze niet beheersen. Bepaal op basis
daarvan de cesuur.
Bookmark (orden de items van gemakkelijk naar moeilijk en kies
midden tussen tussen het moeilijkste item dat een zesjesstudent

16. 16
correct zal beantwoorden (item B) en het makkelijkste item dat een
zesjesstudent fout zal beantwoorden (item A)).
JBF (Janboerefluitjes) 60% van de helft
Relatief
Grading on the curve (bij veronderstelde normaalverdeling: werken
met gebruik van gemiddelde score + constante * de Standaard
Afwijking om vooraf bepaald percentage gezakten te bereiken)

17. 17
Contrast-groep (vergelijk verdeling van 2 groepen waarvan op
voorhand bekend is dat ze tot een mindere cq. betere groep
behoren)
Grens-groep (selecteer groep van 6-jes studenten, maak de verdeling
en bepaal op basis daarvan de cesuur = mediaan)
Compromis
Beuk (bepaal eerst absolute cesuurscore, vergelijk met behaald
slagingspercentage: middel deze twee)

18. 18
Hofstee (bepaald
Meer lezen:
Kloppenbur, M. (2003). Hoofdstuk 9: Normeren Ontwikkeling van
een psychometrische kwaliteitsanalyse voor de toetsenbank van de
Examenbank EbA, te downloaden o.a. via
https://www.surfgroepen.nl/sites/qmpvu/Diverse%20manuals%20va
n%20Questionmark/Normeren.pdf of
http://www.examenbank.nl/media/items2/110.pdf
Gregory J. Cizek and Michael B. Bunch (2007). Standard setting. A
guide to establishing and evaluating performance standerds on tests.
Sage.

19. 19
R. K. Hambleton and M. J. Pitoniak (2006). Setting performance
standards. In R. L. Brennan: Educational measurement 4th edition
pp. 433-470.

20. 20
Score en betrouwbaarheid van de uitslag
• Betrouwbaarheid neemt toe bij toename van aantal vragen (of
opdrachten, criteria, beoordeingen etc.)
• Betrouwbaarheid neemt toe bij grotere spreiding van kennis in
de de toetsen populatie.
Stel op toets is max score =100, Standaard afwijking = 4,5 punten
Stel score 67 punten: 90% interval tussen 67+/- 4,5*1,65= 59,6 - 74,4
punten (range van 14,8 punten!).
Zakslaaggrens toets 67 punten
90% betrouwbaar terecht gezakt 52,1 punten
90% betrouwbaar terecht geslaagd 81,9 punten

21. 21
Misclassificaties
Dousma et al. (1997) Tentamineren.
In percentage: 22/200=11% onterecht gezakten

22. 22
In combinatie conjunctief en
compensatorisch toetsen
Enig eenvoudig rekenwerk omtrent kansen van
onterecht zakken
(op basis van Wilbrink, 1977!)
Stel, een student is in principe redelijk bekwaam en in staat om te
slagen. Stel nu dat hij voor elke afzonderlijke toets een kans van 10%
heeft om onterecht te zakken. En stel de propedeuse bestaat uit 5
vakken.
Wat is de kans dat hij in één keer slaagt bij conjunctief toetsbeleid?
(1-0,1)5
=0,590
En de kans om niet in één keer te slagen?
1-kans om wel te slagen = 0,406
Wat is nu de kans om in 1 keer te slagen als er ook nog één
herkansingsmogelijkheid is?
(0,9+0,09)5
=0,95
is een kans van 1 op 20 dat hij het onterecht niet haalt.
En wat als de kans om onterecht te zakken 0,5 is. Wat is de kans dan
om in één keer te slagen inclusief herkansing?
(0,5+0,5*0,5)5
=0,240

23. 23
Enig eenvoudig rekenwerk omtrent
studievertraging
Conjunctief
Stel, een student is in principe redelijk bekwaam en in staat om te
slagen. Stel dat een studiefase bestaat uit 12 toetsen. Stel nu dat hij
voor elke afzonderlijke toets een kans van 10% heeft om te zakken.
Stel dat het tijdverlies voor een herhaling van de toets 1,5 maand
bedraagt.
Wat is de verwachte vertraging van de student per onderdeel bij
conjunctief toetsen?
0,1 *1,5+(0,1)2
*1,5+(0,1)3
*1,5=0,166 maand
Wat is de totale studievertraging?
12*(0,166) =2 maanden
Wat is de totale studievertraging als de kans 20% is om te zakken?
12(0,2*1,5+(0,2)2
*1,5+(0,2)3
*1,5 = 4,5 maanden

24. 24
Compensatorisch
Stel dat er sprake is van een student die gemiddeld een 6,75 kan
scoren. In principe kan hij voor de 12 vakken totaal 6,75*12=81
punten halen.
Om te slagen wordt de regel gehanteerd dat er gemiddeld een 6,5
gescoord moet worden over de 12 vakken. De cesuurscore is
derhalve
6,5*12=78 punten
Stel dat over alle vakken gemiddeld de standaardmeetfout 1 punt
bedraagt.
Wat is nu de kans dat hij minder dan 78 punten behaald?
We rekenen met de standaardmeetfout. De standaardmeetfout op
de totale score is namelijk
12*1*1/12 = 1 punt
Verwaarloosbaar klein derhalve.

25. 25
Andere kijkwijze
Toets 1 Toets 2 Toets 3 Totaal
onter
echt
gezakt
conju
nctief
Totaal
ontere
cht
gezakt
compe
nsatori
sch
Conjunctief Casus A1:
100% nieuw
zakt
10% van
totaal zakt
onterecht
10% extra van
totaal zakt
onterecht
10% extra
van totaal
zakt
onterecht
30%
Compensat
orisch
Casus A2:
100% nieuw
zakt, maar
daarvan
compenseer
t 50%
5% van totaal
maar
onterecht
gezakten
compenseert
met toets 2 of
3
5% van totaal
maar onterecht
gezakten
compenseert
met toets 1 of 3
5% van totaal
maar
onterecht
gezakten
compenseert
met toets 1
of 2
0%
Conjunctief Casus B1:
50% nieuw
zakt
10% van
totaal zakt
onterecht
5% extra van
totaal zakt
onterecht
5% extra van
totaal zakt
onterecht
20%
Compensat
orisch
Casus B2: 5% van totaal
maar
onterecht
gezakten
compenseert
met toets 2 of
3
5% van totaal
maar onterecht
gezakten
compenseert
met toets 1 of 3
5% van totaal
maar
onterecht
gezakten
compenseert
met toets 1
of 2
5%