In dit artikel wordt voor een cruciale te verwerven competentie in de lerarenopleiding, de didactische bekwaamheid, nagegaan in hoeverre het aannemelijk is dat tegen het einde van de LIO-stage een valide beslissing genomen kan worden over de verwerving van deze competentie.

1. Vaststellen van Inleiding
didactische bekwaamheid Veel lerarenopleidingen hebben de
laatste jaren hun curricula ingericht
volgens de principes van 'competen-
tijdens de LIO-stage tiegericht opleiden'. Kenmerkend
verschil met de meer traditioneel
georiënteerde opleidingen is dat
authentieke beroepstaken de bouw-
Toetsen moeten valide scores opleveren. Elke docent kent deze stenen van het curriculum vormen
belangrijkste te stellen kwaliteitseis aan onderwijskundige metingen. in plaats van vakdisciplines en
Maar er 'iets' mee doen in de eigen beoordelingspraktijk is een heel schoolvakken. De recent onderschei-
ander, lastiger verhaal. Dat geldt zeker als de te meten eigenschap den startbekwaamheden zoals
verder reikt dan het memoriseren of begrijpen van kennis, zoals beschreven in de wet BIO gelden
bijvoorbeeld het geval is bij de sinds enkele jaren populaire compe- daarbij steeds vaker als richtsnoer
tenties. voor zowel de opbouw van het cur-
In dit artikel wordt voor een cruciale te verwerven competentie riculum als de beoordeling van de
in de lerarenopleiding, de didactische bekwaamheid, nagegaan in studenten (SBL, 2003).
hoeverre het aannemelijk is dat tegen het einde van de LIO-stage
een valide beslissing genomen kan worden over de verwerving van
deze competentie. Onderzocht is in hoeverre de beoordelingspraktijk Met de komst van competentiege-
tijdens de LIO-stage tegemoetkomt aan de kwaliteitseisen volgens richt opleiden is de behoefte aan
Kane's valideringsprocedure. Daartoe hebben 387 LIO's en 105 stage- andersoortige vormen van toetsing
begeleiders afkomstig van 18 pabo's en 59 mentoren van betrokken en beoordeling toegenomen (Dierick
& Dochy, 2001; Straetmans & San-
basisscholen gerespondeerd op schriftelijke vragenlijsten. De resulta-
ders, 2001). Ten opzichte van traditi-
ten lijken aan te geven dat de beoordelingspraktijk tijdens de LIO-
onele opleidingen verschuift de
stage op diverse punten zwakheden vertoont die het nemen van valide
nadruk van de voorwaarden voor
beslissingen over didactische bekwaamheid in de weg staan. competent handelen (vakdidacti-
sche kennis en vaardigheden) naar
het handelen in authentieke beroep-
staken zelf (Uhlenbeck, Verloop, & Beijaard, 2002) en naar de gevolgen van
dat handelen, zoals bijvoorbeeld zichtbaar gemaakt in de al dan niet schrif-
telijke prestaties van onderwijsdeelnemers.
Hoewel het nodige geschreven is over de wenselijkheid van competentie-
gericht beoordelen, is relatief weinig bekend over de mate waarin deze
nieuwe beoordelingsvorm inmiddels is ingevoerd bij lerarenopleidingen
en nog minder over de kwaliteit daarvan. Het meest recente onderzoek op
dit terrein dateert nog uit het pre-SBL tijdperk. Geconcludeerd werd dat
"…gezien het feit dat toetsing binnen het competentiegerichte curriculum zich
nog in een experimenteel stadium bevindt en er momenteel nog weinig gegevens
beschikbaar zijn over de betrouwbaarheid en validiteit van deze nieuwe toetsvor-
men, het eindniveau van de studenten onvoldoende gewaarborgd kan worden.”
(Onderwijsinspectie, 2003, p. 12). Vijf jaar later is de problematiek nog
even actueel gelet op de conclusie van de staatssecretaris in de Monitor
Beleidsagenda Lerarenopleiding 2005-2008, die luidt dat door het achter-
blijven van de kwaliteit van toetsing en examinering het hbo-niveau
onvoldoende kan worden geborgd (Ministerie van OCW, 2008). Ook de
AUTEUR(S)
Gerard J.J.M. Straetmans Onderwijsraad concludeert dat integrale examinering van vaardigheden
Saxion, Cito Arnhem en/of competenties versterking behoeft met het oog op de borging van het
eindniveau van aanstaande leraren (Onderwijsraad, 2009, p.23). Voor
Erik Roelofs, opleidingen moet dit, zeker nu de NVAO van plan is de accreditatie-eisen
Cito Arnhem
op het gebied van toetsing en examinering aan te scherpen, het signaal zijn
om de kwaliteit van competentiegerichte beoordelingen nadrukkelijker te
Marit Peters,
Universiteit Twente gaan bewaken.
Enschede
Om meer zicht te krijgen op de huidige beoordelingspraktijk van compe-
tentiegerichte lerarenopleidingen heeft Cito in samenwerking met vier
lectoraten1 in het studiejaar 2008-2009 een survey uitgevoerd bij lerarenop-
leidingen voor het basisonderwijs. Daarbij werd uitsluitend gekeken naar
4 de LIO-stage, tijdens welke de aspirant-leraar basisonderwijs de verant-

2. woordelijkheid krijgt voor het onderwijs aan een Tot in de jaren tachtig van de vorige eeuw was het
groep, in samenwerking met de vaste groepsleer- ideale model voor de validering van performance
kracht(en). De aspirant-leraar toont daarmee aan in assessments gebaseerd op empirisch onderzoek dat
hoeverre hij, in de ogen van de opleiding, startbe- het verband tussen toetsscores en scores op een of
kwaam is. ander extern criterium uitdrukte in een correlatie
coëfficiënt (Ebel, 1983). Het lijkt heel plausibel om
de validiteit van bijvoorbeeld een examen af te meten
aan de successen van de gediplomeerde in een of
Verantwoord vaststellen van didactische
andere relevante vervolgsituatie, bijvoorbeeld de
bekwaamheid
beroepspraktijk. Maar wat moet verstaan worden
Didactische bekwaamheid kan niet worden afgeleid onder successen (er blijkt vaker niet dan wel een
uit beheersing van de vereiste voorwaardelijke kennis absoluut beheersingsniveau of 'gouden standaard'
(op het gebied van ondersteunende vakdisciplines en bepaald te zijn) en hoe meten we die op een zodanige
basisschoolvakken) en evenmin uit reflectieverslagen wijze dat ze in ieder geval betrouwbaarder en meer
van de student over de uitvoering van beroepstaken. valide zijn dan het te evalueren examen zelf? Immers,
Didactische bekwaamheid moet blijken; blijken uit niemand is gebaat bij validering aan een 'wrak' crite-
het feit dat de aspirant docent adequaat handelt in rium. Naast praktische zijn er ook methodologische
taaksituaties die representatief zijn voor de taakver- problemen, namelijk dat meestal alleen de geslaagden
vulling in het beroep. De LIO-stage is bij uitstek in een dergelijke valideringsstudie kunnen participe-
geschikt om daarvoor het bewijsmateriaal te leveren. ren aangezien de gezakten dikwijls geen toegang tot
De LIO-stage kan opgevat worden als een soort de vervolgsituatie hebben. Fundamenteler nog is de
proeve van bekwaamheid, een ultieme hands-on kritiek van Borsboom, c.s. (2004), welke inhoudt dat
toets (Straetmans, 2006, p.41) voor het vaststellen met correlatiestudies weliswaar verbanden zijn op
van bekwaamheden. 'Ultiem' omdat toetssituatie en te sporen tussen variabelen maar geen oorzakelijke
criteriumsituatie (dat waarvoor de kandidaat wordt verbanden. En dat laatste is een belangrijke zwakheid
opgeleid en waar het diploma toegang tot verleent) omdat volgens deze auteurs een meetinstrument
nauwelijks van elkaar te onderscheiden zijn. Door de slechts valide metingen kan opleveren als variaties in
sterke gelijkenis met de criteriumsituatie wordt vaak de meetresultaten veroorzaakt worden door variaties
gedacht dat een proeve van bekwaamheid als vanzelf in de te meten eigenschap.
leidt tot uitkomsten die valide te interpreteren zijn.
Helaas blijkt de toegeschreven hoge validiteit van de Kane (1999) bewandelt een volledig ander pad met
proeve van bekwaamheid soms niet meer dan schijn- zijn argument-based benadering van het validerings-
validiteit te zijn (Straetmans, 2006, p.21). Om die reden, vraagstuk van performance assessments. Volgens
maar ook vanwege de toenemende druk vanuit de hem gaat het er bij validiteit om dat op grond van
samenleving en de politiek om het eindniveau van een assessmentprestatie op overtuigende wijze bear-
de lerarenopleidingen te borgen, lijkt het niet verstan- gumenteerd kan worden dat een bepaalde beslissing
dig om beslissingen te nemen over de didactische over de kandidaat gerechtvaardigd is. Om de presta-
bekwaamheid van kandidaten zonder dat de kwali- tie van een individu op een assessmenttaak of -pro-
teit van de daarvoor gebruikte assessmentprocedure gramma te kunnen interpreteren in termen van diens
geborgd is. beroepsmatige competentie zijn volgens Kane op zijn
TIJDSCHRIFT VOOR LERARENOPLEIDERS (VELON / VELOV) - 32(1) 2011
minst de volgende vier 'inferenties' noodzakelijk:
1 De geobserveerde assessmentprestatie wordt
beoordeeld en uitgedrukt in een score op een
Didactische bekwaamheid moet blij-
bepaalde beoordelingsschaal;
ken uit het feit dat de aspirant docent
2 Vanuit deze geobserveerde score wordt gegenera-
adequaat handelt in taaksituaties
liseerd naar een verwachte score over het assess-
die representatief zijn voor de taak-
mentdomein (dat is de denkbeeldige verzameling
vervulling in het beroep.
van alle relevante assessmenttaken die voorgelegd
zouden kunnen worden aan de kandidaat);
3 Vanuit de verwachte score over het assessment-
Onderwijskundige metingen, ongeacht of ze bedoeld domein wordt geëxtrapoleerd naar een verwachte
zijn om kennis, vaardigheden of bekwaamheden te score over het praktijkdomein (dat is de denkbeel-
meten, moeten zuiver en relevant zijn of, in psycho- dige verzameling van alle relevante taaksituaties
metrisch jargon, betrouwbaar en valide. Een meting waarmee de startende professional geconfronteerd
is betrouwbaar als bij herhaalde uitvoering van de kan worden);
meetprocedure steeds min of meer hetzelfde meet- 4 Op basis van de verwachte score over het praktijk-
resultaat wordt verkregen. Valide is een meting als domein wordt een conclusie getrokken over de
hij de gebruiker de juiste informatie verstrekt voor beroepsmatige competentie of bekwaamheid.
het nemen van een of andere beslissing. Validiteit
wordt doorgaans als de meer belangrijke eigenschap Performance assessments kunnen in hun ontwerp en
beschouwd van meetresultaten. Toch is het vaak dit uitvoering 'zwakke plekken' hebben die een serieuze
kwaliteitskenmerk dat bij evaluaties van onderwijs- bedreiging vormen voor genoemde inferentieproce-
kundige meetinstrumenten met een onvoldoende dure. Met een schriftelijke bevraging van de belang-
beoordeeld wordt of in het geheel niet beoordeeld rijkste betrokkenen hebben we geprobeerd zicht te
kan worden omdat de ontwikkelaars van het instru- krijgen op de beoordelingspraktijk in de LIO-fase en 5
ment er geen onderzoek naar gedaan hebben. vooral op de vraag in hoeverre de beoordelingsproce-

3. dures hinder ondervinden van deze bedreigingen en taakdomein. Het oordeel over competentie of
daarmee een belemmering vormen voor een succes- bekwaamheid zou niet afhankelijk mogen zijn van de
volle inferentieprocedure. specifieke set van uitgevoerde assessmenttaken. Vol-
gens onderzoek echter speelt in alle domeinen het
probleem van de taakspecifieke prestatie (Linn & Bur-
ton, 1994). Het zou een gevolg zijn van het feit dat
Onderzoek naar de beoordelingspraktijk
kennis en vaardigheden niet zonder meer overdraag-
gedurende de LIO-stage
baar zijn van de ene toepassingscontext naar de
Doel van de LIO-stage is het verwerven van start- andere. Het is dus maar de vraag of een conclusie
bekwaamheid; dat is een brede bekwaamheid die over didactische bekwaamheid die vooral gebaseerd
niet alleen betrekking heeft op de onderwijstaken is op bewijsmateriaal afkomstig uit gegeven taalles-
binnen de klas, maar op alle bij het beroep van leer- sen, ook geldig is voor de andere schoolvakken. Maar
kracht behorende werkzaamheden zoals: het deel- ook binnen een bepaald schoolvak is een dergelijke
nemen aan vergaderingen, het houden van beoorde- vraag gerechtvaardigd: een prima verzorgde instruc-
lingsgesprekken, het omgaan met ouders, enz. tie over het optellen en aftrekken met ongelijknamige
De hoofdtaak is echter het zelfstandig begeleiden breuken biedt geen garantie voor de kwaliteit van een
van een groep leerlingen. Daarvoor heeft een LIO instructie over meten met inhoudsmaten. Voorkomen
voldoende didactische bekwaamheid nodig. moet worden dat de conclusie over de didactische be-
kwaamheid van een LIO heel anders uitvalt bij een
andere selectie van assessmenttaken. Dat kan door
Vraagstelling een zorgvuldige afbakening en beschrijving van het
Tijdens de LIO-stage worden taken uitgevoerd aan taakdomein en de relevante condities waaronder
de hand waarvan beoordeeld wordt of de LIO in vol- gepresteerd moet worden en door een selectie van
doende mate didactisch bekwaam is. Onderhavige assessmenttaken die deze verscheidenheid vertegen-
studie werd opgezet om antwoord te krijgen op de woordigt. Dan nog kan een uitkomst echter zijn dat
vraag of de beoordelingspraktijk tijdens de LIO-stage prestaties op assessmenttaken sterk variëren, hetgeen
gerechtvaardigde beslissingen over de verwerving dan de vraag oproept of er wellicht niet meer dan één
van didactische bekwaamheid toelaat. De aandacht competentie of bekwaamheid in het geding is. Bij-
is daarbij vooral uitgegaan naar de vraag in hoeverre voorbeeld, doordat didactische bekwaamheid op het
het ontwerp en de uitvoering van de assessments tij- gebied van aanvankelijk lezen iets anders behelst dan
dens de LIO-stage tegemoetkomen aan de voorwaar- didactische bekwaamheid op het gebied van rekenen.
den voor een succesvolle inferentieprocedure. Bij het De LIO zou de ene verworven kunnen hebben en de
ontwerp van de vragenlijsten is dan ook nauw aange- andere (nog) niet. In de survey hebben we de respon-
sloten bij de verschillende stappen in de inferentie- denten bevraagd op diverse aspecten die verband
procedure. Dat lichten we hieronder eerst toe. houden met de kwaliteit van de steekproef van
assessmenttaken.
Voorwaarden voor een accurate beoordeling
De eerste inferentie heeft te maken met de observatie Voorwaarden voor extrapolatie van assessmentprestaties
en waardering van een assessmentprestatie en de Met de derde inferentie wordt de interpretatie van de
kwantificering daarvan in een score. Om te kunnen assessmentscore uitgebreid (geëxtrapoleerd) naar het
dienen als een basis voor verdere inferenties moet doel- of praktijkdomein. Het praktijkdomein wordt
de geobserveerde score accuraat zijn, ofwel zoveel gevormd door de volledige verzameling taaksituaties
mogelijk vrij zijn van meetfouten. Meetfouten wor- waarin iemand geacht wordt adequaat te kunnen
den veroorzaakt door imperfecties in de meetproce- handelen als de te toetsen competentie of bekwaam-
dures. Die kunnen van allerlei aard zijn. Zoals bij- heid verworven is. De vraag die hier in het geding is,
Vaststellen van didactische bekwaamheid tijdens de LIO-stage
voorbeeld onduidelijkheid bij betrokkenen over luidt: In hoeverre is het mogelijk om op grond van
de aard en uitvoering van de beoordelingsprocedure. de assessmentprestatie een conclusie te trekken over
Of een onvoldoende uitgewerkte operationalisatie de verwachte prestatie in de vervolgsituatie waarover
van de te beoordelen bekwaamheid, zoals kan blijken het assessment een uitspraak wil doen? Meer concreet
uit het ontbreken van een heldere en volledige be- gesteld: Geven de resultaten op de tijdens de LIO-
schrijving van het taakdomein en/of uit het ontbreken stage uitgevoerde assessmenttaken voldoende hou-
van helder geformuleerde prestatiecriteria. Of onvol- vast om uitspraken te doen over het didactisch han-
doende controle op de beoordelingskwaliteit van de delen in de reële beroepspraktijk? Om hier zicht op te
assessoren. Maar ook de onzekerheid over de her- krijgen zijn de respondenten bevraagd op de authen-
komst van bewijsstukken en dergelijke. Op deze en ticiteit van de assessmenttaken tijdens de LIO-stage.
nog andere aspecten zijn de respondenten bevraagd.
Voorwaarden voor een accurate beslissing
Voorwaarden voor generalisatie van assessmentprestaties De laatste inferentie behelst het trekken van een con-
De tweede inferentie gaat over de toelaatbaarheid clusie over de in het geding zijnde competentie of
van een generaliserende uitspraak over al die andere bekwaamheid op grond van de geobserveerde assess-
assessmenttaken die aangeboden hadden kunnen mentscores. Dit houdt in dat deze scores geëvalueerd
worden. Het doel van een assessment is niet zozeer worden door ze te vergelijken met een vastgestelde
om te weten te komen wat een kandidaat presteert op standaard om op grond daarvan te beslissen of de
de concrete assessmenttaken, maar om een conclusie LIO didactisch bekwaam is of niet. Om willekeur te
6 te trekken over het al dan niet verworven zijn van voorkomen is het gewenst dat de standaard helder
competentie of bekwaamheid op een beschreven omschreven is en dat aangegeven is hoe de assess-

4. mentscores daartegen moeten worden afgezet. Uiter- blijkt ongeveer driekwart van de stagebegeleiders
aard moet de standaard zelf valide zijn, maar de te kunnen beschikken over door de opleiding ver-
vaststelling daarvan is bijzonder lastig en is zeker niet strekte scorevoorschriften, beoordelingsschalen of
uitvoerbaar aan de hand van een schriftelijke vragen- andere hulpmiddelen om prestaties te beoordelen.
lijst. Vandaar dat de respondenten in dit kader alleen Voor mentoren is dit 60 procent.
bevraagd zijn op de aanwezigheid van procedures • De inzet van een portfolio waarin de LIO bewijs-
die voorschrijven hoe men op grond van beoordeelde stukken voor zijn didactische bekwaamheid ver-
assessmentscores kan komen tot een beslissing over gaart doet veronderstellen dat er in de LIO-stage
didactische bekwaamheid. voornamelijk analytisch beoordeeld wordt. Maar
de reacties op de vraag aan assessoren of zij bewijs-
stukken van LIO's elk afzonderlijk van een oordeel
Onderzoeksopzet voorzien, laten twijfel ontstaan over die constate-
Instrumenten ring. Meer dan 40 procent van de stagebegeleiders
Om informatie te verkrijgen over de realisatie van en 16 procent van de mentoren geeft aan bewijs-
de voorwaarden voor solide (betrouwbare en valide) stukken niet afzonderlijk te beoordelen. Wanneer
beoordelingen tijdens de LIO-stage zijn per inferentie dit wel gebeurt geeft 35 procent van de stagebege-
vragen opgesteld en ondergebracht in vijf rubrieken. leiders en 50 procent van de mentoren aan dit te
Voor verdere details wordt verwezen naar Peters (2009). doen in termen van 'onvoldoende', 'voldoende' of
De vragen zijn opgenomen in drie evaluatieve vra- 'goed'.
genlijsten voor de groepen direct betrokkenen bij de • Ondanks het massale gebruik van door de oplei-
beoordeling van de LIO-stage: studenten, mentoren ding verstrekte prestatiecriteria is het niet voor elke
vanuit de basisschool, en stagebegeleiders vanuit de LIO duidelijk waarop hij tijdens de LIO-stage
opleiding. De vragenlijsten zijn web-based afgeno- beoordeeld wordt. Slechts 42 procent reageert met
men (toegankelijk via een URL) in de periode van 'helemaal duidelijk'. Voor 8, 11 en 39 procent van de
januari tot half april 2009. ondervraagde LIO's is dit respectievelijk 'volstrekt
onduidelijk', 'redelijk onduidelijk' en 'enigszins dui-
Respondenten delijk'.
In totaal hebben 387 LIO's, 59 mentoren vanuit basis-
scholen en 105 stagebegeleiders vanuit PABO's aan Voldoende bewijslast
het onderzoek deelgenomen. De stagebegeleiders en Bij deze voorwaarde gaat het niet alleen om de hoe-
LIO's zijn afkomstig van 14 PABO's, gespreid over het veelheid bewijs maar ook om de kwaliteit daarvan.
land. Van de 37 PABO's die Nederland telt heeft dus Niet elke prestatie kan gelden als een bewijsstuk en
ruim eenderde deel deelgenomen aan het onderzoek. niet elke verzameling bewijsstukken is zonder meer
een goede afspiegeling van het assessmentdomein.
Bevraging van relevante betrokkenen leidde op dit
Resultaten punt tot de volgende constateringen:
• In de vragenlijst is aan stagebegeleiders en men-
De resultaten van de schriftelijke bevraging van de toren gevraagd op hoeveel bewijsstukken ze het
drie betrokken partijen worden hier beschreven in oordeel over didactische bekwaamheid van LIO's
het licht van de voorwaarden waaraan voldaan moet doorgaans baseren. Van de stagebegeleiders geeft
TIJDSCHRIFT VOOR LERARENOPLEIDERS (VELON / VELOV) - 32(1) 2011
zijn voor de vier door Kane geformuleerde inferenties. 55 procent aan daarvoor maximaal vijf bewijsstuk-
ken te beoordelen en 31 procent meer dan zes
bewijsstukken. Bij de mentoren liggen die percenta-
Voorwaarden voor accurate beoordelingen ges op 44 respectievelijk 42 procent.
Gestandaardiseerde beoordeling • Daarnaar gevraagd geeft 89 procent van de stage-
Als er assessoren moeten worden ingezet om gedrag begeleiders en 85 procent van de mentoren aan dat
of producten te beoordelen, is standaardisatie van de ze vanuit de PABO richtlijnen hebben ontvangen
beoordelingsprocedure een beproefde methode om over welke prestaties van LIO's in aanmerking
de subjectiviteit van het assessor-oordeel te beperken. komen als (deel van het) bewijs voor didactische
Standaardisatie van de beoordelingsprocedure houdt bekwaamheid. Ondanks de beschikbaarheid van
in dat er voorschriften zijn voor wat en hoe er beoor- deze richtlijnen zegt eenderde van zowel de stage-
deeld moet worden. Ten aanzien hiervan leidde de begeleiders als de mentoren dat de aangereikte
survey tot de volgende constateringen: bewijzen door LIO's de ene keer voldoende en de
• In de vragenlijst is aan stagebegeleiders van andere keer onvoldoende informatie geven over
de PABO en aan mentoren van de stagescholen hun didactische bekwaamheid. Kennelijk laten de
gevraagd of ze bij het beoordelen van de didacti- richtlijnen zoveel ruimte voor interpretatie dat
sche bekwaamheid gebruik maken van prestatie- LIO's van tijd tot tijd hun didactische bekwaamheid
criteria. Nagenoeg alle stagebegeleiders (98,5%) en proberen te bewijzen met prestaties die daarvoor
mentoren (96%) geven aan dit te doen. De vraag onvoldoende geschikt zijn.
blijft in hoeverre de gebruikte prestatiecriteria vol- • De kwaliteit van het bewijs is ook afhankelijk van
doende ondersteuning kunnen bieden voor een de vraag of er sprake is van een directe registratie
beoordeling. Goed geformuleerde prestatiecriteria van het didactisch handelen van een LIO en van
geven niet alleen aan waarop de beoordeling zich de daaruit voortvloeiende resultaten. In dat geval
moet richten, maar ook welke prestatieniveaus spreken we van 'direct bewijs'. Indirect bewijs
onderscheiden kunnen worden en wanneer van wordt verkregen als de beoordeling van het didac- 7
welk prestatieniveau sprake is. Daarnaar gevraagd tisch handelen en de resultaten berust op een

5. (schriftelijk) verslag van de student zelf, de mentor het leraarschap en wat daarbij van een LIO wordt
of andere assessor, zonder dat het mogelijk is om verwacht. Dat houdt in ieder geval in dat een asses-
het originele bronmateriaal te beschouwen. Bevra- sor de bekwaamheidseisen kent zoals die geformu-
ging van de stagebegeleiders en mentoren liet zien leerd zijn in de wet BIO. Iets meer dan de helft van
dat het aantal indirecte bewijzen behoorlijk groot is: de stagebegeleiders en eenvijfde van de mentoren
Ongeveer 45 procent van de stagebegeleiders en geeft aan dat de PABO bovendien eist dat de asses-
35 procent van de mentoren geeft aan dat minstens sor zelf achter deze eisen kan staan. Tweederde van
de helft van het bewijs van het indirecte soort is. de stagebegeleiders en iets minder dan de helft van
• Op de vraag welk type bewijsmateriaal wordt de mentoren meldt dat de PABO ook eisen stelt aan
opgevoerd, reageert meer dan 80 procent van de de deskundigheid op het gebied van beoordelen.
stagebegeleiders met lesbezoeken, stage- of reflec- •Om de vereiste deskundigheid te verwerven heeft
tieverslagen en gesprekken tussen LIO, mentor tweederde van de stagebegeleiders en ruim een-
en stagebegeleider. Ongeveer 65 procent zegt dat derde van de mentoren een assessorentraining
er lesopzetten als bewijsmateriaal worden aange- gevolgd. Gevraagd naar de inhoud van die training
boden en minder dan 20 procent noemt videover- blijkt dat de meeste assessoren getraind zijn in het
slagen van gegeven lessen en leerprestaties of erva- geven van feedback en het adequaat hanteren van
ringen van leerlingen als gevolg van door de LIO prestatiecriteria. Onderwerpen als 'het bepalen van
gegeven les(sen). Bevraging van de LIO's leverde overeenstemming tussen assessoren' en 'het vor-
een ander beeld op. Driekwart van hen zegt men van een consensusoordeel' blijken veel minder
gesprekken tussen LIO, stagebegeleider en mentor vaak expliciet aan de orde te komen. En juist die
en stage- of reflectieverslagen op te voeren als onderwerpen zijn van belang om beoordelaars in
bewijs en 63 procent gebruikt verslagen van les- staat te stellen om zelfstandig 'de vinger aan de pols
bezoeken. De helft gebruikt lesopzetten als bewijs- te houden' voor wat betreft de kwaliteit van de
materiaal en 35 procent geeft te kennen de leerpres- beoordelingen.
taties van de leerlingen daarvoor te gebruiken. •Aan mentoren en stagebegeleiders is de vraag
•Als we kijken naar de intensiteit waarin stagebege- gesteld hoe vaak zij in de typische beoordelingsval-
leiders bewijzen raadplegen alvorens tot een oor- kuilen lopen. Naar eigen zeggen lopen beide res-
deel te komen over didactische bekwaamheid, dan pondentgroepen niet of nauwelijks in de volgende
valt op dat reflectieverslagen veruit het vaakst inge- valkuilen: de neiging om geen extreem hoge of lage
zien worden (84% bekijkt deze vaker dan twee scores te geven, te snel veralgemeniseren, te streng
keer). De twee directe bewijsbronnen, ingeleverde of juist te mild beoordelen, persoonlijke criteria
lesopzetten (60%) en video-opnames van lessen hanteren, omwille van de relatie niet te streng
(14%), worden veel minder vaak herhaald bekeken. beoordelen, eerder gegeven oordelen tijdens de
•Aan de LIO's is gevraagd of zij of medestudenten LIO-stage een rol laten spelen bij nieuwe beoorde-
wel eens bewijzen voor bekwaamheid opvoeren die lingen. Daarentegen rapporteren stagebegeleiders
niet voortkomen uit zelf geleverde prestaties. wel dat ze af en toe hun algemene indruk over de
Ongeveer 54 procent van de ondervraagde LIO's LIO laten doorwerken in alle beoordelingen.
meent zeker te weten of vermoedt dat anderen zich
daar schuldig aan maken. En vijf procent geeft toe
dat ze zelf één of meerdere bewijsstukken hebben Voorwaarden voor de generalisatie van
aangeleverd die het werk zijn van anderen. Het assessmentprestaties
blijkt daarbij te gaan om van het Internet gehaalde Dekking van het assessmentdomein
bewijzen, om geleende bewijzen van medestuden- Bij een assessment gaat de belangstelling niet zozeer
ten of oud-studenten of om verzonnen bewijzen. uit naar de prestatie op de aangeboden taak of taken,
maar naar de prestatie die naar verwachting geleverd
Vaststellen van didactische bekwaamheid tijdens de LIO-stage
Kwaliteit van assessoren zou worden als de kandidaat alle andere mogelijke
Omdat prestatiecriteria niet zodanig te objectiveren taken (het assessmentdomein genoemd) zou uitvoe-
zijn dat een willekeurige assessor ze zou kunnen toe- ren. Om daarover een betrouwbare uitspraak te kun-
passen, is interpretatie ervan onontkoombaar. Daar nen doen is het noodzakelijk dat de uitgevoerde
komt bij dat assessoren vaak beschouwd worden als assessmenttaken een goede afspiegeling zijn van
de 'zwakste schakel' in het beoordelingsproces het assessmentdomein en de daarin vermelde taak-
(Schoonman, 2005). Het is daarom verstandig te condities. Bevraging van de betrokkenen hierop
investeren in assessoren die deskundig zijn op het leidde tot de volgende constateringen:
betreffende terrein, die kritisch zijn op hun werk, • Diverse vragen in de vragenlijsten voor stagebe-
met name op hun beoordelingsactiviteiten, die inzicht geleiders, mentoren en LIO's hadden tot doel om na
hebben in het beoordelingsconcept, de kwalificatie- te gaan in hoeverre de PABO's maatregelen hebben
eisen van de opleiding en de daarvan afgeleide pres- getroffen om de generaliseerbaarheid van de
tatiecriteria en die hebben deelgenomen aan een assessmentprestaties te borgen. Een daarvan is het
assessorentraining. Ten aan zien van dit onderwerp gericht laten uitvoeren van specifieke taken tijdens
heeft bevraging van de respondenten tot de volgende de LIO-stage. Ongeveer 60 procent van de stagebe-
constateringen geleid: geleiders geeft aan dat de LIO's speciale taken krij-
• De surveyresultaten laten zien dat bijna alle gen waarvan de uitvoering zicht zou moeten geven
PABO's eisen stellen aan hun assessoren. Bijna 95 op de didactische bekwaamheid. Van de LIO's geeft
procent van de stagebegeleiders en tweederde van een kleine 70 procent aan dat dit het geval is.
8 de mentoren geven aan dat de PABO eist dat een • Een andere belangrijke vraag in dit verband is of
assessor goed op de hoogte is van alle aspecten van LIO's expliciet opdracht krijgen om hun didactische

6. bekwaamheid aan te tonen in lessituaties in ver- bewijsstukken tot verschillende totaalscores komen
schillende vakgebieden (zoals taal, rekenen, zaak- en zelfs tot andere beslissingen (bijvoorbeeld in
vakken en creatieve vakken). Iets meer dan de helft termen van geslaagd of gezakt) over didactische
van de stagebegeleiders zegt dergelijke opdrachten bekwaamheid. In dit verband heeft bevraging van de
niet te geven en tweederde van de LIO's zegt derge- respondenten tot de volgende constateringen geleid:
lijke opdrachten niet te krijgen. • Op de vraag of de opleiding een procedure voor-
• Op de vraag of de uitgevoerde assessmenttaken schrijft volgens welke het eindoordeel over de LIO-
inhoudelijk en situationeel gezien voldoende ge- stage berekend (in het geval van kwantitatieve oor-
varieerd zijn om als representatief beschouwd te delen) dan wel afgeleid moet worden uit de scores
kunnen worden voor het gehele spectrum van of beoordelingen die zijn toegekend aan afzonder-
mogelijke taaksituaties, antwoordt 76 procent en lijke prestaties, geeft 81 procent van de stagebege-
82 procent van respectievelijk de stagebegeleiders leiders een positief antwoord. Ondanks het bestaan
en mentoren bevestigend. van dergelijke procedures geeft, zoals al eerder in
dit artikel werd gerapporteerd, 41 procent van de
stagebegeleiders aan prestaties helemaal niet afzon-
Voorwaarden voor de extrapolatie van
derlijk te beoordelen. Dat laatste gegeven corres-
assessmentprestaties
pondeert weer met de bevinding dat meer dan
Representativiteit van de assessmenttaken 40 procent van de LIO's niet op de hoogte was
De context waarin de LIO zijn werk verricht is vaak van een procedure voor zak-/slaagbeslissingen.
niet te onderscheiden van die waarin de bevoegde • Van de bevraagde stagebegeleiders en mentoren
leraar zijn taak uitvoert. Voor assessment doeleinden zegt respectievelijk 71 en 82 procent dat in goed
is dat in principe een prettige situatie. Wat echter pro- overleg een consensusbesluit genomen wordt over
blemen kan geven, is dat de LIO vaak speciale taken de didactische bekwaamheid van de LIO.
krijgt opgedragen waarvan de resultaten als bewijs- • Driekwart van de stagebegeleiders baseert het
stuk in het beoordelingsportfolio worden opgeslagen. eindoordeel op wat de LIO feitelijk gepresteerd
Als die taken onvoldoende representatief zijn voor heeft in zijn stage, maar een kwart doet dit primair
de werkzaamheden in de reële beroepspraktijk dan op basis van een inschatting of de LIO in de toe-
wordt het, ondanks het feit dat de context waarin komst zal uitgroeien tot een startbekwame
gewerkt wordt een perfecte afspiegeling is van de leerkracht.
reële beroepspraktijk, toch moeilijk om op basis van
de resultaten een uitspraak te doen over de didacti-
sche bekwaamheid van de LIO. Bevraging van de Ondanks het feit dat de meeste
respondenten leidde tot de volgende constateringen: opleidingen prestatiecriteria hebben
• Nagenoeg alle ondervraagde stagebegeleiders en geformuleerd, zegt het merendeel
mentoren vinden dat de bewijsstukken die de LIO van de LIO's niet precies te weten
opvoert voor zijn eindbeoordeling een voldoende waarop ze tijdens de LIO-stage
of goede afspiegeling vormen van de taken die de beoordeeld worden.
startbekwame leerkracht in de beroepspraktijk
moet kunnen uitvoeren.
• Het beeld verandert echter bij het stellen van de
TIJDSCHRIFT VOOR LERARENOPLEIDERS (VELON / VELOV) - 32(1) 2011
volgende, meer specifieke vraag over de kwaliteit
van de bewijsstukken: Lesgeven in de praktijk is com- Conclusie en discussie
plex, door de gelijktijdigheid van gebeurtenissen in de Samenvattend zijn de belangrijkste constateringen
klas. De leerkracht moet gelijktijdig en direct adequate naar aanleiding van deze survey:
beslissingen nemen. Hij/zij dient de didactische aanpak 1. Er is reden voor twijfel aan de accuraatheid van
aan te passen aan de kenmerken van de leerlingen. In hoe- beoordelingen die door stagebegeleiders en mentoren
verre vindt u dat de bewijsstukken waarmee de LIO de worden toegekend aan prestaties op al dan niet ex-
eigen bekwaamheid moet aantonen, deze complexiteit pliciet verstrekte assessmentopdrachten. Die twijfel
weerspiegelen? Het percentage stagebegeleiders en wordt ingegeven door:
mentoren dat positief reageert op deze vraag is nu • Niet optimaal uitgewerkte prestatiecriteria. De meeste
een stuk lager: 39 respectievelijk 52 procent vindt opleidingen hebben wel prestatiecriteria geformu-
dat de bewijsstukken een goede weerspiegeling leerd, maar in een kwart van de gevallen worden
vormen van de complexe beroepspraktijk. Ruim 40 die niet ondersteund met hulpmiddelen, zoals
procent van de stagebegeleiders en mentoren vindt scorevoorschriften en beoordelingsschalen, die
de bewijsstukken in dit opzicht wisselend van kwa- de assessor ondersteunen bij de toepassing van
liteit en een kleine 20 procent van de stagebegelei- de prestatiecriteria. Van dergelijke lijstjes met 'aan-
ders (en 6 procent van de mentoren) is van mening dachtspunten voor de beoordeling' mag niet ver-
dat de bewijsstukken in dit opzicht tekortschieten. wacht worden dat ze de assessor kunnen helpen
om prestaties accuraat te beoordelen.
• Onvoldoende consequente toepassing van prestatiecri-
Voorwaarden voor accurate beslissingen
teria. De prestatiecriteria worden te vaak alleen
over bekwaamheid
gebruikt voor het geven van een eindoordeel over
Procedures voor het bepalen van het eindoordeel de LIO-stage en niet om elke assessmentprestatie die
Als er geen procedure is voorgeschreven om tot een tijdens de stage geleverd wordt mee te beoordelen.
eindoordeel te komen, is de kans groot dat verschil- • Onvoldoende transparantie. Ondanks het feit dat de 9
lende assessoren op basis van een reeks gescoorde meeste opleidingen prestatiecriteria hebben gefor-

7. muleerd, zegt het merendeel van de LIO's niet samenstelling van zijn beoordelingsportfolio kan bij
precies te weten waarop ze tijdens de LIO-stage de opleidingen gemakkelijk leiden tot de gedachte
beoordeeld worden. Dit zou een gevolg kunnen dat er geen regels nodig zijn voor de samenstelling
zijn van de onvoldoende uitwerking die aan de van het bewijs voor de te beoordelen bekwaamheid.
prestatiecriteria gegeven is. Dat is riskant. Als een LIO bijvoorbeeld problemen
• Onvoldoende bewijs. Dit als gevolg van ongeschikte ervaart met onderwijs geven in taal of rekenen zal die
bewijsstukken en/of bewijsstukken van onbekende zich bij het aantonen van didactische bekwaamheid
herkomst. Eindoordelen over de didactische liever richten op andere vakgebieden. Zonder vol-
bekwaamheid zijn daardoor in bijna de helft van de doende sturing vanuit de opleiding zullen daarom
gevallen gebaseerd op zwak bewijs (gesprekken en maar weinig beoordelingportfolio's een verzameling
verslagen blijken populairder dan de methodes die bewijsstukken bevatten die voldoende representatief
op directe wijze zicht geven op de bekwaamheid is om op basis daarvan generaliserende uitspraken te
om adequaat te handelen in onderwijsleersituaties). doen over de beheersing van het assessmentdomein
(de verzameling assessmenttaken die de operationali-
2. Er is reden om eraan te twijfelen of de bewijsstuk- satie vormt van de te meten bekwaamheid). Het feite-
ken die de LIO's overleggen een voldoende dekking lijk gehanteerde bewijsmateriaal zal daardoor vaak
garanderen van het assessmentdomein. Het meren- niet de basis vormen om met voldoende zekerheid
deel van de stagebegeleiders en mentoren is daar beslissingen te kunnen nemen over de didactische
optimistisch over, maar gelet op het geringe aantal bekwaamheid. Hier liggen kansen voor verbetering,
bewijsstukken en het ontbreken van sturing vanuit want juist de LIO-stage biedt in beginsel volop gele-
de opleiding met het oog op de verkrijging van een genheid om zowel in kwantitatief als kwalitatief
goede dekking, lijkt dat optimisme niet gerechtvaar- opzicht voldoende informatie te verzamelen over
digd. de vast te stellen bekwaamheid.
3. De mate waarin de bewijsstukken een natuurge-
trouwe afspiegeling zijn van de taken waarmee de
beginnende leraar geconfronteerd wordt, is in begin- NOOT
sel adequaat. Wel vindt een aanzienlijk deel van de 1 Graag willen wij de lectoren bedanken die hebben bijgedra-
bevraagde stagebegeleiders en mentoren dat het door gen aan de totstandkoming van dit onderzoek: Dr. Ellen van
de LIO aangedragen bewijsmateriaal geen goede den Berg (Hogeschool Edith Stein), Dr. Niels Brouwer (Ise-
representatie is van de complexe beroepspraktijk linge Hogeschool) en Dr. Dominique Sluijsmans (Hogeschool
Arnhem en Nijmegen). Ook dank aan de vele coördinatoren
(bijvoorbeeld het omgaan met individuele verschillen
en opleiders van de lerarenopleidingen, de stagementoren
tussen leerlingen).
van de basisscholen en de LIO-studenten voor hun onmis-
bare medewerking aan het onderzoek.
4. Ten slotte twijfelen we ook of voldaan wordt aan de
voorwaarden om te komen tot accurate beslissingen
over didactische bekwaamheid. Weliswaar geeft het
merendeel van de stagebegeleiders aan dat de oplei- LITERATUUR
ding een procedure voorschrijft om tot een eindoor- Borsboom, D., Mellenbergh, G.J., & Heerden, J. van. (2004).
deel te komen, maar op grond van andere responsen The concept of validity. Psychological Review, 111, 4,
die in dit verband verkregen werden, valt af te leiden 1061–1071.
dat deze waarschijnlijk geen regels bevatten om de Dierick, S., & Dochy, F. (2001). New Lines in Edumetrics:
toegekende scores aan assessmentprestaties samen te New Forms of Assessment Lead to New Assessment
vatten in een eindoordeel. Zonder dergelijke regels Criteria. Studies in Educational Evaluation, 27(4), 307-
zijn beslissingen over didactische bekwaamheid 329.
Vaststellen van didactische bekwaamheid tijdens de LIO-stage
subjectief, niet transparant en slecht verdedigbaar
Ebel, R.L. (1983). The practical validation of tests of ability.
naar de betrokkenen. Educational Measurement: Issues and Practice, 2, 2, 7-10.
Inspectie van het onderwijs (2003). Bekwaam afgerond? Eva-
luatie startbekwaamheden in opleidingen Leraar Basison-
Eindoordelen over de didactische derwijs. Inspectierapport, nr. 2003-12. Utrecht: Inspectie
bekwaamheid zijn in bijna de helft van het Onderwijs.
van de gevallen gebaseerd op zwak Kane, M., Crooks, T., & Cohen, A. (1999). Validating Measu-
bewijs. res of Performance. Educational Measurement: Issues and
Practice, 18, 2, 5-17
Linn, R.L., & Burton, E. (1994). Performance-based assess-
De constateringen overziend denken wij dat de ment: Implications of task specificity. Educational
beoordelingspraktijk tijdens de LIO-stage op dit Measurement: Issues and Practice, 13, 1, 5-15.
moment vaak niet zal voldoen aan de voorwaarden
Ministerie van Onderwijs, Cultuur en Wetenschap (2008).
voor een succesvolle inferentieprocedure volgens
Monitor Beleidsagenda Lerarenopleidingen 2005-2008.
Kane. De oorzaak daarvan zoeken wij primair in het
www.minocw.nl/documenten/4347.pdf
ontbreken van voldoende regie bij de inrichting en
uitvoering van procedures voor het vaststellen van Onderwijsraad (2009). Kwaliteitsborging van het eindniveau
didactische bekwaamheid. De grote verantwoorde- van aanstaande leraren. Den Haag: Onderwijsraad.
10 lijkheid die de student met de invoering van het Peters, M. (2009). De praktijk van de beoordeling van
competentiegericht opleiden heeft gekregen voor de LIO-stages binnen lerarenopleidingen basisonderwijs.

8. Een onderzoek naar validiteit van bekwaamheidsbeoorde-
ling bij studenten in de LIO-stage van de lerarenopleiding
basisonderwijs (Master’s thesis). Nijmegen: Radboud
Universiteit.
Schoonman, W. (2005). De zwakste schakels. Over assessment
door assessoren. Onderzoek van Onderwijs, 34, 10-14.
Stichting Beroepskwaliteit leraren en ander personeel.
(2003). Bekwaamheidseisen leraren. Den Haag: SBL.
Straetmans, G.J.J.M., & Sanders, P (2001). Beoordelen van
.F.
competenties van docenten. EPS-reeks 05. Educatief Part-
nerschap.
Straetmans, G.J.J.M. (2006). Bekwaam beoordelen en beslis-
sen. Beoordelen in competentiegerichte beroepsopleidin-
gen. Lectorale Rede. Enschede: Saxion Hogescholen.
TIJDSCHRIFT VOOR LERARENOPLEIDERS (VELON / VELOV) - 32(1) 2011
11