Het anoniem beoordelen van het werk van studenten moet op de UU verplicht worden om te zorgen voor een eerlijke beoordeling. Dat pleidooi las ik vorige week. Nee, geen internetrecht maar wel AVG en een hoop rechtenstudenten lezen deze blog, dus het krijgt vandaag toch een stukje aandacht hier. Want anoniem beoordelen zou niet kunnen volgens het CvB omdat de AVG in de weg zit. Eh, huh?
De kern van het pleidooi is dat de Universiteit Utrecht het anoniem beoordelen van tentamens en werkstukken verplicht moet stellen. Dit ter voorkoming van bias: een docent die weet dat hij het werk van Wim dan wel Wilma nakijkt, kan daar verschillende beoordelingen aan geven terwijl de antwoorden eigenlijk inhoudelijk hetzelfde zijn.
In 2020 zegde de rector van de UU nog toe hiervoor te gaan zorgen, maar dat werd later alsnog afgeblazen:
De vraag is volgens hem of anoniem tentamineren in alle gevallen past bij het uitgangspunt van het Utrechts onderwijsmodel. Dat gaat uit van kleinschalig onderwijs en persoonlijk contact tussen studenten en docenten. In sommige gevallen kan het dan bij de beoordeling van studenten juist een voordeel zijn als de docent de student wél kent.De AVG was dus niet de eigenlijke reden. Die wet komt wel in beeld als het gaat om het verifiëren van de effectiviteit: deze wordt lastig aan te tonen als persoonlijke gegevens van studenten niet mogen worden verzameld. Ik vermoed dat dit zit in het externe onderzoekers toegang tot tentamens met naam en toenaam geven, of in het juist registreren van allerlei zeer privacygevoelige gegevens (denk aan geslacht of etnische afkomst) om op bias daartegen te testen. Dus ik snap die wel.
De studenten halen overigens genoeg onderzoek aan dat overtuigend laat zien dat die bias aanwezig is en dat anoniem nakijken dus effect daartegen zal hebben. Dan voelen de bezwaren toch weer meer als koudwatervrees, en is voor mij “soms kan het wél een voordeel zijn” dan niet goed te volgen.
Ik kan me als docent namelijk niet voorstellen dat je ooit iets haalt uit niet-anoniem nakijken. Ik zou het zelf juist lastig vinden, heb je een vraag op het randje en dan weet je dat het Wim is die dit vak moet halen of eruit gaat en dan direct terug naar Syrië kan (geen inschrijving = ongewenste vreemdeling). Die kennis moet je niet willen hebben bij het beoordelen van dat tentamen lijkt me.
Arnoud
Het is kuch een paar jaar geleden dat ik ben afgestudeerd. Is elk tentamen tegenwoordig digitaal? Handschriften zijn simpel te herkennen. Studentnummers des te meer. Nou ja, bij massa-colleges grotendeels wel maar er zijn (of waren vroegah) meer kleine tentamens met soms maar een dozijn studenten. En ook bij massa-examens zijn er handschriften die heel duidelijk te herkennen zijn door de beoordelaar. Bijv. een klasgenoot met lichamelijke afwijking die daardoor slecht kon schrijven. En in het algemeen zijn vrouwen- en mannenhandschriften vaak ook prima te herkennen, “dus” het gender is vaak wel duidelijk. Dan zie ik er weinig meerwaarde in.
Of als het digitaal is, ook het studentnummer hoeft toch niet bekend te zijn bij de beoordelaar? Er hoeven dan nul identifiers getoond te worden. En zou ik haast stellen: baat het niet dan schaadt het niet, anoniem maken die hap.
In de tijd dat ik studeerde (ook al weer even geleden) werden opdrachten tussendoor meestal uitgeprint ingeleverd waardoor een docent vaak bij het tentamen pas het handschrift van de studenten voor het eerst zag. Als de beoordelaar wel het geslacht kan herkennen is dat niet ideaal, maar nog altijd beter dan exact weten om welke persoon het gaat.
Wat mij betreft zou altijd gelden baat het niet dan schaadt het niet, hoe minder extra informatie een beoordelaar heeft hoe beter, en de administratie gaat toch op studentnummer, dus veel extra moeite kan het ook niet kosten.
Het objectief beoordelen van een toets heeft pas meerwaarde op het moment dat die toets valide en betrouwbaar is. Dat zijn de meeste toetsen niet. Een goede toets maken, of antwoordmodel is dusdanig tijdrovend, dat we dat eigenlijk alleen kunnen doen voor toetsen die landelijk worden afgenomen. Een toetsuitslag op zich geeft daarom niet altijd voldoende informatie om te kunnen beoordelen of een student de leerstof voldoende beheerst. In combinatie met alle andere dingen die docenten over hun studenten weten, is een toets een goed hulpmiddel om tot een eindoordeel te kunnen komen.
Je bent toch geen nakijkrobot?
Ik zou juist denken dat je met kennis van de student + de antwoorden op het examen een betere, niet een slechtere, inschatting kunt maken of de student de stof voldoende beheerst.
En daar komen emotionele factoren bij, dat is lastig voor de docent. Daar komt mogelijk ongemak bij de studenten bij want zij zien dat Wilma het net haalt en Wim niet niet, waarom zou dat zijn….?, maar als professioneel docent en integer persoon weet je dat de uitslag correct is. Ik vind dat geen redenen om het anders te doen.
Studenten geven zoveel vertrouwen in de opleiding (correcte organisatie, relevante leerstof, efficient en effectief lesgeven), waarom zouden ze bij dat laatste beetje, de beoordeling van de toetsen, nu ineens zoveel wantrouwen hebben?
[Ik zou het bijvoorbeeld veel belangrijker vinden dat de inhoud van vakken relevant en modern is, en vrij van politieke kleuring, en dat ik als student geen tijd moet verspillen aan nutteloze vakken, dan of er eens een kwart puntje gematst wordt bij een beoordeling)]
Ja, dat bedoel ik. Uit onderzoek blijkt namelijk keer op keer dat Wilma het net niet haalt en Wim net wel, en over Fatima hoeven we het helemaal niet te hebben. Iets waar docenten zich vaak niet van bewust zijn, het is geen kwaadwillendheid of zo. En specifiek bij tentamens en proefwerken vind ik dat een erg gevaarlijke factor waarvan ik dan denk, elimineer dat zo veel mogelijk.
Bij lesstof kun je in discussie met de docent, je kunt voor zelfstudie er naast kiezen, je kunt extra research doen en weet ik veel. Maar als jij en Wim dezelfde antwoorden inleveren en Wim krijgt een hoger cijfer dan jij “op basis van de professionele inschatting en hoe de docent jouw en Wims inzet zag dit jaar” dan kun je niet zo veel.
Laten we het niet gaan hebben over de vermeende bias in het hoger onderwijs. Het onderwerp is anoniem nakijken.
Het is denk ik altijd een afweging van voors en tegens. Ik zie meer tegens dan voors. Als je anoniem wil gaan beoordelen lijkt het me altijd ook beter om dit dan door een andere docent te laten doen, die de studenten niet kent. Anders herken de schrijfstijl toch wel.
In de meta die de studenten (waar je in je blog naar linkt) wordt 1 Nederlands onderzoek meegenomen. Daaruit blijkt dat er juist geen bias is als het gaat om studenten met Turkse en Marokkaanse roots. Er is bij de toets waar dit onderzoekje over gaat sprake van een beoordelingsmodel / matrix, waarvan de auteurs van de meta aangeven dat dit de bias in de meeste gevallen beperkt.
Nee dan kun je niet zo veel. En dat voelt lullig.
Desalniettemin geloof ik niet dat de gemiddelde student baat heeft bij een anonieme toetsing. Met andere woorden: een professionele docent kan een betere (maar wellicht minder verdedigbare) beoordeling maken als hij niet toetsbare factoren mag laten meespelen. Hoe meer input, hoe beter de output, dat ben je toch met me eens?
Al er zo’n probleem is dat er anoniem nagekeken moet worden, zijn er nog wel enkele problemen.
Nodeloos complex taalgebruik, vaak met gebruik van “terminologie” die veel beter gekend is in de “eigen” middens (dat kan een zeer kleine groep zijn). De “vanzelfsprekendheden” van een docent, die niet die van de studenten hoeven te zijn. De stokpaardjes, die daarom niet in de cursus aan bod zijn gekomen… Blinde vlekken in de echt benodigde kennis/kunde of de belangrijkheid ervan. Een toets waar 49% of 50% afhangt van het kennen van veel futiliteiten… Deze zijn veel moeilijker om als docent objectief te houden.
Een docent die significant een bias hanteert bij het verbeteren, is als docent een probleem.
Het is niet altijd even makkelijk als het lijkt, vooral als het helemaal anoniem moet. In veel gevallen moeten/kunnen studenten een onderwerpsvoorstel doen. Of ze krijgen feedback op bijv. hun inhoudsopgave. Dit kan niet volledig random. Een andere is dat als het eindcijfer afhangt van meerdere deelcijfers je (na eerst anoniem te beoordelen) er voor wilt zorgen dat iemand niet net een onvoldoende heeft met een zeer kleine fractie (in dat geval kun je beter een duidelijker cijfer hebben).
Een studentnummer is niet anoniem, het is wel een pseudoniem, om in AVG-termen te blijven ?. Voor een docent is het super makkelijk om van het studentnummer naar de naam te gaan, dus ik vraag me af of dit gaat werken.
Ik heb een Erasmusuitwisseling in Oslo gedaan en daar waren tentamens gepseudonimiseerd door middel van een kandidaatnummer. De examens werden daarnaast ook digitaal afgenomen, waardoor je niet iets aan het handschrift kon afleiden. Bijkomend voordeel is ook dat docenten geen handschriften hoeven te ontcijferen. Ook heeft de rechtenfaculteit daar een voorkeur voor essay-achtige tentamens, dus stukken herschrijven ging tijdens tentamens een stuk makkelijker.
Nadeel: tentamens werden verdeeld onder docenten, dus er was verschil in hoe streng de beoordelaar was. Aan de Radboud Universiteit werden casussen verdeeld onder de docenten, waardoor iedereen door bijvoorbeeld dezelfde groep van 6 docenten werd beoordeeld,