Studenten aan de Erasmus Universiteit in Rotterdam moeten vanaf deze week twee camera’s gebruiken bij onlinetentamens. Dat meldde Tweakers gisteren. Naast de standaard webcam moeten studenten namelijk nu een telefoon of tablet achter zich plaatsen. Zo kan extra toezicht worden gehouden, wat onder meer nodig is omdat daarmee een niet nader aangeduide fraudetechniek onmogelijk wordt. Zoals ook elders geeft de maatregel stevig protest, waarbij steevast de privacy van stal gehaald wordt en de andere kant dan zegt “hoezo, in de tentamenzaal is ook geen privacy”. Maar daar gaat het niet om.
Natuurlijk word je in een tentamenzaal in de gaten gehouden, dat is het hele punt van naar die zaal moeten komen. (Anders heet het immers een open boek take-home tentamen dan wel eindopdracht.) En dat zal zeker enige stress geven, maar iedereen weet hoe dat gaat, waar de surveillanten op letten en dat voelt allemaal best redelijk. Af en toe gebeuren er rare dingen, zoals dat men ineens je waterflesje tegen het licht houdt – er zijn fraudeurs die neplabels maken met aan de binnenkant een cheat sheet – maar dat zijn uitzonderingen.
Bij proctoring word je ook in de gaten gehouden maar dan thuis. Dat voelt onprettig, men filmt je in de thuissituatie en die is bij studenten vaak klein en toont privézaken. Lang niet iedereen heeft een aparte studeerkamer of zelfs maar plek vanaf waar zeg het bed en de wc niet zichtbaar is. Daar een camera op moeten richten zodat je docent bij fraudevermoedens kan kijken hoe je erbij zit (en de AI-correctoren om de machine learning bij te stellen), ik snap wel dat dat niet zo fijn is.
Het punt is alleen wat subtieler. Een surveillant bekijkt de hele zaal, en niet continu jou. Ik heb zelf eens een herkansing gemaakt van iets waarbij ik de enige kandidaat was (nee, mondeling geen optie, lang verhaal). Dan zit er dus inderdaad een surveillant de gehele drie uur naar jou en alleen naar jou te kijken. Dat vond ik best even een ding. Dat lijkt wel op wat die camera’s doen. Maar het is nog iets subtieler.
De kern voor mij is dat het ongrijpbaar en daarmee oncontroleerbaar is, wat je dan aan moet zetten. Wat doet die proctoring software? Welke dingen worden opgenomen en vastgelegd, waar gaat het heen? Hoe geef ik aan dat ik écht de onderzetter van mijn thee liet vallen, en geen spiekbriefje heb? Die surveillant kun je dat uitleggen, de proctoring software praat niet terug. En wat nu als dat geluid van mijn huisgenoot in de keuken wordt opgevat als Morse-communicatie, hoe weerleg ik dat?
[Pop quiz: de aanwezigheid van een portretfoto in de achtergrond is een fraudesignaal. Waarom?]
Het is dat gebrek aan menselijke maat, de wetenschap dat er straks alléén naar die beelden wordt gekeken en zonder jouw betrokkenheid een uitspraak wordt gedaan die jij dan maar moet weerleggen, die dit zo bevreemdend maakt. En met de wetenschap dat de bewijslast omgekeerd is (hoewel dat van die diploma’s teruggedraaid werd) zou ik me dan ook ernstig bezorgd voelen.
Oh ja, en daar komt dan nog de hele zorg over technologie bij. Wat als je internetverbinding hapert, wat als je gebeld wordt of je telefoon besluit te rebooten voor een update? Komt voor jou rekening: van internet vallen betekent uitsluiting. Vliegtuigstand helpt natuurlijk niet want je telefoon moet de camerabeelden streamen. En voor de meeste mensen zijn dat onbeheersbare dingen.
Dus nee, ik zou ook zenuwachtig worden van deze manier van surveillance.
Arnoud
Prachtig dat een portret foto een fraudesignaal is, nu moet je niet alleen voor een examen jezelf opnemen maar ook je interieur erop aanpassen.
Niet alleen dit, maar ook het feit dat we van werkende mensen nog niet eens helemaal verwachten dat zij een kantoorruimte of werkruimte hebben terwijl ze hiervoor betaald worden maar van studenten die echt meestal geen geld hebben verwachten we een ruimte waar ze rustig met alle benodigdheden kunnen werken.
Dat moet je dan ook maar net weten. Waarom zou een portretfoto een fraudesignaal zijn? En welke vage fraudesignalen zijn er dan nog meer? En wat wordt daar dan mee gedaan? JE hebt inderdaad geen flauw idee wat er mee gebeurt, wie er naar kijkt en waar die iemand op beoordeelt. Dat is niet oke. Plus dat je geen idee hebt wat die proctoringsoftware doet, wat er precies geinstalleerd wordt en of alles wel netjes weggemikt wordt bij deinstallatie. Ik moest vorig jaar een examen maken via dat spul en al die spulleboel moeten installeren gaf me een beetje een creepy gevoel.
Mijn grote probleem nu is vooral, ik zie geen manier hoe dit systeem via een legale weg kan worden stopgezet. De rechter heeft het toegestaan en de onderhandelingspositie van studenten is nou niet zo goed dat ze even naar een andere universiteit kunnen.
De enige manier om nu snel van deze software af te komen, is door de grijze hoed op te zetten, Proctor te hacken en van duizenden jonge studentes porno online te zetten. Alleen zo’n actie zou genoeg politieke weerstand opwekken zodat de minister Van Engelshoven (D66) gedwongen wordt om in te grijpen. Ik zie namelijk geen uitvlucht meer via de juridische weg. Zelfs het white-hat hacken van Proctor en geen foto’s online zetten zou waarschijnlijk worden afgedaan als een ‘incident’ en ‘we beloven beterschap’, waarna er niets veranderd.
Het probleem dus agenderen via ‘burgerlijke ongehoorzaamheid’ lijkt mij de enige oplossing, of heeft iemand anders nog suggesties?
Kun je als student eisen dat ze deze techniek gebruiken voor jou en desnoods voor de mensen met bezwaar deze naar een gebouw laten komen om het daar op de “normale” manier af te nemen? In dat laatste geval zou je een beperkt aantal mensen in een ruimte met ramen op een kier voor ventilatie kunnen doen. Dit kan dan behoorlijk covid-19 proof lijkt mij. Immers als het aantal aanwezige personen in een ruimte beperkt is en daarmee ruim 2 meter afstand gehouden kan worden zou dat veilig moeten zijn.
Voor het nakijken kun je het dan nog steeds digitaal laten doen als dat wenselijk is. Enkel zit je dan niet met de camera in een prive ruimte van iemand.
Het probleem van tentamen op locatie is niet het tentamen zelf maar de gang van zaken voor het tentamen begint. De tentamenruimte zelf veilig maken is niet zo’n probleem, die anderhalve meter tussenruimte was er altijd al. Ten eerste zit je met de extra reizen die de studenten moeten afleggen, meestal via het OV. Het tweede probleem is het wachten voor de studenten de tentamenzaal in mogen. Iedereen staat te dringen bij de deur, de surveillant moet zich door de menigte heen werken, de deur openen en hopen dat hij/zij niet onder de voet wordt gelopen. En vaak is er gewoon niet genoeg ruimte om al die studenten afstand te laten houden tijdens het wachten.
En als je tentamens op locatie gaat toestaan voor mensen die bezwaar hebben tegen proctoring gaat 90% bezwaar maken. Uiteindelijk zijn er 3 veilige opties: proctoring, wachten met examens en diploma’s tot covid onder controle is, accepteren dat diploma’s behaald tijdens de covid jaren in de praktijk minder waard zijn dat diploma’s behaald voor/na de covid jaren.
Een surveillant kan een uur voor de start aanwezig zijn. Daarmee kunnen studenten gelijk gaan zitten aan een tafeltje (dus niet wachten op de gang). Dat de studenten (op afstand) voor het tentamen met elkaar praten lijkt mij mbt het risico te overzien. Het reizen is wel een punt ja, maar hier kun je een stuk spreiding toepassen. Een tentamen die voor iedereen (in het lokaal en thuis) een week eerder/later afgenomen wordt (mits tijdig bekend) zou geen probleem mogen zijn.
Het vereisen van extra software op de prive apparatuur van de student (die niet bekend was voor inschrijving voor de studie) en het opnemen van de prive ruimte van de student zijn wat mij betreft grotere problemen. Het gebruik van het OV is verder op verschillende manieren te beperken. Waar een tentamen wordt afgenomen maakt in principe relatief weinig uit (mits er een surveillant is als er geen camera’s zijn). Hier zouden onderwijsinstellingen ook samen kunnen werken. Daarmee beperk je het reizen al enorm.
Zolang de hulp middelen die toegestaan zijn gelijk zijn zou het voor surveillant ook niet heel uit mogen maken lijkt mij indien er meerdere verschillende tentamens tegelijk worden afgenomen. Het vergt enkel een stukje voorbereiding (bv per student een envelop met diens naam/studentnummer met de juiste inhoud).
Maar die studenten kunnen toch buiten het gebouw wachten? Zo werkte het vlak voor de huidige lockdown ook bij CBR-locaties.
Waar moeten 800 eerstejaars wachten buiten? Onvergelijkbaar met 40 theorie-kandidaten wat mij betreft.
Ik heb tentamen gedaan op de EUR campus, in oktober. Buiten is alle ruimte. Verder is het tentamen natuurlijk te splitsen, destijds denk ik dat er 3 groepen van zo’n 400 studenten waren. Iedereen een eigen setje vragen, geen probleem.
Als ik de artikelen erover lees, lijkt het aantal false-positives groter te zijn dan het aantal terecht geconstateerde fraudegevallen. Is daarmee deze vorm van privacy-schending niet disproportioneel, waarmee de AVG-grondslag “noodzakelijkheid” vervalt?
Lijkt me dat er nog een enorm verschil is tussen toezicht in een tentamenzaal en deze cameramethode, namelijk dat de beelden opgenomen worden. Waar je in een tentamenzaal (zelfs in je eentje) alleen live bekeken wordt, moet er bij deze software ineens een opname zijn? Waarom?
Het lijkt mij dat je dit een gewoon live kan doen. Immers, in de tentamenzaal kan de surveillant ook niet iedereen tegelijk in de gaten houden en de surveillant met daadwerkelijk ogen in z’n achterhoofd moet ik ook nog tegen komen 🙂 Dus met de camerabeelden zou ik zeggen dat het ook enkel live mag (om het formeel te maken, max 5 minuten retentie van beelden). Of je dan ook nog software wil toelaten vind ik ook nog twijfelachtig, maar daar valt nog wel een argument voor de maken denk ik. Maar die moet dan ook gewoon live meedraaien en dienen als signaal naar de surveillant om even de cameras van student X even wat extra aandacht te geven.
Ik gok dat het te maken heeft met gezichts-herkennings software. Misschien raakt die software er van in de war, en dan gaan ze er voor het gemak maar van uit dat je dat met opzet doet.
Zou wel erg eng zijn als dat het daadwerkelijk is, dus ik ben wel benieuwd.
U wint een op ImageNet getraind neuraal netwerk en mag door voor de Bias Bokaal.
Ik denk dat je te ingewikkeld denkt. De software zegt gewoon “er zit iemand naast die meneer”.
True story: ik “Team” regelmatig met iemand wiens achtergrond-blur af en toe ineens het schilderij achter haar als gezicht beschouwt, en dan haar hoofd wegblurt en alleen het schilderij laat zien.
Ik interpreteerde “de aanwezigheid van een portretfoto is een fraudesignaal” als dat specifiek het hebben van die portretfoto het signaal is, maar jouw interpretatie klinkt achteraf wel plausibeler.
Software geeft misschien ook een signaal als de deelnemer het beeld verlaat. Maar zo’n portret voorkomt misschien het geven van zo’n signaal.
Het probleem lijkt mij gewoon dat er een te moeilijke oplossing gezocht wordt.
In een physieke tentamenzaal maak je ook geen opnames, dus waarom moet er van een videotentamen wel een opname zijn? Omdat er met AI beoordeeld moet worden of kandidaten niet vals spelen. Dus in feite is de AI het probleem, die is niet betrouwbaar genoeg.
Wat is er mis mee als de surveillant willekeurig kandidaten vraagt om tijdens het tentamen hun laptop 360 graden te draaien en even mee te kijken? Wat is er mis mee als surveillanten willekeurig kandidaten vragen wat terug te zeggen, om te controleren dat hun mic open staat?
Natuurlijk, dat stoort kandidaten. Maar dat deed de hoest van de andere kandidaat in de tentamenzaal ook, en op deze wijze hoeven kandidaten per definitie niets van elkaar te horen.
Laat eventueel de software op de laptop van de kandidaat een opname maken van geluid+beeld tijdens het tentamen. Stuur direct direct hash naar de opleiding, dan kan er niet meer getamperd worden. En omdat de alleen kandidaat de daadwerkelijke opname heeft is de AWG afweging een stuk makkelijker.
Het probleem is natuurlijk dat een aantal van die simpele oplossingen ook weer behoorlijk fraudegevoelig is.
Als een student gevraagd wordt om de laptop 360 graden te draaien, kan een aanwezige derde relatief eenvoudig een rondje meelopen achter de laptop of even ergens achter gaan staan en zo uit beeld blijven. Een microfoon met een push-to-talk functie kan eenvoudig gebruikt worden om het geluid van een derde die de antwoorden voorzegt te maskeren, terwijl op verzoek de kandidaat alsnog eenvoudig kan antwoorden.
En het lijkt me ook niet redelijk om dan kandidaten te verplichten om voor elk tentamen voor een x periode een potentieel ruimte-verslindende opname te bewaren op hun apparaat. Moet je ze dan ook een verplichting opleggen om te kunnen garanderen dat de opname niet verloren kan gaan, op straffe van het ongeldig verklaren van de tentamens? “Oei, je laptop is gestolen met de opnames erop? Tsja, dan kunnen we niet meer controleren op fraude, succes met al je hertentamens.”
Wij zijn (academie van een hogeronderwijsinstelling) helemaal gestopt met online proctoring. Met name onze functionaris voor de privacy heeft dit afgedwongen. Als docent daar ben ik er eigenlijk alleen maar blij mee. Bij takehome-examens ligt het slagingspercentage niet echt hoger, dat is een prima alternatief. Alternatief is gewoon een eindopdracht. En eigenlijk is een eindopdracht ook veel leuker voor de studenten. Persoonlijk ga ik denk ik nooit meer een tentamen afnemen, maar alleen nog maar met opdrachten werken. Dan krijg je ook nog eens een stuk extra informatie binnen van de studenten.
Gewoon van alles een openboektentamen maken en het niveau ervan omhoog. Op je werk straks werk je ook niet vanuit je hoofd.
Inderdaad, feiten en informatie stampen kan nuttig zijn op zijn tijd. Veel van dit soort vakken waar deze commotie nu over is, vragen echter niet alleen om kennis (feitjes), maar vooral om inzicht – en begrijpen waarom zaken op een bepaalde manier werken en invloed op elkaar hebben (verbanden zien). En dat je dit kunt, kan je als student prima aantonen met een openboektentamen of uitgewerkte opdracht.
Een belangrijke nuance is dat de examencommissie bepaalt of er sprake is van fraude. De reviewers van de beelden of AI detecteren alleen vermoedens van fraude. De momenten die zij verdacht vinden worden gemarkeerd en dan is het aan de examencommissie om te bepalen of er echt sprake is van fraude. Hierbij wordt ook de student gehoord.
Klopt. Het probleem in Rotterdam was alleen dat de beelden ontbraken op het moment dat de examinator moest gaan evalueren wat te doen met de fraudesignalen. Daaruit is dus geconcludeerd dat men het zekere voor het onzekere moest nemen en dus de tentamens als frauduleus moest aanmerken (“waar rook is, is vuur” zeg maar) en dat er dus zónder de video’s is geoordeeld. Als student kun je dan niet echt bewijzen dat je niet gefraudeerd hebt.
Formeel gezien zegt de examencommissie niet dat er sprake is van fraude. Ze besluiten dat ze niet kunnen vaststellen of er fraude is gepleegd en verklaren de tentamenpoging ongeldig. Er zit geen sanctie op.
Het probleem is dat zeggen “wij hebben niet kunnen vaststellen dat iets niet bestaat, en daarom keuren wij het af” onredelijk is, omdat je nooit kunt vaststellen of iets niet bestaat (denk aan de bekende theepot van Russell, ergens in een baan om de zon tussen Mars of Jupiter — of als ie daar niet is, ergens in een baan om een ster in het Andromedastelsel). Als dit dus een geldige reden is om een examen af te keuren, kun je nooit een examen goedkeuren, en als dat wel gebeurt, is het willekeur.
Wat je wel kunt doen is zeggen dat er onvoldoende mogelijkheden tot controle waren, en daarvoor moeten dan gewoon normen zijn. Als dit door de schuld van de examencommissie is, dan zou het niet meer dan redelijk zijn dat de studenten hiervoor een schadevergoeding krijgen.
Als er geen sanctie op zit blijft het gemaakt tentamen staan. Een sanctie kan ook zijn dat ze het ongeldig verklaren en dat je als student mogelijk ergens opnieuw de stof voor moet leren en het je opnieuw tijd kost. Deze tijd kun je niet aan iets anders besteden. Ook kan een ongeldig tentamen zorgen dat je pas later een diploma hebt met de nodige bijkomende kosten.