Kijk. Dit is dus wat ik gisteren bedoelde. “Studenten ervaren software voor online tentamens als een inbreuk op hun privacy”, meldde de Volkskrant onlangs. Schandalig, je moet tijdens tentamens iemand mee laten kijken via je webcam (én je mobiel die je op 3 meter afstand op je werkplek moet richten) zodat ze kunnen nagaan of je niet fraudeert. Dat is dus geen sterk verhaal, ondanks dat je de AVG erbij kunt halen want er zitten vast ergens bijzondere persoonsgegevens in beeld (niet gniffelen daar achterin) en oh ja er kijken algoritmes mee. Nee, hier is iets anders mis.
Sinds de coronacrisis zoekt iedereen naar manieren om op afstand te kunnen werken. Dat betekent vaak vanuit huis aan de slag, en communicatie gaat dan vaak met video want dat voelt handiger (of zo, ik ben zelf te ouderwets daarvoor). Ook bij studie of school, en dan wordt het gelijk ingewikkelder want daar moet getentamineerd of getoetst worden en daarbij ligt fraude op de loer.
De oplossing waar dan naar gegrepen wordt, is toezicht. Net als in de tentamenzaal immers. Dus je webcam aan, en om te voorkomen dat het hulpje dan achter je scherm gaat zitten (of er voor? in ieder geval, waar de webcam het niet ziet) moet er dan ook nog een opstelling met je telefoon gemaakt die dan een overzichtsbeeld geeft. En algoritmes analyseren dan de beelden op fraude-achtige signalen (iemand die door het beeld loopt, met name, of dat je opstaat) waarna je in aanmerking komt voor een extra onderzoek. Nee, word ik ook niet vrolijk van als ik mijn eigen studietijd met zulke tooling zou voorstellen.
Maar is het dan echt de beste koers om over je privacy te beginnen? Dat is dus precies wat ik gisteren bedoelde, waar het mis mee gaat met dat argument. Als je tentamen doet, moet je privacy maar even wijken, is het gemakkelijke tegenargument. In de tentamenzaal mag ook je boek geïnspecteerd en in de tas kijken bij enig vermoeden, daar moet je ook maar mee leren leven. Je wilt toch dat vak halen? Nou dan.
Het is vooral: die discussie leidt af van het werkelijke punt, dat de Volkskrant in een ander artikel aanstipte: het kan zo veel beter bij afstandsonderwijs:
Denk aan een toets waarbij een studieboek gebruikt mag worden (een openboektentamen), essays, mondelinge presentaties en ‘take home examens’, een test waarbij studenten enkele uren of dagen de tijd krijgen om een opdracht thuis uit te werken. … Geluk bij een ongeluk: dit zijn stuk voor stuk toetsen die zich lenen voor een ‘formatieve beoordeling’, waarbij het er niet om gaat of je slaagt of faalt voor een opdracht, maar je duidelijk wordt gemaakt waaraan je moet werken.
Cru gezegd: een universiteit die kiest voor digital proctoring, is lui en niet geïnteresseerd in zich aanpassen aan afstandsonderwijs. Als het onderwijs anders gaat, hoort ook de toetsing dat te worden. En dat de student dan op afstand allerlei hulpbronnen in kan zetten die hij in het zaaltje niet kan, dat is dan een gegeven waarmee je vertrekt bij je beoordelingsmethodologie. Dát zou de discussie moeten zijn, en niet hoe je toestemming voor proctoring vraagt of hoe je het beste iemands laptop inspecteert op overlegsoftware.
Arnoud
Als iemand die nu op een universiteit tentamens moet ontwerpen: Al die voorstellen die genoemd worden zijn goed en aardig, maar het hoofdprobleem dat we niet kunnen controlere wie het tentamen maakt blijft bestaan. Een “open boek” “take-home” tentamen kan nog altijd door iemand anders gemaakt worden (daarom mocht ik niet zo’n tentamen zonder verder toezicht geven). En bij een presentatie kun je alleen zeggen of de student het zelf doet als de student zelf in beeld is. Dus dit is niet een oplossing voor dit probleem.
Een tweede punt is dat we tentamens moeten maken van vakken die al afgelopen waren voor de Corona-crisis (bijvoorbeeld hertentamens). Elementaire didactiek zegt dat je je onderwijs en je tentamenvorm moeten overeenstemmen. Dus de oefeningen die studenten doen moeten voorbereiden op het soort tentamen dat ze krijgen. Dan kun je dus niet achteraf de tentamenvorm opeens veranderen. Als studenten de hele cursus sommetjes gemaakt hebben en feiten hebben gestampt, kan je dan niet opeens als tentamen een mondelinge presentatie of een essay vragen.
Tenslotte, per leerdoel zijn er bepaalde toetsvormen geschikter dan andere; en daar houden we al rekening mee. Toegegeven, soms kunnen we wat inventiever zijn. Maar of even een simpel voorbeeld te geven: Bij het rekenonderwijs willen we nog altijd dat kinderen de tafels leren. Ik zie eigenlijk niet goed hoe je kennis over de tafels kan toetsen met een openboektentamen (waarbij de lijst er gewoon naast ligt) of met een essay.
Serieuze vraag tot slot: Toestemming vragen aan studenten is volgens mij hier niet de manier waarop we het moeten doen, want dat is inderdaad geen vrije toestemming. Moet de universiteit hier niet gewoon een eigen zwaarwegend belang claimen en het zonder toestemming van de student uitvoeren? (En dan natuurlijk wel netjes de afweging maken.)
Volgens mij is de enige acceptabele oplossing hier elke student zijn studiegeld retourneren, excuses aan te bieden, en na de hele crisis het onderwijs pas weer voort te zetten. Wat er nu gebeurd is voor niemand goed, en doen alsof het dat wel is, helpt niet.
Voor die hertentamens zou dan mogelijk gekeken kunnen worden naar alsnog het tentamen normaal op de school/universiteit te laten maken. Een gymzaal is groot genoeg om mensen ruim genoeg uit elkaar te laten zitten. Vooral als je 1 tentamen tegelijk doet en niet meerdere tentamens in een enkele zaal zoals in een normale tentamenweek.
Als het perse op afstand moet, dan zou je misschien kunnen denken aan een 1-op-1 videogesprek. Leg de leerling live de vraag voor en laat hem zijn gedachtegang hardop opzeggen. Ik ben geen docent, maar mijn indruk is dat hiermee een goede schatting gemaakt moet kunnen worden van het kennisniveau van de student. Je zou de leerling dan ook op willekeurige momenten kunnen vragen de camera om te laten draaien om te laten zien dat hij alleen zit. In deze situatie wordt er niks opgenomen of naar Amerika gestuurd (als je geen zoom gebruikt).
Het grootste probleem zal liggen in controleren wie het werk nu eigenlijk doet. Ik zie het ook nu mijn neefjes thuis les krijgen. Als ik ze help dan laten ze het werk maar wát graag door mij doen. Hoe meer ik invul om ze het ’te leren’ hoe liever ze zijn. En juf kijkt alleen maar of er wel gewerkt wordt. Maar zo leren die bengels toch nooit spelling en rekenen? Tsja, ik hoef het niet meer te leren. Mijn bul is al lang en breed binnen. Stel dat mijn neefjes een tentamen voor een vak op de Uni moesten doen. Thuis. Dan moet er toch een mechanisme zijn die voorkomt dat ik dat tentamen voor ze maak, of ze één of meerdere antwoorden influister? Of fouten uit hun werk haal (alhoewel daar nog wat voor te zeggen valt).
Je kan een tentamen ‘moderniseren’, maar je moet als onderwijsinstelling de vraag stellen of je in de nieuwe setup wel of niet wil toestaan dat een ander het werk doet, of een groot deel. Zo ja, wat is die bul dan nog waard? Zo nee, hoe voorkom je het? Draconische malware moeten toestaan op jouw pc en smartphone lijkt mij een beetje te veel onvrijwillig om de giecheltoets te doorstaan. Mijn oplossing sluit aan bij Ronald: die collegezalen en kamers in de hoogbouw worden toch niet gebruikt voor lesgeven. Perfect om studenten te spreiden. Ze komen het tentamen maar lekker op school maken. Als je beide alternatieven aanbiedt, lijkt de onvrijwilligheid van ‘stasiware’ wat minder gedwongen; je biedt als instelling nu immers een alternatief waar men wat aan heeft. Vind je het niks, kom maar langs om het ter plekke te doen. Op Tweakers noemde ik het de Anderhalve Meter tentamens. Zo gek veel verandert er niet; dat ik lang geleden tentamens deed zat ik in de Aula ook al op dik een meter afstand van elk ander. Toen al. Nu hebben ze meer dan een paar grote collegezalen en een aula om tentamens af te nemen. Genoeg ruimte.
Over dat in aparte zaaltjes tentamen maken: dat overbelast het ov waarmee die driehonderd studenten (ik deed rechten) tegelijk naar de universiteit willen. Hoe los je dat op? Tijden spreiden betekent kans op informatie uitwisselen. Niet iedereen woont op loop- of fietsafstand of heeft ouders met auto in de buurt. En in de bus anderhalve meter afstand houden is lastig.
Hoe lang duurt een schriftelijk tentamen. 3 uur? En de bus/trein rijd om het (half) uur? Start dan in verschillende groepen om zo de ov last te spreiden, desnoods op verschillende locaties zodat niet iedereen dezelfde lijn of hetzelfde station hoeft te gebruiken. Laat niemand weg totdat de laatste groep begonnen is. Ik mocht bij mijn tentamens ook niet weg uit de zaal totdat het tentamen een uur bezig was, toen mocht je namelijk maximaal een uur na de starttijd nog binnen komen lopen. De regel dat ik niet eerder weg mocht was ervoor bedoeld dat ik geen informatie door kon geven aan laatkomers.
Driehonderd man sterk hoeft toch niet in dezelfde bus, metro of trein aan te komen? Een aantal van hen zal een kamer op loopafstand hebben. Een aantal zal de mogelijkheid gebruiken om op afstand dat tentamen te maken. Die verantwoordelijkheid om ruim op tijd te zijn (minimaal 1 uur van te voren aanwezig zijn bijv) kan je bij de student zelf neer kan leggen. Het is niet meer de kleuterschool. Je zal als college wel even een analyze moeten maken hoeveel OV capaciteit er in de omgeving is. Je hoeft niet eens de tijden voor één bepaald tentamen te spreiden – als je genoeg medewerkers op kan trommelen om te surveilleren in alle ruimtes dan spreek je gewoon af ‘allemaal tegelijk om 12:00 beginnen, 15:00 einde’. Als je als college twee of drie weken langer de tijd neemt om alle tentamens af te werken, moet dat toch wel lukken? Het is beter dan dit jaar geen tentamens afnemen, of studenten een stukje halfbakken stasiware door hun strot forceren. Waarvoor al software schijnt te bestaan om die om de tuin te leiden is. Dat kat en muis spel heeft de kat bij mijn weten nog nooit gewonnen.
Dan de ‘stasiware’. Dat lijkt mij wel een probleem. Persoonlijk, die rommel zou er bij mij niet in komen. Met geen enkele gedachtenkronkel kan ik gebruik daarvan vrijwillig noemen. Heeft draconische permissies nodig. Video, geluid, schermopnames, procescontrole, toetsaanslagcontrole en -logging. Video- en audiostreams moeten naar een surveillant. Streams van 300 man naar één of meerdere surveillanten, dat wordt een leuke congestie op het netwerk. De AV kwaliteit van elk van die streams zal niet best zijn, niet genoeg om scherp te zien wat iemand precies doet. Je kan ook AI laten bepalen of je wel of niet hebt lopen cheaten. Dat wordt nog een punt: Een surveillant mogen we op hun woord geloven, maar AI niet. Laat de AI maar uitleggen waarom het denkt dat jij hebt lopen cheaten. Zodat een echt persoon dat kan controleren. Daarvoor zullen beelden en geluid ter referentie opgeslagen moeten worden in een cloud, meestal van een Amerikaanse leverancier, waar die controleur dan weer bij moet kunnen. De papierstapel aan verwerkingsovereenkomsten wordt er niet kleiner op.
Ik denk dat je de oplossing niet moeten zoeken in cheaten tegen gaan, maar naar een tentamenvorm die meer aansluit bij de wereld van vandaag. Waar (bijna) alles online op te zoeken is. Als ik iets niet weet dan doe ik dat ook. Op dit punt in je studie heeft testen op basiskennis niet veel zin meer, maar wel in hoeverre jij die kennis kan toepassen onder tijdsdruk. Je kan denken aan een essay schrijven, een programma schrijven, een database in elkaar draaien. Afhankelijk van studie/vak. Net zoals we bij distributed computing een grote taak in kleine stukjes kunnen hakken en elke aangesloten client/pc met een eigen stukje aan de slag laten gaan, zo zou je per vak een grote taak op kunnen delen en elke student zijn eigen stukje. Heeft afkijken ook weinig zin meer. Moet je alleen uitzoeken of er wel iets te distribueren valt binnen de tentamenstof. Maar dat lijkt mij een leuke uitdaging. Het is maar een gedachte. Het is niet mijn werk dus ik zit er niet de hele dag over te piekeren.
Je zou ook kunnen zeggen dat dat, te volle bussen, niet het probleem van de universiteit is. Dat is het nooit geweest, je moet zelf maar zien hoe je er komt; het tentamen houdt ook geen rekening met ongelukken, files, regen- of sneeuwval, stakingen, volle bussen, blaadjes op het spoor, defecte bovenleidingen, zich verslapende machinisten, lekke banden, kapotte scooters, open bruggen, gesloten slagbomen, omleidingen, loslopend wild en demonstraties, dus waarom nu wel ineens? Het OV is beschikbaar, het fietspad is beschikbaar, zoek het zelf maar uit.
In deze crisis vind ik het onverantwoord om aan te zetten tot samenscholing. Je wéér dat dat gaat gebeuren en dat er mensen dan het corona virus gaan overdragen. Dat is iets anders dan normaal.
Dit argument is natuurlijk eenvoudig te weerleggen: verschillende versies van de tentamens. Zoals een her eigenlijk ook altijd al afweek van de initiële toets/tentamen/examen.
Dan ook de studenten de vereiste apparatuur beschikbaar stellen. Een probleem dat ik er uithaalde is dat je software op je laptop/computer moet installeren die normaal als spyware gekenmerkt zou worden. Ook bestanden die je niet open hebt of programma’s die niet open staan kunnen je verdacht maken of doorgestuurd worden naar een andere partij. Deze software doorzoekt je hele laptop/computer. Als er geen webcam in je laptop/computer zit of geen microfoon dan moet je die aanschaffen.
Dit lijken mij wezenlijke punten die niet bekend waren toen de student begon met de opleiding en die vast ook niet aan het begin van het schooljaar zijn vastgelegd in de examen regelingen.
Hmm, dit onderwerp toch eens in de gaten houden, want Microsoft doet dit al jaren met hun examens, ook in NL. Iedere keer als je een examen doet moet je een foto laten maken, ID late ncontroleren enz., ook als je een dag later een her-examen doet. In het examenlokaal meerdere camera’s. Heb een keer iemand zijn resultaat verscheurd zien worden omdat hij/zij afgekeken zou hebben, met de mededeling de rest van jou MS diploma’s zij nu ook revoked en je kan in de toekomst geen examens meer doen voor MS. In het verleden gingen die beelden gewoon naar het buitenland, Ierland of de VS maar weet niet of dat nu nog steeds het geval is. Ook is er de mogelijkheid om thuis examens te doen en dan moet je inderdaad een webcam hebben met waarschijnlijk dezelfde route. Er is ook geen enkele mogelijkheid om te discussiëren over de examens, niet goed geld weg, ook als ze je per ongeluk een verkeerd examen voorschotelen. Dit laatste gaan ze wel erg soepel mee om.
Het is niet alleen een zeer stevige privacy inbreuk, er is een nog groter probleem:
Je moet akkoord gaan met de voorwaarden van een derde partij (o.a. google) en je moet malware op je pc plaatsen. Een pc terugbrengen naar de toestand vlak voor de installatie is voor de meeste mensen niet evident en neemt hoe dan ook wel wat tijd in beslag en risico op heel veel tijdsverlies. Ik ga er ook even vanuit dat slechts weinigen een volledig gescheiden thuisnetwerk hebben om dit te beveiligen, want de betrokken pc/laptop moet dan namelijk als geïnfecteerd beschouwd worden. Kan leuk worden als er ook een werkpc van één van de ouders/gezinsleden op hetzelfde netwerk zit, vanuit die werkgever zullen er ook voorwaarden zijn naar malware op het thuisnetwerk.
Vraagje : Wie is verantwoordelijk voor eventuele schade door de malware die ze eisen?
We kunnen ook zeggen, F.. it. Maak het maar en als jij de boel belazerd dan ga je ergens wel een keer op je bek.
Nadeel daarvan is dat als dat teveel gebeurt er een batch aan diplomas is die de status “corona/fraude” krijgen en dus minder waard zijn ook voor de mensen die de boel niet belazerd hebben.
Wellicht dat het dan wel meevalt. Of ik nou ooit een 3 of een 10 voor duits had gehaald maakt allemaal niets meer uit dus een hoop fraude zal in de toekomst niet meer relevant zijn. Dus accepteren dat de kwaliteit niet is als we willen want ouderwets iedereen in de bus en zaaltjes prakken is op dit moment potentieel dodelijk dus nu even minder en ondertussen werken aan iets wat wel werkt.
Dat is allemaal wel leuk en aardig, maar dat gaat over een cultuuromslag in examineren waar wel een paar jaar over heen gaan voordat je dat op orde hebt. Op dit moment moeten we roeien met de riemen die we hebben, en werken met noodoplossingen voor mogelijk een paar maanden. Allerlei methodes aandragen die in de kern misschien correcter zijn dan de nu toegepaste wijze van examineren zijn meestal geen haalbare kaart (een standaard wiskunde vakje als ‘Analyse’ ga je niet opeens even mondeling afnemen voor 500 studenten van alle technische studies) en zijn zeker geen oplossing voor de nood van vandaag. Dan ben ik toch meer op het standpunt ‘het moet maar even‘.
Laten we hopen dat die cultuuromslag er wel komt; en vooral ook bij onze overheid.
Voor mijn vakgebied is een aantal jaren geleden een verplichte certificering/vergunning ingevoerd. De overheid wil de kwaliteit omhoog hebben en ging daarvoor kennis toetsen. Daar gaat het dus volledig mis! De examens toetsen letterlijk kennis, je kan een voldoende halen door puntenlijsten uit het hoofd te leren.
De grootste zwakte van ons systeem is dat kennis meer gewaardeerd lijkt dan kunde. Kunde was in de praktijk altijd al belangrijker, maar door alle moderne hulpmiddelen die toegang tot kennis ontsluiten wordt kennis juist nog meer onderschikt aan kunde.
Wat is de huidige opstelling bij universiteiten als een student zegt “Nee, ik weiger akkoord te gaan met de voorwaarden van deze software”? Kan zoiets opgelegd worden? Het lijkt me niet, net zo min als het bezit van een webcam en een telefoon die die app kan draaien verplicht gesteld kan worden. Het argument “als ik bij jullie langs kan komen om geschikte apparatuur te lenen, dan kan ik ook langskomen om in een kamertje het tentamen te maken” lijkt me wat dat betreft ook sterk. Ik begrijp de noodzaak van het op de lesstof laten aansluiten van tentamens, maar er is ook zoiets als het eigendomsrecht van die apparatuur, of het recht om je niet te laten filmen in je eigen slaap/studentenkamer.
Heeft iemand weet van een geval waarin een student die spyware heeft geweigerd te gebruiken?
Het gebruik van dit soort software is vrij gebruikelijk wanneer je bezig gaat met IT gerelateerde certificeringen (Microsoft etc). Ik heb het zelf gebruikt en heb er totaal geen problemen mee ondervonden. Wel moet daar bij gezegd worden dat ik de software draaide op een laptop van de zaak, waar hoe dan ook geen prive gegevens op stonden. Verder is het zo dat de software (in ieder geval degene die ik heb gebruikt) geen toegang heeft tot spul wat je op je hardeschijf hebt staan. Waar naar gekeken wordt is de webcam, de microfoon, het beeld en de taken die je in het geheugen van je PC draaien (voor detectie van virtuele machines, nep webcams etc), en dan ook alleen maar gedurende het afnemen van het examen. Van tevoren alle applicaties dichtgooien en de icoontjes op je bureaublad verstoppen is dus in dat geval voldoende.
Ja dat het kan werken geloof ik wel, het ging me ook niet zozeer om of het al dan niet effectief of uitvoerbaar is, maar meer om de onderliggende princiele vraag. Ik neem aan dat je, alvorens je begint aan zo’n IT-gerelateerde certificering, vantevoren te horen krijgt of kan inzien op welke wijze het examen wordt afgenomen, welke tools daarbij gebruikt worden en met welke voorwaarden je rekening dient te houden. Je kan dan voordat je aan zo’n certificering begint besluiten of je dat al dan niet acceptabel vind.
Dat is anders dan iemand die al een aantal jaar heeft gestudeerd, en nu plotsklaps halverwege de wedstrijd de regels veranderd ziet worden op een behoorlijk ingrijpende wijze. Je dient je slaap- of studentenkamer te laten filmen, je huisgenoten of gezinsleden worden mogelijk opgenomen, je moet een smartphone hebben waarop je een bepaalde app moet installeren,en je dient spyware-achtige monitoringsoftware op je pc te installeren, en dat alles dan op straffe van het niet kunnen maken van je tentamen. Dat is geen vrijwillig gegeven toestemming, sterker nog dat is (Arnoud kan dat vast zeggen) dwang of dreiging of chantage of zoiets.
Maar met deze methode wordt mijn eigen, vertrouwde omgeving opeens binnengedrongen door een vreemde. Daarom voelt het voor mij wel degelijk als een inbreuk op mijn privacy, op mijn persoonlijke levenssfeer. Niet voor niets zag ik in een van de artikelen voorbijkomen dat studenten werd aangeraden op te ruimen, en al te nadrukkelijke politieke of religieuze uitingen maar even uit beeld te halen. Dat maakt maar al te duidelijk wat voor een inbreuk het is, ook al is het er een die in de AVG niet aan bod komt.
Dan ga je ergens anders in een rustige ruimte zitten, in je eigen gebouw of totaal ergens anders. Probleem opgelost.
Dat is me iets te makkelijk. Waar ga je dan heen, als student? De bieb is dicht. Café’s zijn dicht. Huisgenoten hebben ook tentamen. De gezamenlijke woonkamer is rumoerig en grenst aan de wc waarvan de deur niet goed sluit. Buiten is lawaai. Op de brandtrap dan maar?
Afgelopen zaterdag verscheen er een blog die gaat over toetsen, vertrouwen en veiligheid die ik ook heb doorgestuurd naar mijn collega’s omdat ook bij ons die discussie gaande is. De discussie was al begonnen ruim voor de crisis maar krijgt nu een raar kantje omdat het snel afgedwongen wordt: https://onderzoekonderwijs.net/2020/04/18/veiligheid-moet-je-bieden-niet-afdwingen-herblogd/
Elke thuisopdracht kan door een ander worden gemaakt. Hoe creatief, individueel, open boek je het verder ook maakt. Als proef op de som heb ik ooit als practical joke een middelbare-schoolwerkstuk in elkaar gezet voor een vriendin van mijn zusje. Zij spijbelde vrij veel en miste wel meer, en we hebben haar vooraf ook niet op de hoogte gesteld dat we uit haar naam iets hadden ingeleverd. In haar persoonlijke stijl had ik me geen seconde verdiept. Ondanks de wat verbaasde blik bij het terugkrijgen van dit werkstuk, lijkt de docent nooit vermoed te hebben dat het door een ander geschreven was. En dat was dan nog bij kleinschalig middelbaar onderwijs, waar docenten hun leerlingen individueel kennen.
Als we alleen nog maar formatief gaan toetsen, dan zou ons hele hoger onderwijs systeem op de schop moeten en we niet meer met losse modules en studiepunten kunnen werken. Een formatieve beoordeling is onderdeel van het leerproces en zijn tussentijds, daar kan je eigenlijk alleen studiepunten voor toekennen als er ook een deel 2 van de module is. Ben ik wel voorstander van overigens. Dan zullen er nog steeds voor een aantal opleidingen toetsen nodig zijn die kennis toetsen. Die waanzin in het onderwijs dat kennis niet belangrijk is, is gelukkig een beetje over inmiddels. En hoe je ook toetst, je zal altijd moeten controleren dat een student de toets zelf, dus zonder hulp van iemand anders, maakt.