Tag: proctoring

About proctoring

Subscribe Feeds

In Cleveland telt proctoring als een illegale huiszoeking, hoe zit dat bij ons?

Geplaatst op in Privacy, 8 reacties
RoonzNL / Pixabay

Een federale rechter heeft bepaald dat de proctoring-videoscan van Cleveland State University in de slaapkamer van een student voor een examen neerkwam op een ongrondwettelijke huiszoeking, meldde Cleveland 19 News onlangs (via). Dat laatste klinkt heftiger dan het is: het Fourth Amendment waar de student zich op beroept, is het klassieke privacyrecht van thuis met rust gelaten worden, en noemt het “searches” als daar inbreuk op wordt gemaakt. Waar het om gaat: had je een redelijke privacyverwachting. Ja, want het is je huis. Nee, want bij iedere online toets wordt er geproctord en dan weet je dat er een camerascan moet plaatsvinden.

De student kreeg twee jaar geleden bij een online toets pas twee uur van tevoren te horen dat hij zijn kamer zou moeten laten zien aan proctoringsoftware, wat hij nogal vervelend vond omdat a) medestudenten elkaars camerascan kunnen zien(???) en b) hij belastingaangifte aan het doen was en de berg documenten niet opgeruimd kreeg binnen de tijd. Vandaar de rechtszaak.

Allereerst had de Universiteit (die dus overheid is, vandaar het Fourth Amendment) gesteld dat de actie geen doorzoeking was omdat al die software het doet, gewoon routine. Maar zo werkt dat niet: ook routine searches vallen onder de Grondwet. Weliswaar heeft iedereen camera’s, maar niet iedereen kijkt bij iedereen in het studentenkot. Dat het vanwege corona bij tentamens gebeurt, is dus eerder een structurele inbreuk dan een “het nieuwe normaal”.

Ten tweede vond de Universiteit dit geen schending van het Fourth Amendment omdat dit bedoeld zou zijn tegen doorzoekingen vanuit het strafrecht; de consequentie hier was hooguit dat je de herkansing op locatie moest doen. De vergelijking werd getrokken met een huisbezoek van uitkeringsgerechtigden (de Wyman-zaak) om te kijken of ze niet stiekem samenwonen: dat was een kleine inbreuk gericht op het eerlijk verstrekken van voordelen voor mensen. De rechter ziet die analogie niet:

In contrast, unlike Wyman and its progeny, this case involves the privilege of college admission and attendance and does not involve a benefit made available to all citizens as of right. Additionally, the record here shows a variable policy— enforced, unevenly, in the discretion of a  combination of proctors and professors—of using remote scans that make a student’s home visible, including to other students, with uncertain consequences.
Vervolgens komt men bij de vraag of de search dan wellicht toch redelijk is, gezien het belang van de overheid om de informatie te verkrijgen. Meestal is een doorzoeking pas redelijk als er een concreet vermoeden is (zoals in het strafrecht) en als je dan een warrant hebt om te gaan zoeken. Zogeheten suspicionless searches zijn in beginsel onredelijk, tenzij er special needs voor de overheid aangewezen worden. Dat is hier dan het belang om de integriteit van een tentamen te controleren. Hier zet de rechter dan tegenover het afgedwongen karakter én de korte tijd van tevoren dat je het wist, plus dat de universiteit nauwelijks had onderbouwd waarom een kamerscan dringend noodzakelijk is voor dit belang. Dus is de search onredelijk.

In Nederland heeft het Gerechtshof Amsterdam in 2021 anders beslist: proctoring door universiteiten (bij ons ook overheid) is geen schending van de AVG of artikel 8 EVRM (ons equivalent van het Fourth Amendment). Het belang van fraudebestrijding stelde het Hof voorop, en specifiek wat de camerascan betreft bleek alleen sprake van een desk scan en niet van een kamerscan zodat het argument van deze Amerikaanse student niet relevant zou zijn bij ons.

Arnoud

Klacht bij mensenrechtencollege voor discriminerende antispieksoftware

Geplaatst op in Informatiemaatschappij, 26 reacties

De software Proctorio herkende Vrije Universiteit-student Robin Pocornie volgens haar niet omdat ze zwart is, las ik bij NRC. Waarom die slag om de arm weet ik niet, want als het probleem opgelost is als je je huid extra bijschijnt dan lijkt de huidskleur me evident de oorzaak. En het is een bekend verhaal: heel veel AI-gebaseerde gezichtsherkenning is alleen getraind op witte mannen en geeft dus allerlei problemen. Pocornie dient nu een klacht in bij het College voor de Rechten van de Mens (CvdRM).

Het achterliggende verhaal is vast bekend: door corona stapten universiteiten over naar toetsing op afstand, en vanwege angst voor fraude is massaal gekozen voor proctoring, iedereen moet thuis z’n webcam aanzetten en een AI controleert of je fraudeert. Daar vond ik al eens wat van, maar de rechter oordeelde (in hoger beroep) dat proctoring in principe moet kunnen.

Bij die uitspraak (van de UvA) kwam nooit aan de orde dat het systeem wel eens slecht zou kunnen werken, en dat dat met name zou spelen bij minderheden. Ik ben ergens verrast dat daar geen aandacht aan is gegeven in de tests.

Toevallig vond ik een tijdje terug een artikel in Motherboard over iemand die Proctorio uit elkaar had gehaald en ontdekte dat de basis voor de software het opensourcepakket OpenCV is. Dit is een bekende set libraries voor objectherkenning (voor AI zijn wij objecten). Maar diverse tests laten zien dat het niet goed werkt:

Satheesan tested the models against images containing nearly 11,000 faces from the FairFaces dataset, a library of images curated to contain labeled images representative of multiple ethnicities and races. The models failed to detect faces in images labeled as including Black faces 57 percent of the time. Some of the failures were glaring: the algorithms detected a white face, but not a Black face posed in a near-identical position, in the same image.
Onduidelijk is hoe de VU heeft gereageerd op de klacht van de student, anders dan „ten zeerste te betreuren dat de student stress heeft ervaren door de inzet van het systeem”. Ik zou bijvoorbeeld de DPIA van dit systeem wel eens willen lezen.

Wat ik zo frustrerend vind aan dit soort dingen: het moet altijd eerst een keer of wat misgaan voordat iemand zegt, dit klopt niet. Want je moet als inkoper maar net op het idee komen dat je dit moet testen. Studenten klagen altijd, dus daar kijken we niet naar. En als je op internet wat vindt hierover, dan heeft de salesmedewerker vast een prachtig antwoord paraat.

En dan blijft het daarna lang stil, want de meeste studenten willen gewoon hun tentamen halen en dus geen gedoe veroorzaken met zulke rechtszaken of klachtprocedures. Dan maar een dikke lamp op je gezicht richten en er het beste van maken, nadat je al later was gestart omdat het systeem je niet herkent en de persoon aan de telefonische helpdesk alleen kan zeggen “ga dichter bij de camera zitten” of “misschien is het te donker in uw kamer”. Ja, daar kan ik me aan ergeren.

Update: de VU reageert, “[e]r is in dat onderzoek geen aanwijzing gevonden dat de software daadwerkelijk discrimineert” en dat de leverancier hen verzekert dat alles in orde is. Concrete weerleggingen van bijvoorbeeld het onderzoek van Motherboard kan ik niet vinden.

Arnoud

 

Hebben universiteiten nu een AVG-probleem met die Proctorio hack?

Geplaatst op in Privacy, 23 reacties

Vele tienduizenden Nederlandse studenten zijn maandenlang gemakkelijk te hacken geweest, omdat hun opleiding hen verplichtte onveilige antispieksoftware te installeren. Dat meldde RTL Nieuws onlangs. Criminelen kunnen de software van Proctorio misbruiken om mee te gluren met de webcam en opnames te maken, of om toegang te krijgen tot online accounts, zoals je e-mail, betaaldiensten of crypto (de zogeheten online wallet). Diverse studerende lezers vroegen me: heeft mijn universiteit of hogeschool nu een AVG probleem, en moeten ze nu stoppen met Proctorio?

We hebben het eerder gehad over proctoring-software, die sinds de coronacrisis breed ingezet werd. Het argument daarbij was klassiek het privacy argument: studenten moeten zichzelf digitaal blootgeven in hun huisomgeving om vermoedens van fraude uit te sluiten. De rechter is daarin niet meegegaan: fraude bij tentamens is ernstig, het gaat maar om enkele uren per tentamen dus hoe erg is dat nou helemaal. (Bovendien, hoe moet het dan bij tentamens van 300 man.)

De onderliggende aanname is dan – zoals wel vaker – dat de software an sich veilig is en doet wat ie belooft. IT’ers beginnen nu te lachen, en die snap ik ook want als er iets is dat we de afgelopen vijf jaar hebben geleerd dan is het wel dat alle software lek is, onbedoelde features heeft en als je niet uitkijkt wordt ingezet om persoonsgegevens te harvesten voor ontwikkeling van diverse AI’s.

Deze hack is in zoverre een AVG probleem dat de inzet van proctoring software onder de AVG gerechtvaardigd moet worden, en bekend onveilige software voldoet natuurlijk niet. Het Proctorio lek is ondertussen alweer gedicht zo lees ik, waardoor er dus eigenlijk geen AVG issue meer zou moeten zijn. Natuurlijk kunnen er meer lekken zijn (alle software is immers lek) maar zonder specifieke aanwijzingen denk ik niet dat je hier wat mee kunt.

Arnoud

Erasmus Universiteit verplicht ondanks kritiek twee camera’s bij onlinetentamens

Geplaatst op in Privacy, 26 reacties

Studenten aan de Erasmus Universiteit in Rotterdam moeten vanaf deze week twee camera’s gebruiken bij onlinetentamens. Dat meldde Tweakers gisteren. Naast de standaard webcam moeten studenten namelijk nu een telefoon of tablet achter zich plaatsen. Zo kan extra toezicht worden gehouden, wat onder meer nodig is omdat daarmee een niet nader aangeduide fraudetechniek onmogelijk wordt. Zoals ook elders geeft de maatregel stevig protest, waarbij steevast de privacy van stal gehaald wordt en de andere kant dan zegt “hoezo, in de tentamenzaal is ook geen privacy”. Maar daar gaat het niet om.

Natuurlijk word je in een tentamenzaal in de gaten gehouden, dat is het hele punt van naar die zaal moeten komen. (Anders heet het immers een open boek take-home tentamen dan wel eindopdracht.)  En dat zal zeker enige stress geven, maar iedereen weet hoe dat gaat, waar de surveillanten op letten en dat voelt allemaal best redelijk. Af en toe gebeuren er rare dingen, zoals dat men ineens je waterflesje tegen het licht houdt – er zijn fraudeurs die neplabels maken met aan de binnenkant een cheat sheet – maar dat zijn uitzonderingen.

Bij proctoring word je ook in de gaten gehouden maar dan thuis. Dat voelt onprettig, men filmt je in de thuissituatie en die is bij studenten vaak klein en toont privézaken. Lang niet iedereen heeft een aparte studeerkamer of zelfs maar plek vanaf waar zeg het bed en de wc niet zichtbaar is. Daar een camera op moeten richten zodat je docent bij fraudevermoedens kan kijken hoe je erbij zit (en de AI-correctoren om de machine learning bij te stellen), ik snap wel dat dat niet zo fijn is.

Het punt is alleen wat subtieler. Een surveillant bekijkt de hele zaal, en niet continu jou. Ik heb zelf eens een herkansing gemaakt van iets waarbij ik de enige kandidaat was (nee, mondeling geen optie, lang verhaal). Dan zit er dus inderdaad een surveillant de gehele drie uur naar jou en alleen naar jou te kijken. Dat vond ik best even een ding. Dat lijkt wel op wat die camera’s doen. Maar het is nog iets subtieler.

De kern voor mij is dat het ongrijpbaar en daarmee oncontroleerbaar is, wat je dan aan moet zetten. Wat doet die proctoring software? Welke dingen worden opgenomen en vastgelegd, waar gaat het heen? Hoe geef ik aan dat ik écht de onderzetter van mijn thee liet vallen, en geen spiekbriefje heb? Die surveillant kun je dat uitleggen, de proctoring software praat niet terug. En wat nu als dat geluid van mijn huisgenoot in de keuken wordt opgevat als Morse-communicatie, hoe weerleg ik dat?

[Pop quiz: de aanwezigheid van een portretfoto in de achtergrond is een fraudesignaal. Waarom?]

Het is dat gebrek aan menselijke maat, de wetenschap dat er straks alléén naar die beelden wordt gekeken en zonder jouw betrokkenheid een uitspraak wordt gedaan die jij dan maar moet weerleggen, die dit zo bevreemdend maakt. En met de wetenschap dat de bewijslast omgekeerd is (hoewel dat van die diploma’s teruggedraaid werd) zou ik me dan ook ernstig bezorgd voelen.

Oh ja, en daar komt dan nog de hele zorg over technologie bij. Wat als je internetverbinding hapert, wat als je gebeld wordt of je telefoon besluit te rebooten voor een update? Komt voor jou rekening: van internet vallen betekent uitsluiting. Vliegtuigstand helpt natuurlijk niet want je telefoon moet de camerabeelden streamen. En voor de meeste mensen zijn dat onbeheersbare dingen.

Dus nee, ik zou ook zenuwachtig worden van deze manier van surveillance.

Arnoud

Studentenraad klaagt UvA aan wegens gebruik surveillancesoftware

Geplaatst op in Innovatie, Privacy, 8 reacties

De Centrale Studentenraad van de UvA stapt naar de rechter vanwege het gebruik van het surveillanceprogramma Proctorio. Dat las ik bij Tweakers. De CSr ziet de maatregel als een te vergaande inbreuk op het privéleven van studenten, omdat die bij tentamens dan hun hele hebben en houden thuis moeten onthullen en niet-transparante software van een Amerikaanse leverancier installeren, alles op straffe van een jaar studievertraging. Met een kort geding hoopt men dit alles tegen te kunnen houden. De UvA zet daar tegenover dat er niet echt een alternatief is; je kunt niet ineens iedereen openboektentamens of vrije opdrachten geven. Dus ja, wat nu.

Al eerder blogde ik over protesten van studenten tegen tentamensoftware. Dat wordt dan altijd samengevat als “inbreuk op de privacy”, en dat roept dan weer makkelijke tegenargumenten op zoals “in de tentamenzaal mag je ook bekeken worden” of “je kunt toch een laken over je bed trekken als je niet wil dat de surveillant je matras ziet”. Ik blijf er dus bij dat het geen privacydiscussie is, maar dat het gaat over hoe je het beste afstandsonderwijs moet gaan uitvoeren.

Maar goed, hoe je onderwijs uitvoert dat is uiteindelijk een keuze van de universiteit en niet iets dat de rechter ter discussie gaat stellen. Bij de rechter moet je met formele argumenten komen, zoals dat de AVG wordt overtreden of dat het besluit tot proctoring in strijd met de regels is genomen. Helaas staat de dagvaarding niet online, zodat ik niet kan zeggen welke argumenten de Studentenraad morgen bij de zitting ter tafel gaat brengen.

Onder de AVG komt de discussie neer over de vraag of het gerechtvaardigd belang als grondslag kan dienen. Dan moet je kort gezegd privacy van studenten afwegen tegen de belangen van de universiteit, waarbij de universiteit verliest tenzij ze kan bewijzen dat haar belangen écht de doorslag moeten geven. Juristen gooien dan met de begrippen noodzakelijkheid, proportionaliteit en subsidiariteit – moet het echt, kan het niet een onsje minder en kan het niet anders. Dan kom je dus uit bij die vraag of er alternatieve tentamenmogelijkheden zijn, of de proctoring echt op het niveau van eyetracking moet zijn of dat enkel een screencapturevideo genoeg is en waarom het noodzakelijk is als je ook tentamenzalen hebt waar men toch al op twee meter afstand van elkaar zit.

(In de AVG staat bij dit artikel nog dat overheidsorganen -waaronder universiteiten vallen- geen gebruik mogen maken van deze grondslag bij de uitoefening van hun publieke taak. Ik denk dat dat hier geen probleem is; de universiteit creëert hier niet stiekem een nieuwe publieke bevoegdheid maar vult de implementatie van een bestaande taak in. Maar dit komt hopelijk bij het kort geding uitgebreid aan bod.)

Dat van die Amerikaanse leverancier vind ik nog de lastigste. Ja, Proctorio heeft ook een Duitse vestiging en er is een keurige verwerkersovereenkomst en de FAQ van de UVA spreekt duidelijke taal. Alleen: je krijgt desondanks algemene voorwaarden en een privacyverklaring ter akkoord voor je snufferd als je tentamen gaat maken. En daarin staat onder meer dat Proctorio zelf bij de data kan en dat “de-identified” kan gebruiken voor eigen doeleinden. Wat dus nogal raar is. Maar goed, ik houd moed: waarschijnlijk dacht iemand bij de implementatie dat je gebruikers akkoord moet laten gaan met een privacyverklaring (“want je moet het toch uitleggen”) en dan die van Proctorio zelf maar pakte. Dit is een vaak voorkomende fout; allereerst gá je niet akkoord met wat een voorlichtingsfolder zou moeten zijn en ten tweede behoort Proctorio in het geheel niet in beeld te zijn maar uitsluitend de universiteit zelf.

Ik denk dat ik als student minder moeite zou hebben met dat ze mijn kamer bekijken (ik stop het inderdaad wel in dozen, of leg juist een provocerend object pontificaal in beeld) dan met dat al die informatie gratis naar zo’n Amerikaanse partij met eigen definitie van “anonieme gegevens” zou gaan. Dat is niet waarvoor ik me inschreef, volgens mij.

Arnoud