In Cleveland telt proctoring als een illegale huiszoeking, hoe zit dat bij ons?

| AE 13521 | Privacy | 8 reacties

RoonzNL / Pixabay

Een federale rechter heeft bepaald dat de proctoring-videoscan van Cleveland State University in de slaapkamer van een student voor een examen neerkwam op een ongrondwettelijke huiszoeking, meldde Cleveland 19 News onlangs (via). Dat laatste klinkt heftiger dan het is: het Fourth Amendment waar de student zich op beroept, is het klassieke privacyrecht van thuis met rust gelaten worden, en noemt het “searches” als daar inbreuk op wordt gemaakt. Waar het om gaat: had je een redelijke privacyverwachting. Ja, want het is je huis. Nee, want bij iedere online toets wordt er geproctord en dan weet je dat er een camerascan moet plaatsvinden.

De student kreeg twee jaar geleden bij een online toets pas twee uur van tevoren te horen dat hij zijn kamer zou moeten laten zien aan proctoringsoftware, wat hij nogal vervelend vond omdat a) medestudenten elkaars camerascan kunnen zien(???) en b) hij belastingaangifte aan het doen was en de berg documenten niet opgeruimd kreeg binnen de tijd. Vandaar de rechtszaak.

Allereerst had de Universiteit (die dus overheid is, vandaar het Fourth Amendment) gesteld dat de actie geen doorzoeking was omdat al die software het doet, gewoon routine. Maar zo werkt dat niet: ook routine searches vallen onder de Grondwet. Weliswaar heeft iedereen camera’s, maar niet iedereen kijkt bij iedereen in het studentenkot. Dat het vanwege corona bij tentamens gebeurt, is dus eerder een structurele inbreuk dan een “het nieuwe normaal”.

Ten tweede vond de Universiteit dit geen schending van het Fourth Amendment omdat dit bedoeld zou zijn tegen doorzoekingen vanuit het strafrecht; de consequentie hier was hooguit dat je de herkansing op locatie moest doen. De vergelijking werd getrokken met een huisbezoek van uitkeringsgerechtigden (de Wyman-zaak) om te kijken of ze niet stiekem samenwonen: dat was een kleine inbreuk gericht op het eerlijk verstrekken van voordelen voor mensen. De rechter ziet die analogie niet:

In contrast, unlike Wyman and its progeny, this case involves the privilege of college admission and attendance and does not involve a benefit made available to all citizens as of right. Additionally, the record here shows a variable policy— enforced, unevenly, in the discretion of a  combination of proctors and professors—of using remote scans that make a student’s home visible, including to other students, with uncertain consequences.
Vervolgens komt men bij de vraag of de search dan wellicht toch redelijk is, gezien het belang van de overheid om de informatie te verkrijgen. Meestal is een doorzoeking pas redelijk als er een concreet vermoeden is (zoals in het strafrecht) en als je dan een warrant hebt om te gaan zoeken. Zogeheten suspicionless searches zijn in beginsel onredelijk, tenzij er special needs voor de overheid aangewezen worden. Dat is hier dan het belang om de integriteit van een tentamen te controleren. Hier zet de rechter dan tegenover het afgedwongen karakter én de korte tijd van tevoren dat je het wist, plus dat de universiteit nauwelijks had onderbouwd waarom een kamerscan dringend noodzakelijk is voor dit belang. Dus is de search onredelijk.

In Nederland heeft het Gerechtshof Amsterdam in 2021 anders beslist: proctoring door universiteiten (bij ons ook overheid) is geen schending van de AVG of artikel 8 EVRM (ons equivalent van het Fourth Amendment). Het belang van fraudebestrijding stelde het Hof voorop, en specifiek wat de camerascan betreft bleek alleen sprake van een desk scan en niet van een kamerscan zodat het argument van deze Amerikaanse student niet relevant zou zijn bij ons.

Arnoud

Klacht bij mensenrechtencollege voor discriminerende antispieksoftware

| AE 13466 | Informatiemaatschappij | 26 reacties

De software Proctorio herkende Vrije Universiteit-student Robin Pocornie volgens haar niet omdat ze zwart is, las ik bij NRC. Waarom die slag om de arm weet ik niet, want als het probleem opgelost is als je je huid extra bijschijnt dan lijkt de huidskleur me evident de oorzaak. En het is een bekend verhaal: heel veel AI-gebaseerde gezichtsherkenning is alleen getraind op witte mannen en geeft dus allerlei problemen. Pocornie dient nu een klacht in bij het College voor de Rechten van de Mens (CvdRM).

Het achterliggende verhaal is vast bekend: door corona stapten universiteiten over naar toetsing op afstand, en vanwege angst voor fraude is massaal gekozen voor proctoring, iedereen moet thuis z’n webcam aanzetten en een AI controleert of je fraudeert. Daar vond ik al eens wat van, maar de rechter oordeelde (in hoger beroep) dat proctoring in principe moet kunnen.

Bij die uitspraak (van de UvA) kwam nooit aan de orde dat het systeem wel eens slecht zou kunnen werken, en dat dat met name zou spelen bij minderheden. Ik ben ergens verrast dat daar geen aandacht aan is gegeven in de tests.

Toevallig vond ik een tijdje terug een artikel in Motherboard over iemand die Proctorio uit elkaar had gehaald en ontdekte dat de basis voor de software het opensourcepakket OpenCV is. Dit is een bekende set libraries voor objectherkenning (voor AI zijn wij objecten). Maar diverse tests laten zien dat het niet goed werkt:

Satheesan tested the models against images containing nearly 11,000 faces from the FairFaces dataset, a library of images curated to contain labeled images representative of multiple ethnicities and races. The models failed to detect faces in images labeled as including Black faces 57 percent of the time. Some of the failures were glaring: the algorithms detected a white face, but not a Black face posed in a near-identical position, in the same image.
Onduidelijk is hoe de VU heeft gereageerd op de klacht van de student, anders dan „ten zeerste te betreuren dat de student stress heeft ervaren door de inzet van het systeem”. Ik zou bijvoorbeeld de DPIA van dit systeem wel eens willen lezen.

Wat ik zo frustrerend vind aan dit soort dingen: het moet altijd eerst een keer of wat misgaan voordat iemand zegt, dit klopt niet. Want je moet als inkoper maar net op het idee komen dat je dit moet testen. Studenten klagen altijd, dus daar kijken we niet naar. En als je op internet wat vindt hierover, dan heeft de salesmedewerker vast een prachtig antwoord paraat.

En dan blijft het daarna lang stil, want de meeste studenten willen gewoon hun tentamen halen en dus geen gedoe veroorzaken met zulke rechtszaken of klachtprocedures. Dan maar een dikke lamp op je gezicht richten en er het beste van maken, nadat je al later was gestart omdat het systeem je niet herkent en de persoon aan de telefonische helpdesk alleen kan zeggen “ga dichter bij de camera zitten” of “misschien is het te donker in uw kamer”. Ja, daar kan ik me aan ergeren.

Update: de VU reageert, “[e]r is in dat onderzoek geen aanwijzing gevonden dat de software daadwerkelijk discrimineert” en dat de leverancier hen verzekert dat alles in orde is. Concrete weerleggingen van bijvoorbeeld het onderzoek van Motherboard kan ik niet vinden.

Arnoud

 

Hebben universiteiten nu een AVG-probleem met die Proctorio hack?

| AE 13077 | Privacy | 23 reacties

Vele tienduizenden Nederlandse studenten zijn maandenlang gemakkelijk te hacken geweest, omdat hun opleiding hen verplichtte onveilige antispieksoftware te installeren. Dat meldde RTL Nieuws onlangs. Criminelen kunnen de software van Proctorio misbruiken om mee te gluren met de webcam en opnames te maken, of om toegang te krijgen tot online accounts, zoals je e-mail, betaaldiensten of crypto (de zogeheten online wallet). Diverse studerende lezers vroegen me: heeft mijn universiteit of hogeschool nu een AVG probleem, en moeten ze nu stoppen met Proctorio?

We hebben het eerder gehad over proctoring-software, die sinds de coronacrisis breed ingezet werd. Het argument daarbij was klassiek het privacy argument: studenten moeten zichzelf digitaal blootgeven in hun huisomgeving om vermoedens van fraude uit te sluiten. De rechter is daarin niet meegegaan: fraude bij tentamens is ernstig, het gaat maar om enkele uren per tentamen dus hoe erg is dat nou helemaal. (Bovendien, hoe moet het dan bij tentamens van 300 man.)

De onderliggende aanname is dan – zoals wel vaker – dat de software an sich veilig is en doet wat ie belooft. IT’ers beginnen nu te lachen, en die snap ik ook want als er iets is dat we de afgelopen vijf jaar hebben geleerd dan is het wel dat alle software lek is, onbedoelde features heeft en als je niet uitkijkt wordt ingezet om persoonsgegevens te harvesten voor ontwikkeling van diverse AI’s.

Deze hack is in zoverre een AVG probleem dat de inzet van proctoring software onder de AVG gerechtvaardigd moet worden, en bekend onveilige software voldoet natuurlijk niet. Het Proctorio lek is ondertussen alweer gedicht zo lees ik, waardoor er dus eigenlijk geen AVG issue meer zou moeten zijn. Natuurlijk kunnen er meer lekken zijn (alle software is immers lek) maar zonder specifieke aanwijzingen denk ik niet dat je hier wat mee kunt.

Arnoud

Erasmus Universiteit verplicht ondanks kritiek twee camera’s bij onlinetentamens

| AE 12501 | Privacy | 26 reacties

Studenten aan de Erasmus Universiteit in Rotterdam moeten vanaf deze week twee camera’s gebruiken bij onlinetentamens. Dat meldde Tweakers gisteren. Naast de standaard webcam moeten studenten namelijk nu een telefoon of tablet achter zich plaatsen. Zo kan extra toezicht worden gehouden, wat onder meer nodig is omdat daarmee een niet nader aangeduide fraudetechniek onmogelijk wordt…. Lees verder

Studentenraad klaagt UvA aan wegens gebruik surveillancesoftware

| AE 11983 | Innovatie, Privacy | 8 reacties

De Centrale Studentenraad van de UvA stapt naar de rechter vanwege het gebruik van het surveillanceprogramma Proctorio. Dat las ik bij Tweakers. De CSr ziet de maatregel als een te vergaande inbreuk op het privéleven van studenten, omdat die bij tentamens dan hun hele hebben en houden thuis moeten onthullen en niet-transparante software van een… Lees verder