Klacht bij mensenrechtencollege voor discriminerende antispieksoftware

| AE 13466 | Informatiemaatschappij | 26 reacties

De software Proctorio herkende Vrije Universiteit-student Robin Pocornie volgens haar niet omdat ze zwart is, las ik bij NRC. Waarom die slag om de arm weet ik niet, want als het probleem opgelost is als je je huid extra bijschijnt dan lijkt de huidskleur me evident de oorzaak. En het is een bekend verhaal: heel veel AI-gebaseerde gezichtsherkenning is alleen getraind op witte mannen en geeft dus allerlei problemen. Pocornie dient nu een klacht in bij het College voor de Rechten van de Mens (CvdRM).

Het achterliggende verhaal is vast bekend: door corona stapten universiteiten over naar toetsing op afstand, en vanwege angst voor fraude is massaal gekozen voor proctoring, iedereen moet thuis z’n webcam aanzetten en een AI controleert of je fraudeert. Daar vond ik al eens wat van, maar de rechter oordeelde (in hoger beroep) dat proctoring in principe moet kunnen.

Bij die uitspraak (van de UvA) kwam nooit aan de orde dat het systeem wel eens slecht zou kunnen werken, en dat dat met name zou spelen bij minderheden. Ik ben ergens verrast dat daar geen aandacht aan is gegeven in de tests.

Toevallig vond ik een tijdje terug een artikel in Motherboard over iemand die Proctorio uit elkaar had gehaald en ontdekte dat de basis voor de software het opensourcepakket OpenCV is. Dit is een bekende set libraries voor objectherkenning (voor AI zijn wij objecten). Maar diverse tests laten zien dat het niet goed werkt:

Satheesan tested the models against images containing nearly 11,000 faces from the FairFaces dataset, a library of images curated to contain labeled images representative of multiple ethnicities and races. The models failed to detect faces in images labeled as including Black faces 57 percent of the time. Some of the failures were glaring: the algorithms detected a white face, but not a Black face posed in a near-identical position, in the same image.
Onduidelijk is hoe de VU heeft gereageerd op de klacht van de student, anders dan „ten zeerste te betreuren dat de student stress heeft ervaren door de inzet van het systeem”. Ik zou bijvoorbeeld de DPIA van dit systeem wel eens willen lezen.

Wat ik zo frustrerend vind aan dit soort dingen: het moet altijd eerst een keer of wat misgaan voordat iemand zegt, dit klopt niet. Want je moet als inkoper maar net op het idee komen dat je dit moet testen. Studenten klagen altijd, dus daar kijken we niet naar. En als je op internet wat vindt hierover, dan heeft de salesmedewerker vast een prachtig antwoord paraat.

En dan blijft het daarna lang stil, want de meeste studenten willen gewoon hun tentamen halen en dus geen gedoe veroorzaken met zulke rechtszaken of klachtprocedures. Dan maar een dikke lamp op je gezicht richten en er het beste van maken, nadat je al later was gestart omdat het systeem je niet herkent en de persoon aan de telefonische helpdesk alleen kan zeggen “ga dichter bij de camera zitten” of “misschien is het te donker in uw kamer”. Ja, daar kan ik me aan ergeren.

Update: de VU reageert, “[e]r is in dat onderzoek geen aanwijzing gevonden dat de software daadwerkelijk discrimineert” en dat de leverancier hen verzekert dat alles in orde is. Concrete weerleggingen van bijvoorbeeld het onderzoek van Motherboard kan ik niet vinden.

Arnoud

 

Hebben universiteiten nu een AVG-probleem met die Proctorio hack?

| AE 13077 | Privacy | 23 reacties

Vele tienduizenden Nederlandse studenten zijn maandenlang gemakkelijk te hacken geweest, omdat hun opleiding hen verplichtte onveilige antispieksoftware te installeren. Dat meldde RTL Nieuws onlangs. Criminelen kunnen de software van Proctorio misbruiken om mee te gluren met de webcam en opnames te maken, of om toegang te krijgen tot online accounts, zoals je e-mail, betaaldiensten of crypto (de zogeheten online wallet). Diverse studerende lezers vroegen me: heeft mijn universiteit of hogeschool nu een AVG probleem, en moeten ze nu stoppen met Proctorio?

We hebben het eerder gehad over proctoring-software, die sinds de coronacrisis breed ingezet werd. Het argument daarbij was klassiek het privacy argument: studenten moeten zichzelf digitaal blootgeven in hun huisomgeving om vermoedens van fraude uit te sluiten. De rechter is daarin niet meegegaan: fraude bij tentamens is ernstig, het gaat maar om enkele uren per tentamen dus hoe erg is dat nou helemaal. (Bovendien, hoe moet het dan bij tentamens van 300 man.)

De onderliggende aanname is dan – zoals wel vaker – dat de software an sich veilig is en doet wat ie belooft. IT’ers beginnen nu te lachen, en die snap ik ook want als er iets is dat we de afgelopen vijf jaar hebben geleerd dan is het wel dat alle software lek is, onbedoelde features heeft en als je niet uitkijkt wordt ingezet om persoonsgegevens te harvesten voor ontwikkeling van diverse AI’s.

Deze hack is in zoverre een AVG probleem dat de inzet van proctoring software onder de AVG gerechtvaardigd moet worden, en bekend onveilige software voldoet natuurlijk niet. Het Proctorio lek is ondertussen alweer gedicht zo lees ik, waardoor er dus eigenlijk geen AVG issue meer zou moeten zijn. Natuurlijk kunnen er meer lekken zijn (alle software is immers lek) maar zonder specifieke aanwijzingen denk ik niet dat je hier wat mee kunt.

Arnoud