Klacht bij mensenrechtencollege voor discriminerende antispieksoftware

| AE 13466 | Informatiemaatschappij | 26 reacties

De software Proctorio herkende Vrije Universiteit-student Robin Pocornie volgens haar niet omdat ze zwart is, las ik bij NRC. Waarom die slag om de arm weet ik niet, want als het probleem opgelost is als je je huid extra bijschijnt dan lijkt de huidskleur me evident de oorzaak. En het is een bekend verhaal: heel veel AI-gebaseerde gezichtsherkenning is alleen getraind op witte mannen en geeft dus allerlei problemen. Pocornie dient nu een klacht in bij het College voor de Rechten van de Mens (CvdRM).

Het achterliggende verhaal is vast bekend: door corona stapten universiteiten over naar toetsing op afstand, en vanwege angst voor fraude is massaal gekozen voor proctoring, iedereen moet thuis z’n webcam aanzetten en een AI controleert of je fraudeert. Daar vond ik al eens wat van, maar de rechter oordeelde (in hoger beroep) dat proctoring in principe moet kunnen.

Bij die uitspraak (van de UvA) kwam nooit aan de orde dat het systeem wel eens slecht zou kunnen werken, en dat dat met name zou spelen bij minderheden. Ik ben ergens verrast dat daar geen aandacht aan is gegeven in de tests.

Toevallig vond ik een tijdje terug een artikel in Motherboard over iemand die Proctorio uit elkaar had gehaald en ontdekte dat de basis voor de software het opensourcepakket OpenCV is. Dit is een bekende set libraries voor objectherkenning (voor AI zijn wij objecten). Maar diverse tests laten zien dat het niet goed werkt:

Satheesan tested the models against images containing nearly 11,000 faces from the FairFaces dataset, a library of images curated to contain labeled images representative of multiple ethnicities and races. The models failed to detect faces in images labeled as including Black faces 57 percent of the time. Some of the failures were glaring: the algorithms detected a white face, but not a Black face posed in a near-identical position, in the same image.
Onduidelijk is hoe de VU heeft gereageerd op de klacht van de student, anders dan „ten zeerste te betreuren dat de student stress heeft ervaren door de inzet van het systeem”. Ik zou bijvoorbeeld de DPIA van dit systeem wel eens willen lezen.

Wat ik zo frustrerend vind aan dit soort dingen: het moet altijd eerst een keer of wat misgaan voordat iemand zegt, dit klopt niet. Want je moet als inkoper maar net op het idee komen dat je dit moet testen. Studenten klagen altijd, dus daar kijken we niet naar. En als je op internet wat vindt hierover, dan heeft de salesmedewerker vast een prachtig antwoord paraat.

En dan blijft het daarna lang stil, want de meeste studenten willen gewoon hun tentamen halen en dus geen gedoe veroorzaken met zulke rechtszaken of klachtprocedures. Dan maar een dikke lamp op je gezicht richten en er het beste van maken, nadat je al later was gestart omdat het systeem je niet herkent en de persoon aan de telefonische helpdesk alleen kan zeggen “ga dichter bij de camera zitten” of “misschien is het te donker in uw kamer”. Ja, daar kan ik me aan ergeren.

Update: de VU reageert, “[e]r is in dat onderzoek geen aanwijzing gevonden dat de software daadwerkelijk discrimineert” en dat de leverancier hen verzekert dat alles in orde is. Concrete weerleggingen van bijvoorbeeld het onderzoek van Motherboard kan ik niet vinden.

Arnoud