De Vrije Universiteit Amsterdam (VU) heeft een studente niet gediscrimineerd met de tentamensoftware Proctorio. Dat las ik bij RTL Nieuws vorige week. De universiteit heeft aangetoond dat deze student tijdens haar tentamens niet meer problemen heeft ondervonden dan andere studenten en dat die problemen in het geval van deze student niet veroorzaakt werden door haar huidskleur.
De studente had in 2022 een klacht bij het College voor de Rechten van de Mens ingediend, en die had de VU opgedragen te bewijzen dat de software niet discrimineert. Kern van de klacht was dat de antispieksoftware haar steeds als afwezig markeerde omdat zij door haar huidskleur niet goed werd herkend.
Die gedachte is niet heel raar, want het is bekend dat de basis voor de software het opensourcepakket OpenCV is. Dit is een bekende set libraries voor objectherkenning (voor AI zijn wij objecten). Maar diverse tests laten zien dat het niet goed werkt:
Op basis van deze informatie concludeerde het College dat er best wel eens sprake kon zijn van “ongeoorloofd onderscheid naar etnische afkomst” – de juridische term voor wat de media dan “discriminatie” noemt. Maar voor de duidelijkheid: die juridische term kent niet de component van afkeuring of opzet die we vaak bij “discriminatie” lezen. Je wordt anders behandeld, en dat kan per ongeluk gebeuren zonder dat iemand nadacht over huidskleur of wat dan ook.The models failed to detect faces in images labeled as including Black faces 57 percent of the time. Some of the failures were glaring: the algorithms detected a white face, but not a Black face posed in a near-identical position, in the same image.
De VU deed nader onderzoek naar wat er nu precies bij deze student was gebeurd:
De VU heeft met behulp van gegevens over het inlogproces kunnen aantonen dat de student tijdens haar tentamens niet meer problemen heeft ondervonden dan andere studenten. Dat de student bij een van haar tentamens langer deed over het verificatieproces en tijdens het tentamen een herstart moest maken kwam door andere dingen, die geen verband hielden met haar huidskleur. Zoals een slechte internetverbinding of het dragen van een bril.Het oordeel van het College is dan ook dat geen verboden onderscheid is gemaakt. Men gaat niet expliciet in op detectie van huidskleur, maar vindt het voldoende aannemelijk dat de problemen samengaan met andere technische gebeurtenissen.
De student had het principiële punt opgeworpen dat de software niet onderzocht is op mogelijkheden voor discriminatie. Daar geeft het College haar gelijk, maar dat is een algemeen verwijt dat de wetgever moet oppakken. (Iets dat in de AI Act ook zal gebeuren.)
Arnoud
Ik neem aan dat er instructies kunnen komen die neutraal zijn over gebruik van de software maar wel de herkenning van mensen met een getinte huid kunnen verbeteren. Instructies over gebruik van verlichting en achtergrond bijvoorbeeld.
Helaas is het zo dat plaatjes van mensen met een donkere huidskleur minder contrast bevatten, en dat er soms ook een probleem is met automatisch contrast in combinatie met een (zeer) lichte achtergrond (bijv. een raam met zon en geen gordijnen). Dit kan ook een punt zijn bij gewone videoconferencing (met mensen aan de andere kant). Goede verlichting helpt een heleboel. Software kan wel proberen het probleem te onderkennen en te compenseren, maar ik denk niet dat dat volledig kan (wel kan het een stuk beter zo dat zo min mogelijk mensen er last van hebben).
Ik heb zelf ook een getinte huid, niet super donker. Maar ja… volgens mij is dit gewoon een probleem van gezichts herkenning.
Het zelfde principe gebruikt men toch ook in het leger. Vaak zie je ook facepaint die gebruikt wordt om herkenningspunten weg te werken van je gezicht. Ik denk dat een donkeren huid helaas dan ook dezelfde effecten heeft.
Het is mogelijk om camera’s beter in te stellen zodat er meer contrast in een donkere huid zit (ten koste van het contrast in een blanke huid). Het is ook mogelijk om betere camera’s te gebruiken (met een hoger dynamisch bereik) en daarmee zowel donkere als lichte huidtinten beter te representeren. Of Proctorio dat ook in voldoende mate deed ten tijde van de tentamens zal helaas nooit duidelijk worden. Er waren teveel “andere oorzaken” om discriminerende instellingen in de software vast te kunnen stellen.
Corrigeer me als ik het mis heb … maar moeten de studenten die examen doen niet zelf voor de camera(s) zorgen?
Ja dan hebben studenten met een donkere huid een duurdere betere camera nodig, maar ik heb er veel moeite mee om natuurkunde als discriminatie te bestempelen. Dat is van een hele andere orde als je AI gezichtsherkenningssysteem niet genoeg trainingsdata geven.
Je zou de bal kunnen doorspelen naar de camera (firmware) makers die de standaardinstellingen zo hebben dat blanke gezichten een goed contrast hebben ten koste van de donkere. Maar dan kun je weer naar Proctorio wijzen voor het incompleet of onvoldoende testen van haar systeem in realistische praktijksituaties. En (impliciet) eisen dat donkergetinte studenten duurdere webcams aanschaffen is naar mijn mening ook discriminatie.
Ik blijf er bij, helaas heeft men in deze zaak discriminatie niet kunnen vaststellen noch uitsluiten. Dat zal misschien ooit op een ander tijdstip uitgezocht worden.
Ik heb daar geen moeite mee; er zijn nu eenmaal fysieke gevolgen van een donkerdere huid die niet een vooroordeel inhouden, maar gewoon zijn.
Als je een lichte huid hebt en buiten werkt heb je meer kosten aan zonnebrand als iemand met een donkere huid. Is het dan discriminatie als jouw werkgever je buiten in de zon laat werken?
We zijn volslagen doorgeslagen met discriminatie bestrijden tot een punt waar we moeten doen alsof een daadwerkelijk verschil geen enkel gevolg kan hebben, wanneer dat verschil in een lijstje in de wet staat.
(Wat overigens helemaal los staat van trainings bias in het gezichtsherkenningsmodel, dat is een gevolg van keuzes en wordt terecht tegen opgetreden wanneer het aangetoond wordt.)
Dit is geen fysiek gevolg zoals de zonnekracht, maar een keuze van een openbare instelling bekostigd met overheidsgeld. Die zegt, koop maar een duurdere webcam want dan hoeven wij de software niet bij te trainen. Dat vind ik van een heel andere orde.
Als je in een rolstoel zit, kunnen sommige dingen niet. Dat is inderdaad gewoon een gevolg van die situatie. Maar als de universiteit zou zeggen, geen tentamen voor jou want de zaal is niet rolstoeltoegankelijk en wij gaan die drempels niet weghalen, dan zou dat toch raar zijn?
Ik citeer in de blog onderzoek dat bias op huidskleur laat zien bij Proctorio’s software library. Een betere webcam compenseert daarvoor. Maar het schiet me echt in het verkeerde keelgat als je dat doorgeschoten noemt, hier wéten we dat het de software is. Dus los het op in de software en kom niet aanzetten met dat een albino op de akker toch ook meer zonnebrand nodig heeft.
Daar maak jij een flinke aanname: dat je de tekortkomingen van slechtere camera’s kan oplossen met meer training.
Dat punt heb ik heb geadresseerd in mijn allerlaatste zin. Maar als je dat claimt, dan moet je dat wel aantonen en dat is in deze zaak in ieder geval niet gebeurt.
En er is genoeg onderzoek waaruit blijkt dat gezichtsherkenning bij een donkere huid problematischer is door het gebrek aan contrast, bij systemen die werken met ideale licht condities verdwijnen de verschillen grotendeels.
Kan het zijn dat het model van Proctorio bias heeft? Natuurlijk kan dat, het probleem is dat het een claim is die niet gesubstantieerd wordt*. We weten het dus niet!
Wat weten we wel? Dat er veel wetenschappelijk onderzoek is dat aantoont dat het probleem ook optreedt bij goed getrainde modellen door externe oorzaken.
Jouw rolstoel voorbeeld is interessant, want de rolstoel is een hulpmiddel waarmee die persoon in de zaal kan komen. Die kost geld en daar draait de persoon – deels – zelf voor op. Ik zie de rolstoel niet anders dan de camera. De universiteit maakt het examen toegankelijk voor degene die de passende middelen hebben, een rolstoel voor de ene persoon en een camera die voldoende contrast kan waarnemen voor de andere.
Wat mij betreft is er pas een discussie als: 1.de camera zo goed moet zijn dat deze voor een student in alle redelijkheid niet betaalbaar is. En in dat geval zou ik zeggen dat het hele proctoring met camera’s verboden moet worden tot de prijs van camera’s tot een betaalbaar punt is gedaald, of; 2. Er geen camera’s zijn die goed genoeg zijn, ongeacht de prijs, om het systeem voor bepaalde groepen te laten werken.