Hoe bewijs je dat je antispieksoftware die lijkt te discrimineren, dat in feite niet doet?

| AE 13740 | Privacy | 20 reacties

Een student is erin geslaagd voldoende feiten aan te dragen voor een vermoeden van algoritmische discriminatie, zo maakte het College voor de Rechten van de Mens vorige week bekend. Haar klacht van afgelopen juli kreeg veel aandacht omdat dit zeer zelden gebeurt: de gezichtsdetectieroutine van de antispieksoftware herkende haar aanwezigheid niet, wat haar tentamentijd en stress kostte. Een technisch probleem of discriminatie? We gaan nu horen wat er aan de hand was.

De kern van het probleem is dat antispieksoftware Proctorio deze studente regelmatig niet in beeld herkende (‘face not found’ of ‘room too dark’). Dat leidt tot vertraging en tijdverlies, wat bij een tentamen natuurlijk bepaald ongewenst is. Er is academisch onderzoek (onder meer deze, nonacademisch maar verhelderend is dit onderzoek) dat aantoont dat gezichtsdetectiesoftware over het algemeen slechter presteert op personen met een donkere huidskleur, zodat je goed zou kunnen vermoeden dat dat hier ook speelt.

In een “Statement naar aanleiding berichtgeving Volkskrant” (een titel waar ik gewéldige jeuk van krijg) legde de universiteit destijds uit:

Er is door de faculteit onderzoek gedaan naar aanleiding van de klacht van student van mei 2022 maar er is geen aanwijzing gevonden dat student bij de vijf toetsen in haar klacht meer technische belemmeringen heeft ondervonden dan andere studenten van de inzet van Proctorio. Bij de VU zijn geen andere klachten van vergelijkbare aard door studenten gemeld. Proctorio heeft ons meermalen verzekerd dat er geen verschil is tussen mensen met een donkere of een lichtere huid bij het gebruik van de software.
Het College kan niet zo veel met die cijfers van de VU, naast dat het externe onderzoek van Proctorio niet openbaar is:
Zo is bijvoorbeeld de gemiddelde inlogtijd van andere studenten niet onderzocht. Daarnaast is het de vraag of deze andere studenten zich in vergelijkbare omstandigheden bevonden als de vrouw.
De VU krijgt nu tien weken om aanvullend bewijs te achterhalen waaruit blijkt dat zij geen indirect onderscheid naar ras heeft gemaakt. Dat is dus de juridische frase die in de pers wordt vertaald naar “niet discrimineert”, maar “indirect onderscheid” is wel een stukje breder. “Discriminatie” betekent gewoonlijk dat je bewust – vaak vanuit een superioriteitsgevoel – mensen negatief bejegent op basis van kenmerken zoals ras, geloof of seksuele voorkeur.

“Onderscheid” is een bredere term, die erop neerkomt dat mensen uit een bepaalde groep slechter behandeld worden of meer gedoe hebben. Maar het doet er dan niet toe of jij daar de intentie toe had, zeker bij “indirect” onderscheid. Een voorbeeld van indirect onderscheid is het weigeren van honden in een restaurant – dat treft blinden veel vaker dan ziende mensen. Dat verbod is dan met de beste bedoelingen (hygiëne, rust) maar kan dus niet zonder een uitzondering voor hulphonden, die dan op hun beurt weer rustig onder tafel moeten kunnen blijven.

Ik geloof zelf geen seconde dat de VU bewust dacht “mensen van kleur verdienen gedoe bij hun tentamens”. Dus “discrimineert men” is niet de juiste vraag. De kern is “zorgde inzet van Proctorio voor meer gedoe bij deze groep dan bij de groep witte mensen” en het antwoord daarop lijkt “ja” te zijn. Dus nu moet de VU hetzij aantonen dat andere groep net zo veel mensen met gedoe hebben hetzij dat het gedoe toch niet te maken heeft met huidskleur.

Een meelezende tweaker suggereerde dat veel studenten (ongeacht afkomst) webcams met veel te lage kwaliteit gebruiken dan wel niet weten hoe deze op te stellen, waardoor detectie natuurlijk óók heel slecht gaat. Dan zou het dus eerder de factor “armoede” dan wel “noob die geen onderscheid weet tussen een aardappel en een Logitech C920” zijn. Het zou me verbazen gezien de algemene bewijzen die juist wél wijzen op huidskleur als factor, maar we gaan het meemaken.

Arnoud

Klacht bij mensenrechtencollege voor discriminerende antispieksoftware

| AE 13466 | Informatiemaatschappij | 26 reacties

De software Proctorio herkende Vrije Universiteit-student Robin Pocornie volgens haar niet omdat ze zwart is, las ik bij NRC. Waarom die slag om de arm weet ik niet, want als het probleem opgelost is als je je huid extra bijschijnt dan lijkt de huidskleur me evident de oorzaak. En het is een bekend verhaal: heel veel AI-gebaseerde gezichtsherkenning is alleen getraind op witte mannen en geeft dus allerlei problemen. Pocornie dient nu een klacht in bij het College voor de Rechten van de Mens (CvdRM).

Het achterliggende verhaal is vast bekend: door corona stapten universiteiten over naar toetsing op afstand, en vanwege angst voor fraude is massaal gekozen voor proctoring, iedereen moet thuis z’n webcam aanzetten en een AI controleert of je fraudeert. Daar vond ik al eens wat van, maar de rechter oordeelde (in hoger beroep) dat proctoring in principe moet kunnen.

Bij die uitspraak (van de UvA) kwam nooit aan de orde dat het systeem wel eens slecht zou kunnen werken, en dat dat met name zou spelen bij minderheden. Ik ben ergens verrast dat daar geen aandacht aan is gegeven in de tests.

Toevallig vond ik een tijdje terug een artikel in Motherboard over iemand die Proctorio uit elkaar had gehaald en ontdekte dat de basis voor de software het opensourcepakket OpenCV is. Dit is een bekende set libraries voor objectherkenning (voor AI zijn wij objecten). Maar diverse tests laten zien dat het niet goed werkt:

Satheesan tested the models against images containing nearly 11,000 faces from the FairFaces dataset, a library of images curated to contain labeled images representative of multiple ethnicities and races. The models failed to detect faces in images labeled as including Black faces 57 percent of the time. Some of the failures were glaring: the algorithms detected a white face, but not a Black face posed in a near-identical position, in the same image.
Onduidelijk is hoe de VU heeft gereageerd op de klacht van de student, anders dan „ten zeerste te betreuren dat de student stress heeft ervaren door de inzet van het systeem”. Ik zou bijvoorbeeld de DPIA van dit systeem wel eens willen lezen.

Wat ik zo frustrerend vind aan dit soort dingen: het moet altijd eerst een keer of wat misgaan voordat iemand zegt, dit klopt niet. Want je moet als inkoper maar net op het idee komen dat je dit moet testen. Studenten klagen altijd, dus daar kijken we niet naar. En als je op internet wat vindt hierover, dan heeft de salesmedewerker vast een prachtig antwoord paraat.

En dan blijft het daarna lang stil, want de meeste studenten willen gewoon hun tentamen halen en dus geen gedoe veroorzaken met zulke rechtszaken of klachtprocedures. Dan maar een dikke lamp op je gezicht richten en er het beste van maken, nadat je al later was gestart omdat het systeem je niet herkent en de persoon aan de telefonische helpdesk alleen kan zeggen “ga dichter bij de camera zitten” of “misschien is het te donker in uw kamer”. Ja, daar kan ik me aan ergeren.

Update: de VU reageert, “[e]r is in dat onderzoek geen aanwijzing gevonden dat de software daadwerkelijk discrimineert” en dat de leverancier hen verzekert dat alles in orde is. Concrete weerleggingen van bijvoorbeeld het onderzoek van Motherboard kan ik niet vinden.

Arnoud

 

VN-commissaris roept op tot stopzetting van biometrische herkenning via AI

| AE 12915 | Innovatie | 30 reacties

De commissaris voor mensenrechten bij de VN pleit voor een stopzetting op het gebruik van biometrische herkenning in de publieke ruimte, las ik bij Tweakers. Mevrouw Bachelet doet deze uitspraak in een rapport van de Verenigde Naties waarin de effecten van artificiële intelligentie op mensenrechten wordt besproken. Overheden zouden eerst moeten kunnen aantonen of er voldaan wordt aan de privacywetgeving en of er niet gediscrimineerd kan worden. En dat geeft weer gelijk discussie over de vraag of een AI wel kan discrimineren.

Het rapport stipt nog meer dingen aan, zoals dat AI vaak door private partijen wordt geleverd en dan totaal niet transparant is. Of dat je niet weet waar de data vandaan komt of wat men er nog meer mee doet. Ik vind dat soort dingen minstens zo ingewikkeld en juridisch vervelend.

Maar goed, discriminatie. Gewoon een neutraal woord in de wetenschap hoor, zo lees ik dan in de comments. En terecht: het betekent gewoon “onderscheid maken” en in de statistiek gebruik je dat voor iedere situatie waarin je data in groep A of B gaat onderverdelen. Maar juristen en ethici bedoelen er wat anders mee, namelijk het onderscheid maken op basis van verboden kenmerken zoals etnische afkomst, seksuele gerichtheid of politieke voorkeur. Dat willen we niet, en daar is een hele goede reden voor: deze kenmerken zijn fundamentele waarden van mensen, en ook niet te wijzigen zoals een kledingkeuze of zelfs woonplaats. Daar blijf je dus af.

Bovendien is er nooit enig oorzakelijk verband aangetoond tussen die kenmerken en welk gedrag dan ook. Iedere uitspraak van het soort “mensen met etnisch kenmerk X willen/hebben/kunnen/haten” is dus automatisch fout, dat is gewoon geen kenmerk waar je uitspraken op kunt baseren. Oké, heel misschien medische kenmerken (kroeshaar is lastiger te scheren, Aziaten verdragen koemelk niet) maar dat zijn echt de uitzonderingen. Het soort situatie waar we het bij AI vaak over hebben, past daar niet bij.

Dat wringt, omdat we vaak AI systemen correlaties zien aanwijzen: de criminaliteit is hoger bij groepen met etnisch kenmerk X, sollicitanten met huidskleur A zijn minder geschikt, seksuele gerichtheid X gaat niet samen met lesgeven op school. Voor een AI is dat inderdaad een neutrale constatering, als dat zo in de dataset zit en de functie komt daarbij op een goed werkend onderscheid (de test-dataset wordt correct als ja of nee gesorteerd) dan is het in orde.

Zo’n conclusie is voor de maatschappij echter niet in orde. In eerste instantie niet omdat de dataset waarschijnlijk niet compleet is (dit is namelijk bij vrijwel iedere AI applicatie een ware uitspraak). Maar zelfs als je wél alle relevante data hebt, blijft er een probleem.

Natuurlijk kan een AI ook een bestaande bias blootleggen. Huidskleur blijkt bij dit bedrijf een perfecte voorspeller van geschiktheid, omdat de HR-medewerker die de sollicitanten screende, zelf die bias had. Dan heb je dus een bias geformaliseerd, maar dat kun je het systeem niet verwijten toch? Die geeft neutraal aan hoe de werkelijkheid is, hoe de maatschappij er nu uit ziet.

Maar dat is niet waar. Een mens is allereerst niet zo hard als een AI. Die zal niet snel iemand in zijn of haar gezicht zeggen, je huidskleur past niet bij dit bedrijf. Die verzint excuses, blaast een smetje op het cv op of legt het gewoon op de stapel “tweede keus” wetende dat er al tien mensen op gesprek komen. Dat merk je niet. Een AI zegt gewoon letterlijk waar het op staat, zonder schroom of vergoeilijking of excuses. En dat valt veel meer op, komt veel meer binnen.

Bovendien, en dat vind ik problematischer, heeft een AI veel meer een aura van objectiviteit, betrouwbaarheid, echtheid. De cijfers zeggen het, deze huidskleur kan gewoon niet bij dit bedrijf. Helaas, objectief berekend met 88% betrouwbaarheid en achttien cijfers achter de komma. Maar in feite hebben we hetzelfde als die HR-medewerker die het met mooie smoesjes wist te verhullen.

Arnoud

Vrouw staat vaker voor dichte deur bij gemeenteportaal dan man

| AE 12744 | Innovatie | 51 reacties

Vrijwel standaard hebben alleen mannen bij gemeenten toegang tot belangrijke privégegevens over hun huishoudens, las ik bij de Stentor. Dat blijkt uit onderzoek van de krant. Steeds vaker schuiven gemeentes burgers naar online portalen voor persoonlijke informatie, belastingaanslagen (hond, huis), heffingen (riool, reiniging) en betalingsafspraken. Detail: slechts een persoon per huishouden (de belastingplichtige) krijgt toegang en… Lees verder

Bild nagelt ‘vluchtelinghatende’ Facebookers aan schandpaal, mag dat?

| AE 8119 | Privacy, Uitingsvrijheid | 25 reacties

De Duitse krant Bild heeft dinsdag een selectie haatdragende teksten van Facebookgebruikers gepubliceerd – inclusief namen en profielfoto’s. Dat las ik in de Volkskrant. Bild wil zo de -aldus de Volkskrant- welig tierende vluchtelingenhaat op sociale media aan de kaak stellen en de gebruikers ‘aan de schandpaal nagelen’. De term ‘schandpaal’ suggereert natuurlijk nogal sterk… Lees verder

RET weigert nieuwe leerling vanwege tweet

| AE 7984 | Ondernemingsvrijheid | 43 reacties

De RET heeft een 20-jarige Rotterdammer niet toegelaten tot de opleiding van metrobestuurder omdat hij een racistisch bericht op Twitter verstuurde, las ik bij RTV Rijnmond. Metro noemt het een ‘gaskamertweet’, wat het niveau wel aangeeft denk ik. De RET vindt deze tekst onacceptabel (joh) en heeft daarom zijn inschrijving geweigerd. U denkt nu misschien… Lees verder

Kabinet wil notice/takedown van extremistische uitingen opvoeren

| AE 6929 | Regulering, Uitingsvrijheid | 21 reacties

Het kabinet wil verspreiding van online radicaliserende, haatzaaiende, gewelddadige jihadistische informatie tegengaan, maakte men vorige week bekend. Onderdeel daarvan is een specialistisch team dat notice/takedownbevelen gaat geven aan tussenpersonen zoals Facebook. “Ook maakt het team afspraken met internetbedrijven over effectieve blokkeringen.” Onder de huidige wet is het mogelijk een bevel tot verwijdering te geven van… Lees verder

Een vacature in een Facebookadvertentie, mag dat?

| AE 6026 | Ondernemingsvrijheid | 37 reacties

Hoe zet je Facebook-advertenties optimaal in om de juiste kandidaat te vinden, las ik op Marketingfacts. Het sociale netwerk biedt mogelijkheden voor zéér specifieke targeting, en dat is natuurlijk ook voor vacatures interessant. Staat je bedrijf in Rotterdam, dan is het niet zinnig de advertentie aan Assenaren of Groningers te vertonen, bijvoorbeeld. Maar je kunt… Lees verder

Linkedin brak Nederlandse wet met personeelsadvertentie met vraag naar etnische afkomst

| AE 5639 | Ondernemingsvrijheid | 19 reacties

Juridische foutje-bedankt van de maand: bij een personeelsadvertentie van zakelijkesocialmediasite LinkedIn werd naar ras en etnische afkomst van de sollicitant gevraagd, onder verwijzing naar Amerikaanse positieve-discriminatiewetgeving. Dat ontdekte Bas van de Haterd eerder deze week. De fout werd per direct opgelost, want dat mag natuurlijk absoluut niet. Wie zijn CV wilde insturen naar LinkedIn, kreeg… Lees verder

Een wikipagina over “zwartjoekels”, mag dat?

| AE 2472 | Uitingsvrijheid | 47 reacties

Bij het onvolprezen Retecool las ik woensdag een berichtje over de inmiddels zes maanden oude Wakkerpedia, de de wiki voor onderbuikend Nederland. RC lanceerde deze in september vorig jaar bij wijze van satire op onder meer de Wikipedia-poging van Rita Verdonk. Doel was elk lemma te vullen met ‘pareltjes’ uit de onderbuikcomments bij onder meer… Lees verder