Meta’s advertentiealgoritme discrimineert op grond van geslacht, las ik bij Tweakers. Het betreft een uitspraak van het College voor de Rechten van de Mens: vacatures voor receptionisten worden op Facebook bijvoorbeeld vaker aan vrouwen geadverteerd en vacatures voor monteurs vaker aan mannen. Gewoon gericht adverteren of toch verboden onderscheid?
Meta toont zoals zovelen advertenties zo veel mogelijk gericht. Daarbij wordt geleerd op basis van klikgedrag en profielgegevens, waarbij ‘geslacht’ als datapunt onderdeel is van het algoritme. En dat heeft impact:
Uit onderzoek van Global Witness blijkt dat de vacature voor de functie van receptionist voor 96% (2022) en 97% (2023) aan vrouwelijke Facebookgebruikers werd getoond. De vacature van monteur is voor 96% (2022 en 2023) aan mannelijke Facebookgebruikers getoond.Juridisch heet zoiets “indirect onderscheid”. Hoewel de advertentie niet vermeldt “alleen voor vrouwen” en de adverteerder dat ook niet aanvinkte, komt er tóch een duidelijk onderscheid. (Ik gebruik “onderscheid” om niet de geladen term “discriminatie” te hoeven gebruiken.)
Ietwat boud gesteld: alle onderscheid naar persoonskenmerken is verboden, tenzij je een objectieve reden kunt aandragen waarom je dat onderscheid nodig hebt. Dit bleek nog vorig jaar november met die fraude-regels van DUO:
Volgens de Grondwet is onderscheid op íedere grond in principe verboden – je moet een (objectieve) rechtvaardiging hebben om die grond te mogen inroepen. Je moet 16 zijn om op een ebike te mogen, omdat je (gemiddeld) pas dan genoeg ontwikkeld bent deze veilig te gebruiken. Je mag niet meer dan een uur reizen van je werk wonen, want de reistijd breekt je op zo weten wij uit ervaring. Zulke dingen.Meta’s rechtvaardiging is dat advertenties effectief moeten zijn, oftewel terecht komen bij mensen met interesse voor die baan én adverteerders relevante sollicitaties oplevert. Dat is een prima legitiem doel. Maar dan ben je er nog niet: het middel dat gebruikt wordt, moet zowel passend als noodzakelijk zijn.
Een algoritmisch gestuurd advertentiesysteem is passend om de genoemde doelen te bereiken. Maar het gaat mis op de noodzaak, om de simpele reden dat Meta hier niet over heeft nagedacht:
Van Meta Ierland mag worden verwacht dat zij de werking van het algoritme monitort en onderzoek doet naar de vraag in hoeverre er stereotypering optreedt in het advertentiealgoritme. Als het nodig is, moet Meta Ierland maatregelen treffen om de stereotypering versterkende werking te neutraliseren. Het College heeft niet kunnen vaststellen dat Meta Ierland op dit vlak de benodigde actie onderneemt.Het verschil tussen statistische realiteit en stereotypering zit niet in de getallen, maar in de aannames die eraan ten grondslag liggen. Wanneer vrouwen vaker op receptionist-vacatures klikken, kan dat komen door oprechte voorkeur – maar ook door jarenlange maatschappelijke conditionering of gebrek aan exposure aan alternatieven. Het algoritme kan dit onderscheid niet maken.
Door kliks blind te volgen, versterkt het systeem bestaande patronen zonder de onderliggende oorzaken te bevragen. Een monteur moet kunnen lassen en tillen, een receptionist moet communicatief en representatief zijn. Dát zijn de relevante criteria – niet geslacht. Door geslacht als proxy te gebruiken voor deze eigenschappen, bestendigt Meta exact die vooroordelen die de gelijkebehandelingswetgeving probeert te doorbreken.
Welke kracht heeft het oordeel van het College? Formeel geen: ze zijn geen rechtbank, en Meta hoeft dus niet te stoppen noch kunnen mensen nu claims indienen. Maar in de praktijk volgen rechters het College zeer vaak, en kun je dus als benadeelde partij met “het College zei dat het discriminatie was” heel ver komen.
Onder de AI Act krijgt het College iets meer tanden: onder artikel 77 mag zij over hoogrisico-AI alle documentatie opvragen en inzien als dat nodig is voor hun onderzoeken. Nog steeds kan zij geen sancties opleggen, maar hun bevindingen gaan naar de toezichthouders die dat wél mogen (en dus snel klaar zijn op basis van zo’n oordeel).
Arnoud
Valt dit onder de verantwoordelijkheid van de Autoriteit Persoonsgegevens om hier uit zichzelf actie op te nemen?
En wat nu als Meta stelt:
‘Wij verzamelen gegevens over onze gebruikers en matchen die met de gegevens van de vacature. Dat daar een patroon mannen/vrouwen uitkomt is puur toeval, wij bepalen namelijk geen geslacht uit de data die wij verzamelen, wij berekenen alleen match-waarschijnlijkheden op basis van klikgegevens die wij hebben.’
‘Als er al stereotypering optreedt, wat wij betwisten, ligt die niet aan ons algoritme, maar aan de klikdata die onze gebruikers zelf hebben gegenereerd. Wij zijn het met het College eens dat wij een ‘stereotypering versterkende werking’ moeten neutraliseren, maar wij betwisten dat die er is.’
Het is puur toeval dat ‘mensen die eerder lippenstiftreclames bekeken’ vaker de receptionist-vacatures blijken te bekijken. En dat je de vacatures vervolgens alleen nog maar laat zien aan mensen die matchen met lippenstiftreclamebekijkers, dat ligt écht niet aan het algoritme. Dat lippenstiftreclamebekijkers bepaalde vacatures te zien krijgen, hebben de Facebook-vrienden van die lippenstifreclamebekijkers die net als lippenstiftreclamebekijkers bovengemiddeld veel van krultangen houden met hun klikgedrag veroorzaakt. Hun schuld dus!
Ja ik ben het denk ik wel met je eens. Dat vacatures voor receptionist vooral bij vrouwen terecht komen is onwenselijk, en dat het rolpatroonbevestigend is is waar, maar ik ben er van overtuigd dat als Meta in al haar datasets het hele kenmerk “geslacht” geheel zou verwijderen, dat dan nog steeds 95% van die vacatures bij vrouwen terecht zou komen.
Dat iets rolpatroonbevestigend is, betekent niet dat dat verschijnsel in de maatschappij niet daadwerkelijk plaatsheeft. Als blijkt dat veel receptionisten enorm houden van yoga, yoghurt en kruidenthee (om maar even een paar discriminerende voorbeelden te pakken) dan is het niet raar dat Meta die vacature gaat adverteren aan mensen die interesse hebben in die dingen, en ook niet raar dat dat dan voornamelijk vrouwen zijn.
Wat moet Meta anders doen? Die vacature bewust onder de aandacht gaan brengen bij mannen? Waarom zou dat dan niet juist discrimineren op geslacht zijn?
Als je weet dat die eigenschappen discriminerend zijn, gebruik je die eigenschappen ook niet.