Kan dat, een algoritme met een moreel kompas? #legaltechtuesday

Wat doe je als slimme algoritmes verkeerde of gevaarlijke keuzes maken? Die vraag las ik in FD onlangs. Machine learning-onderzoeker Philip Thomas uit Massachusetts heeft een methode ontwikkeld om ‘ongewenst gedrag’ vooraf uit intelligente machines te filteren. Hij noemt dat een Seldonian algoritme, en omdat mijn eerste zelfgekochte boeken de Foundation-reeks van Asimov waren trok dat meteen mijn aandacht. Want ja, het is een probleem als algoritmes racistisch, seksistisch of biasbevestigend zijn. Maar is daar werkelijk een quick fix voor die ook nog eens een mooie science fiction term kan krijgen?

De kern van het onderzoek van Thomas is dat je bepaalde ongewenste uitkomsten vooraf algoritmisch vastlegt, zodat een machine learning algoritme een uitkomst kan toetsen aan dit geprogrammeerde moreel kompas:

Using an experimental dataset, they gave their algorithm mathematical instructions to avoid developing a predictive method that systematically overestimated or underestimated GPAs for one gender. With these instructions, the algorithm identified a better way to predict student GPAs with much less systematic gender bias than existing methods.

Het idee is dus dat als je vooraf kunt zeggen “je mag geen bias hebben op klasse X”, dat je dan eerlijker uitkomsten krijgt. Dit is de omgekeerde benadering van hoe men nu vaak probeert vooringenomenheid te voorkomen, namelijk door klasse X weg te laten uit de dataset. Zeg maar, je wilt voorkomen dat je vrouwen onderselecteert dus je laat het veld ‘geslacht’ weg. Maar dat werkt niet: ML algoritmes zullen andere factoren oppikken (zoals de hobby vrouwentennis of het voornaamwoord haar) en daaruit alsnog genderbias construeren. De Seldonian-benadering is dus dat je zegt “ik wil even veel vrouwen als mannen op gesprek” als HR-adviseur.

(De benadering gaat overigens verder dan alleen discriminatie; je kunt ook bijvoorbeeld zeggen dat de uitkomst niet mag zijn dat een diabetespatiënt een risicovol lage bloedsuikerspiegel kan krijgen. Maar dat terzijde.)

Je zou dus zeggen, opgelost nu dat bias-probleem: maak een kompasregel voor iedere verboden factor uit artikel 9 AVG en verplicht ieder ML systeem daarop te toetsen. Maar dat is ingewikkelder dan je denkt. Bias of vooringenomenheid is niet alleen dat je keihard vrouwen uitsluit of weglaat. Vaak is het veel subtieler; lees het boek Invisible Women als u de details wil weten maar het was voor mij bijvoorbeeld een eye-opener dat als je mannen en vrouwen gelijke toegang tot toiletten wilt geven je 50% meer dames-wc’s nodig hebt. Dáár op komen is niet zo simpel als “je mag geen bias hebben op geslacht”.

Arnoud

61 reacties

    1. Het argument is iets subtieler, er wordt bij het trainen van het model (als extra voorwaarde) geëist dat de waarde van het resultaat van het model niet gecorreleerd is (*) met de waarde van de invoerparameter X. Als je zegt dat de eis corr(X)=0 fout kan zijn en je je systeem daarmee een (onbekende) bias geeft, geef ik je groot gelijk, maar het is wel een politiek heel wenselijke eis aan het systeem.

      Of het mogelijk is om in een samenleving met vooroordelen de correlatie tussen twee sociaal gevoelige parameters statistisch zonder bias te bepalen is een heel interessante vraag, maar ik zie ons die hier niet even beantwoorden. (Ook omdat het off-topic is.)

      (*) Het is mogelijk om een andere functie/operatie met vergelijkbaar resultaat toe te passen.

      1. Het verbaast mij als ik termen als ‘politiek wenselijk’ en ‘eerlijk’ tegenkom. Het gaat er uiteindelijk toch gewoon om dat je een zo accuraat mogelijk model hebt en dan heb je toch ook direct het meest ‘eerlijke’ model.

        Neem de situatie waarin ik met een model de kredietwaardigheid van personen beoordeel. Als invoerparameter X heb ik de nationaliteit van de persoon en de accuratesse van mijn model is 95%. Discriminatie roept men nu, bias tegen bepaalde nationaliteiten. Ok dan maak ik een alternatief model waar ik deze invoerparameter uithaal, of een oplossing zoals de blog beschrijft implementeer. Dan heb ik zogenaamd een ‘eerlijker’ model, maar mijn accuratesse daalt wel naar 90%.

        Met andere woorden, terwijl ik eerst 5 van de 100 personen in een foutieve kredietcategorie stop, stop ik er nu 10 van de 100 in een foute categorie. Leg mij eens uit hoe dat eerlijker is voor die 5 mensen die nu foutief geclassificeerd worden. Ik begrijp dat niet.

        1. Inderdaad, eerlijkheid gaat boven gemak voor de ondernemer. Het probleem zit hem vooral in de vals positieven: jouw systeem gaat nu 100% van de mensen afwijzen met die nationaliteit, want dat is de makkelijkste conclusie gezien de input. En dat is oneerlijk voor kennelijk 5% van de mensen met die nationaliteit (ik neem maar even aan dat je accuratesse zowel FP als FN betreft). Het is maatschappelijk ongewenst dat jij 5% van de mensen om een valse reden afwijst. Daarom moet jouw systeem anders.

          Dat je nieuwe systeem meer mensen ten onrechte afwijst, is jouw probleem. Je wijst ze niet af om een discriminerende reden maar om inhoudelijke argumenten. Dat kun je dan uitleggen en handmatig corrigeren. Je hébt toch een handmatige correctie/review van alle automatische besluiten?

          1. Je hébt toch een handmatige correctie/review van alle automatische besluiten?

            Als je dat hebt hoef je je systeem dus ook niet aan te passen want dan haal je de ‘slachtoffers’ van eventueel ongewenste bias er zo ook al uit…

            Overigens kan ik me de reactie van Ed goed voorstellen. Als het gaat om het detecteren van mogelijke problemen zijn we maar wat blij als we de groep die extra aandacht behoeft kunnen minimaliseren door te kijken naar allerhande gewogen correlaties. Als die echter gebaseerd blijken te zijn op gronden die we tegenwoordig als ‘ethisch onjuist’ bestempelen (ras, geslacht of religie bijvoorbeeld), dan heet het opeens ‘ongewenste bias’. Dat blijkt in veel gevallen niet correct te zijn, leidt af van het werkelijke probleem en maakt doelgericht aanpakken van het probleem vaak zo goed als onmogelijk. Dat kost dan weer bakken met geld, maar we zijn dan tenminste wel politiek correct. Not my best day, sorry….

            1. Positieve discriminatie is inderdaad vaak wenselijk, om historische fouten te corrigeren. En daarbij mogen ook die ‘ongewenste’ (bijzondere/gevoelige) gronden gebruikt worden. We willen graag meer vrouwen bovenin het bedrijfsleven, dus daar mag je op filteren en sturen. Kandidaten juist afwijzen omdat ze vrouw zijn (want het algoritme heeft gezien dat in de dataset 90% van de goede kandidaten man is) vinden we dan weer oneerlijk.

              Vaak zie je dat zulke factoren een proxy zijn voor het werkelijke probleem. Er is geen logische relatie tussen zeg Antilliaan zijn en slecht je leningen terugbetalen, het vlaggetje in je paspoort kan niet van invloed zijn op je financiële gedrag. Maar historisch gezien hebben wij hier vaak migratie van armere Antillianen, die ook nog eens bij elkaar zitten en langdurig gestigmatiseerd werden en weinig kansen kregen die armoede te ontgroeien. Dan is het niet raar dat een statistische analyse laat zien dat Antillianen opvallend vaak slecht leningen terugbetalen. Maar dat wil niet zeggen dat het dan gerechtvaardigd is om te zeggen, Antillianen krijgen geen lening meer.

              1. Positieve discriminatie is inderdaad vaak wenselijk, om historische fouten te corrigeren.

                Onzin, two wrongs don’t make one right.

                Omdat iemand die al lang dood is slachtoffer is geweest van discriminatie, is het OK dat ik nu slachtoffer wordt van discriminatie? Kom nou toch!

                We willen graag meer vrouwen bovenin het bedrijfsleven, dus daar mag je op filteren en sturen.

                Nee dat willen we niet. We realiseren ons dat vrouwen even competent zijn als mannen en willen dus de hindernissen die hen tegenhouden verminderen, dus we zouden blij zijn als er meer vrouwen OM DE JUISTE REDEN bovenin het bedrijfsleven zouden zitten.

                Anders ben je gewoon een iets gesofisiticeerdere manier van Newspeak aan het propageren. Symptomen aan het maskeren. We hebben te weinig vrouwen aan de top, nou dan zetten we er een paar neer, kijk ons eens goed bezig zijn!

                1. Natuurlijk wel. Het rechtzetten van een fout betekent dat iemand anders nu moet inleveren. Anders krijg je die fout niet rechtgezet. Vrouwen moeten een inhaalslag maken, dat kan alleen maar door ze even voor te laten want ze liepen altijd te ver achter. Dat een man dan even achteraan moet, is dan jammer maar onvermijdelijk.

                  Dit heeft niks met symptoombestrijding te maken, dit is het probleem oplossen. Het probleem is in dit geval dat er te weinig capabele vrouwen doorheen komen omdat ze op oneigenlijke gronden worden afgewezen: sorry, ons algoritme zegt dat mannen beter presteren als directeur en dat is gebaseerd op 30 jaar historische data. Daar kun je als vrouw niet tegenop, hoe capabel je ook bent. Dát is het probleem dat je met zulke wetgeving bestrijdt.

                  1. Met alle respect, dat zie ik toch anders.

                    Discriminatie is belachelijk, en had nooit mogen gebeuren in het verleden, en ook niet in het heden.

                    Maar het feit dat vrouwen in het verleden achtergesteld zijn, wil niet zeggen dat ze nu voorgetrokken moeten worden. Ten eerste: het zijn andere vrouwen, het enige wat ze gemeen hebben is die biologische toevalligheid, en ten tweede, het waren andere mannen dan ik die dat achterstellen deden.

                    Wat is er eerlijk aan om mij achter te stellen, als ik part noch deel heb gehad aan de historische achterstelling van vrouwen, en als de vrouwen die nu boven mij worden voorgetrokken andere vrouwen zijn dan de vrouwen die slachtoffers waren?

                    Of zeg je nu dat mensen recht op een voorkeursbehandeling hebben omdat ze vrouw zijn, of dat hun voorouders vijf generaties terug slaaf waren?

                    Mijn voorouders waren allemaal arme keuterboertjes uit het oosten des lands, ongetwijfeld onderdrukt door brutale grootgrondbezitters en daarbovenop nog eens geografisch-linguistisch onderwerp van achterstelling. Mag ik nu ook mijn portie compensatie, aub?

                    1. Als je goed kijkt zie je nog steeds dat mensen door omstandigheden waar ze zelf geen invloed op hebben gehad niet hun maximale potentieel halen. Dat is nadelig voor het individu, maar ook nadelig voor Nederland. Een voorbeeld: kinderen van armere ouders volgen minder vaak een academische studie omdat er niet genoeg geld is om de studie te betalen (studiefinanciering dekt niet alle kosten). Met die opleiding zou die persoon meer kunnen verdienen, voor zichzelf en de Nederlandse economie.

                      Binnen veel bedrijven is er nog sprake van “het glazen plafond”. Daardoor komen vrouwen niet in de hogere managementlagen terecht hetgeen een verspilling van talent is. Als een quotumregeling het plafond breekt is (op langere termijn) zowel het bedrijf als de economie beter af. (Op korte termijn kan het zijn dat een goede mannelijke kandidaat gepasseerd wordt, maar dat is gelet op het lange-termijn doel niet zo erg.)

                      1. Ik vind het wat flauw om discriminatie te stimuleren met het excuus, ja daar moeten we even doorheen, later wordt alles beter.

                        Tuurlijk zijn er mensen die hun maximale potentieel niet bereiken, door allerlei oorzaken. Misschien is discrminatie er daar een van, misschien ook niet. En natuurlijk is dat niet wenselijk. Maar je kunt niet blijven compenseren.

                        Hier een voorbeeld: ‘Ik heb ongetwijfeld niet mijn maximale niveau in tennis gehaald, ik kom nu eenmaal niet uit een tennisfamilie, dus heb nooit de kans gekregen mijn enorme talent te ontdekken en ontwikkelen. Daardoor heb ik misschien wel miljoeneninkomsten niet gekregen. Allemaal de schuld van de samenleving, die had veel vroeger moeten ingrijpen en moet mij nu compenseren’

                        Compenseren is even fout en willekeurig als de redenen voor achterstelling.

                        1. Waarom zouden we een individu compenseren voor “niet gekregen of gegrepen kansen”? Daar wordt de economie/samenleving niet beter van. Als we personen die onder normale omstandigheden kansen niet hadden die wel bieden (ik roep weer studiefinanciering) kan de hele samenleving profiteren van de grotere bijdrage die zij leveren.

                          Vanwege dezelfde argumentatie ben ik er voorstander van om sociale structuren die de ontplooing van mensen verhinderen af te breken. Daarbij kan positieve discriminatie een middel zijn, als dat per saldo winst voor de samenleving oplevert.

                          1. Waarom zouden we een individu compenseren voor “niet gekregen of gegrepen kansen”?

                            Nou ja zeg, is dat nu niet wat jij de hele tijd promoot? Vrouwen compenseren (‘positief discrimineren’) voor een lagere kans op een toppositie.

                            Waarom dan niet anderen compenseren voor andere niet-gekregen kansen?

                            Wordt de samenleving daar beter van? Volgens jouw eigen redenering wel: Analoog aan jouw betoog over het glazen plafond, toegepast op mijn tennisvoorbeeld:

                            Het is nu eventjes lullig voor de mensen die goed kunnen tennissen dat ze hun plaats in het Daviscupteam moeten afstaan aan anderen die dat minder goed kunnen, maar ja, die hebben minder kansen gehad. Om kansenachterstand in het tennis in de toekomst te vermijden moeten we nu maar even leven met die oneerlijkheid, op de lange termijn wordt het Nederlandse tennis er beter van.

                            Die man die nu gepasseerd wordt door het voortrekken van die vrouw, en die tennisser die zijn plaats moet afstaan aan een minder goede tennisser, worden op die manier wel heel erg, persoonlijk en individueel, de dupe van de positieve discriminatie.

                            Maar dat moeten ze maar niet erg vinden volgens jou, lange-termijn belang van de samenleving gaat voor.

                            Door positieve discriminatie verleg je gewoon de discriminatie, je maakt hem niet minder.

                            Ook heb ik fundamenteel nog wel iets op jouw bijdrage aan te merken: De grondwet geeft allerlei individuele rechten (bijv: niet gediscrimineerd worden), en we moeten ons best doen om dat te respecteren. Jij gaat echter uit van collectieve argumenten (een betere samenleving op lange termijn) om inbreuk op individuele rechten goed te praten.

                            Dat is fundamenteel fout. Je kunt geen individuele rechten aan de kant schuiven met als argument: voordeel voor de samenleving.

                            Vandaag is die ene competente man het slachtoffer omdat hij zijn plaats moet afstaan aan die net iets minder competente maar positief gediscrimineerde vrouw, morgen ben jij het slachtoffer omdat het beter is voor de samenleving dat een bedrijfslijder van een miljoenenbedrijf die donornier krijgt, in plaats van jij die een betere weefselmatch heeft en al langer op de wachtlijst staat.

                            Of misschien is het wel beter voor de samenleving dat zwangere vrouwen gewoon ontslagen worden? Of dat niet-productieve mensen een handje geholpen worden naar een snel levenseinde? Maar dat doen we toch ook niet, of wel?

                            ‘Beter voor de samenleving’ is geen valide argument wanneer het om individuele rechten gaat.

                            1. Je hamert op “rechten” die als je de wet (EVRM, etc.) leest beperkt kunnen worden voor het “belang van de staat”, “belang van de rechtsorde”, enz. Er is geen recht om in het Davis Cup team te mogen tennissen, in het beste geval is er een transparante toelatingsprocedure; laat maar zien dat jij een balletje van wereldklasse slaat!

                              En over positieve discriminatie gesproken, ik ga weer terug naar het voorbeeld van het glazen plafond: als een bedrijf selectief mannen promoveert moet er een aanzienlijke hoeveelheid capabele vrouwen zich vlak onder het plafond bevinden. Door een quotum-verplichting of andere positief discriminerende maatregel wordt deze vrouwen juist de promotiekans gegeven die ze al jaren onthouden is.

                              Vergeet ook niet dat veel individuele rechten dienen om de samenleving te ordenen en tot voordeel te dienen. Vrijheid van meningsuiting is er een van. Er is ook het belang van “sociale rust” waardoor een aantal van de doemscenario’s die jij noemt in Nederland onwaarschijnlijk zijn.

                              1. Ik erken wel dat de samenleving zo was (en nog gedeeltelijk is) ingericht dat vrouwen minder kans hadden op een toppositie in het bedrijfsleven. Maar ik geloof niet in dat mythische glazen plafond waarronder zich een groep competente vrouwen bevindt die keer op keer genegeeerd worden.

                                Ik denk dat het eerder een kwestie is van keuzes die mannen en vrouwen (gemiddeld gesproken) anders gemaakt hebben gedurende hun opleiding en carriere waardoor er minder vrouwen doorstoten naar de top. Die keuzes van de meeste vrouwen waren blijkbaar minder optimaal voor het bereiken van een toppositie, maar waren (echt of vermeend) optimaler voor de toenmalige levenskwaliteit van de betrokken persoon.

                                Als vrouwen niet evenveel kansen krijgen als mannen, als er sociale/institutionele druk is op de een, maar niet op de ander, om bepaalde keuzes te maken in je leven, dan is dat zeer onwenselijk, en dan moet dat uit de wereld geholpen worden. Maar we zitten nu eenmaal met die historische erfenis, en het helpt niet om compensaties te gaan uitdelen.

                                Er is een bepaalde groep vrouwen die er tot nu toe net niet gekomen is. Maar ik ben er echt van overtuigd dat dit is omdat zij daadwerkelijk niet optimaal gekwalificeerd zijn (en ik geloof best dat dit deels buiten hun schuld is geweest).

                                Het helpt niet om nu die groep voor te gaan trekken: Het bedrijfsleven krijgt minder goede topmensen (Het helpt dus de samenleving niet) en mannen worden gediscrimineerd (wat ook al onwenselijk is).

                                Het enige indirecte voordeel op lange termijn dat ik zie is dat misschien meer meisjes/jonge vrouwen meer rolmodellen zien, en dat ze daardoor andere keuzes maken in hun leven.

                                Om het heel zwart wit te stellen: Wat mij betreft is vrouwen voortrekken voor topposities gelijk aan de symptomen van historische kansenongelijkheid maskeren. De oorzaak wegnemen voor die vrouwen die het nu betreft kunnen we niet meer, we kunnen hoogstens de oorzaken voor kansenongelijkheid voor nieuwe generaties wegnemen.

                                De huidige maatregel voor vrouwenquota doet dat NIET, of hoogstens heel erg indirect, en is pure symboolpolitiek.

                                1. Ach we worden ook nogsteeds dood gegooid met de pay gap tussen mannen en vrouwen. Bu heb ik een paar jaar terug die cijfers zelf eens opgehaald en geanalyseerd – daar heb ik voor gestudeerd dus waarom op anderen vertrouwen. En wat blijkt als je corrigeert voor het feit dat vrouwen in grotere aantallen kiezen voor een carriere in slechter betaalde sectoren dan mannen verdwijnt op op totaal niveau die gap als sneeuw voor de zon.

                                  Als je per sector gaat kijken dan is er in de meeste sectoren een vrij kleine pay gap. Waarbij ik graag had verder gekeken of die verklaard kan worden. Kandidaten zouden kunnen zijn meer parttime werken, wat in mijn ervaring je carriere stopt, omdat men geen leidinggevenden wil die niet minstens 4 dagen liefst elke dag aanwezig is. Of wellicht lange afwezigheden wegens zwangerschap, waardoor een verklaarbare ervarings achterstand ontstaat. Helaas blijkt de benodigde data daarvoor lastig te verzamelen.

                                  Wat je wel ziet is dat de sectoren waar de pay gap het grootst is de sectoren waren waarin de top historisch een mannen bolwerk was en vrouwen slechts langzaam doordringen. Met andere woorden als je corrigeert voor functie niveau dan verdwijnt ook daar de pay gap grotendeels.

                                  De pay gap is wat mij betreft sinds dien dan ook een kolder argument, waarmee je bij mij de discussie bij voorbaat verliest omdat het duidelijk maakt dat je je huiswerk niet hebt gedaan en aan het papegaaien bent.

                                  Het is wel duidelijk uit dezelfde informatie dat vrouwen een achterstand hebben wat betreft top posities. Iets wat bij een natuurlijk verloop en eerlijk selectie proces jaren kost om te verdwijnen. Dit is waarom sommige mensen menen dat positieve discriminatie een oplossing is. En ik ook persoonlijk gezien de afgelopen 15 jaar in een ’traditionele mannen sector’ dat mannen gepaseerd werden bij gelijke geschiktheid omdat ze man waren en zelfs dat mannen gepaseerd werden door minder gekwalificeerde vrouwen vanwege een quotum.

                                  Als je denkt dat dat tot minder discriminatie leidt kan ik je uit de droom helpen; iedereen wist wat er gebeurd was en het respect voor de leidingevende nam af en ze hadden het vrijwel allemaal moeilijker omdat men vond dat ze de baan cadeau had gekregen. In één geval waar een interne beter gekwalificeerde man was gepaseerd door een extern aangetrokken vrouw – vanwege de representativiteit – is deze middels actieve sabotage door al haar ondergeschikten eruit gewerkt.

                                  Positieve discriminatie bestaat niet, het kweekt slechts haat bij degenen die het slachtoffer worden van dat wanbeleid.

                                  Het enige wat we kunnen doen wat eerlijk is voor iedereen is vanaf nu niet discrimineren en de beste mensen kiezen ongeacht geslacht. Ik ben niet overtuigd dat dit noodzakelijk heel veel meer tijd kost om het recht te trekken omdat de actieve weesrtand minder zal zijn. Onderzoek is echter lastig vrijwel elk land waar men actief aan discriminatie oplessen werkt denkt dit te moeten doen door te gaan discrimineren.

                              2. Vergeet ook niet dat veel individuele rechten dienen om de samenleving te ordenen en tot voordeel te dienen. Vrijheid van meningsuiting is er een van. Er is ook het belang van “sociale rust” waardoor een aantal van de doemscenario’s die jij noemt in Nederland onwaarschijnlijk zijn.

                                We zitten al lang in dat doemscenario. In Artikel 1 grondwet staat duidelijk dat discriminatie op basis van geslacht, ras of nationaliteit verboden is. Toch wordt er telkens weer een of andere rotsmoes bedacht, vanwege gebrek aan creativiteit, om de grondwet terzijde te schuiven (positieve discriminatie van de ene groep is altijd negatieve discriminatie van de andere groep) bijvoorbeeld om een ‘afspiegeling van de samenleving te krijgen’. Wat is de volgende stap?

                                Die nieuw voorgestelde wet van minstens 30% vrouwen in de top van beursgenoteerde is de nieuwste discriminatie-draak. Het gaat misschien om honderd nieuwe functies per jaar ofzo. Zet dan bij elke sollicitatieprocedure een onafhankelijke senior ambtenaar in die meekijkt in het hele proces (en ook daadwerkelijk fysiek aanwezig is bij de gesprekken), en die bij gelijke geschiktheid van een vrouw door kan drukken dat de vrouw de functie krijgt. Dan krijg je ook meer zicht op de hele zaak, en leg je mogelijk ook de oorzaken bloot waar je in andere sectoren ook wat mee kan. Totaal gemiste kans.

                                1. Iedereen leest voor het gemak altijd over de bijzin “worden in gelijke gevallen gelijk behandeld” heen.

                                  Iedereen wordt door hetzelfde statistisch onderbouwde model met significante parameters gehaald. Iedereen is voor het model gelijk (dezelfde input parameters) en iedere set parameters wordt door het model gelijk verwerkt.

                                  De waanzin van de dag is dat artikel 1 nu zo geinterpreteerd wordt dat van ongelijke gevallen gelijke gevallen worden gemaakt en dan wordt geroepen “Artikel 1, discriminatie jij bent slecht/racist!”

                                  1. Nee, het model behandelt ongelijk want neemt parameters mee die -vinden wij maatschappelijk- niet relevant zijn omdat ze ongelijkheid geven. Die term betekent niet “je moet dezelfde set parameters bekijken” maar “je mag niet naar deze parameters kijken”. Etnische afkomst is per definitie geen relevante parameter, net zo min als seksuele voorkeur. Die mag niet in je model betrokken worden want dan behandel je ongelijk in gelijke gevallen.

              2. Positive discriminatie is negatieve discriminatie voor de andere groep. Oftewel, het bestaat niet: je gebruikt irrelevante kenmerken om een persoon achter te stellen die daar naar alle waarschijnlijkheid op individuele basis helemaal niets mee te maken heeft. Dit is gewoon een vorm van collectief straffen, en moreel uiterst verwerpelijk.

                Bovendien, het werkt niet. India heeft met haar quota’s voor scheduled castes en tribes al vele decennia lang een vorm van “positieve discriminatie” — Maar ook na 70 jaar is diepgewortelde probleem van discriminatie op basis van kaste niet opgelost. Sterker, het werkt stigmatiserend op de “voorgetrokken” groep een geeft discriminatie een wettelijke basis die het probleem persisteerd. Mensen die prima op eigen kracht een positie kunnen bereiken worden geteld in het quota, en worden erop aangekeken dat ze zijn voorgetrokken. Vergelijkbare resultaten zien we in Maleisie (Bumiputra) en de VS (affirmative action).

                Ofwel, Positieve discriminatie is moreel verwerpelijk, en maakt het probleem erger. Het is een kwaadaardig medicijn.

          2. Dat je nieuwe systeem meer mensen ten onrechte afwijst, is jouw probleem

            Alleen is het mijn probleem niet (als hypotheekverstrekker bijvoorbeeld). Voor die extra mensen die ik onterecht een hypotheek verstrek of onterecht ontzeg is het een probleem. Die kunnen of in betalingsproblemen geraken of geen huis kopen. Hoe ga ik hen uitleggen dat ik een model heb waarin zij wel goed geclassificeerd zouden zijn maar ik die niet gebruik omdat dat ‘eerlijker’ is. Ik denk dat deze mensen dat helemaal niet eerlijker vinden.

            Met de ondernemer of het grootbedrijf dat deze methodes toepast hoef je echt geen medelijden te hebben. Ik kijk juist naar de mensen die getroffen worden omdat ze door een minder accuraat model gehaald worden.

            1. Dat is jouw zorgplicht als hypotheekverstrekker, dat je geen leningen geeft aan mensen die dat niet kunnen betalen. Sorry, ik vind dat écht geen argument om deze bijzondere persoonsgegevens als factor te gaan gebruiken. Het is uiteindelijk gewoon mensonterend om te horen te krijgen “ja sorry, u bent Marokkaan/Surinamer/Roma/vrouw/homo dus uiteindelijk bent u een te groot risico voor ons”.

              1. Een model dat op basis van alleen nationaliteit iemand een hypotheek ontzegt zal geen goed model zijn en zal ook nooit goed scoren. Dus als ik zeg dat het meest accurate model ook altijd het eerlijkst is, zeg ik helemaal niet dat iemand op basis van zijn nationaliteit geweigerd moet worden. Ik zeg dat het meest accurate model de meeste mensen helpt en dus ook het eerlijkst is.

                Natuurlijk is het mensonterend als er gezegd wordt “ja sorry, u bent Marokkaan/Surinamer/Roma/vrouw/homo dus uiteindelijk bent u een te groot risico voor ons”. Maar het is toch net zo onverkoopbaar dat ik tegen een jong gezin dat een toekomst op wil bouwen met een eerste huis zeg: “Ik heb hier 2 modellen, het ene model zegt dat u (juist) in aanmerking komt voor een hypotheek. Helaas mag ik dit model niet gebruiken, daarom heb ik een minder accuraat model genomen en daaruit komt helaas dat ik u geen hypotheek kan verstrekken. Het spijt me zeer, maar dit is echt eerlijker”

                Hier kun je op counteren dat dit met een handmatige review gecorrigeerd kan worden. Maar ook dan zeg ik, kies altijd het meest accurate model. Dan hoef je maar 5/100 gevallen te corrigeren in plaats van 10/100.

                1. Waar het mij denk ik om gaat, is hoe zwaar die factor nationaliteit meeweegt. Ik zie vaak de voorbeelden waarin de ‘foute factor’ zó goed correleert met de uitkomst dat het systeem dan enkel op die factor afgaat. Ik ben het met je eens dat als het 1 van 100 factoren is, er minder aan de hand is. Maar zou het dan echt zó veel schelen als je die factor er dan toch uithaalt, gewoon voor het idee?

                  Verder kan die bias er ondanks de vele factoren toch stiekem insluipen. Dat zie je dan niet aan één uitkomst, daarvoor moet je breder kijken. En daar zijn systemen als uit deze blog goed geschikt voor. Hela, we geven toch wel heel vaak vrouwen geen creditcard, dat is opvallend. Wellicht is er elke keer een goede neutrale reden maar op zeker moment is dat gevoel dat het toch om het geslacht gaat onvermijdelijk, en dan moet je er wat mee.

                  De uitleg waarom iemand geen hypotheek krijgt, is natuurlijk gebaseerd op de inhoudelijke bevindingen van het model. “Het model zegt nee” is per definitie (juridisch) geen geldig antwoord, dat mag je niet zeggen van de wet. “Gezien uw leengedrag tot nu toe, uw postcode 1000 AA en het feit dat u een Fiat 500 rijdt krijgt u geen lening” zou wel adequaat zijn. Dat van die Fiat moet je dan even uitleggen.

                  1. Ja, want met eruit halen verberg je die factor en het probleem en kan de maatschappij doorgaan met negeren en niet oplossen.

                    De default oplossing die we in het ‘fatsoenlijke’ Nederland hebben gekozen is de slechtst denkbare.

                      1. Er wordt niemand afgewezen louter om het vrouw zijn. Dat zijn de generalisaties die in de discussies worden gebruikt om het argument redelijk te laten lijken. Voor banen in mijn sector eerder andersom, er wordt gediscrimineerd omdat het traditioneel een sector met weinig vrouwen en allochtonen is. Je begrijpt dat autochtone mannen degenen zijn die gediscrimineerd worden.

                        En dan nog, als blijkt dat 90% van de vrouwen/alloctonen hun lening niet terugbetaald, dan is dat een prima reden om te zeggen voor een bedrijf dat ze daar geen zaken meer mee doen. En dan is het niet de taak van de overheid om te zeggen, jij moet daar zaken mee doen; de taak van de overheid is dan om te zorgen dat de oorzaak waardoor die vrouwen/allochtonen zo’n slecht risico wordt weggenomen.

                        Helaas is het ‘ politiek correct’ en veel makkelijker om dat eerste te doen en dan te gaan lopen opscheppen dat je dat mooi hebt opgelost. Maar hoe is dat anders dan een pretpark dat de reanimatie nooit stop zet tot het slachtoffer afgevoerd is die opschept dat er nog nooit iemand in het pretpark is overleden?

                        1. Laten we de voorgestelde mechanismes voor meer vrouwen in de raden van bestuur ook eens toepassen (als gedachteexperiment) op sectoren waar veel te weinig mannen werken, bijvoorbeeld in het (met name) lager onderwijs en de verpleging. Er mogen geen vrouwen meer worden aangenomen zolang het percentage mannen onder de 30% ligt. Ik denk dat hele sectoren dan binnen de korste keren op hun gat liggen, en de salarissen voor mannelijke onderwijzers en verplegers door het dak vliegen…

                          Voor raden van bestuur nog een tip: je kunt tegenwoordig relatief eenvoudig je officiele geslacht veranderen. Zit er (biologisch gezien) nog steeds een man, maar juridisch gezien een vrouw. Probleem opgelost.

                          Voor het toilettenprobleem: er is geen enkele reden om segregatie op toiletten toe te passen. Als je die afschaft kun je met zeker 30% minder toiletten af, dus maak alle toiletten geslachtsneutraal, en het is de wereld uit.

                  2. Waar het mij denk ik om gaat, is hoe zwaar die factor nationaliteit meeweegt. Ik zie vaak de voorbeelden waarin de ‘foute factor’ zó goed correleert met de uitkomst dat het systeem dan enkel op die factor afgaat.

                    Het is onvermijdelijk dat nationaliteit sterk gecorreleerd is aan cultuur (en ik zou het ook niet anders willen). Immers, de meeste mensen met een bepaalde nationaliteit hebben ook ouders met die nationaliteit en groeien op in het betreffende land, dus hebben ook die culture bagage.

                    En als die culturele bagage nu een uitzonderlijk goede, of uitzonderlijk slechte, terugbetaalmentaliteit is, of een uitzonderlijk gezonde of ongezonde levenswijze met een geassocieerd risico op risico voor een ongeboren kind, dan wil je dat toch weten en daar rekening mee houden, als bank of als zorgverlener.

                    Het is dan niet ‘nationaliteit’, maar mentaliteit geassocieerd met die nationaliteit, waar je op selecteert.

                  3. Een postbus in hartje Amsterdam is raar, dat als adres opgeven is iets dat de klant mag uitleggen, een Fiat 500 rijden zou een proxy voor “vrouw” kunnen zijn, en is niet relevant. Het leengedrag mag verder uitgewerkt worden. Ik ken trouwens mensen die doelbewust een lening afsloten terwijl ze het geld hadden om het zelf te betalen, alleen om een positieve leengeschiedenis op te bouwen, zodat ze later makkelijker een veel groter krediet konden krijgen. Dat is ook raar…

              2. Lekker ongenuanceerd, maar dat is niet wat er gebeurt. Wat er gebeurt is dat het systeem iemand als risico klasseert op meerdere onderdelen, waarbij “Marokkaan/Surinamer/Roma/vrouw/homo” blijkbaar een gegeven is dat daarin een rol speelt. Als je zegt dat iemand is afgewezen om die reden, dan sta je dus keihard te liegen.

                De discussie zou niet moeten zijn dat je een statistisch significant gegeven niet mag gebruiken, maar waarom dat geven significant is en wat je er aan kan doen om dat op te lossen. Verbieden die gegevens te gebruiken is je kop in het zandsteken en stilletjes accepteren dat die situatie bestaat en er niets aan doen. Zeg maar ‘het gedrag van de gevestigde politieke partijen’ en de reden dat de PVV en FvD nu in de peilingen grote partijen zijn.

                Als je de problemen niet mag benoemen los je ze nooit op, of om nog maar eens een mooie zegswijze te gebruiken: Zachte heelmeesters maken stinkende wonden.

              3. Als we nou eens een keer instellen dat een hypotheek wordt geacht te zijn afgelost als het onderpand door de bank is verkocht (het concept van restschuld dus afschaffen, technisch, er een non-recourse loan van maken), hebben banken een stuk minder reden om 100% financiering te willen verstrekken, en doet het inkomen van de koper er dus ook veel minder toe (omdat kopers dan waarschijnlijk altijd het verschil tussen de normale koopprijs en verwachte opbrengst op een veiling moeten zullen moeten inbrengen met eigen geld).

          3. Dat is wel heel kort door de bocht Arnoud. Het systeem heeft nog steeds al die andere parameters om mee te werken. Anders had je nooit zonder nationaliteit 90% accuratesse gehaald. Nationaliteit voegt 5% accuratesse toe. Als je uitgaat zoals jij van FN en FP, dan zal er dus zowel 5% minder mensen onterecht worden afgekeurd als 5% minder onterecht een lening krijgen.

            Dan kan er (vanwege de minimum accuratesse van 90%) hoogstens een kleine verschuiving zitten in mensen van die nationaliteit die eerst terecht werden goedgekeurd en nu onterecht geen lening krijgen. Sorry, maar dat is statistisch onderbouwd, niet louter gebaseerd op nationaliteit en voor mij werkelijk geen enkel probleem.

            En als er uit het model zou komen dat nationaliteit een 95% accurate voorspeller is voor kredietwaardigheid in plaats van al die andere dingen samen die maar tot 90% komen, dan is het tijd voor een heel andere discussie!

            1. Als het slechts een kleine verschuiving is, dan kan die factor er net zo goed uit gezien de maatschappelijke kosten. Want zo lang automatische systemen dit als factor mee blijven nemen, staan mensen uit die groep altijd op nadeel. Dát is het probleem.

              Ik wil onmiddellijk geloven dat het een statistisch significante correlatie is, dat het écht zo is dat mensen met nationaliteit=X een hoger risico zijn. Maar waar het om gaat is dat we niet willen dat nationaliteit (etnische afkomst) wordt gebruikt als onderdeel van een beslissing. Dat hoort niet, omdat we maatschappelijk gezien vinden dat nationaliteit niet relevant hoort te zijn (artikel 1 Grondwet).

              En dat is dan weer om dat die factor nationaliteit op zich niet het punt is, er zit altijd iets achter en dat wordt nu genegeerd. Nogmaals, hoe kan het vlaggetje in je paspoort relevant zijn voor je kredietwaardigheid?

              Als het systeem desondanks laat zien dat nationaliteit een voorspeller is voor kredietwaardigheid (of een significante factor in die voorspelling) dan klopt er iets niet met het systeem. Ik zie dit echt als net zo’n bug als die AI systemen die tanks Russisch noemen omdat ze wolken op de achtergrond zien.

              1. Maar waar het om gaat is dat we niet willen dat nationaliteit (etnische afkomst) wordt gebruikt als onderdeel van een beslissing. Dat hoort niet, omdat we maatschappelijk gezien vinden dat nationaliteit niet relevant hoort te zijn (artikel 1 Grondwet).

                Dit vind ik echt een heel erg verregaande en extreme denkwijze. Omdat we vinden dat iets niet relevant hoort te zijn moeten we ook maar net doen alsof dat zo is?

                Ik ben data scientist/analyst van beroep, en dat ben ik geworden om de wereld te verklaren zoals die is. En ik ga de waarheid geen geweld aan doen omdat mijn werkgever, de wetgever of wie dan ook besluit dat het “zo hoort”. Vind dit ook een erg gevaarlijk precedent. Wat is het volgende? Dat we gevestigde wetenschappelijke theorien, zoals de kwantummechanica, gaan negeren. Want ja we vinden eigenlijk dat de werkelijkheid toch niet zo raar en maf hoort te zijn.

                1. Een kleine toevoeging nog op mijn bovenstaande post. Je kunt er om politieke redenen alsnog voor kiezen om een input variable X a priori weg te laten. Maar dan heb je geen eerlijker noch een beter model. En ook geen model dat de werkelijkheid beschrijft. Tegen dergelijke uitspraken bij zo’n model aggeer ik niet het feit dat iemand zo’n model maakt. Als hij vervolgens dan maar eerlijk is wat het model wel en vooral niet doet.

                  Daarnaast als iemand er écht van overtuigd is dat een input X geen invloed ‘mag’ hebben kan diegene een model opstellen dat minstens net zo goed presteert als een model inclusief X, dan is iedereen tevreden. 🙂

                2. Als “data scientist” moet je weten dat het in de sociale wetenschappen lastig is om metingen “unbiassed” uit te voeren. Vooroordelen hebben invloed op de wijze waarop waarnemingen gecategoriseerd worden; geënquêteerden hebben de neiging om sociaal wenselijke antwoorden te geven, enz.

                  Mag ik je vragen in hoeverre jij beroepshalve nagaat of de gegevensverzamelingen waarmee je werkt een bias bevatten (of kunnen bevatten) door vooroordelen of door vooroordelen beïnvloed gedrag? In hoeverre verwacht jij dat door vooroordelen veroorzaakte onzuiverheden in gegevensverzamelingen discriminatie bestendigen?

                3. Je vindt artikel 1 Grondwet een heel verregaande en extreme denkwijze? Oké dan. Want dat is waar ik me op baseer: we behandelen mensen in gelijke gevallen (ik wil een hypotheek, Abdul ook) op gelijke manier. Dus ongeacht afkomst, seksuele voorkeur en dergelijke factoren. En ja, dat bepaalt de maatschappij. Net zoals die zegt dat we geen medische experimenten op kinderen willen, om eens een dwarsstraat te noemen. Natuurlijk is ook dat iets van de wereld zoals die is, maar dat vinden we niet netjes en dat doen we niet.

                  1. Nee, ik vind het geen extreme denkwijze an sich. Maar de interpretatie ervan wel … en ongewenst ook. Ik vindt het prima dat we op al die zaken geen onderscheid maken als er geen verschil is. Maar als er een verschil is tussen bijvoorbeeld mannen en vrouwen, dan is het belachelijk dat je daar geen rekening mee zou mogen houden. En dat heeft de staat ook decenia lang gedaan. Ik kan mij in ieder geval geen vrouwelijke dienstplichtigen herinneren.

                    En we hebben het niet over gelijke gevallen, die nul hypothese is door het model al verworpen.

              2. Blockquote>En dat is dan weer om dat die factor nationaliteit op zich niet het punt is, er zit altijd iets achter en dat wordt nu genegeerd. Dat is precies mijn punt, de oorzaak wordt genegeerd. En men blijft het negeren omdat men simpelweg de symptomen bestrijdt waardoor het probleem onder het tapijt verdwijnt.

                Dan kan je je achter artikel 1 Grondwet verschuilen en dan krijg je effectief wat je nu hebt een significant deel van het electoraat dat het liefst artikel 1 gewijzigd ziet. Dat is m.i. een veel ernstiger probleem dan een krediet verschaffer die een nationaliteit op solide gronden weigert.

                1. De oorzaak wordt niet genegeerd. Het probleem is nu juist die private sector die met dit soort argumenten mensen in armoede houdt. Je krijgt geen bankrekening want je woont in een “risicogebied”, namelijk een gebied waar veel mensen van die zekere cultuur wonen waarvan bekend is dat ze frauderen of niet goed met geld omgaan. Je krijgt dan geen baan want contant loon doen wij niet. Uitkeringen zijn ook lastig want kennelijk ben je een risicofiguur omdat je geen bankrekening hebt. Dat soort dingen. Dat moet je doorbreken en dat begint dan met een acceptatieplicht voor banken waarbij men niet naar culturele achtergrond mag kijken. En door mensen hypotheken te laten krijgen ongeacht hun geslacht. Zo help je mensen verder. Leuk dat je zegt dat de overheid dan dingen moet gaan doen, maar dit is het ding dat ze moeten doen.

                  1. Ik volg je redenatie, maar die discussie hebben we al eens bij een andere post gehad.

                    Banken zijn nutsbedrijven die m.i. niemand een rekening mogen weigeren en hoogstens iemand zijn rekening mogen sluiten bij constatering van fraude. Iedereen moet toegang hebben tot een bankrekening, zelfs die persoon die veroordeeld is voor fraude. Alleen kan ik mij voorstellen dat je dan een rekening met de nodige beperkingen krijgt.

                    Ik kom uit zo’n risico gebied, kon als ik ging stappen niet met de taxi naar huis, omdat taxi chauffeurs daar te vaak overvallen werden. Toevallig een gebied met veel mensen met ene bepaalde nationaliteit, moeten we die taxi chauffeurs dan ook maar dwingen om ritten daar naartoe te doen? Als je dat niet doet kunnen buiten proportioneel mensen met een bepaalde nationaliteit niet meer van taxi’s gebruik maken.

                    De mensen met deze nationaliteit waarmee ik naar school ben gegaan realiseerden zich dondersgoed en zijn allemaal niet in deze ‘zelf gesegregeerde’wijk gaan wonen. En dat is wel waar ik mij aan erger omdat niemand het erover heeft. Er zijn helaas nationaliteiten die in de criminaliteits statistieken zwaar oververtegenwoordigd zijn. Deze groep gaat ook nog eens volkomen onnodig gezellig dichtbij elkaar in dezelfde wijken wonen, waardoor het probleem vergroot en in standgehouden wordt. Als ze dat willen oplossen zullen ze zelf hun gedrag moeten veranderen, en zolang dat niet gebeurt kan ik je verzekeren dat ik, alhoewel ik hier nooit mijn volledige beslissing op zal baseren, altijd rekening mee zal houden. En ieder verstandig mens zal exact hetzelfde doen.

                    Deze discriminatie heeft een oorzaak en is niet zelf de oorzaak, ik weiger verantwoordelijkheid te nemen voor het zelfdestructieve keuzes van bepaalde bevolkingsgroepen.

                    1. Deze discriminatie heeft een oorzaak en is niet zelf de oorzaak, ik weiger verantwoordelijkheid te nemen voor het zelfdestructieve keuzes van bepaalde bevolkingsgroepen.

                      Ja, die oorzaak is er misschien op collectief niveau. Maar het individu dat toevallig uit die bevolkingsgroep komt, wil graag wel op eigen individule capaciteiten beoordeeld worden. Dat individu walgt misschien ook wel van de situatie, maar heeft (nog) geen mogelijkheden gezien om eraan te ontsnappen.

        2. Ik denk dat je niet moet vergeten is hoe je foutmarges gaat bepalen. Het probleem met AI algorithmes is dat je geen perfecte data hebt. Je weet niet welke mensen in het verleden gefraudeerd hebben. Je kan misschien iets zeggen over welke fraude gevallen je gevonden hebt (aannemende dat je een perfecte review op je process hebt en het dus ook echte fraude was).

          Ook evaluatie van je algorithme word zelden gedaan op basis van een 100% controle. Je kan van te voren een testset gedefinieerd hebben. Maar hoe ga je die testset evalueren. (en hoe kom je aan die data). Vaak zie je dat in selectie van je testset al de bias zit.

          Ik denk dat je wat dat betreft niet als BIAS moet zien. Je zegt tegen het algorithme ik wil een criteria hebben op basis waarvan jij GPA gaat voorspellen dat niet gender is, zoek maar net zolang door totdat je er een hebt. We verwachten van mensen ook dat ze verder kijken dan hun neus lang is dus waarom niet van een algorithme. En als we als samenleving echt geloven dat geslacht geen bepalende factor zou moeten zijn dan moet je een andere reden kunnen vinden. Natuurlijk als je omgeving dermate veel bias heeft (alle vrouwen wc’s staan 500m verder op) dan zal dit algorithme veel slechter uitpakken. Maar dan zijn er ook duidelijk andere factoren die je moet aanpakken.

  1. Ik ben bang dat het ontwikkelen van deze nieuwe algoritmes misschien veel werk is, maar dat het opleiden van gebruikers om met deze nieuwe mogelijkheden om te gaan nog veel meer werk gaat kosten voor zover dat niet gewoon onmogelijk zal blijken te zijn. Straks zitten alle AI vol met door politieke correctheid ingegeven bias-beperkende maatregelen die het de AI onmogelijk maken om uitkomsten te genereren waar we daadwerkelijk wat aan hebben.

    1. Een groot probleem bij het ontwikkelen van AI’s is dat mensen vol zitten met vooroordelen. Deze vooroordelen werken door in gedragingen van en relaties tussen personen. Als je een voldoende grote dataset hebt kun je de veel voorkomende vooroordelen statistisch aantonen. (Een voorbeeld: In de Verenigde Staten worden donker gekleurde jongeren veel vaker opgepakt met kleine hoeveelheden drugs dan licht gekleurde, ondanks vergelijkbaar drugsgebruik.)

      En als in de trainingsdata voor een AI een statistisch aantoonbare bias zit, kun je niet anders verwachten dan dat in de AI resultaten een vergelijkbare bias zit. Een poging om die bias te corrigeren maakt de AI eerlijker (en zou in theorie ook betere resultaten horen op te leveren). De bias à priori op nul stellen is “politieke correctheid”, maar verdedigbaar wanneer er geen betrouwbare schatting van de bias te maken is. (En mijn stelling is dat die schatting niet vaak te maken is.)

  2. De voorgestelde methode lijkt erg op een techniek waarbij het vermijden van bias opgenomen wordt in het optimalisatie-criterium. In plaats van enkel op precision & recall te optimaliseren, optimaliseer je bijvoorbeeld ook op ‘predictive parity’ of ‘equalized odds’; twee verschillende manieren om te bepalen of een uitkomst biased is.

    Daar zit echter ook meteen het probleem: alhoewel er vaak over ‘bias’ gesproken wordt, zijn er meerdere redelijke definities om vast te stellen of een algoritme wel of niet biased is. Het is in sommige situaties wiskundig onmogelijk om aan alle definities tegelijk te voldoen. Het blijft vervolgens een menselijke afweging welke definitie wanneer gehanteerd moet worden, en er zullen altijd mensen zijn die die keuze betwisten. De heilige graal heeft de auteur helaas dus nog niet gevonden.

    Een goede paper over de verschillende definities van bias: http://fairware.cs.umass.edu/papers/Verma.pdf

  3. Het fundamentele probleem is dat we natuurlijk willen dat iedereen als individu bekeken wordt en op die basis beoordeeld word, maar dat dat beoordelen onmogelijk is omdat we daarvoor moeten kijken naar eerder gedrag van andere mensen met dezelfde kenmerken.

    En dat kunnen kenmerken zijn waarop we niet mogen discrimineren (geslacht, nationalititeit) maar ook andere kenmerken (1 keer blijven zitten op de lagere school, wel of geen militair geweest, X kg overgewicht). Maar voor het individu is het even oneerlijk als hij wordt vergeleken met mensen die toevallig dezelfde nationiteit hebben, als die met mensen die toevallig dezelfde (officieel niet discriminerende) andere kenmerken hebben. Het blijft oneerlijk.

    1. Het verschil is voor mij tussen kenmerken die er wel en die er niet toe doen. Blijven zitten zegt iets over je inhoudelijke prestaties, militair geweest zijn iets over discipline en uithoudingsvermogen bijvoorbeeld. Maar Turk zijn, wat zegt dat? Ben je dan automatisch een rabiate Erdogan-aanhanger met snor? Of neem het geslacht, vinden we werkelijk vrouwen minder capabel als directeur omdat ze vrouw zijn? Dát is toch oneerlijk, wat doet je geslacht ertoe?

      1. Juist, wat doet je geslacht of nationaliteit ertoe.

        Maar wat doet het er toe dat je in groningen wiskunde gestudeerd hebt en drie kinderen hebt.

        In beide gevallen wordt je vergeleken met mensen die toevallig dezelfde kenmerken hebben, en wordt jouw gedrag voorspeld op basis van hoe die andere mensen zich in het verleden gedragen hebben. Maar jij bent die anderen niet, jij bent jij, niet een vertegenwoordiger van die toevallige groepering.

        Elke vergelijking is onterecht vanuit jou, als individu, gezien. Jij ben

        En vergeleken worden met mensen met dezelfde nationaliteit of dezelfde studiestad/studiericht is dan even erg. Of zelfs met mensen met hetzelfde, lage inkomen. So what dat 80% van de mensen met hetzelfde inkomen wanbetalers zijn? Jij bent hen niet, en die statistiek zegt niets over jou. Het is oneerlijk om daarop afgerekend te worden.

        Mijn punt is juist: iedere eigenschap die aan jou wordt toegewezen op basis van eigenschappen van een groep waartoe jij (volgens objectieve criteria) behoort, is onterecht.

        1. Ik probeer iemand te beoordelen op wat hij gedaan heeft, zijn gedrag in het verleden… en heb de overtuiging dat daaruit toekomstig gedrag kan worden voorspeld. Bij iemand die een wiskunde-opleiding afgerond heeft verwacht ik een bepaalde gecijferdheid en abstractievermogen. Ik verwacht dat iemand die al eens een keer voor uitkeringsfraude is gepakt door de sociale dienst extra gecontroleerd wordt. Wat is daar onterecht aan?

          En als wiskundige kan ik ook inzien waarom het bedrag dat personen bij een bank kunnen lenen gerelateerd is aan het bedrag dat ze redelijkerwijs maandelijks kunnen aflossen, hetgeen weer gerelateerd is aan het inkomen van die personen. Naar mijn idee heel transparant. En dat banken niet zo happig zijn om geld uit te lenen aan mensen die in het recente verleden leningen niet (tijdig) afgelost hebben is ook heel begrijpelijk. Gedrag in verleden…

          Beslissingen laten nemen op basis van onbegrepen correlaties… Dan ben je geautomatiseerd aan het discrimineren. Toon maar aan dat jouw discriminator niet op vooroordelen gebaseerd is.

          1. Een aantal dingen lijken logisch en transparant, en zijn dat zelfs voor mij. Het probleem is dat je , als je niet heel erg oppast, vaak in de val trapt dat je denkt dat je eerlijk beoordeelt, maar eigenlijk gewoon aan het vergelijken bent, in je hoofd of in een compputer, met ervaringen (of zelfs vooroordelen) mbt mensen met dezelfde eigenschappen.

            Natuurlijk is je terugbetaalcapaciteit gerelateerd aan je inkomen. Maar diegene met een laag inkomen die voor jou zit is misschien wel heel gemotiveerd om terug te betalen en leeft met plezier 10 jaar op water en brood om een hypotheek terug te betalen.

            Er is een verschil in terugbetaalcapaciteit (die kun je relatief goed objectief benaderen) en terugbetaalmoraal (je denkt dat je die kun je alleen bepalen door die persoon te vergelijken met gelijkaardige groepen qua nationaliteit/leeftijd/geslacht/hobby/opleiding, maar ik twijfel eraan of dat correct is).

            1. Volgens mij zijn we het grotendeels eens. Zaken als motivatie en moraal zijn lastig (of niet) te meten en daarom ook lastig (of niet) te voorspellen. Dan komt de vraag of je een subjectieve beslissing als “zijn betalingsmoraal is goed genoeg voor deze lening” wilt meenemen in jouw institutionele beslissingsproces. Als je die subjectieve beslissing meeneemt laat je die door een mens (met vooroordelen) nemen of kies je voor een AI die op onzuivere gegevens getraind is? Mijn voorkeur is on de beslissing te objectiveren “bij het BKR zijn geen negatieve registraties bekend”

              (Wetend dat in de BKR registratie ook fouten zitten.)

      2. Je moet denk ik een verschil maken tussen nationaliteit als juridisch concept (van welk land heb jij een paspoort?) en als cultureel concept (naar welke waarden en normen leef jij, in welk land/gebied (bestaand of fictief) voel jij je het meest thuis?).

        De juridische nationaliteit is inderdaad geen voorspeller van iets. De culturele nationaliteit wel.

        1. De “juridische nationaliteit” daarentegen, kan van invloed zijn op of je wel of niet in Nederland mag verblijven, en is daarmee juist wel een relevant gegeven. Je geeft niet graag een hypotheek aan iemand die een half jaar later het land uit gezet wordt.

          “Culturele nationaliteit” vind ik een heel raar begrip — lijkt verdacht veel op “ethniciteit”, en dat is vaak niets anders dan een euphenisme voor racisme.

          1. Je hebt gelijk, ik had zo gauw niet aan ‘ethniciteit’ gedacht. Maar het is een neutraal begrip. Dat sommigen het misbruiken, daar kan ik niets aan doen.

            Als iemand opgegroeid is in een cultuur met een dubieuze houding over het terugbetalen van schulden, dan is de kans aanmerkelijk dat deze persoon ook een dubieuze houding daaromtrent heeft, en dat je als leningverstrekker dus wel een dubbel nadenkt.

            Is dat eerlijk voor die persoon als individu? Nee natuurlijk niet. Zoals ik al eerder betoogd heb is die persoon geen voorbeeldspecimen voor zijn ethniciteit, en zou hij daar niet op afgerekend mogen worden. Bovendien houdt dit een groot risico op verboden discriminatie.

            Maar aan de andere kant: Bij iemand met een financiele opleiding is de kans aanmerkelijk dat deze een goed overzicht van zijn financiele situatie heeft en met geld kan omgaan. Aantrekkelijk dus, voor de leningverstrekker.

            Maar ook dit is niet eerlijk voor deze persoon. Ook deze persoon is geen voorbeeldspecimen voor de groep van mensen met een financiele opleiding. Hij kan best nog steeds onverstandig met zijn geld omgaan en de lening niet terugbetalen.

            Waar ik naar toe wil is: Iedere groepering van een individu in een groep met statistisch relevante positieve of negatieve kenmerken is willekeurig, want doet geen recht aan het individu dat is zoals hij is.

            Het LIJKT alleen maar dat ’type en niveau van opleiding’ objectiever en eerlijker is dan ‘ethniciteit’ als belissingsfactor, maar volgens mij is dat niet zo. Ze zijn beide even fout.

              1. Ja daar zit wat in. Sommige dingen kun je iets aan doen, andere niet

                Maar aan de andere kant (laten we het voor de vergelijkbaarheid even over een ‘negatieve’ opleiding hebben): Waarom wrijf je mij aan dat ik veel slechtbetalende opleidingsgenoten heb? Ik heb die mensen niet gekozen als opleidingsgenoten.

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.