AI is enorm dom en daarom is ethiek in AI zo enorm belangrijk

Ethiek en AI, twee begrippen die steeds vaker samen genoemd worden. Want als we overal AI gaan inzetten, met name voor besluitvorming en automatische systemen, dan moeten we wel vooraf nadenken wat voor impact dat heeft en of het wel ethisch wenselijk is dat dat zo werkt. Goed dat daar steeds meer aandacht voor komt, maar het blijft wel opletten dat de juiste ethische discussie wordt gevoerd. AI is namelijk ontzettend dom, en je moet het dus vooral niet hebben over de ethische overwegingen die de AI maakt bij de besluitvorming. Het gaat om de ethiek van mensen overlaten aan AI systemen.

Wat precies AI is, weet volgens mij niemand. Ik houd het bij de cynische constatering dat AI die inzet van statistiek-gedreven voorspellingen is die griezelig lijkt op hoe mensen zouden handelen. De weersvoorspelling is dus geen AI, een machine learning systeem dat tumoren herkent is op het randje (want nieuw en computer dus griezelig) maar een humanoïde robot die contextuele grappen maakt die is AI.

De technologie achter AI is op zich vaak verrassend simpel. Meestal gaat het om machine learning, analysetechnieken op grote bakken data waarmee het systeem regels afleidt om voorspellingen te doen. Heb je een stapel met een miljoen spamberichten en een miljoen niet-spamberichten, dan komt daar een griezelig accurate herkenning voor spam uit. Ondanks dat niemand vooraf harde regels stelt (“als het uit China komt en Viagra noemt, dan is het spam”). Die regels worden “van onderaf”, uit de data dus, afgeleid. “90% van de spam komt uit China, en slechts 1% van de nietspam, dus als het uit China komt dan is het spam”.

AI kun je gebruiken om ‘echte’ beslissingen te maken. Grofweg sloop je dan de mens uit het proces en koppel je de uitkomst van de AI aan de input van het vervolgsysteem. Kom hier met die stapel financiële gegevens, laat de AI zeggen of een hypotheek risicovol is en gebruik de ja/nee om de afwijsbrief dan wel het contract te genereren. En dát is waar je die ethiek zo broodnodig hebt.

AI is dom. Althans, doet rechtlijnig wat er uit de data volgt. Dat klinkt heel logisch en fair, maar veronderstelt dat die data-analyse op een faire manier gebeurt. En dat is een risicovolle veronderstelling, want die data is vaak niet fair – en daarmee de AI ook niet. Wees je in het verleden vaak hypotheken af van mensen die Achmed heten, dan doet de AI dat net zo braaf. Dat het bij jou toeval was, doet er niet eens meer toe. Maar die AI is niet onethisch omdat die zo blind aan het discrimineren is. Die doet gewoon wat de data hem ingeeft. De AI is a-ethisch.

Ethiek bij AI komt dus altijd pas een stap later. De AI zegt nee, wat gaan we daarmee doen? Is het wenselijk om die uitvoer te vertrouwen, kunnen we randgevallen herkennen en wat gaan we doen als achteraf een besluit niet in orde blijkt te zijn?

Op mijn congres The Future is Legal gaat prof. Natali Helberger (UvA/IvIR) dieper in op deze en aanverwante kwesties rond AI.

Algoritmische agenten doordringen ons online bestaan. Op basis van onze digitale profielen – ontstaan door massale surveillance – rangschikken algoritmische agenten zoekresultaten, verbergen en tonen nieuwsitems op sociale netwerken en proberen te raden welke producten we zouden kunnen kopen. Opkomende algoritmische agenten zijn in staat content te bieden die speciaal voor ons is gemaakt en kunnen contact met ons opnemen via unieke, gepersonaliseerde interacties. Het bestuderen van deze algoritmische agenten biedt tal van methodologische, ethische en logistieke uitdagingen.

Meediscussiëren? Leuk! Maar je moet er wel snel bij zijn want de kaarten vliegen de deur uit.

Arnoud

12 reacties

  1. Wees je in het verleden vaak hypotheken af van mensen die Achmed heten, dan doet de AI dat net zo braaf.

    De mens achter deze AI zou je dus direct moeten ontslaan. Maar al te vaak wordt AI gezien als een automagisch algoritme wat wel eventjes het probleem voor je oplost door er gewoon bakken met data in te storten. Dat, in dit voorbeeld, een naam niet relevant is voor een hypotheekbeslissing beseft helaas niet iedereen die een AI traint. Het voorbeeld heeft daarom denk ik meer van doen met incorrecte training van de AI dan ethiek.

    Laat een mens even snel diagonaal door de case heen akkeren om daarna te kijken of zijn ‘guts feeling’ overeenkomst met de AI uitkomst. Als niets geks wordt gezien op ethisch gebied wat de beslissing zou kunnen beïnvloeden dan kan de AI uitkomst worden aangehouden en direct uitgestuurd, anders gaat de mens er zelf beter naar kijken. Dan heb je al heel veel tijd en kosten bespaard maar toch al een redelijke controle gedaan.

    1. Niet alles is even evident. Zo zal niemand ontkennen dat een AI die potentiele verzekeringsnemers toetst afkomst niet mag gebruiken als criterium. Zelfs als uit de data met grote significantie zou blijken dat mensen met een zekere afkomst vaker frauderen.

      Je moet dan als onderzoeker wel doorhebben dat de combinatie postcode, huur/koophuis en inkomen een goede voorspeller kan zijn voor sommige afkomsten en dat je dan feitelijk alsnog indirect mensen gaat afwijzen om hun afkomst!

      (En dit is (sociaal gezien helaas) geen verzonnen voorbeeld, gelukkig dat de data analisten in deze casus wakker waren.)

        1. Eens! De ongewenste correlaties zijn vaak moeilijk te doorgronden, maar als je een goed systeem bouwt kan je vooraf analyses op je trainingsdata uitvoeren waarbij je zoekt naar correlaties tussen alle verschillende input velden zodat jouw voorbeeld ook wordt gedetecteerd en je daar actie op kan nemen in je trainingsset.

          Het probleem is dat mensen heel makkelijk zeggen ‘dan moet je afkomst niet meenemen in je data set’. Dat is echter geen optie, omdat je dan nooit zal ontdekken of je onverhoopt indirect op een ongewenste/verboden grond onderscheid aan het maken bent.

  2. “Grofweg sloop je dan de mens uit het proces” Maar die mens gooi je er toch vanaf de zijkant in. Die hebben al die data geproduceerd en keuzes gemaakt die in de data zit en ook de keuzes gemaakt wat op stapel A en stapel B gaat. De AI vreet die stapels op en kan dan met een nieuwe stapel C aan de slag. Die keuzes van de AI vinden nog steeds hun basis in stapel A en B (en die zwarte doos met knoppen waarmee die stapels verwerkt zijn.) Daarna stapt de mens opzij en kan dan roepen “computer says no” terwijl eigenlijk de mensen achter B123, B372, B98276, A3683, B2729, A1566, …… nog steeds in dat process zitten.

    Is jouw vakgebied niet een mogelijk model? Daarin verwerkt een Rechter (AI) een grote hoeveelheid data (wetten, jurisprudentie, case file) om tot een oordeel te komen. Niet mee eens? Dan kun je hoger op. En uiteindelijk zitten er feedback loops in die er voor zorgen dat wetten weer aangepast worden.

    Hoe werkt de ethiek in de rechtspraak?

    1. Wat ik vooral bedoelde, is dat je de mens eruit gaat die in dit geval de redelijkheidstoets doet. Misschien ging het bij B123, B372, B98276, A3683, B2729 en A1566 goed, en wordt nu C481 afgekeurd omdat deze niet getrouwd is en die anderen wel. En de data correleert 100% succes met getrouwd en failure met ongetrouwd. Een mens zou die factor negeren, of de stagiair terugfluiten die zegt “deze meneer is ongetrouwd dus niet doen”. Maar als je zegt, het gaat zo lekker op die data en in het verleden is goed besloten, dan krijgt C481 dus een failure omdat ie ongetrouwd is.

    2. Je beschrijft precies mijn eerdere reactie: zomaar blind een bak data in een AI gooien werkt niet. Achteraf controleren omdat je je AI misschien verkeerd hebt getraind zodat ‘ie verkeerde beslissingen neemt maakt je net zo dom als je AI. Minimaliseer je controles achteraf door vooraf je trainingsdata op te schonen.

      1. Eens! De ongewenste correlaties zijn vaak moeilijk te doorgronden, maar als je een goed systeem bouwt kan je vooraf analyses op je trainingsdata uitvoeren waarbij je zoekt naar correlaties tussen alle verschillende input velden zodat jouw voorbeeld ook wordt gedetecteerd en je daar actie op kan nemen in je trainingsset.

  3. AI is niet anders dan willekeurig welk ander automatiseringssysteem. In het voorbeeld maakt het systeem een niet-ethische beslissing. Maakt het dan verschil of die beslissing door een AI systeem met verkeerd gebruikte data, door een traditioneel software programma met een programmeerfout, of door een traditioneel software programma met verkeerd algorithme genomen wordt? In al deze gevallen ontstaat er een “Computer says” situatie, die al heel lang bekend is. Volgens mij is dit geen nieuw probleem en zeker geen nieuw ethisch probleem. Overigens geldt dat voor veel meer ‘hypes’ in de ICT.

    1. Het is in zoverre nieuw dat we in het verleden vertrouwden op geprogrammeerde beslisregels (als jaarinkomen boven 23.000 en aflossing < kwart maandinkomen en leeftijd < 65 dan hypotheek toegestaan) en nu op de black box die we AI noemen. Die beslisregels waren te toetsen (hoezo staat hier “als religie is protestant”?) en die AI niet. Maar je hebt gelijk dat het een hype is natuurlijk om het AI te noemen.

      1. Kun je dat algoritme ofwel beslisregel zoals “(als jaarinkomen boven 23.000 en aflossing < kwart maandinkomen en leeftijd < 65 dan hypotheek toegestaan)” even toelichten wat de herkomst betreft. Waarop is die gebaseerd en kun je uitleggen wat er bij aan de hand is?

        Van oudsher werden de lijstjes van wat goed ging en wat niet doorgestuurd ter analyse naar managers. ( de rapporten lijstjes dashboards) Die gingen er weer mee aan de haal als advies naar hun managers met een eigen interpretatie en toekomstverwachting. Die menselijke bias uit die lijstjes en verwachtingen is wat je terug ziet bij de analyse als je het proces automatiseert. Je zult daar aan die management aansturing wat moeten gaan doen ter verbetering .

  4. AI kun je gebruiken om ‘echte’ beslissingen te maken.

    Oei, jij ook al? Beslissingen neem je in het Nederlands, die maak je niet. Maken is Engels!

    En in algoritme valt de klemtoon in het Nederlands op rit, niet op al zoals in het Engels, dat is ook zoiets.

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.