Wat hebben we aan menselijk toezicht op AI?

Algoritmes zijn neutraal, dus het is beter om algoritmes beslissingen te laten nemen. Met die waangedachte wordt met allerlei Artifical Intelligence (AI) systemen geëxperimenteerd. Voor de vorm is er dan menselijk toezicht, en zoals een recent Slate-artikel betoogt, daar heb je dus helemaal niks aan. Het lijkt me beter om eens wat harder in te grijpen, zoals de Europese Commissie van plan is.

Het idee van neutraliteit “omdat het algoritmes zijn” of “omdat het uit de data volgt” vind ik absurd. De voornaamste reden is omdat de data vrijwel nooit zelf neutraal is, maar vooral de bestaande vooroordelen of aannames uit de maatschappij reflecteert. Een AI is eerder een spiegel van hoe je maatschappij functioneert, maar dan zonder de flexibiliteit of menselijke redelijkheid die in de praktijk de scherpste randjes eraf haalt.

Mooi recent voorbeeld: een bedrijf dat met gezichtsherkenning de deur bedient, maar iemand in een rolstoel zit te laag volgens het algoritme en diens hoofd wordt dus niet als hoofd aangemerkt. De deur kan dus niet open.

In april publiceerde de Europese Commissie een concept-Verordening tot regulering van artificiële intelligentie. De kern: hoe meer risico de technologie met zich meebrengt, hoe strikter de regels die ervoor gelden. Er wordt daarom een verschil gemaakt tussen vier AI-systemen:

  1. Onaanvaardbaar risico. Hierbij gaat het onder meer om AI-systemen bij de overheid die burgers “sociale scores” geven, of biometrie voor grootschalige opsporing en surveillance. Dergelijke systemen zijn gewoon verboden.
  2. Hoog risico. Denk hierbij aan systemen die mensen selecteren bij sollicitatieprocedures en de toegang van burgers tot sociale zekerheid bepalen. Deze moeten aan hoge eisen voldoen voordat ze op de markt mogen.
  3. Beperkt risico. Dit is bijvoorbeeld het geval wanneer er een duidelijk risico op manipulatie bestaat, zoals bij het gebruik van chatbots. Voor deze systemen geldt een transparantieverplichting.
  4. Minimaal risico. Dit zijn bijvoorbeeld spamfilters. Deze AI-systemen mogen blijven worden ontwikkeld en gebruikt.
Bij de niveau’s 2 en 3 is het van belang dat er mensen meekijken, die dan ook “betekenisvol toezicht” uitoefenen. Aan mensen die alleen maar constateren

Zoals je in mijn elearning AI Compliance & Governance kunt leren, staan drie begrippen dan centraal: Human in the Loop (HITL), Human on the Loop (HOTL) en Human in Control (HIC). Bij HITL loopt een mens in elke stap mee. HOTL wil zeggen dat de mens op de achtergrond meekijkt en in kan grijpen waar nodig, en HIC betekent meer toezicht op afstand op het systeem als geheel. Dus zeg maar: de portier die naast de deur zit en gauw opendoet voor die persoon in rolstoel, de portier die een verdieping verderop de bel hoort en open komt doen, en de gebouwbeheerder die achteraf de klacht per email leest.

Klinkt leuk, maar er is een probleem. Zoals Slate schrijft:

People presented with the advice of automated tools are prone to “automation bias” (through which they defer to the automated system without proper scrutiny), struggle to evaluate the quality of algorithmic advice, often discount accurate algorithmic recommendations, and exhibit racial biases in their responses to algorithms.
Voor mij is die eerste het belangrijkste. Output van computers voelt voor veel mensen als doordacht en zeker, het algoritme zal erover nagedacht hebben zeg maar. Daar wordt dus niet snel van afgeweken. En dat speelt des te meer in situaties van toezicht en handhaving, omdat daar altijd wel iets te vinden is om nader te onderzoeken. Je krijgt daardoor niet snel het gevoel dat de computer het fout had, en je onthoudt vooral de gevallen waarin de computer spectaculair gelijk had.

Een bijkomend probleem is het kunnen inschatten wat de AI bedoelt. Dan kom je bij uitlegbaarheid terecht, en daar zit ook een enorme valkuil. Een AI kan met uitleg komen, maar dat is niet meer dan een verklaring van wat voor de AI de relevante factoren zijn. Zoals ik in 2017 schreef:

Je krijgt bijvoorbeeld te horen “als Venue bevat niet Californië en lengte < 800 woorden en Aansprakelijkheid bevat niet Dientengevolge dan goedgekeurd”. Ja, dat is een uitleg maar geen mens die ooit op die manier zou uitleggen waarom het contract goedgekeurd is. Plus je mist zo wat er met andere informatie is gebeurd, was die niet belangrijk?
De valkuil is dan dat je als mens een verklaring gaat verzinnen dat een korte tekst zonder dat woord en een rechtskeuze buiten Californië een logische tekst is. Wat een jurist prima kan. Maar die verklaring is dus niet waarom het systeem het contract goedkeurde. Het systeem hééft geen verklaring, alleen correlaties, dingen die horen bij een goedgekeurd contract. Wie dan zinvolle menselijke toelichting verwacht, zal ernstig teleurgesteld worden. Of erger nog: trappen in de verklaring die de mens erbij geeft.

Arnoud

17 reacties

  1. Het lijkt mij vrij logisch dat een AI nooit echt objektief zijn kan. Het eerste obstakel wat je niet kunt vermijden is de programmeur. Ongewild en onbedoeld spelen de eigen vooroordelen een rol. Wat neem ik als kriterium op, wat laat ik weg? Zelfs met een grote groep kan je dat niet vermijden. Dit is een van de redenen waarom ik uiterst skeptisch ben voor dat wat AI genoemd wordt.

  2. Waarom plaatst men spamfilters onder 4 terwijl het even goed 2 of 3 kan zijn? Die sollicitatie-mail van Prins Nigeria wordt geblokkeerd zonder enige feedback omdat het te veel lijkt op spam. Een uitkering aanvragen als ik bij familie in China op bezoek ben wordt al voor stap 1 geblokkeerd vanwege het IP-adres. Lijkt me eerder een praktische reden hebben, spam- en malwarefilters worden al erg lang gebruikt.

    Ik denk bij 4 dan eerder aan m.b.v. AI verbeteren van teksten, foto’s o.i.d. en vragenstellers eerste antwoorden geven als voorsortering (de chatbots die je veel ziet, maar dan wel slim).

    (edit: nee ik zie spamfilters erg graag niet verdwijnen. Maar er kunnen zeker wel significante problemen zijn als je mail in een filter blijft hangen).

    Maar, de boodschap lijkt te zijn dat tenminste voor niveaus 1-3 AI niet meer relevant kan worden ingezet? Als er een mens nodig is voor bekrachtiging van elke beslissing en die de beslissing nog moet worden gesnapt ook, blijven er alleen maar nadelen over voor AI-gebruik? Namelijk die bias (en allerhande kosten aan licenties en mensen).

    1. Ik denk dat de gedachte bij de spamfilters is dat de impact ervan zeer klein is. Bij belangrijke zaken belt je secretaresse toch even na? Nee, dat is flauw maar in de meeste gevallen gaat het gewoon goed met spamfiltering en de vals positieven (ham als spam aangemerkt) lossen zichzelf vrijwel altijd op. Ik heb niet meer de indruk dat spamfilters botweg Nigeriaanse IP adressen meteen aanmerken als bron van spam.

      Je moet betekenisvol menselijk toezicht of menselijke leiding inbouwen. Dat betekent denk ik niet dat een mens alles over moet doen, want dan is AI inderdaad overbodig. Wel kun je eruit afleiden dat de mens de relevante informatie moet hebben om de AI aanwijzing te beoordelen. Dus niet alleen “accuratesse 97%” maar zowel de FP als FN rate en wellicht een aantal factoren waarop is gescoord (koffer is kunststof, passagier uit Colombië, zwetend gezicht en hij vliegt vanmiddag weer terug).

      1. Het gebeurt nog wel dat er hard op IP-adres wordt geblokkeerd. Maar ik noemde ook expres iemand die Prins Nigeria als naam heeft – en zo regels triggert. Maar goed, inderdaad kunnen dergelijke uitzonderingen nabellen en gaat het meestal goed. Dat geldt overigens vast ook voor automatische uitkeringfraudechecks, zeg ik dan flauw. (Punt is, moejlek).

        Inderdaad zou het goed zijn bijv. 5% van alle beslissingen dubbelblind (!) plus alle klachten door een mens te laten checken en bij verschillende uitkomsten tripplechecken (mensen maken ook fouten). En de daaruit volgende historische FP en FN rates opnemen in bv. het verwerkingsregister of misschien zelfs verplicht openbaar publiceren.

  3. Het lijkt me dat je vanuit dit standpunt de AI alleen kunt gebruiken om dingen te vinden en daar op een neutrale manier naar te wijzen, door vragen te stellen: Let op: Venue is Californië, is dat acceptabel voor dit contract? en Let op: Document gebruikt het woord “Dientengevolge” in Aansprakelijkheid. Controleer document op wollig taalgebruik.

    Bij een sollicitatie-screening door AI kun je dan iets aangeven als: “Sollicitant claimt afgestudeerd te zijn aan Universiteit, maar was 14 jaar oud toen hij aan zijn studie afrondde. Graag even navragen” ipv. Sollicitant afwijzen vanwege fraude…

    1. Maar hoe weet je dat de AI dat “dientengevolge” signaleerde omdat het wollig was? Misschien was dat een woord waar de labelende stagiair over struikelde waarna hij het als “gevaarlijk” aanmerkte in de dataset. Dit is wat ik bedoel met interpreteren van AI-uitkomsten: je wéét niet waarom de AI dit een probleem vindt en bijvoorbeeld “Niettegenstaande” laat staan.

      1. Dat weet ik niet, maar door het als een vraag te brengen leg je de verantwoordelijkheid terug bij de mens.

        Belangrijker zijn dan echter de vragen die niet gesteld worden. Als ik de AI bij een sollicitatie van persoon uit een gemarginaliseerde groep tientallen vragen ga stellen, en bij iemand uit de dominante groep niet, dan week ik dat ook niet.

        1. Dan kun je nog een klein stapje verder gaan: Laat de AI gewoon zo’n rood “spellchecker” golflijntje zetten onder alle passages die het een negatieve score geven. Dus in plaats van ‘let op: venue is Californie’ een rood golflijntje onder ‘Californie’ op die plek. En als die negatieve score een correlatie is van meerdere woorden op meerdere plekken, gewoon allemaal zo’n lijntje geven.

          Dan kan de mens die het document doorleest om na te kijken zien waar ie z’n beetje op moet letten, maar hij moet nog steeds zelf bedenken wat er nu eigenlijk mis is.

          En je zet misschien (of alleen als er weinig dingen gevonden zijn) ook random wat rode lijntjes op plekken waar niets mee aan de hand is, je natuurlijk aan de mens weten dat het zou kunnen dat er random rode lijntjes zijn, zodat hij reden heeft om de lijntjes niet blind te vertrouwen. Of je geeft het algoritme als subdoel om altijd ongeveer even veel rode lijntjes te hebben, dus als er geen zware dingen zijn moet het meer lichte dingen onderstrepen.

  4. Mijn eerste grote project was een anti-fraude model. Data set verzameld van rond de 100 duizend hand-gelabelde klanten. Het systeem zou een score geven, maar een menselijke fraude analyst gaf uiteindelijk de doorslag. Ik dacht dat ik alles technisch gezien netjes opgelost had, maar toen kwam er een ervaren collega naar het project kijken en het eerste wat deze zei: Besef goed dat je met zo’n model alle fouten “automatiseerd”/”encodeerd”, deze worden officieel onderdeel van een onwrikbaar bedrijfsproces, en krijgen de autoriteit van een foutloze computer.

    Dus ik weer terug de data in. Met uitleg twijfelgevallen door het systeem aangemerkt handmatig controleren. En bias in de train data vinden natuurlijk:

    • Men had een significant aantal klanten als fraudeur aangemeld, omdat de klanten vroegen om van een bepaalde feature geen gebruik te kunnen maken, en de enige manier waarop dit simpel kon en de klant snel te helpen: aanmerken als fraudeur. Deze werknemers waren zich er niet van bewust dat ze daarmee een ML model trainden om fouten te maken.

    • Men had te maken met een grote frauderende bende uit een bepaalde provincie. Deze provincie staat erom bekend om vaker te frauderen, en hoewel dit statistisch is aan te tonen, creeerde dat ook een enorm vooroordeel bij de fraude analisten. Ze waren extra snel klaar met klanten uit deze provincie, en deze werden onevenredig vaak als fraudeur aangemeld.

    Na deze bias eruit gehaald te hebben en het model in productie, besloten we te testen hoe erg de schijn van autoriteit meespeelde: klanten die reeds waren goedgekeurd door andere analisten, kregen artificieel een hoge score, en werden herlabeled door nieuwe analisten. En inderdaad, deze klanten kregen dan vaker gemiddeld het label fraude. Het maakte daar niet veel uit of er uitleg werd gegeven (klant komt uit deze en deze provincie). En analysten die zonder model gewerkt hadden waren daar gevoeliger voor dan analisten die nieuw aangenomen waren en vanaf begin met het systeem werkte.

    De oplossing bleek uiteindelijk het aanpassen van performance metrics (tel je alleen aantal fraudeurs gelabeled, dan beloon je ook het fraude-labelen van onschuldige mensen, je kan immers niet controleren of de klant onschuldig is, indien geweigerd), en een speciaal team van analisten die alleen keek naar klanten met een hoge score. Door de score gelijk te houden, verdween haar invloed, en zochten de analysten speciaal naar die 5% valse positieven.

    De uitleg van veel ML systemen wordt gegeven middels een proxy model: een ander ML model probeert dan zo’n complex gesloten model uit te leggen hoe dit beslissingen maakt. Zelf vindt ik deze oplossing niet voldoende: het geeft de schijn van uitleg. Als een sport commentator die probeert uit te leggen waarom een voetbalspeler een bepaalde pass maakte. Uiteindelijk moet dat aan de voetbalspeler zelf gevraagd worden, maar meeste accurate systemen zijn gewoon gesloten.

    Verder is automatisering van de economie een soort tweede industriele revolutie. Europa mag dan wel scherp toezicht houden en regels maken, het zal uiteindelijk technisch/economisch ingehaald worden door Amerika, China, en het Midden-Oosten. Of het dan nog de culturele invloed kan uitoefenen is een tweede vraag. Dan heb je dus geen Europese bedrijven om toezicht op te houden, maar gaat alle prive data van Europeanen alsnog naar Amerikaanse of Chinese servers.

    1. In reactie op die laatste alinea: die gaat ervan uit dat je met het toestaan van gebiaste informatie en discriminerende* systemen een economisch voordeel kunt behalen. Misschien is dat op korte termijn een effect, maar op de langere termijn leidt dit onherroepelijk tot sociale spanningen, en ondermijnd het de creativiteit en innovatie vermogen van een samenleving: juist door de diversiteit van inzichten en ervaringen kunnen producten en processen goed verbeterd worden (en dat is precies de grote handicap waar totalitaire systemen aan onderdoor gaan: omdat kritiek niet is toegestaan, komt terechte kritiek ook niet door, en blijven ze hangen in een historische structuur, die steeds meer gaat mismatchen met de realiteit).

      • Discrimineren = onderscheid maken op niet relevante kenmerken.
      1. die gaat ervan uit dat je met het toestaan van gebiaste informatie en discriminerende* systemen een economisch voordeel kunt behalen

        Ja, ik denk dat daar inderdaad een voordeel mee is te halen. Neem bijvoorbeeld het sociale krediet systeem van China, hier aangemeld als “onaanvaardbaar risico”. Nu ga ik zo’n systeem niet verdedigen of zeggen dat Europa ook zo’n systeem moet hebben, maar zo’n systeem is wel enorm goed in het verdelen van middelen en overheidsgeld. A-sociale inwoners krijgen minder middelen. Ordelijke en capabele mensen krijgen meer mogelijkheden, verantwoordelijkheden, en macht. Vergelijk maar met een bedrijf: het een behandeld iedereen gelijk, het ander kijkt naar performance metrics, laat medewerkers andere medewerkers beoordelen, en de top van de lijst krijgt promotie, loonsverhoging, of een eigen team om te managen. Welk bedrijf groeit sneller? Zo’n sociaal krediet systeem is zo eng en taboo dat we vaak wegmoffelen wat de waarde ervan is: China zal er gezamenlijk meer waarde aan onttrekken dan dat het problemen oplevert. Orde werkt nu eenmaal beter als chaos. Ik denk dat het decennia duurt voordat zo’n systeem gaat mismatchen met de realiteit. Het zal constant ge-up-date worden, meer data bronnen toegevoegd, en nog meer decentrale aansturing door een overheids AI draaiend op supercomputers.

        Maar wat je daarna zegt is natuurlijk ook gewoon waar: De Westerse creativiteit leunt op medewerkers die gewoon Nee! zeggen tegen de baas en iets uitvinden waar hun werk gemakkelijker mee wordt. In een totalitair systeem loopt iedereen op eierschalen, en is geen informatie van beneden naar boven te smokkelen. De fabrikanten van robotarmen komen in Europa kijken wat er allemaal kan met deze systemen als een programmeur vrijgelaten wordt.

        En bias is natuurlijk altijd ongewenst. Maar iemand die sneller kan schakelen, en niet wettelijk is gebonden alle bias uit de data te halen, krijgt zo een enorme voorsprong. Dat fraude systeem had ook wel gedraaid en business value geleverd, als het de 3% onschuldige klanten als fraudeur had aangemeld. Dus Amerika of China is dan al bezig met model nr. 3. Vergelijk maar met het broeikaseffect. China heeft lak aan de regels, waardoor haar zware industrie veel sneller en grover kan draaien. Met veel regulatie straf je feitelijk de lokale bedrijven en maak je de oneerlijke competitie groter. En dan in 100 jaar stikken we allemaal.

  5. In de jaren 70 (ja, van de vorige eeuw) begon mijn interesse voor de computer. Destijds stond heel veel nog in de kinderschoenen en de doorsnee burger had er totaal geen oog voor. Ik begon met een abonnement op ‘Personal Computer World’ en had oog voor zeer dure computers (meer dan ƒ 10.000,00 en een capaciteit waar je nu om zou lachen). Wat was de reden van mijn interesse? Eigenlijk een heel simpele, ik vertrouw de computer zolang ik hem zie en ik beschouw het als een ‘black box’ waarvan je niet kunt zien waarom hij de beslissingen neemt, welke hij neemt. Ik bedacht dat het belangrijk is te weten waarom iets fout kan gaan en een gezond wantrouwen te hebben met betrekking tot de geschreven programmatuur, door mensen, dus altijd met fouten en bijbedoelingen. Mijn standpunt is al sinds de jaren ’70: “De computer is de grootste vijand van de mens en dus houd je hem dicht bij je en verdiep je je in zijn werkwijze.”. Dit wil niet zeggen dat de computer geen goede resultaten kan opleveren en geen nuttigheid heeft, maar houd altijd zijn zwakte en meer nog de zwakte van zijn ontwikkelaar(s) en gebruiker(s) in de gaten. Getuige de “Toeslagenaffaire”, wat m.i. maar een topje van de ijsberg is.

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.