Toch nog even over die uitlegbaarheid van AI uitspraken

| AE 9974 | Innovatie | 33 reacties

Analyses van AI’s zijn niet meteen naar uitleg of verklaringen om te zetten, schreef ik in oktober. En dat is best wel een probleem, zeker waar die analyses leiden tot juridisch bindende besluiten. Een veelgehoorde eis aan AI’s is dan ook dat zij in staat zijn tot uitleg – in het jargon moeten AI’s white boxed zijn. Maar dat is niet genoeg. Er zit volgens mij een heel fundamentele foute aanname onder die eis, namelijk dat een AI-uitspraak uitlegbaar kán zijn zoals een menselijke uitspraak.

Een grote zwakte van AI analyses is dat ze meestal zonder uitleg komen. Deze mail is spam en die niet, je kunt beter linksaf gaan want dat is sneller, of als je in het spel nu schiet dan heb je de meeste kans om te winnen. Zelden tot nooit krijg je erbij te horen waarom dan. Maar omdat het heel vaak klopt, vinden we dat ook niet erg.

Vanuit juridisch perspectief kan dat toch eens best vervelend zijn, zeker als sprake is van een AI die juridisch bindende besluiten neemt. Uw bouwvergunning wordt afgewezen, u komt niet in aanmerking voor verkorte screening, u dient een extra cursus te volgen voordat u mag beginnen met deze studie. Die zorg gaat zo ver dat in de AVG expliciet is opgenomen dat dergelijke besluiten niet genomen mogen worden maar dat er altijd een mens tussen moet zitten, én dat er uitleg over de onderliggende logica van het besluitondersteunende systeem moet komen.

Dit veronderstelt dat de AI kán uitleggen hoe zhij tot het besluit is gekomen. En volgens mij kán dat fundamenteel eigenlijk niet.

Veel nadruk is de afgelopen jaren gekomen voor zogeheten white box AI’s, oftewel systemen die geen zwarte doos zijn maar juist inzicht geven in hoe men tot een besluit komt. BigML, het bedrijf waar mijn AI NDA Lynn op draait, heeft bijvoorbeeld de feature dat een analysemodel aangeleverd wordt als een beslisboom. Je kunt dan van stap tot stap precies zien welke criteria er zijn overwogen en wat de doorslag gaf bij twijfel. Daarmee is de uitlegbaarheid een feit, zou je denken.

Een oude computergrap luidt, don’t anthropomorphize computers, they don’t like that. In feite is dit het nadeel van “statistische analysetechnieken” het labeltje “kunstmatige intelligentie” te geven. Want de ‘uitleg’ die je uit zo’n witte doos krijgt, is eigenlijk niet meer dan een stack trace, een lijst van stappen die de software nam om door de data heen te komen. Je krijgt bijvoorbeeld te horen “als Venue bevat niet Californië en lengte < 800 woorden en Aansprakelijkheid bevat niet Dientengevolge dan goedgekeurd”. Ja, dat is een uitleg maar geen mens die ooit op die manier zou uitleggen waarom het contract goedgekeurd is. Plus je mist zo wat er met andere informatie is gebeurd, was die niet belangrijk?

Ik denk dat dit uiteindelijk geen oplosbaar probleem is, want een AI werkt nu eenmaal op deze manier. Gegeven een heleboel voorbeelden, analyseer op welk voorbeeld het beste de input lijkt. Daarbij kun je moeilijk afdwingen dat de AI dezelfde criteria hanteert als de mens, vaak héb je die eigenlijk niet. Je gebruikte immers AI omdat je met gewoon menselijk redeneren er niet goed uit komt.

Arnoud

Het onderbelichte probleem van dataverzameling in de artificial intelligence

| AE 9913 | Innovatie | 14 reacties

Bewerking/parodie van XKCD, bron https://xkcd.com/303/Jaja, vrijdag wordt machine learning/AI dag, maar ik vond vrAIdag zo’n rare hashtag. Deze week een netelige en vaak onderbelichte kwestie: hoe kom je aan je data? Veel mensen denken dat het bij AI vooral gaat om het bouwen van het netwerk, maar dat is in feite niet meer dan op de “Generate” knop drukken en het ding een nachtje laten stampen. AI als technologie is vrijwel een commodity. Het gaat erom wat je erin stopt, want dat bepaalt voor vrijwel 100% wat eruit komt. En daar zit hem het probleem.

AI en big data lijken als hype hand in hand te zijn opgekomen. En dat is niet gek, want AI is in feite weinig meer dan statistische analyse op grote datasets, en hoe groter de dataset, hoe accurater de uitkomsten van de analyse. Dus als je gigantisch veel data hebt, dan krijg je behoorlijk goede resultaten. Maar hoe kom je aan die data?

Er zijn grofweg twee manieren: je kunt alle data zelf verzamelen, of je kunt datasets van anderen betrekken. De eerste manier is behoorlijk duur en tijdrovend, en werkt eigenlijk alleen bij de grote platforms zoals Facebook die nu eenmaal heel veel mensen hebben die data genereren. Of onderzoeksinstellingen die grootschalige metingen kunnen doen op allerlei fenomenen. Voor veel partijen is er alleen de tweede manier: zie ergens een dataset te pakken te krijgen.

Die tweede manier is nog behoorlijk problematisch. Vanwege rechtenkwesties en natuurlijk de zorg over persoonsgegevens in de data wordt vaak teruggegrepen op publieke datasets. Uit een recent paper blijkt echter dat dit goed kan leiden tot bias in de AI. Zo is er een publieke dataset van 1,6 miljoen interne e-mails uit het controversiële bedrijf Enron, welke vanwege justitieel onderzoek openbaar zijn geworden. Deze zijn een mooie dikke dataset om sentimentanalyse te doen, grammatica te leren herkennen en ga zo maar door. Maar goh, wat voor voorbeeld neem je als je de mails gebruikt van een Texaans bedrijf dat omviel vanwege gigantische fraude?

Andere systemen worden gebouwd op basis van stokoude bronnen, zoals publiekdomeinboeken omdat je dan auteursrechtelijk veilig zit. Maar het doet nogal wat met een systeem of je hem traint op Charles Dickens dan wel Dan Brown (om mevrouw Van der Plas niet weer te noemen 😉 ). Taalgebruik zal verouderd zijn, en vooral: ook hier een grote kans op vooringenomenheid qua wereldbeeld.

En daar zit dus in de kern het probleem: de datasets waar iedereen mee kan werken, zitten scheef en leveren dus geen betrouwbare basis op voor een AI systeem dat aanbevelingen of beslissingen doet. En waar je mee zou moeten werken, zit opgesloten achter auteursrechten of is onbereikbaar omdat de eigenaar het als privé beschouwt.

Arnoud

Wanneer verdient een AI rechtspersoonlijkheid?

| AE 9832 | Innovatie | 11 reacties

In India kun je door een rivier worden gedagvaard, las ik onlangs (dank, tipgever). De rivieren de Ganges en de Yumana hebben daar dit voorjaar rechtspersoonlijkheid toegekend gekregen, zodat ze zelfstandig claims kunnen indienen tegen hun vervuilers. Ook bij dieren speelt die discussie. Dat is een opmerkelijke noviteit, en voor de tipgever aanleiding me te vragen of dit soort precedenten ertoe kunnen leiden dat ook Artifical Intelligences (AI’s) zelfstandige rechtspersoonlijkheid kunnen krijgen.

Rechtspersoonlijkheid is het concept dat iets anders dan een mens dezelfde status krijgt. De bekendste voorbeelden zijn bedrijven en verenigingen: die bestaan volgens de wet geheel los van hun bestuurders, aandeelhouders, leden en andere mensen die baat hebben bij die organisaties. Het idee erachter is dat de organisatie zo de individuele personen erachter kan ontstijgen, onder meer doordat die niet automatisch aansprakelijk zijn voor eventuele fouten of schulden veroorzaakt door het bedrijf. (En ja, dat is dan ook precies het probleem met rechtspersonen als het uit de hand loopt.)

Rechtspersoonlijkheid ken je toe aan een object wanneer je wil dat deze zelfstandig aan het rechtsverkeer deelneemt. Deze entiteit moet bijvoorbeeld geld of goederen kunnen bezitten, claims kunnen indienen of juist kunnen dragen en vergoeden. Het is handig dat een vereniging een rechtspersoon is bijvoorbeeld, omdat deze zo los komt van haar bestuurders, en met eigen vermogen activiteiten kan opzetten (zoals een zaaltje huren of donaties ontvangen) voor hun doel. Je kunt die entiteit dan ook aan nadere regels onderwerpen: dit is het stemrecht, en als je activiteiten zus en zo zijn dan zijn donaties belastingaftrekbaar.

Dat wil natuurlijk niet zeggen dat rechtspersoonlijkheid altijd de manier is om entiteiten te beschermen. In Nederland zijn dieren bijvoorbeeld geen rechtspersoon, maar toch beschermd tegen bijvoorbeeld mishandeling: het is mensen verboden dieren onnodig pijn te doen. Met zo’n regel is er specifiek voor dat belang dan geen rechtspersoonlijkheid meer nodig. Optreden tegen vervuiling in rivieren kan ook op zo’n manier, stel strafbaar het loze van vuil in de rivier. Het voornaamste voordeel van rechtspersoonlijkheid zou zijn dat de schadeclaim op zo’n vervuiler nu in de portemonnee van de rivier zelf terecht komt, in plaats van als boete bij de staat in de algemene schatkist. Ook kan de rivier dan zelf kiezen wie aan te klagen, in plaats van afhankelijk te zijn van het Openbaar Ministerie dat wellicht andere prioriteiten kiest.

Zou rechtspersoonlijkheid voor AI’s interessant zijn? Dat komt dus neer op de vraag welke belangen of beschermingen we vinden dat zij moeten hebben in het rechtsverkeer. Wat zou een AI doen met een eigen vermogen, bijvoorbeeld? Hebben haar bestuurders/programmeurs stemrecht nodig, moet de AI boven deze mensen uit kunnen stijgen? Moeten ze worden beschermd tegen anderen die ze schade gaan berokkenen?

Een argument voor rechtspersoonlijkheid dat ik vaak zie is aansprakelijkheid voor schade berokkend door AI’s, zoals bij zelfrijdende auto’s. Wie de weg op gaat en mensen schade berokkent (bijvoorbeeld door een aanrijding), moet die schade vergoeden aan het slachtoffer. Maar wie moet dat bij een zelfrijdende auto? Dat probleem is opgelost als je de AI in de auto tot rechtspersoon verklaart: dan heeft deze eigen vermogen, een verzekeringsplicht en ga zo maar door waarmee schadeclaims opgevangen kunnen worden. Maar het heeft ook bijeffecten, zoals dat je bij een aanrijding waarbij de autonome auto schade lijdt, aan die auto de schade moet vergoeden.

Voor mij is een belangrijke overweging hoe zelfstandig de AI aan het rechtsverkeer meedoet. De huidige AI’s doen dat nauwelijks. Een beslisboom, chatbot of machine learning model vind ik nauwelijks zelfstandig opererend. Mijn AI NDA Lynn opereert weliswaar autonoom, maar volledig binnen de grenzen die ik heb getrokken in haar programmering. Ze kan niet eens leren van haar fouten, dat doe ik door nieuwe trainingsdata erin te stoppen. Een systeem dat wél zelf leert van gemeten feedback op eerder handelen zou ik eerder die kant op vinden gaan.

De argumentatie erachter zou dan zijn dat het op dat moment niet redelijk meer is dat de personen achter de AI nog verantwoordelijk gehouden worden voor hetgeen die AI doet. Na een flink aantal rondjes bijleren is die AI dan immers niet meer vergelijkbaar met het ding waarmee men begon. Dat zou zoiets zijn als wanneer mijn kat ontsnapt en een eigen leven begint op de Veluwe: is het beest dat daar na vijf jaar rondsluipt, nog wel ‘mijn’ kat te noemen? Verdien ik de schadeclaims wanneer het Wim zijn hond opvreet?

Tegelijk blijf ik zitten met het punt dat als het maar om één ding gaat, en dan ook nog eens aansprakelijkheid, er meer oplossingen zijn dan dit zware middel. Je kunt immers ook van de eigenaren eisen dat ze zich verzekeren, bijvoorbeeld. Of een wettelijke regeling over aansprakelijkheid opnemen in de wet die een andere oplossing biedt. Want het punt is wel, als je een AI tot rechtspersoon verheft dan mogen ze gelijk (vrijwel) álles dat mensen ook mogen. Dus ik denk dat je die route niet snel moet willen.

Arnoud

De uitlegbaarheid van AI-uitspraken

| AE 9654 | Innovatie | 12 reacties

Steeds meer legal tech diensten maken gebruik van kunstmatige intelligentie oftewel AI. Dit is een belangrijke ontwikkeling: hiermee kunnen machines zelf beslissingen nemen of analyses uitvoeren die voorheen alleen door mensen gedaan konden worden. Denk aan dossiers doorspitten op zoek naar belastend materiaal, of juist oude afspraken terugvinden in een berg correspondentie. Maar steeds vaker… Lees verder