De eerste robotrechter van Nederland blijkt gewoon al actief

| AE 10341 | Innovatie | 12 reacties

‘Robotrechter e-Court is een groot en niet transparant zwart gat’, kopte Nieuwsuur onlangs tendentieus. Stichting e-Court is al jaren actief als alternatieve geschilbeslechter en heeft verzekeraars gevonden als bereidwillige afnemers voor haar digitale arbitragedienst. Snel en gemakkelijk maar controversieel. Opmerkelijk voor mij daarin: de eerste stap is een artificial intelligence die over je zaak oordeelt. Mag dat zomaar?

Op zich is wat e-Court doet een legitieme constructie. Men biedt arbitrage aan, alternatieve geschilbeslechting buiten de rechter om. Dat mag, en kan voor beide partijen voordelig zijn: sneller en goedkoper, en je kunt de procedures optimaliseren voor jouw soort geschil in plaats zoals bij de traditionele rechtspraak een middelmaat omdat men alles aan moet kunnen. Digitale dossiers en on-line voortgang en uitwisselen van stukken lukt daar iets minder.

De controverse rond e-Court komt voornamelijk vanwege het feit dat mensen zonder het te beseffen akkoord gaan met arbitrage; dat staat namelijk zo in de algemene voorwaarden van met name zorgverzekeraars. Op zich legaal, zij het dat je bij start van een geschil bij de arbiter een maand moet krijgen om daar bezwaar tegen te maken. Daar lijkt het volgens het onderzoek vaak mis te gaan: het wordt bepaald onduidelijk uitgelegd, en ook wie dat bezwaar maakt, kan zomaar alsnog door de molen van e-Court gehaald worden en krijgt toch een arbitraal vonnis tegen zich, dat via de deurwaarder ten uitvoer kan worden gelegd. Dat klopt natuurlijk niet.

Voor mij sprong deze alinea eruit:

[Oprichtster Henriëtte Nakad] nam het heft in eigen hand, zette een bedrijf op en liet een computerprogramma bouwen dat automatisch vonnissen kan produceren. Die ‘robotrechter’ is ‘de meest objectieve rechter van Nederland’, zonder ‘misplaatste empathie’, schreef Nakad in een academisch artikel.

Dat academisch artikel laat zien dat het gaat om een Case-Based-Reasoning (CBR) kunstmatige intelligentie: nieuwe zaken worden op allerlei punten vergeleken met eerder zaken, en de uitspraak wordt bepaald aan de hand van die gelijkenis. Kort gezegd, als een zaak veel lijkt op 100 afgewezen incassozaken, dan wordt deze incassoclaim ook afgewezen. Ook wordt een heel raamwerk opgezet om de formele processtappen consequent uit te voeren.

Helaas kan ik nergens iets vinden over hoe deze AI inhoudelijk werkt. En dat is jammer want bij zo’n grote legal tech innovatie zou je toch graag willen weten hoe het werkt. Zeker omdat het hier gaat over vonnissen die mensen heel diep kunnen raken: de schuldenproblematiek in Nederland is hoog en complex, en black box uitspraken waar mensen zich door overvallen voelen, helpen daar natuurlijk niet bij. De keuze voor een AI snap ik wel, het is een hoog volume aan relatief simpele zaken en daar is met AI goede analyse op te doen.

Formeel is het overigens geen robot die beslist. Het is een voorbeeld van hoe AI een rol kan spelen in juridische besluitvorming. Vang de simpele gevallen af, en laat de rest (inclusief de gevallen waar men piept) door een mens behandelen. Alleen veronderstelt dat wel dat mensen piepen als er iets mis is, en specifiek bij consumentenrecht / schuldenincasso is dat iets dat heel vaak misgaat.

Het bedrijf reageert in een persbericht kort gezegd dat ook schuldenaars beter af zijn, omdat de procedure ook voor hen sneller en goedkoper uitpakt. Ik heb daar wel moeite mee, want juist dit onderwerp voelt voor veel schuldenaars als zeer machteloosmakend en ongrijpbaar. Dus als je dan óók nog eens alles achter een digitale procedure stopt én je hoort dat er een robot de eerste selectie maakt, dan is het argument dat je minder incassokosten krijgt en dat de deurwaarder heus luistert, niet meer relevant. Mensen vertrouwen robots niet in een dienstverlenende rol, laat staan als die over hun geld en goed beslist.

Algemeen heb ik er een dubbel gevoel bij. Het initiatief is nobel, want de rechtspraak ís verstopt en veel dingen kunnen gewoon efficiënter als je maatwerk toepast en niet alles op dezelfde manier behandelt. Maar de afwezigheid van transparantie vind ik moeilijk te verkroppen, helemaal omdat een AI in rechtspraak gewoon heel gevoelig ligt. En als je dan ook nog eens het primair opzet om schuldincasso te doen – waar notoir vaak mensen in de molen vermalen worden – dan krijg ik er een vervelend gevoel bij. Je ziet dat nu ook terug in de berichtgeving, dat het een “robotrechter” is die je blind veroordeelt. Niet goed voor de beeldvorming van legal tech en AI in de juridische sector. Dus nee, jammer.

Arnoud

Hoe ethisch verantwoord kan een AI of robot zijn?

| AE 10293 | Innovatie | 21 reacties

Toen ik tien of elf was, kocht ik mijn eerste boek van SF-schrijver Isaac Asimov. Wat ik me er vooral nog van herinnerde, waren de vele korte verhalen over zijn Drie Wetten van de Robotica: een robot mag een mens geen kwaad doen, een robot moet doen wat de mens zegt tenzij daarmee wet 1 wordt overtreden en een robot moet zichzelf beschermen tenzij dat in strijd blijkt met wetten 1 of 2. Hele mooie ethische principes, en je ziet ze dan ook steeds terugkomen in discussies over ethiek bij robotica en kunstmatige intelligentie. Maar ik zie het zo even niet werken.

Het idee dat robots en/of kunstmatig intelligente systemen in onze samenleving mee gaan draaien, krijgt steeds meer overtuiging in de maatschappij. Voor een deel is dat een hype, maar er zit zeker een kern van waarheid in de verwachting dat dergelijke systemen een vast onderdeel worden van productie en dienstverlening, en ook wel vanuit de overheid.

De manier waarop deze systemen handelen en vooral beslissen roept dan vragen op, verloopt dat wel ethisch verantwoord. Je beslissing kunnen motiveren is daarbij één ding, maar een veelgehoorde eis is ook dat zo’n beslissing rechtmatig en verantwoord is. Horen dat je geen lening krijgt omdat je moslim bent, is een inhoudelijk duidelijke motivatie maar natuurlijk een onacceptabele.

Een dergelijk beslissysteem moet dus een set ethische randvoorwaarden en wettelijke grenzen ingebouwd krijgen. Alleen, hoe doe je dat? Haast per definitie zijn ethische principes algemeen en weinig vastomlijnd, maar ook wettelijke regels (zoals de AVG, die zo’n leningweigering verbiedt omdat sprake is van profilering op een bijzonder persoonsgegeven) zijn moeilijk in automatisering te vatten.

Een interessant initiatief is het Ethics for AI project van de Oxford University. Zij bekeken allerlei ethische codes, en kwamen toen met de conclusie

The very idea of parcelling ethics into a formal ‘code’ is also dangerous, if it leads to the attitude that ethics itself is just some separate part of life and of activities; it’s not. It’s more meaningfully looked at as a part and parcel of how we live, individually and collectively. So it would be unfortunate indeed, if the presence of a code of ethics encouraged the view that you could do the ethics, and then get on with life, get on with the job.

Het idee dat je ethiek kunt inprogrammeren in een systeem zie ik ook als een waangedachte. Het is geen functionele eis dat iets ethisch moet zijn, je kunt niet werken op basis van een lijst ethische randvoorwaarden. Het is natuurlijk mooi dat je een voorwaarde vanuit ethisch standpunt kunt rechtvaardigen, maar dat is zeer zeker geen garantie dat je systeem ethisch verantwoord werkt.

Ik vrees dat we er niet aan ontkomen om te zeggen, AI en robotica zal miskleunen slaan, dingen doen die ethisch onverantwoord zijn. Daar komen dan bezwaren tegen, en die worden in nieuwe systemen opgelost. Maar het blijft lapmiddelen en gedeeltelijke oplossingen die het probleem voor nu uit de weg gaan, en het zal nooit een fundamentele oplossing zijn waardoor onethische beslissingen onmogelijk worden.

Arnoud

Welke rol gaan smart contracts spelen in het recht?

| AE 10240 | Innovatie | 38 reacties

Automatische afhandeling van verzekerings­claims, aanspraken op zorg die zonder tussenkomst van derden geregeld worden. In 2018 breken dit soort smart contract-toepassingen definitief door, meldde het Advocatenblad vorige week. Smart contracts zijn net als de blockchain en AI deel van de legal tech hype van de laatste tijd. Zelfdenkende software die buiten de greep van één partij automatisch voorwaarden checkt en afgesproken handelingen uitvoert. Samen gaan ze de advocatuur en het notariaat overbodig maken, alles wordt automatisch en fantastisch, u kent het wel.

Er zijn vele definities van smart contracts, maar kortweg komen ze erop neer dat je een aantal beslisregels in software giet die vervolgens vanzelf uitgevoerd worden. Als de domeinnaam example.com op 1 februari op naam staat van X, stuur dan 1 bitcoin naar wallet Y. Maar het hoeft juridisch gezien geen contract, geen overeenkomst te zijn: je zou ook bewijs kunnen vrijgeven als aan een voorwaarde (overlijden persoon X) is voldaan, of een specifieke voorwaarde van een overeenkomst borgen.

Ik pieker al een tijdje wat nu de echte praktische toepassingen van smart contracts gaan zijn. Dat voorbeeld van de domeinnaam is namelijk een van de weinige die ik in de categorie van het volledige contract zie werken. Dat is volledig automatisch na te gaan en uit te voeren middels gestructureerde registers, en er zit ook weinig controversieels aan zo’n afspraak. Je verkoopt of niet, op een specifieke datum en je mag tussentijds annuleren of niet.

Ga je verder dan zo’n specifieke constructie, dan wordt het ingewikkeld. Betaald krijgen omdat je iemands algemene voorwaarden hebt gereviewd, of een website hebt gemaakt, voegt een smart contract daar wat toe? Je zit dan met een kwaliteitstoets namelijk (is de klant tevreden) waar een smart contract moeilijk op kan toetsen. Een AI die een website mooi kan vinden zal nog wel even duren.

Het artikel noemt een paar nieuwe toepassingen, zoals:

De eigenaar van een elektrische fiets kan met [het Fietsplan van IBM en RDW] de fiets registreren en overdragen. Ook kan de eigenaar aangifte doen van diefstal binnen de applicatie. Een smart lock registreert waar en wanneer de fiets op slot gaat. Verzekeraars handelen claims af met een smart contract en gaan daarbij uit van gegevens in de blockchain als aanschafwaarde en of de fiets op slot stond.

Alleen, wat hier nu precies smart aan is, ontgaat mij even. Het blockchain aspect geeft enig voordeel: er is een onafhankelijke registratie van aanschafdatum en opslottijdstip van de fiets, zodat geen der partijen kan zeggen dat de ander iets vervalst. Het smart contract aspect zou dan zijn dat de verzekeraar automatisch uitkeert als die feiten in orde zijn? Oké. Eh. Tsja.

Toch ligt hier de toekomst, kennelijk:

‘Een advocaat wordt nu betaald voor communicatie. Waarom zou een verdachte bijvoorbeeld nog bellen met een advocaat over een in beslag genomen auto als er een smart contract is? Hij kan alles inzien en weet precies wanneer hij een schikkingsvoorstel kan verwachten.’ Schmitz ziet nog wel toegevoegde waarde voor advocaten bij geschillen.

Ik blijf met twijfel zitten. Natuurlijk, het is handig als alle informatie makkelijk ergens beschikbaar is, maar is dat waar een smart contract voor ingezet moet worden? Informatietoegang kan toch op veel meer manieren gerealiseerd worden? Dus nee, met het gevaar op de koop toe dat ik echt als een Luddiet ga klinken, ik zie hem nog even niet.

Arnoud

Nee, kunstmatige intelligentie zal nooit gaan rechtspreken (of pleiten)

| AE 10195 | Innovatie | 21 reacties

Een computer kan rechtspreken, als wij met zijn allen denken en willen dat hij het kan. Dat las ik bij Sargasso in een gastbijdrage van strafrechtadvocaat Vasco Groeneveld. AI komt eraan, ook in de rechtspraktijk. Die lijn doortrekkend betekent dat er over tien, twintig jaar robotrechters aan het werk zijn, niet gehinderd door emotie, hoofdpijn,… Lees verder

Hoe AI een rol kan spelen in juridische besluitvorming

| AE 10025 | Innovatie | 9 reacties

De rol van AI voor juridische toepassingen is snel aan het groeien. Steeds meer diensten onderzoeken de mogelijkheden om kunstmatige intelligentie adviezen te laten geven of zelfs juridische besluiten te nemen. Welke mogelijkheden zijn daar voor organisaties zoals overheden, verzekeraars of keurende instanties om hun organisatie efficiënter te laten werken? En welke juridische risico’s zitten… Lees verder

Het onderbelichte probleem van dataverzameling in de artificial intelligence

| AE 9913 | Innovatie | 14 reacties

Jaja, vrijdag wordt machine learning/AI dag, maar ik vond vrAIdag zo’n rare hashtag. Deze week een netelige en vaak onderbelichte kwestie: hoe kom je aan je data? Veel mensen denken dat het bij AI vooral gaat om het bouwen van het netwerk, maar dat is in feite niet meer dan op de “Generate” knop drukken… Lees verder

Wanneer verdient een AI rechtspersoonlijkheid?

| AE 9832 | Innovatie | 11 reacties

In India kun je door een rivier worden gedagvaard, las ik onlangs (dank, tipgever). De rivieren de Ganges en de Yumana hebben daar dit voorjaar rechtspersoonlijkheid toegekend gekregen, zodat ze zelfstandig claims kunnen indienen tegen hun vervuilers. Ook bij dieren speelt die discussie. Dat is een opmerkelijke noviteit, en voor de tipgever aanleiding me te… Lees verder

Kan een robot juridisch advies geven?

| AE 9795 | Innovatie | 14 reacties

Twee weken geleden lanceerde ik NDA Lynn, een AI lawyerbot die geheimhoudingscontracten (NDA’s) kan lezen. Dat gaf veel leuke reacties, en Lynn heeft aardig bijgeleerd: meer dan 400 extra NDA’s waar ik verder mee kan trainen. Opmerkelijkste observatie: veel Nederlandstalige NDA’s, terwijl Lynn toch volgens mij vrij duidelijk Engelstalig is. Dat moet dus even anders…. Lees verder