AI-lawyerbot visualiseert gebruiksvoorwaarden

| AE 10397 | Innovatie | 5 reacties

Onderzoekers van de Zwitserse technische Universiteit EPFL hebben een ai-bot online gezet die gebruiksvoorwaarden leest en omzet in een overzichtelijk stroomdiagram, las ik bij Tweakers. Er is ook een chatbot-interface waarmee je vragen kunt stellen, en de bot zoekt de meest relevante zinen er dan bij. Het nut van het stroomdiagram ontgaat me, maar het idee van eenvoudiger leesbaar en bladerbaar maken van gebruiksvoorwaarden zie ik zeker wel zitten.

Het onderzoeksrapport van de Pribot en Polisis bot geeft aan dat de focus primair ligt op de privacyaspecten van de dienst. Men analyseerde zo’n 130.000 privacyverklaringen en extraheerde daaruit de tekstuele informatie, die vervolgens met een deep learning neuraal netwerk werd geanalyseerd. (Het idee dat er 130.000 privacyverklaringen op internet staan, geeft me soort van koude rillingen.)

De analyse zelf vind ik best slim opgezet. Zo wordt de onderliggende betekenis van termen geanalyseerd, zodat bijvoorbeeld “erase” en “destroy” als eenzelfde concept wordt aangemerkt. Ook werd op woordcombinatieniveau (3-grams tot 6-grams) getraind in plaats van zoals vaak op individuele woorden (bag of words). Het is me niet helemaal duidelijk hoe de training set haar labels kreeg.

De tekst wordt vervolgens op zinsniveau geclassificeerd (precies hoe mijn NDA Lynn werkt) en in een categorie gestopt. De uitkomst is een classificatie op hoog niveau waarbij men precies de tekst kan tonen die gaat over dat onderwerp, zodat je bijvoorbeeld iconen kunt tonen of een visualisatie van welke concepten waar aan de orde komen. De kwaliteit is best goed: 88% van de bevindingen komen overeen met menselijke inschatting.

Technisch is het geen ingewikkelde toepassing, de innovatie zit (zoals vaker bij legal tech) in het inzicht dat het in dit domein wat kan opleveren. Dat komt helaas nog veel te weinig voor. Een mogelijke reden daarvoor is dat je een héle grote berg data nodig hebt om de training goed te doen, en dat is in de juridische sector nog best ingewikkeld. Haal maar eens ergens 130.000 documenten over één onderwerp vandaan.

Een andere mogelijke verklaring is dat je bij een lawyerbot precies kunt zien hoe betrouwbaar ze zijn (in dit geval 88%) en dat er daarmee een heel concreet vraagteken komt te hangen bij of je erop kunt vertrouwen. Zeker omdat áls er fouten zijn, die meestal behoorlijk in het oog springen, zoals omdat de bot een zin compleet niet snapt en een mens meteen ziet wat het wel moest zijn.

Ik blijf ermee zitten hoe dat te overwinnen. Ook mensen zijn niet perfect, ik zou snel tekenen voor een jurist die iedere dag consistent 90% van de tijd foutloze documenten oplevert. Maar je merkt dat een stuk minder, en we kunnen het daarom niet zo goed beoordelen (denk ik).

Of zit er meer achten? Waarom ziet men een snelle inschatting van een ervaren privacyjurist als waardevoller dan een snelle inschatting van een AI bot als deze?

Arnoud

AI net zo goed als willekeurige mensen in het voorspellen van recidive

| AE 10360 | Innovatie | 22 reacties

AI-software blijkt net zo goed als een groep willekeurige mensen in het voorspellen van recidive bij Amerikaanse veroordeelden, las ik bij Ars Technica. Onderzoekers van Dartmouth College vergeleken de uitkomsten van de COMPAS software (die met machine learning technieken recidive probeert te voorspellen) met de inschatting van willekeurige mensen geworven via Amazon’s Mechanical Turk. Beiden bleken ongeveer even accuraat (65 en 62% respectievelijk), opmerkelijk genoeg inclusief de vooringenomenheid die eerder bij de software tot controverse leidde.

De COMPAS software (Correctional Offender Management Profiling for Alternative Sanctions) berekent op basis van een hele berg factoren de kans dat een bepaald persoon in recidive zou vervallen. Deze uitkomst wordt in Californië meegenomen in het besluit welke straf aan een veroordeelde op te leggen. In 2016 bleek uit onderzoek dat de software enige bias oftewel vooringenomenheid vertoonde, namelijk dat gekleurde mensen vaker ten onrechte als recidivist werden gesignaleerd en witte juist vaker ten onrechte als géén recidivist.

Accuratesse in AI en machine learning is een heel lastig onderwerp. Wat betekent het dat je software 94,1% nauwkeurig is (de huidige score van mijn NDA Lynn geheimhoudingscontractenanalyserobot)? Meestal wordt ermee bedoeld dat in 94,1% van de gevallen de uitkomst van de AI gelijk is aan de verwachte of correcte uitkomst. En 5,9% van de gevallen is dus onjuist. Maar dat kan twee kanten op:

  1. Vals positief: een uitkomst wordt als positief (juist) aangemerkt, maar is eigenlijk negatief (onjuist). Bij de COMPAS software dus dat iemand recidivist zou zijn terwijl hij dat niet is.
  2. Vals negatief: een uitkomst wordt als negatief (onjuist) aangemerkt, maar is eigenlijk positief (juist). Bij COMPAS dus dat iemand recidive pleegt terwijl de software voorspelde dat hij dat niet zou doen.

Beide onjuiste uitkomsten zijn onwenselijk, maar om verschillende redenen. Een vals positief zorgt ervoor dat je meer energie in iemand steekt dan nodig is: je gaat iemand langer opsluiten of intensiever begeleiden om recidive te voorkomen terwijl dat helemaal niet speelt. En een vals negatief kost je meer achteraf, je hebt immers een nieuw misdrijf van die recidivist en dat had je nu net willen voorkomen.

Het is niet goed mogelijk beiden tegelijk te minimaliseren. Vaak zie je dat wanneer je de één in aantallen terugdringt, de ander groter wordt. Je kunt bijvoorbeeld eerder concluderen dat mensen recidive zullen plegen, waardoor je de vals negatieven vermindert. Er worden immers minder mensen vrijgelaten die recidivist blijken. Maar je hebt nu wel meer mensen ten onrechte als recidivist aangemerkt. En omgekeerd zou precies hetzelfde gebeuren, als je strenger bent in je beoordeling zul je minder mensen ten onrechte als recidivist aanmerken, maar daardoor ook eerder recidivisten laten gaan.

De kritiek op de COMPAS software richtte zich natuurlijk op de bias die de valse uitkomsten zou baseren op etnische afkomst. De vergelijking met gewone mensen laat nu zien dat dit niet perse de oorzaak is. Deze kregen namelijk de gegevens zónder indicatie van etnische afkomst, en gaven grofweg dezelfde voorspelling over recidive. Inclusief een hogere vals positief bij gekleurde mensen en een hogere vals negatief bij witte mensen. Dat zou dan eerder de conclusie rechtvaardigen dat die software er ook maar een gooi naar doet. Geen bias dus maar ook geen inhoudelijke analyse.

Arnoud

De eerste robotrechter van Nederland blijkt gewoon al actief

| AE 10341 | Innovatie | 11 reacties

‘Robotrechter e-Court is een groot en niet transparant zwart gat’, kopte Nieuwsuur onlangs tendentieus. Stichting e-Court is al jaren actief als alternatieve geschilbeslechter en heeft verzekeraars gevonden als bereidwillige afnemers voor haar digitale arbitragedienst. Snel en gemakkelijk maar controversieel. Opmerkelijk voor mij daarin: de eerste stap is een artificial intelligence die over je zaak oordeelt. Mag dat zomaar?

Op zich is wat e-Court doet een legitieme constructie. Men biedt arbitrage aan, alternatieve geschilbeslechting buiten de rechter om. Dat mag, en kan voor beide partijen voordelig zijn: sneller en goedkoper, en je kunt de procedures optimaliseren voor jouw soort geschil in plaats zoals bij de traditionele rechtspraak een middelmaat omdat men alles aan moet kunnen. Digitale dossiers en on-line voortgang en uitwisselen van stukken lukt daar iets minder.

De controverse rond e-Court komt voornamelijk vanwege het feit dat mensen zonder het te beseffen akkoord gaan met arbitrage; dat staat namelijk zo in de algemene voorwaarden van met name zorgverzekeraars. Op zich legaal, zij het dat je bij start van een geschil bij de arbiter een maand moet krijgen om daar bezwaar tegen te maken. Daar lijkt het volgens het onderzoek vaak mis te gaan: het wordt bepaald onduidelijk uitgelegd, en ook wie dat bezwaar maakt, kan zomaar alsnog door de molen van e-Court gehaald worden en krijgt toch een arbitraal vonnis tegen zich, dat via de deurwaarder ten uitvoer kan worden gelegd. Dat klopt natuurlijk niet.

Voor mij sprong deze alinea eruit:

[Oprichtster Henriëtte Nakad] nam het heft in eigen hand, zette een bedrijf op en liet een computerprogramma bouwen dat automatisch vonnissen kan produceren. Die ‘robotrechter’ is ‘de meest objectieve rechter van Nederland’, zonder ‘misplaatste empathie’, schreef Nakad in een academisch artikel.

Dat academisch artikel laat zien dat het gaat om een Case-Based-Reasoning (CBR) kunstmatige intelligentie: nieuwe zaken worden op allerlei punten vergeleken met eerder zaken, en de uitspraak wordt bepaald aan de hand van die gelijkenis. Kort gezegd, als een zaak veel lijkt op 100 afgewezen incassozaken, dan wordt deze incassoclaim ook afgewezen. Ook wordt een heel raamwerk opgezet om de formele processtappen consequent uit te voeren.

Helaas kan ik nergens iets vinden over hoe deze AI inhoudelijk werkt. En dat is jammer want bij zo’n grote legal tech innovatie zou je toch graag willen weten hoe het werkt. Zeker omdat het hier gaat over vonnissen die mensen heel diep kunnen raken: de schuldenproblematiek in Nederland is hoog en complex, en black box uitspraken waar mensen zich door overvallen voelen, helpen daar natuurlijk niet bij. De keuze voor een AI snap ik wel, het is een hoog volume aan relatief simpele zaken en daar is met AI goede analyse op te doen.

Formeel is het overigens geen robot die beslist. Het is een voorbeeld van hoe AI een rol kan spelen in juridische besluitvorming. Vang de simpele gevallen af, en laat de rest (inclusief de gevallen waar men piept) door een mens behandelen. Alleen veronderstelt dat wel dat mensen piepen als er iets mis is, en specifiek bij consumentenrecht / schuldenincasso is dat iets dat heel vaak misgaat.

Het bedrijf reageert in een persbericht kort gezegd dat ook schuldenaars beter af zijn, omdat de procedure ook voor hen sneller en goedkoper uitpakt. Ik heb daar wel moeite mee, want juist dit onderwerp voelt voor veel schuldenaars als zeer machteloosmakend en ongrijpbaar. Dus als je dan óók nog eens alles achter een digitale procedure stopt én je hoort dat er een robot de eerste selectie maakt, dan is het argument dat je minder incassokosten krijgt en dat de deurwaarder heus luistert, niet meer relevant. Mensen vertrouwen robots niet in een dienstverlenende rol, laat staan als die over hun geld en goed beslist.

Algemeen heb ik er een dubbel gevoel bij. Het initiatief is nobel, want de rechtspraak ís verstopt en veel dingen kunnen gewoon efficiënter als je maatwerk toepast en niet alles op dezelfde manier behandelt. Maar de afwezigheid van transparantie vind ik moeilijk te verkroppen, helemaal omdat een AI in rechtspraak gewoon heel gevoelig ligt. En als je dan ook nog eens het primair opzet om schuldincasso te doen – waar notoir vaak mensen in de molen vermalen worden – dan krijg ik er een vervelend gevoel bij. Je ziet dat nu ook terug in de berichtgeving, dat het een “robotrechter” is die je blind veroordeelt. Niet goed voor de beeldvorming van legal tech en AI in de juridische sector. Dus nee, jammer.

Arnoud

Welke rol gaan smart contracts spelen in het recht?

| AE 10240 | Contracten, Innovatie | 38 reacties

Automatische afhandeling van verzekerings­claims, aanspraken op zorg die zonder tussenkomst van derden geregeld worden. In 2018 breken dit soort smart contract-toepassingen definitief door, meldde het Advocatenblad vorige week. Smart contracts zijn net als de blockchain en AI deel van de legal tech hype van de laatste tijd. Zelfdenkende software die buiten de greep van één… Lees verder

Nee, kunstmatige intelligentie zal nooit gaan rechtspreken (of pleiten)

| AE 10195 | Innovatie | 21 reacties

Een computer kan rechtspreken, als wij met zijn allen denken en willen dat hij het kan. Dat las ik bij Sargasso in een gastbijdrage van strafrechtadvocaat Vasco Groeneveld. AI komt eraan, ook in de rechtspraktijk. Die lijn doortrekkend betekent dat er over tien, twintig jaar robotrechters aan het werk zijn, niet gehinderd door emotie, hoofdpijn,… Lees verder

Hoe AI een rol kan spelen in juridische besluitvorming

| AE 10025 | Innovatie | 9 reacties

De rol van AI voor juridische toepassingen is snel aan het groeien. Steeds meer diensten onderzoeken de mogelijkheden om kunstmatige intelligentie adviezen te laten geven of zelfs juridische besluiten te nemen. Welke mogelijkheden zijn daar voor organisaties zoals overheden, verzekeraars of keurende instanties om hun organisatie efficiënter te laten werken? En welke juridische risico’s zitten… Lees verder

Het onderbelichte probleem van dataverzameling in de artificial intelligence

| AE 9913 | Innovatie | 14 reacties

Jaja, vrijdag wordt machine learning/AI dag, maar ik vond vrAIdag zo’n rare hashtag. Deze week een netelige en vaak onderbelichte kwestie: hoe kom je aan je data? Veel mensen denken dat het bij AI vooral gaat om het bouwen van het netwerk, maar dat is in feite niet meer dan op de “Generate” knop drukken… Lees verder

Wanneer verdient een AI rechtspersoonlijkheid?

| AE 9832 | Innovatie | 11 reacties

In India kun je door een rivier worden gedagvaard, las ik onlangs (dank, tipgever). De rivieren de Ganges en de Yumana hebben daar dit voorjaar rechtspersoonlijkheid toegekend gekregen, zodat ze zelfstandig claims kunnen indienen tegen hun vervuilers. Ook bij dieren speelt die discussie. Dat is een opmerkelijke noviteit, en voor de tipgever aanleiding me te… Lees verder