Zijn robotlawyers nuttig of juist niet voor de rechtspraktijk?

mohamedhassan / Pixabay

Slecht nieuws voor juristen, maar goed voor hun klanten: het blijkt niet nodig om juridisch werk volledig te automatiseren voordat een robot het over kan nemen. Een deel met machine learning laten doen is al genoeg. Die stelling las ik in The Conversation, dat daarmee een onderzoek afrondde naar het automatisch zoeken naar jurisprudentie om een geschil in je voordeel te bepleiten. Op zijn minst kun je de zwaar overbelaste legal aid worker (zeg maar medewerker Juridisch Loket) daarmee een flinke hand helpen. Goed idee, of niet?

Al vaak schreef ik over legal tech, maar in de praktijk gaat dat vooral over de transactiepraktijk: het samenstellen, onderhandelen, screenen en beheren van contracten, meestal zakelijk. Hier gaat het over een ander aspect, namelijk het oplossen van geschillen via rechtspraak. Dat is waar de maatschappij als geheel het meeste aan zal hebben, zeker nu we zien dat de rechtspraak meer en meer verstopt raakt, zeker in het strafrecht. Maar gaat het er ooit van komen?

Tussen 2030 en 2040 zullen computers het merendeel van de vonnissen voor hun rekening nemen, aldus professor Jaap van den Herik in 2016. Alleen bij ingewikkelde gevallen zullen nog mensen rechtspreken. Het basisidee is dan hetzelfde als wat The Conversation had bedacht: neem een berg bestaande vonnissen of pleitnota’s, en destilleer daaruit wat in een gegeven casus het beste antwoord hoort te zijn. Dit idee had e-Court trouwens in hun robotrechter gestopt specifiek voor incassozaken. En in 2018 bleek men best aardig het Europese Hof voor de Rechten van de Mens te kunnen voorspellen.

Het is alleen dat “best aardig” (bij die laatste zaak: 79% accuraat) dat in de praktijk het probleem gaat zijn. Natuurlijk maken ook menselijke rechters fouten, daar is hoger beroep immers voor. Bij grote strafzaken gaat men in 41% van de gevallen in hoger beroep, maar ik kan geen cijfers vinden over het succespercentage (als in: Hof vernietigt uitspraak rechtbank). Ik heb echter sterk het vermoeden dat mensen een foutpercentage van zeg 20% van de strafzaken (de helft van die 41%) door menselijke rechters eerder accepteren dan een robotrechter die in 80% een rechtvaardig vonnis wijst.

Het onderzoek van The Conversation laat nog een ander probleem zien: dit soort systemen drijft eigenlijk altijd op bestaande data en kan dus die data niet overstijgen. Zoals ik in 2018 al blogde, AI rechters en het juridische novum:

Uiteindelijk is de kern echter wel dat een AI alléén afgaat op de eerdere dataset. Hij leert immers alleen daaruit hoe er recht gesproken moet worden. Een afwijking van die dataset is daarbij niet te verwachten. Computers zijn immers niet creatief, en niet gevoelig voor ongewone omstandigheden, nieuwe feiten of het overtuigendste pleidooi. Dat is ook de reden waarom robotrechters alleen voor standaardwerk ingezet moeten kunnen worden, én dat er altijd ruimte moet zijn om die ongewone omstandigheden te kunnen stellen waarna een mensenrechter er naar kijkt.
Het ontlasten van die arme legal aid workers is dus in zoverre reëel dat de standaardvragen sneller gedaan kunnen worden, waardoor standaardverzoeken minder gedoe opleveren en mensen dus eerder daarmee terecht kunnen. Maar dan help je dus alleen de standaardgevallen waarvan al bekend is dat ze succes gaan opleveren. Dat is vaak toch een beperktere groep dan je denkt, zeker wanneer de maatschappij in de tussentijd verandert en je dataset nog steeds uit 2004 is.

Het lastige daarvan is natuurlijk dat dit zelden opvalt. Mensen kunnen nu al vaak niet terecht met een rechtsvraag, dus je merkt nergens aan dat mensen wegvallen. De standaardzaken gaan goed, maar dat is geen verrassing. Het zijn de rare zaken die misgaan, maar dat merkt het systeem niet. Hoe dát op te lossen?

Arnoud

 

14 reacties

  1. ‘Maar dan help je dus alleen de standaardgevallen waarvan al bekend is dat ze succes gaan opleveren. ”

    En waarvan de advocaat van de verliezende partij, als zhij teminste capabel is, de client al lang gewaarschuwd had dat een verlies waarschijnlijk was [zodat een redelijke handelende partij waarschijnlijk niet had doorgezet]. In een rationele maatschappij zullen dat soort standaardgevallen dus uiterst zeldzaam zijn.

    Jouw opmerking ‘ Dat is vaak toch een beperktere groep dan je denkt’ is dus volledig correct, en waarschijnlijk is die groep zelfs nog beperkter dan JIJ denkt.

  2. Dat is precies waar heeel lang geleden mijn proefschrift over ging: je hebt standaardgevallen (clear cases) die prima geautomatiseerd af te handelen zijn, en je hebt hard cases waarvoor dat niet geldt. Maar de categorie “hard cases” is een open categorie, en je kunt niet geautomatiseerd vaststellen of iets een hard case is. En alle truuks (zoals werken met gesloten categorieën, belanghebbenden zelf dingen laten invullen) helpen misschien iets maar lossen niet alles op. Later bedacht ik: wat nou als een computer grosso modo wel eerlijkere (rechtvaardigere) beslissingen neemt dan een menselijke rechter? We weten dat rechters voor de lunch strenger zijn dan erna. Hoe eerlijk is dat? En: wat ìs eigenlijk een eerlijke beslissing? Wie beoordeelt dat? Hoe weten we dat? Kortom: fundamentele rechtstheoretische problemen, die bijna 30 jaar later nog net zo actueel, interessant èn onopgelost zijn.

    1. De fundamentele rechtstheoretische problemen zijn onoplosbaar, omdat ze hun basis vinden de belevingswereld van mensen . Socialisten en kapitalisten hebben andere uitgangspunten en zullen daardoor over een aantal vraagstukken het nooit eens kunnen worden over wat rechtvaardig is. Idem dito met geloofsovertuigingen. De wet is een mengsel van opvattingen van al die stromingen, soms lapmiddelen op een eerder aangenomen wet, en daardoor dus eigenlijk nooit rechtvaardig als je ze vanuit een persoon bekijkt. De kunst van de rechter is dat hij zijn eigen opvattingen naast zich legt en wat er in de wet staat als ‘rechtvaardig’ neemt. En omdat eigenrichting het enige alternatief is, denk ik dat de meesten het er wel mee eens zijn, dat dit de beste optie is. Misschien kan een computer dat beter dan een mens, maar ik denk het niet, omdat de wet teveel ‘open eindjes’ heeft, waarin een belangenafweging gemaakt moet worden.

      Maar ik denk dat de behoefte naar geautomatiseerde rechtspraak voort komt, uit dezelfde oorzaak die het eigenlijk onmogelijk maakt. Want hoe rechtvaardig is de ‘wet’ als het in de praktijk onmogelijk is, om hem te kunnen doorgronden. En hoe rechtvaardig is het, wanneer een advocaat onbetaalbaar is voor de meeste mensen, en als het OM en de politie met capaciteitsproblemen zitten, waardoor je niet eens vanuit kan gaan dat ze ‘er wel tijd voor hebben’. De wet is gewoon veel te complex en mensen maken daar misbruik van.

      In Nederland is het mogelijk dat een jonge vrouw op een feestje verkracht wordt, daarna zonder spullen overstuur wegrent en even later aangehouden wordt voor verstoring openbare orde. Met als gevolg dat er uiteindelijk met de verkrachting niks wordt gedaan, ze durft geen aangifte te doen, want tja… zijn woord tegen het hare, verstoring openbare orde laten ze liggen, maar nog wel €90,- boete, omdat ze geen ID bij zich had. Met een peperdure advocaat zouden dingen waarschijnlijk anders lopen. En daar zit denk ik een groot onrecht waar AI wel iets aan kan veranderen.

      Wat mij nou echt mooi lijkt, is als lawyerbots kunnen worden ingezet als een soort van gratis juridisch advies. Dat je dingetjes aan kan klikken, vragen moet beantwoorden, documenten uploaden en dan advies krijgt over mogelijke vervolgstappen. En niet per se voor strafzaken, maar ook consumentenrecht, privacy, arbeidsrecht, vergunningen, aansprakelijkheid, etc… Hoe moet je aangifte doen? Waar kan je een klacht indienen? Is het iets voor de kantonrechter? Heb je een advocaat nodig? Wat gaat dat kosten? Wat moet je wel vertellen, welke details zijn niet nodig? En dat je dus anoniem begint en tegen een computer je verhaal kan doen, die niks onthoudt, niet oordeelt en geen stappen onderneemt. Lijkt me een mooie dienst als die gratis is en wordt betaald door onze overheid. Beetje ter compensatie van al die ingewikkelde wetten waar ze ons mee opzadelen.

      1. Ja, lijkt me een heel goed idee, lawyerbots voor gratis juridisch advies. Daar is eigenlijk niet eens geavanceerde (machine learning) AI voor nodig, maar kan “gewoon” met regelgebaseerde systemen. Een soort juridisch loket, laagdrempelig. Waarom hebben we dat niet al heel lang?

        1. Ik denk ook dat een “Online Juridisch Loket” een goede zaak is, maar dat de financiering een probleem is. Je hebt een paar programmeurs en juristen nodig om de site te bouwen en te vullen met juridische kennis. Daarbij komen dan nog de kosten van hosting…

          Ik zie mogelijkheden wanneer er een overheidssubsidie komt en/of wanneer de site vanuit een universiteit gesponsord wordt.

    2. Is het inderdaad zo dat je niet geautomatiseerd vast kan stellen of iets een hard case is? Ik zou denken dat je kunt “berekenen” in hoeverre de huidige case overeenkomt met de learning set van de AI. Als de match met die set dan te laag is, dan is het een kandidaat voor een hard case?

      1. Als het een hard case is vanwege een factor die buiten het beslismodel zit (wat vaak is waarom de case hard is), dan zal het AI model dat natuurlijk niet signaleren. Denk aan het geval van een burger die een X bij geslacht op het paspoort wil, geen ambtenaren-AI die daar aan mee zal werken, want het is triviaal dat daar M of V moet staan. Niks hard case dus. Toch?

            1. Ik merk dat ik eigenlijk te weinig van AI weet 🙂 Maar misschien kunnen we de vergelijking maken met zelfrijdende auto’s die op enig moment ook kunnen signaleren dat de verkeerssituatie hun pet te boven gaat en dat ze de auto stilzetten ofwel de menselijke bestuurder vragen om over te nemen?

      2. Ik zou denken dat je kunt “berekenen” in hoeverre de huidige case overeenkomt met de learning set van de AI.

        Je kan dit inderdaad op meerdere manieren uitrekenen. Een klassieke gangbare methode is bijvoorbeeld 10 AIs trainen op subsets van de learning set. Dan kijken naar de voorspellingen en hoeveel deze afwijken van elkaar: hoe ongangbaarder de case, hoe verschillender de voorspellingen.

        Je kan inderdaad ook direct berekenen in hoeverre de huidige case overeenkomt met de learning set, door bijvoorbeeld de afstand te berekenen, tussen de huidige case, en alle historische cases in de learning set. En als je dan interpreteerbare modellen gebruikt kun je specifiek zeggen: deze case wijkt te veel af, omdat de leeftijd van verdachte 85 jaar is, en in de learning set alleen ongepensioneerde cases zitten.

        Je kan die overeenkomst “zekerheid” noemen. In hoge impact AIs, zoals die voor rechtspraak, gezondheidszorg, handhaving, financiele wereld, en militaraire AIs, is dat een standaard onderdeel van de beslissingswetenschap: men wil een systeem dat A) accuraat is B) uitleg geeft / inzichtelijk is C) een mate van zekerheid geeft.

        Bijvoorbeeld:

        This article is about artificial intelligence (AI) used to inform high-stakes decisions, such as those arising in legal, healthcare, or military contexts. Users must have an understanding of the capabilities and limitations of an AI system when making high-stakes decisions. Usually this requires the user to interact with the system and learn over time how it behaves in different circumstances.

        We propose that longterm interaction would not be necessary for an AI system with the properties of interpretability and uncertainty awareness. Interpretability makes clear what the system ‘‘knows’’ while uncertainty awareness reveals what the system does not ‘‘know.’’ This allows the user to rapidly calibrate their trust in the system’s outputs, spotting flaws in its reasoning or seeing when it is unsure.

        We illustrate these concepts in the context of a military coalition operation, where decision makers may be using AI systems with which they are unfamiliar and which are operating in rapidly changing environments. We review current research in these areas, considering both technical and human factors challenges, and propose a framework for future work based on Lasswell’s communication model. — Rapid Trust Calibration through Interpretable and Uncertainty-Aware AI

  3. Ik denk, dat het zeer onwenselijk is, dat rechtspraak zelf (niet juridisch advies, maar uitspraak in een zitting) door computers wordt overgenomen. Wie herinnert zich nog de stemcomputer, en ‘wijvertrouwenstemcomputersniet.nl’? Dezelfde argumenten gaan hier op. Mensen krijgen een bekeuring, en maken bezwaar, en hebben het recht om door een onafhankelijk persoon van vlees en bloed gehoord te worden, waarna er een onafhankelijke uitspraak volgt. Het is al moeilijk genoeg voor een bouwvakker of slager te vertrouwen op die persoon van vlees-en-bloed, die heeft geen vertrouwen in een computer-uitspraak. Het is al lastig om Siri het juiste nummer te laten spelen, laat staan dat die computer weet wat er speelde toen hij te hard reed. Dit geldt natuurlijk nog meer voor zwaardere strafrechtveroordelingen. Liever een mens van vlees en bloed die barmhartig of hartvochtig is in zijn vonnis, dan een computer die wikt en weegt en emotieloos blijft. Dat is ook voor de acceptatie bij nabestaanden uiteindelijk beter. Dat er dingen te automatiseren zijn, en dat de werkdruk en de werkvoorraad te hoog is in de rechtspraak kan zijn, maar dit is niet de oplossing. Computer het werk laten doen van mensen klinkt ook erg als een bezuinigingsmaatregel (ook als het dat niet is) en dat is ook een sterk argument hiertegen. Rechtspraak is belangrijk, en moet niet op bezuinigd worden.

    1. Daar ben ik het ook helemaal mee eens. Bijvoorbeeld bij het bepalen van borgsom of voorwaardelijke invrijheidstelling. Dit is te automatiseren, en de werkdruk voor dit soort beslissingen ligt hoog. Maar om hier een geavanceerde computer voor te gebruiken is onverantwoord. Vaak kan een gelijke accuraatheid worden behaald, middels een simpele beslisboom of puntensysteem, wat voor iedereen inzichtelijk is. Bij berekenen van zo’n puntensysteem, kun je natuurlijk altijd nog AI optimalisatie inzetten. En je kan een maximum aantal punten wegzetten voor de persoonlijke invulling door een rechter of legale werker. Geen gesloten bedrijf of organisatie die alle fouten herhaald, maar een transparant puntensysteem, getoetst door een bak aan automatiserings – en legale experts.

      Voor de rechtspraak zelf hebben computers wel een enorm potentieel! Maar dan als toezichthouder en/of ondersteunende functie. Men zou rechters op curses kunnen sturen, als er te veel afwijkende rare uitspraken over amateurfotografie auteursrechten worden gedaan. Of rechters ondersteunen met harde/koude/emotieloze feiten en voorspellingen, die een homogene/onbevooroordeelde rechtspraak ten goede komen. Geen rechter kan rekening houden met alles, maar rekenen is wat computers goed doen. Denk aan een AI uitspraak als:

      Verdachte komt uit minderheidsgroep B. Voor soortgelijke overtredingen krijgt minderheidsgroep B 15% vaker dan gemiddeld een celstraf langer als 1 jaar. Verdachte woont in Ridderkerk. Hoewel Dordrecht de dichtsbijzijnde instelling heeft, is er in Rotterdam een rehabilitatie traject gestart met focus op minderheidsgroep B. Deelnemers met 3 maanden voorwaardelijk hebben een rehabilitatie percentage van 92%. Een verdachte met deze kenmerken en strafblad heeft een voorspeld rehabilitatie percentage van 96%.

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.