Kunstmatige intelligentie kan uitspraken Europees Hof Mensenrechten voorspellen

robot-wetNou nou, poe poe. Een AI systeem ontwikkeld aan de University College London, the University of Sheffield, and the University of Pennsylvania kan uitspraken van het hoogste Europese mensenrechtenhof voorspellen, las ik bij Ars Technica. Men had het systeem 584 uitspraken gevoerd en op basis daarvan wist het in 79% van de gevallen correct de uitkomst van het arrest (schending mensenrechten of niet) aan te geven. Een knappe prestatie, met voor mij het opmerkelijk inzicht dat het EHRM haar uitspraken kennelijk vooral laat afhangen van de niet-juridische feiten en veel minder van de juridische argumenten. Maar voegt het veel toe?

Legal tech heeft nu ook de Legal AI ontdekt: waarom een dure mens nog juridische dingen laten uitspitten als een computer dit beter en sneller kan. Vandaar Ross, de AI robot gebaseerd op IBM’s Watson technologie. En er zijn er meer, herinnert u zich mijn rant nog over die parkeerbonwizard pardon chatbot pardon AI Virtual Lawyer met chatinterface.

De software van deze universiteiten voelt ergens in dezelfde cagegorie. Ja, het analyseren van grote bakken tekst (want dat zijn vonnissen, uiteindelijk) om daar patronen in te herkennen, daar zie ik wel wat in. Alleen, wat is het nut? Die software kan bij lange na niet zelf een uitspraak doen, en ik weet niet of ik er vrolijk van word als de EHRM-rechters eerst eens kijken wat de AI zegt dat de uitspraak wordt.

Het is natuurlijk een knappe prestatie. Arresten van het EHRM zijn altijd grote lappen tekst met veel haken en ogen, dus wie daar doorheen weet te komen én een verrassende conclusie kan trekken, die heeft echt wel iets bereikt.

Dus mis ik iets? Wat is de waarde van deze innovatie?

Arnoud

15 reacties

        1. Veel outliers duidt op willekeur. Of er zit een vast herkenbaar voorspelbaar patroon aan rechtspraak, of het is meer random, en herhaalde factoren hebben minder gewicht, dan wat de rechter gegeten heeft die morgen.

          AI is niet memoriseren. Het is generaliseren. Hoe nieuwe, nooit eerder beziene informatie te voorspellen. Daar zit juist de kracht.

    1. Een advocaat die daar een AI voor nodig heeft is misschien niet zo’n hele goede advocaat. Ik zie hierin meer waarde voor een burger, die kan nu zonder advocaat een grove inschatting maken en daarna eventueel een goede advocaat inhuren.

  1. Relativering: het algoritme kon dit aan de hand van de vastgestelde feiten van het vonnis. EHRM-vonnissen zijn altijd volgens een strak schema opgebouwd, met bovenaan die feiten. Die lap tekst met juridisch vastgestelde feiten werden aan het systeem gevoerd om de uitkomst te voorspellen. Maar zoals je weet schrijven rechters de feiten al op met een bepaald vonnis voor ogen (er wordt naar een doel geredeneerd).

    1. Wacht even, dit algoritme werkt op basis van de feiten/argumenten zoals die door de rechter zelf in het vonnis worden verwoord? Geen wonder dat het werkt. Het zou indrukwekkender zijn als het zou werken op basis van de feiten/argumenten zoals ze door aanklager en verdediger worden aangevoerd.

      En dan nog: een random algoritme had in deze gevallen al een 50% succes-rate gehad. 79% is beter dan random, maar nog niet heel indrukwekkend.

      1. 50%, ervan uitgaande dat de helft van de vonnissen in het voordeel van de aanklager vallen en de andere helft (dus) in het voordeel van de verdedigende partij. Ik gok dat dat percentage eerder in de buurt van 70% ligt, dus als je 100% op de aanklager inzet zit je zelfs al op 70%.

        Color me unimpressed.

    2. Dit is precies wat ik ook dacht toen ik het van de week las. Bij het lezen van het vonnis kan je vaak al zien welke kant het op gaat, dit programma kan dus prima een tekst lezen. Nu is het niet heel veel meer als de programma’s die de stemming van een bericht kunnen bepalen.

      Het wordt knapper als ze het op basis van een transcriptie van het hele proces doen en beter nog alleen met de argumenten van de beide partijen.

  2. De AI gebruikt onder andere de namen van een aantal maanden om de uitkomst van de uitspraken te voorspellen.

    Zou dat betekenen dat rechters van het mensenrechten hof in bepaalde maanden van het jaar minder streng oordelen dan in andere maanden van het jaar….

  3. Machine Learning kan aardige dingen doen en juist door er meer info in te stoppen en doordat het getest kan worden (de uitkomst kan afgezet worden tegen de daadwerkelijk uitkomst) is het een systeem wat door de tijd heen steeds meer patronen kan herkennen. Ja er zitten nadelen in zoals hier wordt aangegeven, maar wat als het percentage na een tijdje 99,9% is? Wat betekent het dan? Alle innovaties beginnen op een niveau dat mensen hun neus er voor ophalen….

  4. De waarde voor de rechtspraak is dat uitspraken objectiever kunnen worden gemaakt. We zullen onze rechtspraak nooit compleet door algoritmes laten doen. Dit is een van de weinige vakgebieden waar we juist de faalbare menselijke input wensen. Echter kunnen we AI als tool inzetten om rechters, advocaten, en burgers te ondersteunen. Strengere straffen vanwege huidskleur zijn zaken die opgespoord en opgepakt dienen te worden. Slimmer zoeken in uitspraken en jurispudentie helpt advocaten haar clienten beter te representeren. En mate van voorspelbaarheid geeft een mate van willekeur aan. Dit soort tools kan willekeur identificeren, meten, en helpen bestreiden.

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.