Een computer kan rechtspreken, als wij met zijn allen denken en willen dat hij het kan. Dat las ik bij Sargasso in een gastbijdrage van strafrechtadvocaat Vasco Groeneveld. AI komt eraan, ook in de rechtspraktijk. Die lijn doortrekkend betekent dat er over tien, twintig jaar robotrechters aan het werk zijn, niet gehinderd door emotie, hoofdpijn, vooroordelen of gewoon vrijdagmiddagmoeheid. Klinkt goed, maar ik zie het niet gebeuren.
Groeneveld begint met de stelling dat rechtspraak de “testcase bij uitstek” is:
Dat draait immers om het verwerken van datastromen en het onderbrengen van specifieke gegevens onder algemene wetmatigheden, en als ik het goed begrijp is dat zo’n beetje de definitie van een algoritme.
Het is inderdaad zo dat een algoritme een gestructureerd stappenplan is waarbij je algemene regels toepast op specifieke invoer. Ook het recht kent algemene regels, en juridisch werk bestaat vaak uit het vertalen van die regels naar een concrete casus: hier werd te hard gereden, dit is doodslag en dat contract is rechtsgeldig ontbonden.
Ik zie het zeker wel gebeuren dat computers die regels gaan toepassen, en zo juridisch-inhoudelijk werk gaan verrichten. Ik blogde daar medio december nog over: AI kan prima besluitvorming ondersteunen, en heeft dan inderdaad geen last van al die menselijke karaktertrekjes waar foute beslissingen op worden gebaseerd. (Tenzij de dataset waar de AI op gebouwd is die fouten introduceert, zoals bij een bevooroordeelde selectie.)
Ik zie rechtspraak alleen als uitzondering, speciaal geval. Ik noem het hier wel eens de exception handler van het recht: als we niet meer weten wat te doen, dan vragen we het aan de rechter. Haast per definitie krijgt de rechter dus de gevallen waar de wetmatigheden niet in voorzien of waar meerdere uitkomsten mogelijk zijn. En juist daar kunnen computers heel moeilijk mee omgaan. Daarom zie ik AI niet snel in de rechtszaal opduiken en uitspraken doen over die moeilijke gevallen.
Mijn visie is dat AI en computers de simpele gevallen zullen gaan doen, zeg maar de OM afdoening en de boetes op straat van oom agent. Wie daartegen bezwaar maakt, zal dan bij de menselijke rechter uitkomen die er een gewogen oordeel over moet doen. Daar kunnen dan ook bijzondere omstandigheden meegenomen worden, zoals een beroep op overmacht of noodweer waar haast per definitie geen regels over zijn.
Misschien dat een AI wel ondersteunende diensten kan leveren. Denk aan het analyseren van eerdere uitspraken over juist de minder wetmatige aspecten, zoals de strafmaat of de keuze tussen vrijspraak en veroordeling. Een AI kan daar patronen in ontdekken en zo aangeven of deze verdachte een lage straf moet krijgen of juist een hoge, zodat je een meer objectieve beoordeling daarvan krijgt. De rechter kan dat dan meenemen maar heeft het laatste woord en kan dus afwijken.
Arnoud
Mij bescheiden mening…. Ik denk dat je de mogelijkheden van AI in de (nabije) toekomst fors onderschat, en dat een AI binnen afzienbare tijd veel meer wetten, regels, jurisprudentie en randzaken mee kan laten wegen dan een mens dat ooit zou kunnen doen. Daarbij zal een AI ook veel duidelijker kunnen aangeven in welke mate een criterium heeft meegewogen in het vonnis dan dat een mens dat kan (die komt op dat vlak meestal niet verder dan wat wollig taalgebruik) wat controle veel makkelijker maakt. Dat we daar nu nog niet zijn wil niet zeggen dat dat niet snel zou kunnen gebeuren. Voorbeeld: had je 10 jaar geleden gezegd dat we nu auto’s zouden hebben die zelfsturend zijn, en voetgangers kunnen herkennen, volgen, en erop anticiperen dan had iedereen je voor gek uitgemaakt.
Daarnaast denk ik dat het juist heel goed zou zijn voor het vertrouwen in onze rechtsstaat (OK, dat woord lijkt een beetje giecheltoetsniveau te hebben dezer dagen…) als rechtspraak wordt uitgevoerd door een volledig onafhankelijke en objectieve entiteit. Maar al te vaak zien we uitspraken voorbijkomen die tegen elk gevoel van ‘recht’ in te lijken gaan alleen maar omdat een rechter ergens een verzachtende omstandigheid lijkt te hebben gevonden (genoeg voorbeelden van dode onschuldige slachtoffers en daders die met een taakstrafje of 2 jaar cel wegkomen…).
Mijn ideaalbeeld over een jaar of 20: 95% van de zaken wordt afgedaan door een AI, en hoogstens achteraf op grote lijnen (snel en efficiënt!) getoetst. Wordt in dat stadium iets gevonden waarvan de controleur vindt dat dat misschien (meer) had moeten worden meegenomen in het vonnis, dan wordt dat kenbaar gemaakt aan de AI die dan een definitieve beslissing neemt. Niet de controleur, en niet een menselijke rechter beslist definitief want mensen falen vaker dan software.
Je gaat uit van een AI die goed kan beargumenteren hoe ‘ie tot zijn uitspraak komt. Ik denk dat we daar nog lang niet zijn. Sterker nog: als je onder de motorkap van de gemiddelde AI zou kijken, dan denk ik dat je zoveel “kort door de bocht” redeneringen zou tegenkomen dat je uitspraken van zo’n AI meteen naar de prullenbak zou verwijzen. Dus wat doe je? Je houdt de motorkap gesloten en denkt “het is allemaal veel te ingewikkeld voor mij om te begrijpen, maar het is een computer, dus zal het allemaal wel objectief zijn en moet het wel kloppen”.
Ik ben het deels met je eens: Ik denk dat Arnoud inderdaad AI onderschat. Naar mijn mening wordt de term AI hier ook verkeerd gehanteerd: in de blogpost wordt een situatie beschreven waarbij een entiteit besluit op datastromen. Dit lijkt me logisch. Er wordt echter voorbij gegaan aan hetgeen AI kenmerkt: het zelflerend vermogen. Je zal mij niet horen zeggen dat ik er zeker van ben dat AI zal rechtspreken, en als dit wel zo is dat dit plotsklaps het geval is. In mijn ogen is het echter goed mogelijk dat AI wordt ingezet bij besluitvorming. Dit zal allereerst bij minder complexe zaken zijn. Daar waar er in beroep of bezwaar een besluit door AI wordt vernietigd, zal de AI hiervan leren. Op deze wijze zal de besluitvorming van de AI steeds verfijnder worden en mogelijk zelfs bruikbaarder dan een menselijk oordeel. Er kan door AI immers veel meer factoren worden meegewogen dan een menselijk brein aankan. De consequentie waarmee dit zal gebeuren zal mogelijk ook de rechtszekerheid bevorderen.
Dit brengt mij meteen tot het deel waar ik het niet mee eens ben. Je zegt: “Daarnaast denk ik dat het juist heel goed zou zijn voor het vertrouwen in onze rechtsstaat (OK, dat woord lijkt een beetje giecheltoetsniveau te hebben dezer dagen…) als rechtspraak wordt uitgevoerd door een volledig onafhankelijke en objectieve entiteit. Maar al te vaak zien we uitspraken voorbijkomen die tegen elk gevoel van ‘recht’ in te lijken gaan alleen maar omdat een rechter ergens een verzachtende omstandigheid lijkt te hebben gevonden (genoeg voorbeelden van dode onschuldige slachtoffers en daders die met een taakstrafje of 2 jaar cel wegkomen…)”
Juist beslissingen als deze wegen vaak factoren mee waar in wet of regelgeving geen speciale bepaling voor is. Je verwijzing naar “voorbeelden van dode en onschuldige slachtoffers” etc. lijken dan ook meer gebaseerd op nieuwsberichten dan op vonnissen en/of arresten. Juist bestudering van vonnissen en arresten, met daarin de overwegingen van de rechter, geven meer inzicht op de besluitvorming en doorgaans meer begrip voor de opgelegde straf.
Kortom: Ik denk dat AI, ergens in de toekomst, voor een groot deel rechterlijke taken zou kunnen overnemen. De mogelijkheden van AI zijn nagenoeg grenzeloos. Met slechts een controlerende en corrigerende functie van mensen kan AI als veel efficitenter en effectiever middel worden gebruikt, nu het zal leren van elke correctie en dit zal meenemen bij toekomstige besluitvorming. De welbekende zin “alle omstandigheden van het geval” zullen op deze wijze steeds completer en nauwkeuriger kunnen worden toegepast.
Hoe realiseer je zelflerend vermogen in een juridische beslisautomaat? Er is geen direct feedbackmechanisme zoals bij een zelfrijdende auto (als je tegen een boom rijdt, was je beslissing meetbaar fout). Het enige dat er volgens mij overblijft, is dat een mens naar de uitspraak kijkt en zegt dat het goed of fout is, waarna het systeem opnieuw gaat redeneren totdat deze menselijke opperrechter het goed verklaart.
Eigenlijk geef je al antwoord op je eigen vraag: ze zullen leren van, zoals ik reeds had aangegeven, menselijke correcties. Na verloop van tijd zal de AI dus verfijnder besluiten, waarbij besluiten worden genomen op grond van wet, rechtspraak, casuistiek en menselijke correctie. Naar mate de AI vakre gecorrigeerd zal zijn, zal hij deze correcties bij toekomstige besluitvorming laten meewegen. Dit is in werkelijkheid niet heel anders dan de HR (bestaande uit menselijke rechters) die een arrest van een gerechtshof corrigeren. Alles tot aan de HR zou je in theorie dus kunnen vervangen door AI, en zal de HR alleen nog oordelen over de correcte toepassing informatie (wet en regelgeving bijvoorbeeld). Daar waar het correctie nodig acht, zal dit de volgende keer worden meegenomen door AI. Op deze wijze zal AI patronen ontdekken, zichzelf dit aanleren en steeds minder gecorrigeerd moeten worden.
Ik twijfel of je dat wel een lerend vermogen mag noemen. Wat je feitelijk doet met zulke menselijke correcties is steeds een nieuw beslissysteem opzetten, hij herberekent de correlaties tussen input en output opnieuw met extra data. Is dat AI?
Los daarvan blijft het probleem hoe je traint op welke factoren wel of niet relevant waren. Om een voorbeeld te noemen, je kunt nu in vonnissen heel verschillende beschrijvingen krijgen van de verdachte (is baan wel of niet relevant, wordt het proces-verbaal geciteerd met wat hij aan had of niet) en een AI systeem kan geen onderscheid maken tussen wel of niet van belang. Belangrijker; een AI werkt niet met de rechtsregels die wij hebben en zal dus nooit een juridisch correcte redenering ophangen die de HR overleeft. De uitspraak kan best hetzelfde zijn, maar een AI komt er langs andere routes en loopt niet top-down het wetsartikel met haar eisen langs.
Toevallig las ik hier net een artikel over. Gary Marcus, ex-hoofd AI van Uber en psychologieprofessor op de Universiteit van New York is het met Arnoud eens:
Een ander probleem dat Marcus ziet is dat je niet weet hoe een AI tot zijn conclusie komt:En ik denk dat “Computer says ‘Guilty!'” nooit acceptabel gaat zijn. Een AI moet echt een beargumenteerd besluit kunnen maken zoals de rechtbank dat nu doet.
stad New York is trouwens al bezig met dit soort :
The bill’s sponsor, Council Member James Vacca, said he was inspired by ProPublica’s investigation into racially biased algorithms used to assess the criminal risk of defendants.
Over het mee laten wegen van verschillende factoren: het is niet ongewoon dat bij een wat langere rechtsgang een lagere rechter eerst A besluit, dan een hogere rechter toch maar B, en bij de Hoger Raad of Europees Hof dan toch maar weer A of misschien zelfs C. Conclusie: de rechters weten het vaak ook niet helemaal… Dan is het volgens mij wel zo verdedigbaar om over te stappen op een AI, die op basis van veel meer gegevens en jurisprudentie kan beslissen, een veel constanter niveau van uitspraken afgeeft dan een rechter die allerlei jurisprudentie mist en zelf weer tot een nieuwe afweging komt.
Verder over die onderbuik van slachtoffers en daders: maar al te vaak lijken rechters volledig de weg kwijt te zijn (volgens mij dan) en onnavolgbaar te vonnissen waarbij vaak media- en maatschappelijke aandacht of zelfs politieke correctheid een grotere rol speelt dan de overtreding op zich. Voorbeeld: een Palestijn sloopt luid ‘Allahu Akhbar’ roepend een Joods restaurant, beledigt en bedreigt eigenaren en roept te willen sterven in zijn strijd tegen de Joden. Staat na een paar uur weer op straat en hoeft verder niet veel te vrezen. Daar tegenover: een paar gekken gooien een molotovje tegen een moskee. Schade niet veel meer dan een schroeiplek in het gras, maar het OM gaat vol op het terreur orgel en vonnist jaren celstraf. Doe mij dan maar een objectieve AI… Iemand nog iets over een stomdronken Pool die opa, oma, en kleinkind kapot rijdt op een fietspad?
De reden voor mijn skepsis is dat AI net zo goed is als de dataset. Het zal niet snel gebeuren dat een AI zelfstandig een rechtenstudie gaat doen, en daarbij zelf wetten en rechtspraak gaat bestuderen om te leren wat relevant is. En dat is volgens mij wat nodig is als je een top-down beslissysteem wilt realiseren.
Vrijwel alle AI werkt bottom-up: hier is een bak data, generaliseer dit en kom tot regels die je op een nieuwe regel data gaat toepassen. Dat zijn dus haast per definitie niet de regels zoals wij mensen die gebruiken. Daarom twijfel ik ook zo over de uitlegbaarheid van AI uitspraken. Het is mooi dat je elke relevante factor gemeld krijgt, inclusief het stappenplan. Maar als dat is “verdachte droeg pet” en “verdachte weigerde verklaring af te leggen” voor de conclusie “schuldig aan dood door schuld”, dan kun je daar best weinig mee ook al klópt dat perfect met de dataset waarmee getraind is.
Oftewel, gaat een AI wel werken zoals wij verwachten?
Ik begrijp je punt, echter zijn onze ‘verwachtingen’ van AI verschillend. Ik denk dat het voorbeeld wat je schetst te kort door de bocht is en tekort doet aan de potentiele mogelijkheden van AI. Waarom zou AI niet kunnen worden aangeleerd dat uiterlijke kenmerken slechts relevant zijn wanneer deze overeenkomen met bijvoorbeeld een door een getuige aangeleverd signalement? En waarom zou AI deze informatie niet op zo’n wijze kunnen hanteren, dat het beperkt blijft tot een oordeel m.b.t. de waarschijnlijkheid dat de verdachte de dader is omdat zijn uiterlijke kenmerken overeenkomen met dit signalement? Dit kan als factor worden meegewogen bij een (on)schuldigverklaring op vergelijkbare wijze waarop dit door een menselijke rechter wordt meegewogen. Ditzelfde geldt voor alle stukjes informatie (laten we zeggen: de database), en de wijze hoe met deze informatie moet worden omgegaan (laten we gemakshalve even zeggen: de broncode). De “database” kan zoveel bevatten als aan informatie wordt aangeleverd, waaronder wet- en regelgeving, rechtspraak, casuistische informatie etc.. De “broncode” is hetgeen dat zal evalueren m.b.t. de waardering en hantering van deze informatie.
Het zit ‘m juist in jouw zinsnede “Het zal niet snel gebeuren dat…”. Dat moment komt denk ik binnen enkele jaren. We kijken nu nog vaak tegen een AI aan als dat willoze neurale netwerk wat je op magische wijze kan trainen en dan met mooie uitkomsten komt. De vraag is: hoe ingewikkeld moet een neuraal netwerk worden om op een gegeven moment een niveau van ‘begrijpen’ te bereiken? Wat dat aangaat staat de AI ontwikkeling nog in de kinderschoenen. Waar nog veel te weinig aan wordt gewerkt naar mijn mening, is het begrijpen van de processen zoals die zich in onze hersenen afspelen en begrijpen hoe koppelingen worden gemaakt tussen ‘weten’, ‘begrijpen’ en daaruit nieuwe inzichten ontwikkelen. Als de kennis van die menselijke processen wordt overgebracht naar nieuwe AI architecturen kunnen we snel een slag verder komen.
Is een dataset van 200 jaar rechtspraak dan niet ‘goed’?
De wereld – en dus ook de rechtspraak – was 200 jaar geleden natuurlijk wel anders dan nu. Hoe gaat een AI er mee om dat in oude uitspraken vrouwen minder rechten hadden dan mannen. Wordt dat weer relevant? Ziet de AI dat de vrouwen steeds meer rechten kregen en trekt het die lijn door zodat mannen minder rechten krijgen.
Het gaat absoluut gebeuren dat AI gaat rechtspreken maar daar zal nog een lange tijd (en misschien wel altijd) een stel mensen bij betrokken blijven om de uitspraken te kunnen herzien.
Als ik het even naar een voor mij bekender terrein trek, namelijk vertalen: DeepL is indrukwekkend en ik ben er fan van, maar ik zie ook regelmatig de flinke missers. Toch houdt die ook rekening met heel veel gegevens, namelijk voorbeeldzinsparen in twee talen, waar lering uit getrokken is (Deep Learning, vandaar de naam DeepL natuurlijk).
De complexiteit is aardig vergelijkbaar met recht, denk ik. Dus wat Arnoud zegt: nuttig hulpmiddel, ja, maar altijd het laatste woord aan mensen.
Beslist niet mee eens, dus. Dat is vragen om ongelukken.
Deep Learning-systemen kunnen soms heel raar reageren, heel anders dan mensen redelijk vinden. Voorbeeld (in ander vak, maar zeker met parallellen met de rechtspraktijk): http://rudhar.com/lingtics/machtrns/nl04.htm en http://rudhar.com/lingtics/machtrns/nl03.htm .
Arnoud’s punt is niet dat AI geen recht kan spreken, maar dat we dat als maatschappij niet willen. Een tussenmogelijkheid is dat een AI een strafmaat geeft en dat een rechter, kijkend naar de omstandigheden en het rechtsgevoel, daar een wijziging in aanbrengt. Of dat AI ingezet word om frauderende of discriminerende rechters op te sporen en te straffen.
Een AI is afhankelijk van haar programmeur en data input. In elke dataset zit menselijke bias ingebakken. Objectiviteit is enkel schijn. Een rechter staat gelukkig boven het onderbuikgevoel van de massa. Als huidige rechters te lage straffen uitdelen, dan zal een AI, getrained op historische uitspraken, dit ook doen. Je kunt niet iets uit niets maken.
Huidige AI is dom en bruut. Ik zou niet willen verschijnen voor een AI-rechter, al heb ik ‘em zelf geprogrammeerd. Ik wil, net als de dominee, zuster, en psycholoog, een “machine” van vlees en bloed. Iemand die snapt dat ik door rood rijd, als mijn kindje hoge koorts heeft. Iemand met empathie en inlevingsvermogen. Niet een machine waar we nog geen “common sense” in hebben geprogrammeerd.
Ik denk dat de mogelijkheden van AI zwaar worden overschat. En dat het gevaarlijk is om onafhankelijkheid en objectiviteit toe te kennen aan een machine met een collectie statistische “If then” statements.
Mag ik even een doemscenario schetsen?
Één van de effecten van computers op bureaucratie is dat het enorme onzinvermenigvuldigers zijn. Computers stellen bureaucraten in staat om veel grotere hoeveelheden data te genereren en te verwerken dan ze daarvoor al deden. Hier geldt het principe “het gebeurt omdat het kan”. De enorme dataverzamelingsdrift op het internet ligt in het verlengde hiervan.
Bij rechtszaken ligt een enorm belang bij het overtuigen van anderen. De strategie “if you can’t convince them, confuse them” hoort zeker tot de mogelijkheden, bijvoorbeeld door anderen te belasten met een stortvloed aan gegevens, argumenten en ingewikkelde constructies. Je zou misschien kunnen denken dat een AI een rechter zou kunnen assisteren om grote datastromen beheersbaar te maken, maar ik zie dat anders. Ik verwacht namelijk dat zo’n AI voor een rechter waarschijnlijk een vrij ondoorzichtig proces kan zijn. Als een rechter ondanks de ondoorzichtigheid toch op de AI vertrouwt, dan krijg je echt “computer says no” situaties. Het kan zelfs zijn dat slimme juristen met AI-kennis het systeem beter doorgronden dan de rechter en de tegenpartij, en daar hun voordeel mee doen door precies de juiste gegevens te presenteren om de AI een voor hun gunstige uitkomst te laten genereren. Ik denk dat dit een wapenwedloop is die niet in het voordeel van het recht zal eindigen.
Ik zie nog wel een nuttige rol voor computers bij het uitvoeren van pure deductie-analyse. Dan heb ik het dus niet over de ondoorzichtige correlatie-analyse die meestal met de term AI wordt geassocieerd: correlatie bewijst in mijn ogen niets; het is een soort “guilt by association”. Alleen: als je een (mogelijk complexe) machine-leesbare set data hebt, dan kan deductie-software helpen om daar met logisch redeneren de juiste conclusies uit te trekken. Waarschijnlijk is zulke deductie-software ook voor de gemiddelde rechter te complex om te overzien (rechters zijn geen programmeurs), maar als de machine zodanig open source is dat beide partijen de resultaten kunnen reproduceren en de software door hun eigen experts kunnen laten analyseren, dan ben je volgens mij al een stuk beter bezig dan met de fuzzy logic van AI.
Oordeel vellen, oordeel geven (in ander verband), uitspraak doen, beslissing nemen (NIET maken). Ben ik heel strikt in. Vonnis? Ook vellen denk ik. Arrest? Wijzen. Kan met vonnis ook waarschijnlijk.
Een oepasselijk artikel in De Standaard: https://blendle.com/i/de-standaard/alleen-wie-slimmer-is-dan-artificiele-intelligentie-heeft-een-toekomst/bnl-destandaard-20180106-e020ec72_f12e_11e7_b59b_20f08ea11909
Beetje overdreven en paniekerig, denk ik. Maar ja, de schoorsteen moet roken, de man schijnt 12 duizend euro te vragen en krijgen voor een lezing.
……………….euuuuch, er zijn meer varianten dan meltdown en spectre. Zie ook de risico,s in de EMLS-rubriek Digitaal procederen een historische vergissing.
“AI kan prima besluitvorming ondersteunen, en heeft dan inderdaad geen last van al die menselijke karaktertrekjes waar foute beslissingen op worden gebaseerd.” Rechtspraak draait om macht en in iedere rechtszaak weten beide partijen, wie er goed en fout is en wil de foute partij graag, dat de rechter de regels terzijde schuift. Die foute partij is niet zelden de overheid. De overheid wil graag in haar voordeel behandeld blijven worden, dus die robotrechtspraak is beter, maar gaat er nooit komen.