De uitlegbaarheid van AI-uitspraken

Steeds meer legal tech diensten maken gebruik van kunstmatige intelligentie oftewel AI. Dit is een belangrijke ontwikkeling: hiermee kunnen machines zelf beslissingen nemen of analyses uitvoeren die voorheen alleen door mensen gedaan konden worden. Denk aan dossiers doorspitten op zoek naar belastend materiaal, of juist oude afspraken terugvinden in een berg correspondentie. Maar steeds vaker wordt AI ook gebruikt om besluiten te nemen. En dat is juridisch toch wat riskant.

AI is in de praktijk meestal machine learning, een analysemodel waarbij een computer informatie leert te herkennen aan de hand van inhoudelijke kenmerken. In eerste instantie krijgt hij een berg vooraf gelabelde informatie aangedragen: deze clausule is oké, deze is problematisch. Daaruit destilleert de AI dan de verschillen, waarna hij vervolgens nieuwe informatie kan labelen. Deze clausule lijkt meer op de oké clausules dan op de problematische, dus is hij ook oké.

Dit klinkt heel simpel, maar de praktijk is behoorlijk ingewikkeld. Machines leren niet zoals mensen. Ze kijken niet naar betekenis maar naar woorden. Een AI zou zomaar kunnen denken dat een clausule oké is omdat hij “Leverancier” zegt – toevallig gebruikten de aangedragen oké trainingsvoorbeelden allemaal die term, en de problematische clausules spraken van “Opdrachtnemer”. Een goede dataset met labels is dus lastiger dan je zou denken.

Nog lastiger wordt het wanneer de analyse wordt gebruikt om uitspraken te doen over concrete zaken. Deze aanvraag moet worden afgewezen want hij bevat geen steekhoudende argumenten. Of: het profiel van deze verdachte lijkt erg op dat van veroordeelden uit vergelijkbare zaken, dus zal hij schuldig zijn.

AI of machine learning kan op deze manier worden ingezet, maar een belangrijk probleem daarbij is dan wel dat deze uitspraken moeten kunnen worden onderbouwd. En daar schort het nogal eens aan. De analyses van AI’s zijn normaliter niet direct naar redeneringen om te zetten. Een juridische AI moet dat wel kunnen.

Nieuwe ontwikkelingen op dit gebied focussen dan ook op het onderwerp van “white box” machine learning, lerende systemen die wél kunnen uitleggen hoe zij tot hun uitspraken komen. Dat zal helpen bij dit soort uitspraken. Maar fundamenteel blijft het issue dat AI’s uitspraken doen op basis van gelijkenis met eerdere zaken. Een novum hoeven we daar dus niet van te verwachten.

Arnoud

Het nieuwste hot issue voor juristen: #legaltech

Legal tech, wat een prachtige term. Hip en technologie-georiënteerd, en gericht op een sector die de afgelopen tien jaar veel aanzien heeft gewonnen. Harvey Specter meets Mission Impossible. De term legal tech verwijst eigenlijk naar alle technologie, met name ICT-technologie, die het werk van de juridische dienstverlener raakt. De recente opkomst van big data en kunstmatige intelligentie hebben legal tech op de kaart gezet, maar de technologie is natuurlijk al ouder.

De eerste stap naar legal tech betrof het automatiseren van de randzaken rond het juridisch werk. Tijdschrijven, dossierbeheer en opmaken van documenten bijvoorbeeld. Dit leverde een forse efficiencyslag op, maar veranderde niet fundamenteel de manier van werken van de juridische professional zelf. Een mooi recent voorbeeld van dit laatste is het juridisch toetsenbord: allerlei voor juristen relevante typografische functies met één knop beschikbaar. Zo is het paragraaf-teken en het copyrightsymbool direct beschikbaar, en kan een document ook met één knop direct van enkele naar anderhalve of dubbele regelafstand worden gezet. Zelfs het invoegen van voetnoten is direct mogelijk.

Het praktisch nut zie ik, maar het voelt een tikje overdreven. Ook zonder juridisch toetsenbord is het heel goed mogelijk om dit soort dingen eenvoudiger te maken. Het vergt een kleine tijdsinvestering in Word, meer niet. En die investering is het zeker waard als je werk bestaat uit het produceren van teksten.

De tweede stap kwam al dichter in de buurt: het automatisch kunnen opzoeken van referenties en jurisprudentie. Online databases maakten het achterhalen van bronnen en het zoeken naar onderbouwingen een stuk eenvoudiger. Modelcontracten gaven inspiratie bij het schrijven van overeenkomsten. Nog steeds was het werk zelf ongeveer hetzelfde, maar wederom een forse efficiencyslag.

De derde stap in legal tech raakt het juridisch werk zelf. Het analyseren van zaken met big data bijvoorbeeld: welke strategieën zijn handig, wat weten we van deze rechter gezien eerdere uitspraken of wat hebben we bij andere klanten geleerd van deze wederpartij. Het doorspitten van dossiers op red flags of aantrekkelijke bestanden. Of het door een kunstmatige intelligentie laten analyseren van een brief van een wederpartij: zit hier iets bijzonders in, kunnen we het met standaardargumenten afdoen of hoeven we niet te reageren?

Deze derde stap maakt juristen natuurlijk nog steeds niet overbodig. Maar de focus in hun werk verschuift zo wel sterk. Dit is het verschil met de eerste stappen, die alleen efficiencyslagen gaven en geen fundamentele wijzigingen. Deze derde stap is wel fundamenteel: we gaan vertrouwen op big data analyses en kunstmatige intelligentie in plaats van alles zelf te controleren en na te vragen.

Legal tech kan dus toegevoegde waarde bieden als ze op een van die gebieden de jurist kan ondersteunen, bijvoorbeeld door efficiënter te werken, sneller informatie te laten binnenhalen of zaken te laten verifiëren. Een voorbeeld is een contractengenerator: per vakgebied zijn sjablonen beschikbaar, waar de jurist middels vragen een document op maat mee maakt dat hij als startpunt gebruikt voor het échte werk.

Welke problemen komt men zoal tegen? Tijd is de belangrijkste. Contracten moeten altijd snel, liever gisteren dan vandaag. Tijd besparen bij het opstellen van een contract is dus een aantrekkelijk selling point. Overzicht is een daarvan afgeleid probleem: weet je over drie jaar nog wat er ook weer exact in artikel 18.3 staat? Welke partijen waren dit ook weer, deden hun Belgische zustermaatschappijen ook mee en mocht het contract nu wel of niet worden verkocht? Metadata, denkt de ICT-er nu, en inderdaad liggen daar grote kansen.

Maar waarom nu pas? De ICT en haar innovaties kennen we al twintig jaar, waarom is het nu pas een hashtag waard dat juristen ook gaan automatiseren?

De juridische sector heeft een imago van weinig veranderingen. Ergens is dat logisch: het werk is fundamenteel niet anders dan zeg vierhonderd jaar geleden. Ook toen waren er conflicten die met juridische argumenten bevochten moesten worden, of afspraken die op papier gezet moesten worden. De onderwerpen waren natuurlijk anders en de rechtsregels ook, maar dat doet er uiteindelijk minder toe.

Tegelijk is het ook gek. De meeste juristen staan zeer open voor nieuwe ontwikkelingen, van de laatste gadgets tot grote maatschappelijke innovaties. En ook dat is logisch, dat is ook deel van je werk. Als je niet weet hoe faxen werken, dan kun je geen rechtsvragen over de rechtsgeldigheid van een faxbericht beantwoorden, om eens wat te noemen. Noviteiten horen bij het werk. Dus waarom bleef het juridisch werk dan zo lang hetzelfde?

Vele verklaringen zijn voorgesteld. Het declarabele-urensysteem met name zou innovatie hinderen: wie efficiënter werkt, kan minder uren declareren. En als je dan ook nog een systeem hebt waarbij de partners een percentage krijgen van elk uur van hun medewerkers, dan is er wel een heel sterke prikkel op veel uren draaien. Maar dat kan niet genoeg zijn: wie efficiënter werkt, draait weliswaar minder uren aan een klus, maar kan dan toch zeker de rest aan andere klanten besteden?

Voor mij zit het hem eerder in het simpele motto “Don’t change a winning team”. Kantoren die goed draaien, hebben het druk. In een drukke omgeving even een stevige verandering doorvoeren is niet wenselijk. Dat kost tijd en concentratie, en beiden heeft men al te weinig. Dus dat komt volgend jaar wel. En pas nu zijn we zo ver dat iedereen het écht te druk heeft, zodat we nu dan in vredesnaam maar over moeten naar die nieuwe systemen. Denk ik.

Arnoud