Alweer ietsje langer geleden maar toch: in een ‘wedstrijd’ tussen een lawyerbot van het Israëlische LawGeex en twintig Amerikaanse advocaten bleek de eerste een stuk beter in staat om juridische fouten in NDA’s en andere documenten te vinden. Om precies te zijn: de AI was 94% accuraat waar de mensen rond de 85% scoorden. Dit is natuurlijk nieuws omdat het de eerste wedstrijd in deze soort is, maar verbaast het echt dat een computer beter dingen kan vinden in een document dan mensen?
Je kunt natuurlijk aan alle kanten vraagtekens zetten bij het onderzoek (je bent professional issue spotter of je bent het niet). Hoe definieer je accuratesse, bijvoorbeeld? Is er werkelijk een objectieve gouden standaard van ‘fouten’ in een contract, of is dat wezenlijk een subjectieve inschatting waar twee juristen legitiem andere opvattingen over kunnen hebben bij dezelfde casus? Als ik iets laat staan omdat ik weet dat het praktisch gezien nooit speelt, en de AI het als fout signaleert omdat het volgens een rechtenprof in strijd is met de wet, wie heeft er dan gelijk?
Belangrijker voor mij (en de reden dat ik het eigenlijk negeerde, maar ik kreeg diverse mails erover) is echter dat dit onderzoek niets aantoont dat we niet al wisten. Een computer is haast per definitie altijd beter in het herkennen van patronen dan mensen, zeker als het steeds dezelfde soort patronen zijn over de lange termijn. Dat is bij het herkennen van vuurwapens in bagage niet anders dan het herkennen van rare clausules in juridische documenten.
Toegegeven, het bóuwen van zulke herkensoftware is niet eenvoudig. Hoe herken je effectief een juridische clausule in al zijn variaties, inclusief raar taalgebruik en fouten die al dan niet opzettelijk zijn gemaakt? Maar als het eenmaal staat, dan is het volgens mij volstrekt evident dat die het gaat winnen van iedere mens die in dat domein gaat opereren. Geen douanebeambte die een jaar lang ieder verboden artikel in bagage herkent, maar een computer gaat met dezelfde kwaliteit door totdat de stroom eraf gaat.
Dat is geen nieuws maar ook totaal niet erg – dit noemen we automatiseren van standaardwerk en het is precies waar AI binnen de legal tech voor bedoeld is. Het kan niet waar zijn dat we mensen werk willen laten doen dat net zo goed door robots gedaan kan worden. Binnen de juridische sector gebeurt dat echter veel en vaak, en hoe meer ik er over nadenk hoe raarder ik het vind. Er van dromen een vlammend pleidooi in de rechtbank te geven of keihard te onderhandelen en die droomdeal te sluiten, dat zie ik wel. Maar welke rechtenstudent droomt ervan contracten na te lopen op al dan niet onjuist gebruik van “represents and warrants” of het corrigeren van “grove nalatigheid” in “bewuste roekeloosheid?
Ik hoop dus dat berichten zoals deze vaker voorkomen, ook al bevatten ze niets nieuws. Hopelijk dringt hierdoor de boodschap door dat AI écht wat kan toevoegen in de juridische sector.
Arnoud
“Maar welke rechtenstudent droomt ervan contracten na te lopen op al dan niet onjuist gebruik van “represents and warrants” of het corrigeren van “grove nalatigheid” in “bewuste roekeloosheid?” Daar ken ik er anders nog wel een of twee van, maar voor de rest van ons (rechtenstudenten) is het allang een opluchting dat wij ons toekomstig vak met een laptop mogen uitoefenen. Er zijn ook meer en meer tools die vergelijkbaar werk doen met jurisprudentie en zelfs KEI komt als een welkome moderniseringsslag.
Wel vraag ik mij nog af of het niet juist de brute en zware saaiheid van dat soort werk is dat een rechtsgeleerde produceert die zijn vak waardig is. Raakt er niet ook iets verloren?
Wat ik mij eerder afvraag: wanneer komt de eerste open source Lawyerbot eigenlijk? Dit zou enorm interessant kunnen worden en een serieuze concurrent voor juristen omdat bedrijven dan gewoon hun eigen, goedkope lawyerbot de NDA’s laten nakijken in plaats van juristen hiervoor in te huren. Voor juristen eigenlijk ook wel prettig want steeds maar weer dit soort documenten nalezen gaat toch ook vervelen? 🙂
Ik zou als systeembeheerder met een grote boog om dit soort software heen lopen. Straks stellen ze mij aansprakelijk voor fouten in de implementatie ervan en bijgevolg voor fouten in nda’s en zo.
Hoe is dat anders dan beheer van medische dossiers, volgsystemen voor personeel en securitysoftware?
In technisch opzicht is er geen verschil. Maar op het moment dat de eerste bots daarvoor verschijnen is het nieuw en zullen mensen er dus van alles bij gaan verzinnen. Je wilt niet weten waar je als systeembeheerder overal verantwoordelijk voor wordt gehouden. Soms misschien terecht maar vaak ook niet. Vaak zit je dan aan het eind van de vingerwijzende schuldschuiverijketen en krijg je het mooi op je bord.
Maar een systeembeheerder kan dit soort beslissingen niet nemen. 🙂 Dat doet management.
Sowieso moet er altijd nog iemand de boel extra nakijken maar aangezien de software al veel beter zijn werk doet dan de juristen denk ik dat veel bedrijven liever een LawyerBot gebruiken. Want uiteindelijk is het bedrijf zelf als eerste aansprakelijk en wat de werknemers fout doen is nog altijd de verantwoording van de werkgever. Dus als systeembeheerder heb je geen risico. Je doet immers gewoon je werk.