Hoe kan een robot nou ooit juridische teksten lezen? #legaltechtuesday

Vorige keer blogde ik over de nieuwe positie van juristen en advocaten: specialisten die het moeilijke werk doen dat de generalisten niet kunnen, ook niet door inzet van legal tech en contractlezende (en -schrijvende) robots. Dat roept natuurlijk de vraag op waarom die generalisten überhaupt juridische documenten kunnen verwerken, en vooral waarom ze dat nu niet al op grote schaal doen dan. Want één van de argumenten waarmee de juridische sector zich lang staande heeft weten te houden tegen automatiseringsgeweld is natuurlijk dat het werk uniek is, elk geval is anders, maatwerk is onvermijdelijk en de kleinste komma op de verkeerde plek kan tot faillissement leiden.

Het is natuurlijk waar, dat iedere juridische vraag anders is al is het maar omdat de achterliggende onderneming net anders is dan de concurrent of het bedrijf uit de jurisprudentie. Wil je écht tot in detail de analyse doen, dan ontkom je er niet aan dat je volledig maatwerk gaat leveren. Maar de premisse die de inzet van legal tech drijft, is dat dit lang niet altijd nodig is. Goed genoeg is goed genoeg.

Net zoals je natuurlijk prima een maatkostuum kunt laten naaien bij een kleermaker die echt met een lap stof begint en je opmeet met een laserpointer om zo de knieschijf links en rechts individueel de beste pasvorm te gunnen. Maar de meeste mensen halen het toch liever bij een confectiewinkel en gaan niet verder dan het innemen van te lange mouwen of het iets aanpassen van de taille. Je valt op (in positieve zin, overigens) als je met een maatkostuum loopt. En in veel gevallen is maatwerk ook niet 100% maatwerk: het jasje is er al ongeveer, maar wordt (fors) verbouwd om tot een passend jasje voor deze cliënt te komen.

Standaardiseren is de manier om de kosten en doorlooptijd te drukken. Een bijkomende factor daarbij is wel dat de leverancier van het standaardproduct-met-aanpassingen in staat is om die aanpassingen door te voeren zonder dure specialist. Als ik een kostuum koop in een grote winkel, dan verwacht ik niet honderden euro’s kwijt te zijn voor verstelwerk om het passend te krijgen. Het bedrag moet in verhouding staat tot de kosten van het hoofdproduct. En dan moet het verstelwerk dus goedkoop gedaan kunnen worden. Zit je dan als dure Italiaanse kledingmaker die voor iedere steek de perfecte naald heeft.

In de juridische sector zien we al langer de opmars van standaarddocumenten. Algemene voorwaarden voor ondernemers kun je op vele plekken betrekken, van een standaardmodel bij de Kamer van Koophandel tot vele juridische supermarkten waar je al dan niet met vragenlijsten clausules op maat selecteert en aan elkaar plakt tot een bij jou passend document. Niet zo goed als maatwerk op basis van een intake, drie klantcasussen en een brainstorm met drie partners. Nee, zeker niet. Maar goed genoeg voor beginnende ondernemers – of zij die het zelf menen te kunnen aanpassen, wat zeker in de ICT een niet te onderschatten factor is.

Maar goed, dat zijn dan standaardteksten. Lastiger wordt het lézen van bestaande documenten. Want die komen meestal toch van gespecialiseerde dienstverleners, en daar zal de aardige dame van de KVK je echt niet bij kunnen helpen. Dit is waarom er steeds meer gewerkt wordt aan juridische robots: die kunnen zulke teksten lezen en analyseren op eventuele risico’s. Dat zijn nog steeds geen specialisten, maar wel goed genoeg. Alleen, hoe werkt dat dan eigenlijk?

Vrijwel alle juridischedocumentenlezende robots werken op een of andere manier met machine learning. Daarbij wordt op basis van statistiek een tekst uit elkaar getrokken en geanalyseerd. Die term komt terug in het lijstje met bedrijfsnamen, die woordcombinatie lijkt op een datum, en deze zin bevat termen die we kennen in de categorie “duur van de overeenkomst”. En op basis van dergelijke overeenkomsten kan het systeem dan een conclusie trekken: deze overeenkomst loopt tot de genoemde datum.

Eerder haalde ik al Edsger Dijkstra aan. Parafraserend, computers zwemmen niet maar zijn onderzeeboten. Dit soort dingen laat zien wat het verschil daartussen is. Een computer heeft geen idee wat hij leest, maar kan wel héél snel vaststellen of een clausule lijkt op een andere. Of op véle anderen, want daar komt het vaak op neer. In zo’n ML systeem zijn ooit vele honderden, zo niet duizenden clausules gestopt met een menselijke classificatie (“aansprakelijkheid”, “duur”, “overmacht”, “verwerker”, et cetera) en een nieuwe clausule wordt dan geanalyseerd op overeenkomst met die classificaties. Aha, hier nog een aansprakelijkheidsclausule (87.3% zeker) of is het en overmachtsclausule (9.3%).

Natuurlijk zitten er risico’s aan zo’n analyse zonder begrip. Er zijn genoeg teksten te bedenken die écht niet zo in een bakje te duwen zijn. Of waarvan de betekenis niet met zo’n simpele analyse te vatten is. Een bekend voorbeeld is al “man bijt hond”, dat wezenlijk anders is dan “hond bijt man” maar voor de computer waarschijnlijk dezelfde zin is (voor de ML-adepten: omdat vrijwel iedereen bag-of-words analyse doet). Alleen: in juridische documenten is dat minder waarschijnlijk. Doel van een contract bijvoorbeeld is een afspraak vastleggen, niet een roman schrijven waar het proza een schitterende puzzel oplevert. Het moet dus simpel en zo min mogelijk multi-interpretabel. En dan is het leesbaar voor robots ook.

En ja, ook dan kunnen er rare clausules uit springen. Ik zie als ervaren jurist ook nog steeds clausules die ik drie keer moet lezen, of die iets heel nieuws aan het regelen zijn. Dat zal een computer niet snel aan kunnen pakken. Maar ze zijn dan weer wél goed in het signaleren dat er iets raars staat deze keer, en dat is dan iets waar een mens naar moet kijken. Dat is hoe computers lezen.

Arnoud

7 reacties

  1. ML is slechts een deel van de automatisering. Interessanter is juist de geautomatiseerde strikte syntactische en semantische constructie van juridische teksten en andersom de interpretatie ervan. Volg ontwikkelingen als FLINT en lees bijv https://research.vu.nl/ws/portalfiles/portal/69432703/complete+dissertation.pdf

    Als ICT’er ben ik er al vaak tegenaan gelopen dat wanneer je een wet of verordening probeert uit te drukken in geautomatiseerde processen (de delen waarbij dat zou moeten kunnen en waarbij het gewenst is), blijkt dat de jurist toch niet zo logisch nadacht als hij zelf hoopte. Inconsistente definities, omissies, tegenstrijdigheden in een enkele verordening of wet, het is schering en inslag. Laat staan wanneer meerdere juridische teksten werking hebben op hetzelfde proces.

    Dankzij automatisering en bijv FLINT komen dergelijke fouten rap aan het licht, zijn zelfs patronen van vaak voorkomende juridische fouten te herkennen. We zijn niet ver van automatisering van grote delen van het juridisch werk, volledig zonder ML.

    1. Dank je voor deze link. Intuïtief heb ik hele grote vraagtekens bij de haalbaarheid van een taalmodel voor wetgeving. Precies wat je zegt, al die inconsistenties en omissies en vage termen. Logica lijkt soms ondergeschikt aan mooi klinken of een politiek verkoopbaar resultaat (laten we een vage term doen waar iedereen zich in kan vinden, en dan merken we wel wat er gebeurt).

    1. !! conversie van link werkt hier niet en href=”” ook niet. Er is later nog een zeroth law aan toegevoegd. Weet niet of dat in de NL wiki staat. Wel in de EN: en.wikipedia.org/wiki/ThreeLawsof_Robotics

  2. !! conversie van link werkt hier niet en href=”” ook niet. Er is later nog een zeroth law aan toegevoegd. Weet niet of dat in de NL wiki staat. Wel in de EN: en.wikipedia.org/wiki/ThreeLawsof_Robotics

  3. “Want één van de argumenten waarmee de juridische sector zich lang staande heeft weten te houden tegen automatiseringsgeweld is natuurlijk dat het werk uniek is, elk geval is anders, maatwerk is onvermijdelijk en de kleinste komma op de verkeerde plek kan tot faillissement leiden.”

    Al ontdekten de notarissen al snel de enorme voordelen van Wordsjablonen.

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.