Categorie: Innovatie

Vorige keer blogde ik over de nieuwe positie van juristen en advocaten: specialisten die het moeilijke werk doen dat de generalisten niet kunnen, ook niet door inzet van legal tech en contractlezende (en -schrijvende) robots. Dat roept natuurlijk de vraag op waarom die generalisten überhaupt juridische documenten kunnen verwerken, en vooral waarom ze dat nu niet al op grote schaal doen dan. Want één van de argumenten waarmee de juridische sector zich lang staande heeft weten te houden tegen automatiseringsgeweld is natuurlijk dat het werk uniek is, elk geval is anders, maatwerk is onvermijdelijk en de kleinste komma op de verkeerde plek kan tot faillissement leiden.

Het is natuurlijk waar, dat iedere juridische vraag anders is al is het maar omdat de achterliggende onderneming net anders is dan de concurrent of het bedrijf uit de jurisprudentie. Wil je écht tot in detail de analyse doen, dan ontkom je er niet aan dat je volledig maatwerk gaat leveren. Maar de premisse die de inzet van legal tech drijft, is dat dit lang niet altijd nodig is. Goed genoeg is goed genoeg.

Net zoals je natuurlijk prima een maatkostuum kunt laten naaien bij een kleermaker die echt met een lap stof begint en je opmeet met een laserpointer om zo de knieschijf links en rechts individueel de beste pasvorm te gunnen. Maar de meeste mensen halen het toch liever bij een confectiewinkel en gaan niet verder dan het innemen van te lange mouwen of het iets aanpassen van de taille. Je valt op (in positieve zin, overigens) als je met een maatkostuum loopt. En in veel gevallen is maatwerk ook niet 100% maatwerk: het jasje is er al ongeveer, maar wordt (fors) verbouwd om tot een passend jasje voor deze cliënt te komen.

Standaardiseren is de manier om de kosten en doorlooptijd te drukken. Een bijkomende factor daarbij is wel dat de leverancier van het standaardproduct-met-aanpassingen in staat is om die aanpassingen door te voeren zonder dure specialist. Als ik een kostuum koop in een grote winkel, dan verwacht ik niet honderden euro’s kwijt te zijn voor verstelwerk om het passend te krijgen. Het bedrag moet in verhouding staat tot de kosten van het hoofdproduct. En dan moet het verstelwerk dus goedkoop gedaan kunnen worden. Zit je dan als dure Italiaanse kledingmaker die voor iedere steek de perfecte naald heeft.

In de juridische sector zien we al langer de opmars van standaarddocumenten. Algemene voorwaarden voor ondernemers kun je op vele plekken betrekken, van een standaardmodel bij de Kamer van Koophandel tot vele juridische supermarkten waar je al dan niet met vragenlijsten clausules op maat selecteert en aan elkaar plakt tot een bij jou passend document. Niet zo goed als maatwerk op basis van een intake, drie klantcasussen en een brainstorm met drie partners. Nee, zeker niet. Maar goed genoeg voor beginnende ondernemers – of zij die het zelf menen te kunnen aanpassen, wat zeker in de ICT een niet te onderschatten factor is.

Maar goed, dat zijn dan standaardteksten. Lastiger wordt het lézen van bestaande documenten. Want die komen meestal toch van gespecialiseerde dienstverleners, en daar zal de aardige dame van de KVK je echt niet bij kunnen helpen. Dit is waarom er steeds meer gewerkt wordt aan juridische robots: die kunnen zulke teksten lezen en analyseren op eventuele risico’s. Dat zijn nog steeds geen specialisten, maar wel goed genoeg. Alleen, hoe werkt dat dan eigenlijk?

Vrijwel alle juridischedocumentenlezende robots werken op een of andere manier met machine learning. Daarbij wordt op basis van statistiek een tekst uit elkaar getrokken en geanalyseerd. Die term komt terug in het lijstje met bedrijfsnamen, die woordcombinatie lijkt op een datum, en deze zin bevat termen die we kennen in de categorie “duur van de overeenkomst”. En op basis van dergelijke overeenkomsten kan het systeem dan een conclusie trekken: deze overeenkomst loopt tot de genoemde datum.

Eerder haalde ik al Edsger Dijkstra aan. Parafraserend, computers zwemmen niet maar zijn onderzeeboten. Dit soort dingen laat zien wat het verschil daartussen is. Een computer heeft geen idee wat hij leest, maar kan wel héél snel vaststellen of een clausule lijkt op een andere. Of op véle anderen, want daar komt het vaak op neer. In zo’n ML systeem zijn ooit vele honderden, zo niet duizenden clausules gestopt met een menselijke classificatie (“aansprakelijkheid”, “duur”, “overmacht”, “verwerker”, et cetera) en een nieuwe clausule wordt dan geanalyseerd op overeenkomst met die classificaties. Aha, hier nog een aansprakelijkheidsclausule (87.3% zeker) of is het en overmachtsclausule (9.3%).

Natuurlijk zitten er risico’s aan zo’n analyse zonder begrip. Er zijn genoeg teksten te bedenken die écht niet zo in een bakje te duwen zijn. Of waarvan de betekenis niet met zo’n simpele analyse te vatten is. Een bekend voorbeeld is al “man bijt hond”, dat wezenlijk anders is dan “hond bijt man” maar voor de computer waarschijnlijk dezelfde zin is (voor de ML-adepten: omdat vrijwel iedereen bag-of-words analyse doet). Alleen: in juridische documenten is dat minder waarschijnlijk. Doel van een contract bijvoorbeeld is een afspraak vastleggen, niet een roman schrijven waar het proza een schitterende puzzel oplevert. Het moet dus simpel en zo min mogelijk multi-interpretabel. En dan is het leesbaar voor robots ook.

En ja, ook dan kunnen er rare clausules uit springen. Ik zie als ervaren jurist ook nog steeds clausules die ik drie keer moet lezen, of die iets heel nieuws aan het regelen zijn. Dat zal een computer niet snel aan kunnen pakken. Maar ze zijn dan weer wél goed in het signaleren dat er iets raars staat deze keer, en dat is dan iets waar een mens naar moet kijken. Dat is hoe computers lezen.

Arnoud

De Erasmus Universiteit heeft, in samenwerking met de Rotterdamse Legal Tech startup LexIQ, studenten van de Technische Universiteit en wetenschappers van Erasmus School of Law een algoritme ontwikkeld waarin inzichtelijk wordt gemaakt hoe rechters in ontslagzaken handelen en oordelen, zo meldde hun persbericht enige tijd terug. Een voorbeeld: waar Amsterdamse rechters niet veel meer dan de helft van de werkgevers – 58 procent – gelijk geven, heeft de baas in Den Bosch een kans van 83 procent een ontslag toegewezen te krijgen. Een knap systeem, maar wat betekent dit nu voor de praktijk?

Vanuit de juridische theorie is het raar dat er zo’n verschil zit tussen uitspraken. Het arbeidsrecht is immers nationaal recht, dus waarom zou dezelfde casus in Den Bosch anders uitvallen dan in Amsterdam? Nou ja, als het niet exact dezelfde casus is natuurlijk. Trouw noemt als voorbeeld dat men in Amsterdam misschien minder geneigd is te schikken dan in Brabant, zodat in de laatste rechtbank alleen complexere zaken langskomen. Maar desondanks zijn deze verschillen wel érg groot. Daar zou wellicht een stukje persoonlijke voorkeur van de rechter achter kunnen zitten. Of wat anders.

Dit is de sterkte en de zwakte van data-analyse. Je ziet correlaties en verbanden, maar naar de achterliggende redenen blijft het gissen. Een bekend voorbeeld is dat mannen die aan het eind van de week rond 17 uur luiers kopen, meteen ook bier kopen. Doen ze dat om zich meer man te voelen – kijk mij bier drinken, ondanks dat ik net man ben – of hebben ze dan toevallig de auto om twee volumineuze aankopen mee te kunnen nemen? In de marketing maakt dat niet uit: daar zetten ze gewoon op donderdag bier en luiers naast elkaar en zien ze de omzet stijgen.

In de rechtspraak is het wel belangrijk dat je weet waarom zaken uitvallen zoals ze doen. Anders versterk je alleen maar een toevallige samenloop. Dan is het leuk te weten dat men in Den Bosch gemiddeld 12.000 euro ontslagvergoeding meegeeft, maar hoe vertaal je dat naar jouw zaak?

Dit algoritme is een mooi voorbeeld van hoe data-analyse steeds vaker wordt ingezet. Overeenkomsten en categorieën vinden in een grote dataset is steeds vaker mogelijk, maar de onderliggende redenen daarvoor vinden is een stuk lastiger. Allereerst zijn veel van deze machine learning systemen niet in staat tot uitleg te komen. Die knop zit simpelweg niet in het systeem.

En ten tweede, waar dat wel kan, kom je vaak op heel andersoortige uitleg dan we als mens verwachten. Voor een mens zou bijvoorbeeld een logische uitleg zijn “in Den Bosch hechten ze veel waarde aan voorafgaand overleg” of voor mijn part “Bossche rechter Jansen was jarenlang vakbondsvoorman”. Wij kunnen begrijpen dat dergelijke factoren meewegen.

Een computer die uitleg moet geven, kan zomaar komen met de constatering dat de dagvaarding op maandag is uitgebracht, dat de werknemer een vrouw is of dat het dienstverband tussen de 5,7 en 8,5 jaar lag. Dat zijn onweerlegbare feiten, maar wat moet je daar mee naar een cliënt? Toch maar delen, met het risico dat we het toevallige gaan rationaliseren (“ja, rechters hebben ook de maandagochtendblues” of “zie je wel dat ze in Brabant nog ouderwets seksistisch zijn”)? Of negeren, waardoor je een voordeeltje in de zaak weggeeft?

Dat laatste is uiteindelijk het grootste risico. Want zo houdt die correlatie zichzelf in stand. Bij supermarkten komen die mannen vaker en vaker op donderdag luiers en bier kopen – zie je wel zegt de marketeer dan, die willen echt als Man het weekend in gaan. Terwijl die mannen op donderdag gaan omdat het dan in de aanbieding is en je binnen 10 minuten weer buiten staat want het staat op de kop naast de zelfscankassa. En dat is bij marketing tot daar aan toe, maar in het recht niet werkbaar.

Wie dus met data in het recht beslissingen gaat nemen, moet ervoor zorgen dat de uitkomsten uitlegbaar zijn volgens juridische criteria. En dát wordt een hele pittige kluif, verwacht ik.

Arnoud

Bias of vooringenomenheid in algoritmes en artificial intelligence, veel is er al over geschreven. Het is het grootste actuele probleem dat grootschalige adoptie van AI in de weg staat, lijkt het wel eens. Want het is natuurlijk niet de bedoeling dat AI de besluitvorming over gaat nemen als daarmee discriminatie of uitsluiting van bepaalde groepen optreedt, of als mensen worden afgewezen op basis van een vooringenomenheid die we onwenselijk vinden. Maar zelfs als we dat probleem oplossen, blijft de inzet van AI en algoritmes een moeilijke.

Het probleem achter die bias is dat we AI vaak een eind laten kauwen op een hele berg data, en dan conclusies laten trekken op basis van een onderlinge samenhang. Maar waarom die samenhang er is, of hoe men tot een patroon is gekomen, dat kan zo’n AI vaak niet zeggen. Maar “computer says no” is juridisch onaanvaardbaar, ook als zo’n uitleg er eigenlijk niet is.

Uitlegbaarheid van AI is dus het devies. Laat maar eens zien (met een beslisboom of lijst van relevante factoren) hoe je tot dat besluit bent gekomen. En als je dan ziet dat daar een ‘verboden’ factor is gebruikt, dan bijstellen die hap. Of een moreel kompas eronder dat automatisch zorgt voor correctie. Op die manier voorkom je vooringenomenheid, in ieder geval een heel eind.

Maar is dat genoeg, zeker bij juridische analyses en uitspraken zoals in rechtspraak? Ik denk het niet. Er is namelijk een veel fundamenteler probleem met AI dan alleen maar dat de uitspraak mogelijk biased is of gebaseerd op een gebrekkige dataset. AI is namelijk fundamenteel zeer behoudend, en kan niet omgaan met rare situaties waarin de data niet voorziet. Of met voortschrijdend maatschappelijk inzicht. En laten dat nu precies de soort dingen zijn waar de rechtspraak regelmatig mee geconfronteerd wordt.

AI is bedoeld om standaardzaken te automatiseren. Patronen opsporen binnen het gewone, zodat deze in de toekomst sneller en beter (want consistenter) kunnen worden afgehandeld. Bevat deze aanvraag tekortkomingen, lijkt deze persoon op een verdachte, is er een crimineel bezig in ons netwerk. Dat soort patronen kun je prima met een AI opsporen.

Dergelijke patronen zijn namelijk neutraal: zo ziet crimineel gedrag er nu eenmaal uit, of zo bepaal je nu eenmaal gelijkenis van twee gezichten. Laat je dat echter los op juridische situaties dan krijg je een heel ander verhaal. Feitelijk vergelijk je dan een casus met een rits eerdere casussen, en de uitkomst zal dan vergelijkbaar zijn met die eerdere uitspraken. Dat klinkt mooi – consistentie in rechtspraak is een groot goed – maar echte vernieuwing zit er niet in.

Dat is ook precies hoe AI werkt. Een robotrechter leert geen rechtsregels zoals menselijke juristen doen, en leert zelfs niet het analyseren van eerdere jurisprudentie wat belangrijke factoren zijn. AI’s zijn goed in het vergelijken: gegeven een dataset waarin elk item (elk vonnis dus) in een zit, bepaal welke factoren per item essentieel zijn om in een bepaald bakje te horen. Dat is een beetje hoe een ervaren menselijke rechter ook werkt: oké, een standaard-incassozaakje of daar heb je weer een fotoclaim met het bekende verhaal over citaatrecht. Maar niet helemaal: een AI kijkt blind naar alle factoren die hij ziet, en dat kunnen ook onbedoelde factoren zijn (als advocaat X pleit of de eiser in Amstelveen woont, dan is dat een indicatie dat de zaak niet sterk is).

Uiteindelijk is de kern echter wel dat een AI alléén afgaat op de eerdere dataset. Hij leert immers alleen daaruit hoe er recht gesproken moet worden. Een afwijking van die dataset is daarbij niet te verwachten. Computers zijn immers niet creatief, en niet gevoelig voor ongewone omstandigheden, nieuwe feiten of het overtuigendste pleidooi. Dat is ook de reden waarom robotrechters alleen voor standaardwerk ingezet moeten kunnen worden, én dat er altijd ruimte moet zijn om die ongewone omstandigheden te kunnen stellen waarna een mensenrechter er naar kijkt.

De grote uitdaging bij AI in het recht zal dus zijn hoe de gekke gevallen eruit gevist worden en door een mens behandeld gaan worden.

Arnoud