De Erasmus Universiteit heeft, in samenwerking met de Rotterdamse Legal Tech startup LexIQ, studenten van de Technische Universiteit en wetenschappers van Erasmus School of Law een algoritme ontwikkeld waarin inzichtelijk wordt gemaakt hoe rechters in ontslagzaken handelen en oordelen, zo meldde hun persbericht enige tijd terug. Een voorbeeld: waar Amsterdamse rechters niet veel meer dan de helft van de werkgevers – 58 procent – gelijk geven, heeft de baas in Den Bosch een kans van 83 procent een ontslag toegewezen te krijgen. Een knap systeem, maar wat betekent dit nu voor de praktijk?
Vanuit de juridische theorie is het raar dat er zo’n verschil zit tussen uitspraken. Het arbeidsrecht is immers nationaal recht, dus waarom zou dezelfde casus in Den Bosch anders uitvallen dan in Amsterdam? Nou ja, als het niet exact dezelfde casus is natuurlijk. Trouw noemt als voorbeeld dat men in Amsterdam misschien minder geneigd is te schikken dan in Brabant, zodat in de laatste rechtbank alleen complexere zaken langskomen. Maar desondanks zijn deze verschillen wel érg groot. Daar zou wellicht een stukje persoonlijke voorkeur van de rechter achter kunnen zitten. Of wat anders.
Dit is de sterkte en de zwakte van data-analyse. Je ziet correlaties en verbanden, maar naar de achterliggende redenen blijft het gissen. Een bekend voorbeeld is dat mannen die aan het eind van de week rond 17 uur luiers kopen, meteen ook bier kopen. Doen ze dat om zich meer man te voelen – kijk mij bier drinken, ondanks dat ik net man ben – of hebben ze dan toevallig de auto om twee volumineuze aankopen mee te kunnen nemen? In de marketing maakt dat niet uit: daar zetten ze gewoon op donderdag bier en luiers naast elkaar en zien ze de omzet stijgen.
In de rechtspraak is het wel belangrijk dat je weet waarom zaken uitvallen zoals ze doen. Anders versterk je alleen maar een toevallige samenloop. Dan is het leuk te weten dat men in Den Bosch gemiddeld 12.000 euro ontslagvergoeding meegeeft, maar hoe vertaal je dat naar jouw zaak?
Dit algoritme is een mooi voorbeeld van hoe data-analyse steeds vaker wordt ingezet. Overeenkomsten en categorieën vinden in een grote dataset is steeds vaker mogelijk, maar de onderliggende redenen daarvoor vinden is een stuk lastiger. Allereerst zijn veel van deze machine learning systemen niet in staat tot uitleg te komen. Die knop zit simpelweg niet in het systeem.
En ten tweede, waar dat wel kan, kom je vaak op heel andersoortige uitleg dan we als mens verwachten. Voor een mens zou bijvoorbeeld een logische uitleg zijn “in Den Bosch hechten ze veel waarde aan voorafgaand overleg” of voor mijn part “Bossche rechter Jansen was jarenlang vakbondsvoorman”. Wij kunnen begrijpen dat dergelijke factoren meewegen.
Een computer die uitleg moet geven, kan zomaar komen met de constatering dat de dagvaarding op maandag is uitgebracht, dat de werknemer een vrouw is of dat het dienstverband tussen de 5,7 en 8,5 jaar lag. Dat zijn onweerlegbare feiten, maar wat moet je daar mee naar een cliënt? Toch maar delen, met het risico dat we het toevallige gaan rationaliseren (“ja, rechters hebben ook de maandagochtendblues” of “zie je wel dat ze in Brabant nog ouderwets seksistisch zijn”)? Of negeren, waardoor je een voordeeltje in de zaak weggeeft?
Dat laatste is uiteindelijk het grootste risico. Want zo houdt die correlatie zichzelf in stand. Bij supermarkten komen die mannen vaker en vaker op donderdag luiers en bier kopen – zie je wel zegt de marketeer dan, die willen echt als Man het weekend in gaan. Terwijl die mannen op donderdag gaan omdat het dan in de aanbieding is en je binnen 10 minuten weer buiten staat want het staat op de kop naast de zelfscankassa. En dat is bij marketing tot daar aan toe, maar in het recht niet werkbaar.
Wie dus met data in het recht beslissingen gaat nemen, moet ervoor zorgen dat de uitkomsten uitlegbaar zijn volgens juridische criteria. En dát wordt een hele pittige kluif, verwacht ik.
Arnoud
Forumshopping heet dat. Waardevolle kennis. Als ik weet dat ik met mijn zaak veel meer kans maak in Den Bosch dan in Amsterdam, dan probeer ik hem in Den Bosch te krijgen. Om dezelfde reden zitten zo’n beetje alle octrooizaken in de VS in het Eastern District van Texas (en worden sommige diensten daar bewust niet aangeboden om dat te voorkomen).
Mooi betoog. Niet nieuw natuurlijk. Ook vóór de komst van voorspelmodellen (machine learning) had je al een verschil tussen correlatie en causaliteit.
Dat is een tijdloos probleem waar we vrees ik niet vanaf komen. Spurious correlations kan je eineloos lol mee hebben: https://www.tylervigen.com/spurious-correlations
Dat in vergelijkbare gevallen de ene rechtbank in 80% van de gevallen voor de werkgever oordeelt en de andere in 60% van de gevallen zou kunnen betekenen dat je voor de beste kansen als werkgever bij die eerste met zijn. Het kan bijvoorbeeld ook zijn dat je onvoldoende data hebt en het toeval is of dat je één of meer relevante variabelen hebt gemist in jouw model en je wellicht compleet de verkeerde keuze maakt (model risico).
Overigens is hier m.i. geen sprake van een voorspelmodel maar van een beslismodel. Het model doet geen voorspelling wat de uitkomst van jouw specifieke zaak wordt. Het helpt je mogelijk wel beslissen waar je heen moet om je kansen te optimaliseren
correlatie is geen causal verband: langere vaders hebben kortere zonen
Wordt er geprobeerd te correleren in een ruimte met meer dimensies dan er meetpunten zijn?