‘Robotrechter e-Court is een groot en niet transparant zwart gat’, kopte Nieuwsuur onlangs tendentieus. Stichting e-Court is al jaren actief als alternatieve geschilbeslechter en heeft verzekeraars gevonden als bereidwillige afnemers voor haar digitale arbitragedienst. Snel en gemakkelijk maar controversieel. Opmerkelijk voor mij daarin: de eerste stap is een artificial intelligence die over je zaak oordeelt. Mag dat zomaar?
Op zich is wat e-Court doet een legitieme constructie. Men biedt arbitrage aan, alternatieve geschilbeslechting buiten de rechter om. Dat mag, en kan voor beide partijen voordelig zijn: sneller en goedkoper, en je kunt de procedures optimaliseren voor jouw soort geschil in plaats zoals bij de traditionele rechtspraak een middelmaat omdat men alles aan moet kunnen. Digitale dossiers en on-line voortgang en uitwisselen van stukken lukt daar iets minder.
De controverse rond e-Court komt voornamelijk vanwege het feit dat mensen zonder het te beseffen akkoord gaan met arbitrage; dat staat namelijk zo in de algemene voorwaarden van met name zorgverzekeraars. Op zich legaal, zij het dat je bij start van een geschil bij de arbiter een maand moet krijgen om daar bezwaar tegen te maken. Daar lijkt het volgens het onderzoek vaak mis te gaan: het wordt bepaald onduidelijk uitgelegd, en ook wie dat bezwaar maakt, kan zomaar alsnog door de molen van e-Court gehaald worden en krijgt toch een arbitraal vonnis tegen zich, dat via de deurwaarder ten uitvoer kan worden gelegd. Dat klopt natuurlijk niet.
Voor mij sprong deze alinea eruit:
[Oprichtster Henriëtte Nakad] nam het heft in eigen hand, zette een bedrijf op en liet een computerprogramma bouwen dat automatisch vonnissen kan produceren. Die ‘robotrechter’ is ‘de meest objectieve rechter van Nederland’, zonder ‘misplaatste empathie’, schreef Nakad in een academisch artikel.
Dat academisch artikel laat zien dat het gaat om een Case-Based-Reasoning (CBR) kunstmatige intelligentie: nieuwe zaken worden op allerlei punten vergeleken met eerder zaken, en de uitspraak wordt bepaald aan de hand van die gelijkenis. Kort gezegd, als een zaak veel lijkt op 100 afgewezen incassozaken, dan wordt deze incassoclaim ook afgewezen. Ook wordt een heel raamwerk opgezet om de formele processtappen consequent uit te voeren.
Helaas kan ik nergens iets vinden over hoe deze AI inhoudelijk werkt. En dat is jammer want bij zo’n grote legal tech innovatie zou je toch graag willen weten hoe het werkt. Zeker omdat het hier gaat over vonnissen die mensen heel diep kunnen raken: de schuldenproblematiek in Nederland is hoog en complex, en black box uitspraken waar mensen zich door overvallen voelen, helpen daar natuurlijk niet bij. De keuze voor een AI snap ik wel, het is een hoog volume aan relatief simpele zaken en daar is met AI goede analyse op te doen.
Formeel is het overigens geen robot die beslist. Het is een voorbeeld van hoe AI een rol kan spelen in juridische besluitvorming. Vang de simpele gevallen af, en laat de rest (inclusief de gevallen waar men piept) door een mens behandelen. Alleen veronderstelt dat wel dat mensen piepen als er iets mis is, en specifiek bij consumentenrecht / schuldenincasso is dat iets dat heel vaak misgaat.
Het bedrijf reageert in een persbericht kort gezegd dat ook schuldenaars beter af zijn, omdat de procedure ook voor hen sneller en goedkoper uitpakt. Ik heb daar wel moeite mee, want juist dit onderwerp voelt voor veel schuldenaars als zeer machteloosmakend en ongrijpbaar. Dus als je dan óók nog eens alles achter een digitale procedure stopt én je hoort dat er een robot de eerste selectie maakt, dan is het argument dat je minder incassokosten krijgt en dat de deurwaarder heus luistert, niet meer relevant. Mensen vertrouwen robots niet in een dienstverlenende rol, laat staan als die over hun geld en goed beslist.
Algemeen heb ik er een dubbel gevoel bij. Het initiatief is nobel, want de rechtspraak ís verstopt en veel dingen kunnen gewoon efficiënter als je maatwerk toepast en niet alles op dezelfde manier behandelt. Maar de afwezigheid van transparantie vind ik moeilijk te verkroppen, helemaal omdat een AI in rechtspraak gewoon heel gevoelig ligt. En als je dan ook nog eens het primair opzet om schuldincasso te doen – waar notoir vaak mensen in de molen vermalen worden – dan krijg ik er een vervelend gevoel bij. Je ziet dat nu ook terug in de berichtgeving, dat het een “robotrechter” is die je blind veroordeelt. Niet goed voor de beeldvorming van legal tech en AI in de juridische sector. Dus nee, jammer.
Arnoud
Ik heb de AV van mijn (zorg)verzekeraar niet gelezen, maar is het mogelijk om alvast preventief een berichtje te sturen naar je zorgverzekeraar dat je deze robotrechter/arbitrage op voorhand afwijst en wil dat de normale, menselijke weg gevolgd wordt? Of zou het al helpen om dat preventief naar werkelijk elk bedrijf te sturen? 🙂
Als ze willen dat het transparant opereert zouden ze met machine learning een set van oude zaken moeten laten trainen en dat de tool een beslisboom genereert. Dus het programma zal niet een beslissing maken maar iedereen kan door de beslisboom lopen door simpele vragen te beantwoorden en komen tot een eenduidig antwoord. Maar laten ze nu eens eerst beginnen met de juiste benaming te geven aan deze technologie: het is machine learning en geen A.I. Als we A.I. hebben bestonden we niet meer.
Machine learning is een onderdeel van Artificial Intelligence. Sterker nog, het zelf-lerend vermogen van een stuk software is een belangrijke vorm van Artificial Intelligence. Bovendien hebben we het bij machine learning vaak over neurale netwerken, die zijn gebaseerd op biologische breinen. Ook het proberen na te maken van biologische breinen is een vorm van AI. Hoe dan ook, Machine Learning “geen A.I.” noemen klopt niet.
Ik weet dat op universiteiten machine learning onder de kopje A.I. valt. Ligt er ook maar aan hoe je intelligentie classificeert. Als ik een normale discussie kan hebben met een computer vind ik pas dat het intelligentie heeft (los van want anderen ervan denken).
Dat is waarom bijvoorbeeld de Turing-test is ontwikkeld. Maar Machine Learning is onderdeel van Artificial Intelligence. Gaat niet alleen om universiteiten, maar geldt voor het hele veld en de hele term. Het is algemeen geaccepteerd. Bovendien is het niet onwaarschijnlijk dat uitgebreide versies van het huidige machine learning de manier gaat zijn hoe AI werkt, gezien het de manier is om een brein na te bouwen. Andersom gezegd, mensen zijn eigenlijk gewoon het resultaat van heel complexe machine learning.
Geloof is ook algemeen geaccepteerd; betekend niet dat ik het blindelings overneem. Ik ben het met je eens dat we dit in de toekomst meer gaan zien. En waarschijnlijk gaat met in de toekomst ook meerdere losse machine learning onderdelen met elkaar laten werken. Zo heeft de Tesla ook 3 ‘breinen’ (bij gebrek aan een beter woord). Geeft naar mijn mening alleen maar meer reden tot zorgzaamheid. Geen enkele machine learning tool is beschikbaar die inzicht kan geven waarom het tot een bepaald resultaat kwam. Laat staan als men meerdere ‘breinen’ met elkaar laten werken. Dit is zorgelijk als je het op deze manier wil inzetten.
Er wordt soms gezegd dat kunstmatige intelligentie is wat een computer op een bepaald moment in de tijd nog niet kan.
Zo werd de schaakcomputer die Kasparov versloeg in de jaren 90 gezien als ‘super iteligent’, maar dat is nu niet meer dan normaal.
Is het zeker dat er sprake is van machine learning? De robot kan er eigenlijk heel simpel uit zien: 1. Heeft de schuldeiser een contract met ons? 2. Is het vinkje “moet altijd door een mens bekeken worden niet aangezet bij deze klant van ons”? 3. Is het bedrag waar het over gaat helder? 4. Is er verweer door de vermeende schuldenaar? Zo nee, schuldig. Zo ja, dan wellicht iets van meer intelligentie. Maar het fors van de gevallen heb je hier mee. Zeker als je bezwaren van de vermeende schuldenaren vergeet op te nemen in het systeem.
In het artikel wordt verwezen naar het feit dat het A.I. is. Tevens staat er in het artikel een link naar het academische artikel waarin vermeld wordt dat er ook gekeken is naar rule based systems maar dat het te veel tijd kost om alle regels na te lopen en deze dan vast te leggen. Dit doet mij alleen maar denk waarom genereer je die dan niet d.m.v. machine learning?
Ik denk dat je, onafhankelijk van geblaf in de Algemene voorwaarden, niet akkoord hoeft te gaan met automatische besluitvorming en profiling (met dank aan de GDPR http://www.privacy-regulation.eu/nl/artikel-22-geautomatiseerde-individuele-besluitvorming-waaronder-profilering-EU-AVG.htm)
Of is de menselijke stap (het voorlezen van “the computer sais no”) opeens geen geautomatiseerde besluitvorming?
Probleem van zulke rechtspraak is dat incassobedrijven snel de zwakke plekken van het systeem zullen vinden en hun zaken zullen manipuleren om daar gebruik van te maken
De woorden ‘misplaatste empathie’ (‘misplaced empathy’) van de betrokkenen bij e-Court (incl. hoogleraar Van den Herik) vind ik nogal merkwaardig. Het is niet duidelijk of ze empathie sowieso misplaatst vinden bij een rechter of dat ze onderscheid maken tussen gepaste en ongepaste empathie. Ze gaan hier verder niet op in.
Die ene zin wekt in elk geval de indruk dat ze empathie niet belangrijk vinden, terwijl empathie juist geregeld als een belangrijke eigenschap van goede rechters wordt genoemd, zie bijv. deze berichten over proefschriften: <a href="https://www.recht.nl/111921/proefschrift-ideale-rechter-is-deugdzaam-en-empathisch/"Ideale rechter is deugdzaam en empathisch en Emoties verbeteren kwaliteit oordeelsvorming van rechters.
Het lijkt erop dat de auteurs alleen denken aan de mogelijkheid dat een rechter in strijd met de juridische argumenten de hand over het hart zal strijken en een schuldenaar zal matsen als dat niet had gemoeten. Of dat er hierdoor rechtsongelijkheid ontstaat. Dat duidt erop dat ze de begrippen empathie en sympathie door elkaar halen.
Als robotfans hebben ze misschien een afkeer van emoties, terwijl rechtspraak juist een manier is om emoties en andere problemen in de intermenselijke verhoudingen te kanaliseren. Kanaliseren is iets anders dan uitsluiten. Dat geldt niet alleen voor strafzaken, maar ook voor schijnbaar droge zaken als die rondom schuldenaren.