Hoe machine learning een bijdrage aan legal tech kan leveren #legaltechtuesday

De term die je het meest tegenkomt bij legal tech, is machine learning of ML. Vaak onder de mooie marketingterm artificial intelligence of AI. Dit belooft dan gouden bergen: perfecte herkenning van teksten, onvermoeibaar spitten in dossiers en ga zo maar door. De robot die contracten leest en alle fouten spot, hoe mooi is dat. AI of ML heeft zeker nuttige toepassingen, maar laat u niet gek maken: lang niet alle legal tech heeft AI nodig.

De gebieden waar AI of ML toegevoegde waarde heeft, zitten vooral in de big data analyse: er is een hele berg data waar geen mens structuur ik kan zien. Machine Learning algoritmes zijn ontworpen om die structuur te ontdekken, te leren wat de achterliggende patronen zijn. Die patronen helpen herkennen welke vragen bij welke antwoorden horen, welke producten samen gaan of wanneer je een bepaalde input ‘frauduleus’ of ‘verdacht’ of ‘interessant’ noemt. Daar genereert het systeem dan formules bij, die worden losgelaten op nieuwe input om zo zonder menselijke tussenkomst nieuwe output te kunnen leveren.

Een ML systeem is daarmee heel goed in het evalueren van invoer op standaardkwesties: is dit normaal of is dit apart. Dat maakt AI een geschikte kandidaat voor ondersteuning van bedrijfsprocessen. Denk aan het goedkeuren van vakantieaanvragen of reisverzoeken, maar ook projectvoorstellen of offerte-aanvragen door klanten kunnen op deze manier worden ondersteund.

Een risico bij ML is wel dat de afwijkende gevallen onder de radar kunnen verdwijnen. Een bekend voorbeeld is een betalingsfraude-detectiesysteem dat met 98% juistheid betalingen als niet-frauduleus aanmerkt. Dit omdat hij gewoon alle betalingen als niet-frauduleus aanmerkt, want het aantal fraudegevallen was slechts 2%. Dat is natuurlijk niet de bedoeling.

Inzet van AI bij advisering kan op vier niveaus de bedrijfsvoering ondersteunen:

  • Pre-screening
  • Eerste filter
  • Goedkeuren van gewone gevallen
  • Negatieve beslissingen
Het eerste niveau is een AI inzetten als een aparte pre-screening of pre-check: mensen kunnen hun aanvraag of verzoek door een AI laten bekijken, die dan zijn bevindingen geeft. Dit verandert niets aan het eigenlijke traject en is vergelijkbaar met even informeel een medewerker bellen met de vraag of je aanvraag in principe akkoord is. Het zal schelen in de kansloze aanvragen en je kunt mensen tips geven om een aanvraag sterker te maken.

Meer winst krijg je als organisatie door de AI als eerste filter in te zetten. De aanvraag of het verzoek wordt dan eerst door de AI bekeken, en de bevindingen worden dan aan de behandelend medewerker verstrekt. Deze kan dan bijvoorbeeld zien of er afwijkingen op de normaal zijn, of welke onderdelen speciale aandacht nodig hebben. Dat verkleint de doorlooptijd, want een aanvraag waar de AI niets bijzonders aan ziet, kan dan eenvoudiger worden toegewezen. Een risico is natuurlijk dat de AI iets mist en de mens daar niet meer naar kijkt.

Nog sneller gaat het wanneer je die categorie “niets bijzonders” direct goedkeurt. Met zo’n raketloket win je nog meer tijd, omdat er nu in het geheel geen mens meer zit tussen de aanvraag en de positieve beoordeling. Uiteraard zit hier kans op fouten (een vals positief) maar je kunt dan steekproefsgewijs een handmatige controle uitvoeren, of de AI een voorlopige beoordeling laten geven en toezeggen dat een mens binnen zeg 14 dagen nog kan piepen. Dat laatste haalt natuurlijk de snelheid er weer uit, want varen op een voorlopige beslissing zal niet iedereen aandurven.

Spannender wordt het als de AI ook negatieve beslissingen gaat nemen. Want een AI die met enige zekerheid kan zeggen dat iets mag, kan net zo goed zeggen dat het niet mag. En dan krijg je dus een raketloket waar je ook binnen 5 seconden hoort dat het niet mag, wat je wilt. In ieder geval geldt dat dan de AI in staat moet zijn het besluit goed te motiveren, zeker wanneer de aanvrager persoonlijk geraakt wordt. De AVG (GDPR) verbiedt immers om op basis van persoonsgegevens geautomatiseerde besluiten te nemen, zoals het afwijzen van hypotheekaanvragen of het weigeren van aankopen op krediet.

Over die laatste categorie bied ik in februari een elearning AI Compliance aan, waarbij je in de praktijk leert hoe hiermee om te gaan.

In de praktijk denk ik dat AI lange tijd vooral ingezet wordt in het voortraject. Dus als eerste filter of als directe goedkeuring van de gewone gevallen. Zo kunnen de mensen de rare dingen eruit halen en wordt hun werk interessanter: alleen nog de moeilijke gevallen, en niet meer de vele saaie, gewone dingen. Af en toe controleer je wat het filter doorlaat, zodat het beter gaat werken.

De grote paradox voor mij blijft dat je een AI juist zo veel mogelijk moet downplayen om deze geadopteerd te krijgen, terwijl het juist zo’n krachtig systeem lijkt te zijn. De inzet als autonoom systeem ligt dan snel voor de hand, maar je moet juist zo klein mogelijk beginnen. Ik denk dat dat begint bij de naam: zullen we gewoon ‘filter’ gaan zeggen of ‘prescreening’?

Arnoud

3 reacties

  1. Ik vraag me af hoe lang het gaat duren voordat personen met minder goede intenties gaan proberen om een AI die autonoom beslissingen mag nemen om de tuin te leiden. Als je weet welke data tot een “succes” leidt kun je die herhaaldelijk invoeren. (Tenminste tot de volgende trainingssessie van de AI.)

    Vraag twee, in hoeverre leidt de interactie tussen oplichters en een ML-systeem tot een eindeloze cyclus waarin het ML systeem perfect in staat is de “oplichting van vorig jaar” te detecteren, maar de oplichting van vandaag grotendeels mist. Na hertraining verzinnen de oplichters weer een andere truc.

  2. Banken worden steeds meer gezien als een soort van onbezoldigd wetshandhavers, die worden geacht elke poging tot witwassen en het omzeilen van sancties te herkennen. Noodzakelijkerwijze zetten banken daar dus rule-based decision engines voor in: elke andere manier kost te veel mankracht. Het resultaat is wel dat daar een hele berg false positives uit komen, die vaak ook nog eens heel erg gekleurd zijn door vooroordelen (We zien dat mensen die Mohammed heten en geld overmaken naar bepaalde landen in het Midden-Oosten vaker terrorist zijn, dus laten we dat voor de zekerheid maar blokkeren.) En makkelijk te gamen zijn (als ik tardigrade in mijn omschrijving zet, wordt mijn betaling geblokkerd, dan zet ik er toch gewoon “van harte gefeliciteerd met je verjaardag” in.)

    Ik denk dat hier gewoon op het verkeerde niveau geprobeerd wordt een probleem aan te pakken. Banken zouden er van uit moeten mogen gaan dat partijen binnen de EU zich aan de sancties houden (zoniet, dan kunnen die rechtstreeks aangepakt worden) en witwassen kun je ook veel beter zien als je een totaalbeeld hebt van alle transacties van een bepaalde instelling of groep van instellingen — en dat kan alleen de belastingdienst, met voldoende wettelijke bevoegdheden, veel makkelijker voor elkaar krijgen.

    Voor zaken doen met bepaalde landen waar de wetgeving niet op orde is, heb ik liever dat we gewoon de bewijslast omdraaien voordat je zaken mag doen. Toon maar aan dat met dit product dat / deze dienst die je nu wilt importeren geen terrorisme wordt ondersteund, of bevolkingsgroepen, zoals de Oeigoeren of Palestijnen, worden onderdrukt. Screen die hele productieketen maar, maar jij bent verantwoordelijk dat hier geen producten uit slavernij of onredelijke mileubelasting naar binnen komen, en dan kun je die betaling gewoon koppelen aan dat bewijs.

  3. De huidige PCR-test voor coronabesmetting kan gerekend worden tot een algoritme en onder Machine Learning. Er wordt, weliswaar door een moleculaire rekenmachine, berekend wat de kans op een positieve besmetting is en net als bij ML komen er dan zowel fout-positieven uit als fout-negatieven. Het mag opmerkelijk genoemd worden dat we hier geen menselijke tussenkomst hebben, de impact van een fout-positieve test raakt de persoonlijke levenssfeer namelijk enorm. We laten hier medische besluitvorming over aan een test. Je zou tenminste een second opinion verwachting: heeft iemand ook daadwerkelijk ziekteverschijnselen die niet aan een andere infectie te wijten zijn. En een arts zou dit moeten bepalen.

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.