Worden advocaten ooit door robots vervangen?

| AE 10412 | Innovatie | 2 reacties

“Siri, maak een exclusieve licentieovereenkomst in dossier X.” Dat las ik bij IE-Forum als quote uit de speech van professor Bernd Hugenholtz over de opkomst van de robot-advocaat. Hij gelooft er geen bal van; een goede mens-advocaat heeft immers onmiskenbaar kwaliteiten zoals door de juridisch bomen het bos kunnen zien, goed kunnen onderhandelen en zelfs zo nu en dan fungeren als uithuilpaal. Allemaal kwaliteiten die de robo-advocaat ontbeert. Dat klopt helemaal maar het staat natuurlijk volkomen los van wat de robot-advocaat gaat doen en waarom dat het werk van de mens-advocaat (of mens-jurist, zo u wilt) gaat veranderen.

Ik heb het al vaker geschreven: robots gaan niet in de rechtbank staan pleiten, creatieve vernieuwende argumenten inbrengen om zaken te winnen of out-of-the-box oplossingen verzinnen om een geschil vlot te trekken. En al helemaal niet empathisch op de cliënt reageren zodat deze begrip krijgt voor dat nare vonnis of de beslissing niet in hoger beroep te gaan. Dat zijn zulke menselijke eigenschappen dat ze niet te automatiseren zijn.

Robotadvocaten gaan we dus niet krijgen. Maar robots gaan wel degelijk werk wegsnoepen van de mensadvocaten, namelijk het standaardwerk, de simpele checks zoals due diligence, een snelle review van standaarddocumenten of een voorselectie. En dat kan er nog best inhakken want véél van het juridische werk is dat soort standaardwerk. (En dan bedoel ik niet alleen de expertsystemen zoals Hugenholtz schetst, een AI die een voorselectie of due diligence doet is wel iets meer dan “maak even een contractje”.)

Zorgen maak ik me daar niet meteen over, want uiteindelijk is er in de juridische sector werk genoeg en zal de vrijgekomen tijd van dat standaardwerk zonder problemen met nieuwe dingen kunnen worden ingevuld. Die robotadvocaat zou je dus eigenlijk met open armen willen verwelkomen, in plaats van te brommen dat hij nooit een cliënt zal laten uithuilen om een onterecht verloren zaak of te kostbare procedure.

Toch hoor ik deze geluiden vaker, en ik blijf zoeken naar de verklaring. Is het ongeloof dat deze technologie dit kan? Of de afkeer van opgeblazen hype (die trouwens binnenkort instort)? Of gewoon de algemene moeilijkheid om verandering te accepteren?

Over die verandermoeilijkheden las ik recent een zeer interessant artikel bij de 3 Geeks and a Law blog (sowieso een dikke aanrader). Als artsen decennialang weigerden hun handen te wassen nadat onbetwistbaar vaststond dat dat de gezondheid ten goede zou komen, en een dorp steeds maar ziek blijft omdat ze hun water niet willen koken, waarom zouden wij juristen dan ineens wél besluiten iets nieuws te gaan doen enkel omdat er de belofte is dat het beter gaat worden allemaal?

The boiling water anecdote demonstrates those systems at work while also illuminating the curse of knowledge. The curse of ignorance is that we don’t know what we don’t know and therefore labor under delusions of adequacy. The curse of knowledge is that once we know something, it is hard to imagine not knowing it. The resulting mistakes about shared assumptions can be invisible barriers to change. Those unrecognized barriers are why, with boiling water, the change only occurred among a small set of outliers.

Misschien dat daar nog een speciaal stuk attitude van juristen meespeelt: wij hebben meer dan andere beroepsgroepen de overtuiging dat we keihard en foutloos moeten werken aan heel belangrijke zaken. Koppel dat aan een sterk gevoel van autonomie en korte deadlines en je krijgt een bovengemiddeld hoge weerstand tegen verandering. Dat maakt het natuurlijk niet makkelijker.

Arnoud

AI-lawyerbot visualiseert gebruiksvoorwaarden

| AE 10397 | Innovatie | 5 reacties

Onderzoekers van de Zwitserse technische Universiteit EPFL hebben een ai-bot online gezet die gebruiksvoorwaarden leest en omzet in een overzichtelijk stroomdiagram, las ik bij Tweakers. Er is ook een chatbot-interface waarmee je vragen kunt stellen, en de bot zoekt de meest relevante zinen er dan bij. Het nut van het stroomdiagram ontgaat me, maar het idee van eenvoudiger leesbaar en bladerbaar maken van gebruiksvoorwaarden zie ik zeker wel zitten.

Het onderzoeksrapport van de Pribot en Polisis bot geeft aan dat de focus primair ligt op de privacyaspecten van de dienst. Men analyseerde zo’n 130.000 privacyverklaringen en extraheerde daaruit de tekstuele informatie, die vervolgens met een deep learning neuraal netwerk werd geanalyseerd. (Het idee dat er 130.000 privacyverklaringen op internet staan, geeft me soort van koude rillingen.)

De analyse zelf vind ik best slim opgezet. Zo wordt de onderliggende betekenis van termen geanalyseerd, zodat bijvoorbeeld “erase” en “destroy” als eenzelfde concept wordt aangemerkt. Ook werd op woordcombinatieniveau (3-grams tot 6-grams) getraind in plaats van zoals vaak op individuele woorden (bag of words). Het is me niet helemaal duidelijk hoe de training set haar labels kreeg.

De tekst wordt vervolgens op zinsniveau geclassificeerd (precies hoe mijn NDA Lynn werkt) en in een categorie gestopt. De uitkomst is een classificatie op hoog niveau waarbij men precies de tekst kan tonen die gaat over dat onderwerp, zodat je bijvoorbeeld iconen kunt tonen of een visualisatie van welke concepten waar aan de orde komen. De kwaliteit is best goed: 88% van de bevindingen komen overeen met menselijke inschatting.

Technisch is het geen ingewikkelde toepassing, de innovatie zit (zoals vaker bij legal tech) in het inzicht dat het in dit domein wat kan opleveren. Dat komt helaas nog veel te weinig voor. Een mogelijke reden daarvoor is dat je een héle grote berg data nodig hebt om de training goed te doen, en dat is in de juridische sector nog best ingewikkeld. Haal maar eens ergens 130.000 documenten over één onderwerp vandaan.

Een andere mogelijke verklaring is dat je bij een lawyerbot precies kunt zien hoe betrouwbaar ze zijn (in dit geval 88%) en dat er daarmee een heel concreet vraagteken komt te hangen bij of je erop kunt vertrouwen. Zeker omdat áls er fouten zijn, die meestal behoorlijk in het oog springen, zoals omdat de bot een zin compleet niet snapt en een mens meteen ziet wat het wel moest zijn.

Ik blijf ermee zitten hoe dat te overwinnen. Ook mensen zijn niet perfect, ik zou snel tekenen voor een jurist die iedere dag consistent 90% van de tijd foutloze documenten oplevert. Maar je merkt dat een stuk minder, en we kunnen het daarom niet zo goed beoordelen (denk ik).

Of zit er meer achten? Waarom ziet men een snelle inschatting van een ervaren privacyjurist als waardevoller dan een snelle inschatting van een AI bot als deze?

Arnoud

AI net zo goed als willekeurige mensen in het voorspellen van recidive

| AE 10360 | Innovatie | 22 reacties

AI-software blijkt net zo goed als een groep willekeurige mensen in het voorspellen van recidive bij Amerikaanse veroordeelden, las ik bij Ars Technica. Onderzoekers van Dartmouth College vergeleken de uitkomsten van de COMPAS software (die met machine learning technieken recidive probeert te voorspellen) met de inschatting van willekeurige mensen geworven via Amazon’s Mechanical Turk. Beiden bleken ongeveer even accuraat (65 en 62% respectievelijk), opmerkelijk genoeg inclusief de vooringenomenheid die eerder bij de software tot controverse leidde.

De COMPAS software (Correctional Offender Management Profiling for Alternative Sanctions) berekent op basis van een hele berg factoren de kans dat een bepaald persoon in recidive zou vervallen. Deze uitkomst wordt in Californië meegenomen in het besluit welke straf aan een veroordeelde op te leggen. In 2016 bleek uit onderzoek dat de software enige bias oftewel vooringenomenheid vertoonde, namelijk dat gekleurde mensen vaker ten onrechte als recidivist werden gesignaleerd en witte juist vaker ten onrechte als géén recidivist.

Accuratesse in AI en machine learning is een heel lastig onderwerp. Wat betekent het dat je software 94,1% nauwkeurig is (de huidige score van mijn NDA Lynn geheimhoudingscontractenanalyserobot)? Meestal wordt ermee bedoeld dat in 94,1% van de gevallen de uitkomst van de AI gelijk is aan de verwachte of correcte uitkomst. En 5,9% van de gevallen is dus onjuist. Maar dat kan twee kanten op:

  1. Vals positief: een uitkomst wordt als positief (juist) aangemerkt, maar is eigenlijk negatief (onjuist). Bij de COMPAS software dus dat iemand recidivist zou zijn terwijl hij dat niet is.
  2. Vals negatief: een uitkomst wordt als negatief (onjuist) aangemerkt, maar is eigenlijk positief (juist). Bij COMPAS dus dat iemand recidive pleegt terwijl de software voorspelde dat hij dat niet zou doen.

Beide onjuiste uitkomsten zijn onwenselijk, maar om verschillende redenen. Een vals positief zorgt ervoor dat je meer energie in iemand steekt dan nodig is: je gaat iemand langer opsluiten of intensiever begeleiden om recidive te voorkomen terwijl dat helemaal niet speelt. En een vals negatief kost je meer achteraf, je hebt immers een nieuw misdrijf van die recidivist en dat had je nu net willen voorkomen.

Het is niet goed mogelijk beiden tegelijk te minimaliseren. Vaak zie je dat wanneer je de één in aantallen terugdringt, de ander groter wordt. Je kunt bijvoorbeeld eerder concluderen dat mensen recidive zullen plegen, waardoor je de vals negatieven vermindert. Er worden immers minder mensen vrijgelaten die recidivist blijken. Maar je hebt nu wel meer mensen ten onrechte als recidivist aangemerkt. En omgekeerd zou precies hetzelfde gebeuren, als je strenger bent in je beoordeling zul je minder mensen ten onrechte als recidivist aanmerken, maar daardoor ook eerder recidivisten laten gaan.

De kritiek op de COMPAS software richtte zich natuurlijk op de bias die de valse uitkomsten zou baseren op etnische afkomst. De vergelijking met gewone mensen laat nu zien dat dit niet perse de oorzaak is. Deze kregen namelijk de gegevens zónder indicatie van etnische afkomst, en gaven grofweg dezelfde voorspelling over recidive. Inclusief een hogere vals positief bij gekleurde mensen en een hogere vals negatief bij witte mensen. Dat zou dan eerder de conclusie rechtvaardigen dat die software er ook maar een gooi naar doet. Geen bias dus maar ook geen inhoudelijke analyse.

Arnoud

De eerste robotrechter van Nederland blijkt gewoon al actief

| AE 10341 | Innovatie | 12 reacties

‘Robotrechter e-Court is een groot en niet transparant zwart gat’, kopte Nieuwsuur onlangs tendentieus. Stichting e-Court is al jaren actief als alternatieve geschilbeslechter en heeft verzekeraars gevonden als bereidwillige afnemers voor haar digitale arbitragedienst. Snel en gemakkelijk maar controversieel. Opmerkelijk voor mij daarin: de eerste stap is een artificial intelligence die over je zaak oordeelt…. Lees verder

Welke rol gaan smart contracts spelen in het recht?

| AE 10240 | Innovatie | 38 reacties

Automatische afhandeling van verzekerings­claims, aanspraken op zorg die zonder tussenkomst van derden geregeld worden. In 2018 breken dit soort smart contract-toepassingen definitief door, meldde het Advocatenblad vorige week. Smart contracts zijn net als de blockchain en AI deel van de legal tech hype van de laatste tijd. Zelfdenkende software die buiten de greep van één… Lees verder

Nee, kunstmatige intelligentie zal nooit gaan rechtspreken (of pleiten)

| AE 10195 | Innovatie | 21 reacties

Een computer kan rechtspreken, als wij met zijn allen denken en willen dat hij het kan. Dat las ik bij Sargasso in een gastbijdrage van strafrechtadvocaat Vasco Groeneveld. AI komt eraan, ook in de rechtspraktijk. Die lijn doortrekkend betekent dat er over tien, twintig jaar robotrechters aan het werk zijn, niet gehinderd door emotie, hoofdpijn,… Lees verder

Hoe AI een rol kan spelen in juridische besluitvorming

| AE 10025 | Innovatie | 9 reacties

De rol van AI voor juridische toepassingen is snel aan het groeien. Steeds meer diensten onderzoeken de mogelijkheden om kunstmatige intelligentie adviezen te laten geven of zelfs juridische besluiten te nemen. Welke mogelijkheden zijn daar voor organisaties zoals overheden, verzekeraars of keurende instanties om hun organisatie efficiënter te laten werken? En welke juridische risico’s zitten… Lees verder

Het onderbelichte probleem van dataverzameling in de artificial intelligence

| AE 9913 | Innovatie | 14 reacties

Jaja, vrijdag wordt machine learning/AI dag, maar ik vond vrAIdag zo’n rare hashtag. Deze week een netelige en vaak onderbelichte kwestie: hoe kom je aan je data? Veel mensen denken dat het bij AI vooral gaat om het bouwen van het netwerk, maar dat is in feite niet meer dan op de “Generate” knop drukken… Lees verder