Goh, lawyerbots zijn beter dan juristen in het lezen van saaie juridische documenten

| AE 10505 | Internetrecht | 6 reacties

Alweer ietsje langer geleden maar toch: in een ‘wedstrijd’ tussen een lawyerbot van het Israëlische LawGeex en twintig Amerikaanse advocaten bleek de eerste een stuk beter in staat om juridische fouten in NDA’s en andere documenten te vinden. Om precies te zijn: de AI was 94% accuraat waar de mensen rond de 85% scoorden. Dit is natuurlijk nieuws omdat het de eerste wedstrijd in deze soort is, maar verbaast het echt dat een computer beter dingen kan vinden in een document dan mensen?

Je kunt natuurlijk aan alle kanten vraagtekens zetten bij het onderzoek (je bent professional issue spotter of je bent het niet). Hoe definieer je accuratesse, bijvoorbeeld? Is er werkelijk een objectieve gouden standaard van ‘fouten’ in een contract, of is dat wezenlijk een subjectieve inschatting waar twee juristen legitiem andere opvattingen over kunnen hebben bij dezelfde casus? Als ik iets laat staan omdat ik weet dat het praktisch gezien nooit speelt, en de AI het als fout signaleert omdat het volgens een rechtenprof in strijd is met de wet, wie heeft er dan gelijk?

Belangrijker voor mij (en de reden dat ik het eigenlijk negeerde, maar ik kreeg diverse mails erover) is echter dat dit onderzoek niets aantoont dat we niet al wisten. Een computer is haast per definitie altijd beter in het herkennen van patronen dan mensen, zeker als het steeds dezelfde soort patronen zijn over de lange termijn. Dat is bij het herkennen van vuurwapens in bagage niet anders dan het herkennen van rare clausules in juridische documenten.

Toegegeven, het bóuwen van zulke herkensoftware is niet eenvoudig. Hoe herken je effectief een juridische clausule in al zijn variaties, inclusief raar taalgebruik en fouten die al dan niet opzettelijk zijn gemaakt? Maar als het eenmaal staat, dan is het volgens mij volstrekt evident dat die het gaat winnen van iedere mens die in dat domein gaat opereren. Geen douanebeambte die een jaar lang ieder verboden artikel in bagage herkent, maar een computer gaat met dezelfde kwaliteit door totdat de stroom eraf gaat.

Dat is geen nieuws maar ook totaal niet erg – dit noemen we automatiseren van standaardwerk en het is precies waar AI binnen de legal tech voor bedoeld is. Het kan niet waar zijn dat we mensen werk willen laten doen dat net zo goed door robots gedaan kan worden. Binnen de juridische sector gebeurt dat echter veel en vaak, en hoe meer ik er over nadenk hoe raarder ik het vind. Er van dromen een vlammend pleidooi in de rechtbank te geven of keihard te onderhandelen en die droomdeal te sluiten, dat zie ik wel. Maar welke rechtenstudent droomt ervan contracten na te lopen op al dan niet onjuist gebruik van “represents and warrants” of het corrigeren van “grove nalatigheid” in “bewuste roekeloosheid?

Ik hoop dus dat berichten zoals deze vaker voorkomen, ook al bevatten ze niets nieuws. Hopelijk dringt hierdoor de boodschap door dat AI écht wat kan toevoegen in de juridische sector.

Arnoud

Wie gaat er nou zijn NDA’s in de blockchain stoppen?

| AE 10422 | Innovatie | 7 reacties

Powered by AI and blockchain, het nieuwe boek van Willem Vermeend en Rian van Rijbroek? Nee, de tagline van het World NDA project van het Global Legal Blockchain Consortium, blockchainprovider Integra en AI-leverancier IBM. Het project heeft als doel “the reduction of burden, cost, and risk associated with the current NDA lifecycle”, wat kennelijk betekent dat je je geheimhoudingscontracten makkelijker beheert en overziet als je ze in de blockchain hangt. Voor mij is het duidelijk, de blockchain is nu écht een hype geworden.

Ik blijf het moeilijk door marketingreutel heen te komen, maar als ik het goed begrijp dan is het idee dat je metadata van je geheimhoudingscontracten (NDA’s) in de blockchain stopt, bijvoorbeeld de namen van partijen en de datum van tekenen. Dan kan daar achteraf geen discussie over zijn. Tevens stop je de NDA zelf in de AI van IBM, waarna die kan adviseren over hoe handig het was om die te tekenen. (“Welcome IBM, seriously” zegt NDA Lynn.)

Het kennelijke idee is dat je daar makkelijk informatie in terug kunt vinden en dat er geen discussie kan zijn over de vastgelegde zaken. Wat ik dus niet snap, is waarom dat een probleem is – ik ken weinig tot geen zaken waarbij de discussie was “hadden wij nou een NDA of niet” dan wel “stond mijn naam daar onder”. Het gaat eigenlijk altijd over de inhoud en scope – valt wat hier is gebeurd onder de NDA, en in hoeverre ben ik daar voor aansprakelijk.

En ja, het klopt dat vrijwel ieder bedrijf er een zootje van maakt in hoe ze met NDA’s omgaan. Veel meer dan andere contracten; waar een beetje service agreement nog wel netjes een approvaltraject doorgaat en wordt geadministreerd inclusief alert op het verlengmoment, heb je mazzel als iemand de getekende NDA nog terug kan vinden in zijn Sent Mail van drie jaar geleden. Het is immers een fire-and-forget documentje, je moet het tekenen en daarna kun je praten. Ik heb alleen serieuze twijfels bij het idee dat je het oplost door een nieuw administratief systeem. Als men het niet in het oude officiële systeem stopt, waarom dan wel in de AI Blockchain?

Het ligt vast aan mij maar ik begrijp niet hoe dit een oplossing is.

Arnoud

AI-lawyerbot visualiseert gebruiksvoorwaarden

| AE 10397 | Innovatie | 5 reacties

Onderzoekers van de Zwitserse technische Universiteit EPFL hebben een ai-bot online gezet die gebruiksvoorwaarden leest en omzet in een overzichtelijk stroomdiagram, las ik bij Tweakers. Er is ook een chatbot-interface waarmee je vragen kunt stellen, en de bot zoekt de meest relevante zinen er dan bij. Het nut van het stroomdiagram ontgaat me, maar het idee van eenvoudiger leesbaar en bladerbaar maken van gebruiksvoorwaarden zie ik zeker wel zitten.

Het onderzoeksrapport van de Pribot en Polisis bot geeft aan dat de focus primair ligt op de privacyaspecten van de dienst. Men analyseerde zo’n 130.000 privacyverklaringen en extraheerde daaruit de tekstuele informatie, die vervolgens met een deep learning neuraal netwerk werd geanalyseerd. (Het idee dat er 130.000 privacyverklaringen op internet staan, geeft me soort van koude rillingen.)

De analyse zelf vind ik best slim opgezet. Zo wordt de onderliggende betekenis van termen geanalyseerd, zodat bijvoorbeeld “erase” en “destroy” als eenzelfde concept wordt aangemerkt. Ook werd op woordcombinatieniveau (3-grams tot 6-grams) getraind in plaats van zoals vaak op individuele woorden (bag of words). Het is me niet helemaal duidelijk hoe de training set haar labels kreeg.

De tekst wordt vervolgens op zinsniveau geclassificeerd (precies hoe mijn NDA Lynn werkt) en in een categorie gestopt. De uitkomst is een classificatie op hoog niveau waarbij men precies de tekst kan tonen die gaat over dat onderwerp, zodat je bijvoorbeeld iconen kunt tonen of een visualisatie van welke concepten waar aan de orde komen. De kwaliteit is best goed: 88% van de bevindingen komen overeen met menselijke inschatting.

Technisch is het geen ingewikkelde toepassing, de innovatie zit (zoals vaker bij legal tech) in het inzicht dat het in dit domein wat kan opleveren. Dat komt helaas nog veel te weinig voor. Een mogelijke reden daarvoor is dat je een héle grote berg data nodig hebt om de training goed te doen, en dat is in de juridische sector nog best ingewikkeld. Haal maar eens ergens 130.000 documenten over één onderwerp vandaan.

Een andere mogelijke verklaring is dat je bij een lawyerbot precies kunt zien hoe betrouwbaar ze zijn (in dit geval 88%) en dat er daarmee een heel concreet vraagteken komt te hangen bij of je erop kunt vertrouwen. Zeker omdat áls er fouten zijn, die meestal behoorlijk in het oog springen, zoals omdat de bot een zin compleet niet snapt en een mens meteen ziet wat het wel moest zijn.

Ik blijf ermee zitten hoe dat te overwinnen. Ook mensen zijn niet perfect, ik zou snel tekenen voor een jurist die iedere dag consistent 90% van de tijd foutloze documenten oplevert. Maar je merkt dat een stuk minder, en we kunnen het daarom niet zo goed beoordelen (denk ik).

Of zit er meer achten? Waarom ziet men een snelle inschatting van een ervaren privacyjurist als waardevoller dan een snelle inschatting van een AI bot als deze?

Arnoud

Hoe AI een rol kan spelen in juridische besluitvorming

| AE 10025 | Innovatie | 9 reacties

De rol van AI voor juridische toepassingen is snel aan het groeien. Steeds meer diensten onderzoeken de mogelijkheden om kunstmatige intelligentie adviezen te laten geven of zelfs juridische besluiten te nemen. Welke mogelijkheden zijn daar voor organisaties zoals overheden, verzekeraars of keurende instanties om hun organisatie efficiënter te laten werken? En welke juridische risico’s zitten… Lees verder

Het onderbelichte probleem van dataverzameling in de artificial intelligence

| AE 9913 | Innovatie | 14 reacties

Jaja, vrijdag wordt machine learning/AI dag, maar ik vond vrAIdag zo’n rare hashtag. Deze week een netelige en vaak onderbelichte kwestie: hoe kom je aan je data? Veel mensen denken dat het bij AI vooral gaat om het bouwen van het netwerk, maar dat is in feite niet meer dan op de “Generate” knop drukken… Lees verder

Wanneer heeft een kunstmatige intelligentie auteursrecht op een filmscript?

| AE 9402 | Auteursrecht | 16 reacties

Een kunstmatige intelligentie (AI) schrijft alle tekst voor David Hasselhoff in een nieuwe korte scifi-film, las ik bij Tweakers. De AI heeft een grote databank met filmteksten, en componeert daarmee nieuwe combinaties (via een LSTM) die acteur David Hasselhoff dan uitspreekt. Wat de vraag oproept, van wie zijn die teksten eigenlijk? Hoofdregel uit de auteurswet… Lees verder

Kunstmatige intelligentie kan uitspraken Europees Hof Mensenrechten voorspellen

| AE 9033 | Innovatie | 15 reacties

Nou nou, poe poe. Een AI systeem ontwikkeld aan de University College London, the University of Sheffield, and the University of Pennsylvania kan uitspraken van het hoogste Europese mensenrechtenhof voorspellen, las ik bij Ars Technica. Men had het systeem 584 uitspraken gevoerd en op basis daarvan wist het in 79% van de gevallen correct de… Lees verder

Mag je een kunstmatige intelligentie klonen via zijn API?

| AE 8991 | Innovatie | 20 reacties

Het stelen van een AI is eenvoudiger dan je denkt, las ik bij Wired. Hoewel de algoritmes voor zelfdenkende en -lerende systemen uiteraard als supergeheim en bizar waardevol gezien worden, blijkt het mogelijk de werking vrijwel exact te repliceren. Mag dat? De basis van vrijwel alle zelflerende systemen is in principe hetzelfde. Je voert het… Lees verder

Moeten we de aansprakelijkheid van autonome auto’s aan advocaten overlaten?

| AE 8740 | Aansprakelijkheid, Innovatie | 38 reacties

Bergen rechtszaken zijn de belangrijkste hobbels (haha) waar de zelfrijdende auto overheen zal moeten zien te komen, las ik in Slate. Zolang de aansprakelijkheid van eigenaar, passagiers en fabrikant niet duidelijk zijn, zal de adoptie van deze voertuigen onnodig langzaam blijven lopen. Hoe lossen we dat op bij zoiets snel evoluerends als autonome auto’s? Simpel,… Lees verder