Een AI moet beter zijn dan een partner om een stagiair te vervangen #legaltechtuesday

Al een tijdje blog ik over de moeilijkheden die je ondervindt als je probeert legal tech (met name AI) naar binnen te rollen in een organisatie. De cultuur is een groot ding bij organisaties, als men niet wil veranderen of van bovenaf verandering juist afgeschrikt wordt dan gebeurt het natuurlijk niet. Maar specifiek bij AI is er nog een groot probleem, en dat is hoe er tegen de risico’s aangekeken wordt die ontstaan bij de inzet van zo’n tool. Namelijk: die AI moet perfect zijn. En dat is best raar.

AI oftewel artificial intelligence is een beetje een marketingterm, wat heet dat is púúr een marketingterm. De strekking of belofte is dat de computer denkt als een mens, wat dus nooit het geval is. Onderzeeboten kunnen niet zwemmen en een computer kan niet denken. Maar ze kunnen wel heel goed doen alsof. Ik gebruik de term dus toch maar voor alle systemen die die belofte doen. Meestal zullen ze onder de motorkap werken met machine learning of neurale netwerken, maar dat doet er eigenlijk niet toe.

Het probleem met die belofte doen is dat mensen verwachten dat hij wordt waargemaakt. En dat is lastig want een computersysteem kan geen 100% perfectie doen. Mensen ook niet, maar bij mensen weten we vaak ongeveer wat voor sóórt fouten ze gaan maken. Een stagiair (om bij de blogtitel te blijven, wat ik zelden doe) heeft basiskennis maar kan vaak niet de diepte in. Een partner weet ongeveer alles, maar berijdt wel stokpaardjes en kan traag van reactie zijn of dingen wegwuiven als triviaal die dat voor de klant niet zijn. De medewerker daar tussenin heeft het heel druk en kan doorschieten in toepassen wat hij het recentst geleerd heeft. Dat soort dingen.

Een AI maakt ook fouten, maar dan van een heel ander kaliber. Die classificeert een tekst verkeerd en klaagt dan dat de tekst “Partijen komen overeen dat” geen goede garantie over beschikbaarheid is. Of hij komt met hele rare output, omdat er ergens iets misging in de conversie (NDA Lynn kan bijvoorbeeld pdf bestanden niet altijd goed lezen). Dat is niet goed, maar omdat het zulke niet-menselijke fouten zijn terwijl de AI wel menselijk lijkt, komt dat disproportioneel raar over.

In de psychologie doet dit denken aan het fenomeen van de uncanny valley, het griezelgebied tussen robots-die-duidelijk-robots-zijn en robots-die-echt-mensen-simuleren. Onze hersenen kunnen niet goed omgaan met een robot die er heel menselijk uitziet maar zich ineens niet als mens gedraagt, dat is veel erger dan een robot-robot die dezelfde fout maakt.

Ik herinner me van lang geleden een spraakherkenning-interface met een butler. Die werkte best goed maar de fouten werden als zeer storend ervaren. Toen verving men de butler door een puppy en de subjectieve kwaliteitsbeleving schoot omhoog. Waarom? Puppies mogen fouten maken, dat is zelfs schattig. Maar een butler, dat is een domeinexpert dus die mag geen fouten maken.

Een juridische AI wordt denk ik ook op die manier benaderd. Dat is een computer, getraind in dit domein, dús een domeinexpert. Hij moet dus hetzelfde presteren als een senior partner. Fouten, zeker rare fouten ingegeven door Unicode-problemen, zijn dan onvergeeflijk.

En dat is best raar want vervolgens gaat die AI standaardwerk doen zoals NDA’s reviewen, standaardcontracten nalopen of einddatums extraheren uit een serie documenten omdat men een bedrijfsovername-DD wil doen. Dat is typisch werk waar je een stagiair op inzet en geen partner. Terecht, want het is niet heel moeilijk maar wel veel. En het soort fouten dat daarbij te maken is, is redelijk te overzien en moet geen al te grote risico’s opleveren.

Paradoxaal genoeg heeft een AI dienst dus meer kans om geadopteerd te worden in een organisatie wanneer die zich niet als een AI presenteert. Niemand heeft de verwachting dat de grammatica-checker als een mens presteert, of dat Google net zo goed als een bibliothecaris je vraag begrijpt. Dat is gewoon een interface waar een output uit komt, en daarmee kun jij weer verder. Dus misschien moet legal tech AI gewoon terug naar een knopje in good old Microsoft Word?

Arnoud

10 reacties

  1. Zolang er geen AI zijn die volgens het denkproces van mensen kunnen functioneren is hun uitkomst niet controleerbaar of uitlegbaar en is een AI alleen bruikbaar als de foutmarge tegen de nul aan zit. Anders zit je aan een tijdrovend controleproces vast.

    Of hij komt met hele rare output, omdat er ergens iets misging in de conversie (NDA Lynn kan bijvoorbeeld pdf bestanden niet altijd goed lezen).
    Dit lijkt me een typisch voorbeeld waarin een AI de gelaagdheid van het menselijk denken mist. Lynn gaat blijkbaar stug door op de input die het krijgt, terwijl een mens een extra controlelaag toepast en stopt of waarschuwt als de input niet in orde lijkt (vreemde tekens, of zinnen die grammaticaal niet in orde lijken te zijn).

    1. Dat is natuurlijk omdat ik het niet heb ingebouwd. Of nou ja, had. Tegenwoordig komt er een foutmelding als er minder dan 100 woorden (oid) uit de brontekst zijn gehaald, of als 80% of meer van de te verwachten clausules ontbreekt. Dat is weinig intelligent (hoezo 80% en niet 70) maar in de praktijk werkt het. Want of het is een NDA en dat is een lap tekst, of het is een gescande PDF en dan komt er niets.

  2. Ik denk dat het probleem inderdaad niet zit in het aantal fouten dat AI maakt, maar in de (on)mogelijkheid om fouten te detecteren en te corrigeren. Bij mensen is wel bekend wat voor fouten die maken en is vaak ook snel te achterhalen waar het nou mis ging. Bij AI zijn de fouten niet altijd direct te zien, en is ook niet makkelijk te achterhalen wat de achterliggende oorzaak is. Daardoor blijven fouten sneller ongecorrigeerd, en hebben ze grotere impact. De zin “die AI moet perfect zijn” is dus volgens mij onjuist. Het voorbeeld dat AI “rare” fouten kan maken is veel relevanter. Of dat nou komt door onbekendheid (Veel AI werkt als een “black box”) of door het genoemde uncanny valley effect weet ik niet. Ik denk zelf eerder aan het eerste.

    1. Ik ben vooral verrast dat zo veel mensen ‘m herkennen. Het idee was grofweg dat synthesizer versus orkest hetzelfde is als AI versus mens. Speelt een synthesizer gitaar? En de Fairlight staat bekend als een hele goeie (voor z’n tijd), wat dus klopt bij het “je moet beter zijn dan de entiteit die je vervangt”.

  3. Menselijke intelligentie maakt gebruik van alle ervaringen in hun leven en AI is in vergelijking daarmee extreem beperkt. Alleen daarom al kan je niet echt meer van intelligentie spreken. AI loopt vast op zaken die net even anders zijn. Dat maakt het ontbtrouwbaar en vaak waardeloos. Je kan er niet op bouwen… Ik denk dat als je advocaten laat kiezen tussen pen en papier en een printer die af en toe een paar woorden van een documenten verkeerd uitprint of overslaat, veel voor pen en papier zullen kiezen.

  4. Er is staat hier veel over dat AI niet intelligent is. Wat is dan Intelligent? Kan men een geheel programma machine , die mensen verslaan bij bijv. schaken of nog ingewikkeldere zaken zien als intelligent? Nu is het nog best vaak zo dat een mens de AI parameters meegeeft en voed. Op enig moment kan een AI geheel zichzelf voeden en de nodige informatie zelf vinden. Intelligentie ( heel simpel gezien) is naar mijn mening een verzameling van informatie en deze juist kunnen duiden om waar en hoe dat nodig is om vraagstukken op te kunnen lossen en zelfs waar nodig is dan de juiste acties te ondernemen enz.. ( Natuurlijk gaat AI dat allemaal kunnen hoor, beetje geduld nog) Zolang wij als mens de vraagstukken bepalen of voorgeven hebben we nog enig invloed, maar AI gaat zeer hard exponentieel vooruit. Niet voor niets heeft IBM hun opensource tools vrij ter beschikking gesteld om AI te kunnen blijven begrijpen en enigzins onder controle te kunnen houden. De toekomst met wet regelgeving en ethiek gaat erom wat voor in en outputs gaan we al dan niet accepteren met zijn allen. En daarbij vind ik het meest belangrijk de “UITKNOP” die er ten alle tijde voor wie of wat handhaving mag of moet doen bereikbaar en werkend dient te zijn. ( zoals men weet bij programma’s en delen die verspreid over meerdere “locaties” is eenvoudig de stekker eruit halen dan niet meer werkzaam). ER BLIJVEN PARTIJEN en NATIES die dat ontoegankelijk maken en dus een gevaar gaan vormen let maar op!

  5. Oja ter info echt grote firma’s accountants enz zetten AI in voor heel veel bij sollicitanten en is daar “succesvol” naja de discussie welke parameters waar wat doen ga ik maar niet op in hier.

    Dan zijn er allerlei AI die beoordelen of iemand voldoende functioneert, gewoon meer meten is weten en ja dat is dan mede bepalend of iemand meer loon of minder of promotie ontslag enz. Kijk maar naar diverse koerier achtige zaken, steeds meer en beter moeten presteren en verbeteren dus, ja ook de afhandelingen door medewerkers in Amazon magazijnen enz, men wil gewoon alleen super orderpickers deze nog sneller en meer enz .en de rest ach. Veel vooral grote partijen gebruiken e.a. er was een docu op Duitse TV waar ondernemingsraad AI programma inzet toestemde op voorwaarde dat deze niet gebruikt mocht worden voor beoordelen. ( Dranken fabrikant of handel watertje)

    Wat heeft dat te maken met hier AI juridisch , simpel men kan ook de AI juridisch gebruiken / misbruiken om te vergelijken en fouten trachten te vinden, dat kan men dan doortrekken naar beoordelen enz.

  6. Oja de hoofdreden waarom spraak herkenning software zoveel fouten maakt. Glad ijs hier maar de totale basis en voeding / input is bijna alleen gedaan door jongere blanke mannen die engels spreken. ( dus vrouwen , andere talen / dialect en andere kleuren hebben daar een veel hoger foutpercentage en heeft men dus vanaf begin design en input niet genoeg rekening mee gehouden, en zal men nog best een tijd een probleem mee houden ook want net zoals een klein kind die iets verkeerd aangeleerd heeft het daar meer tijd kost weer recht te trekken achteraf is ook hier het geval) Dus ja hoe goed AI kan of gaat werken hangt in basis ook van heel simpele zaken af , bij het ontwikkelen en input dient men net als op de werkvloer en leiding enz. gewenst een goede mix te hebben haha.

    Wat ik hierboven geschreven heb is gewoon uit onderzoek gebleken en een feit!

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.