Een AI moet beter zijn dan een partner om een stagiair te vervangen #legaltechtuesday

Al een tijdje blog ik over de moeilijkheden die je ondervindt als je probeert legal tech (met name AI) naar binnen te rollen in een organisatie. De cultuur is een groot ding bij organisaties, als men niet wil veranderen of van bovenaf verandering juist afgeschrikt wordt dan gebeurt het natuurlijk niet. Maar specifiek bij AI is er nog een groot probleem, en dat is hoe er tegen de risico’s aangekeken wordt die ontstaan bij de inzet van zo’n tool. Namelijk: die AI moet perfect zijn. En dat is best raar.

AI oftewel artificial intelligence is een beetje een marketingterm, wat heet dat is púúr een marketingterm. De strekking of belofte is dat de computer denkt als een mens, wat dus nooit het geval is. Onderzeeboten kunnen niet zwemmen en een computer kan niet denken. Maar ze kunnen wel heel goed doen alsof. Ik gebruik de term dus toch maar voor alle systemen die die belofte doen. Meestal zullen ze onder de motorkap werken met machine learning of neurale netwerken, maar dat doet er eigenlijk niet toe.

Het probleem met die belofte doen is dat mensen verwachten dat hij wordt waargemaakt. En dat is lastig want een computersysteem kan geen 100% perfectie doen. Mensen ook niet, maar bij mensen weten we vaak ongeveer wat voor sóórt fouten ze gaan maken. Een stagiair (om bij de blogtitel te blijven, wat ik zelden doe) heeft basiskennis maar kan vaak niet de diepte in. Een partner weet ongeveer alles, maar berijdt wel stokpaardjes en kan traag van reactie zijn of dingen wegwuiven als triviaal die dat voor de klant niet zijn. De medewerker daar tussenin heeft het heel druk en kan doorschieten in toepassen wat hij het recentst geleerd heeft. Dat soort dingen.

Een AI maakt ook fouten, maar dan van een heel ander kaliber. Die classificeert een tekst verkeerd en klaagt dan dat de tekst “Partijen komen overeen dat” geen goede garantie over beschikbaarheid is. Of hij komt met hele rare output, omdat er ergens iets misging in de conversie (NDA Lynn kan bijvoorbeeld pdf bestanden niet altijd goed lezen). Dat is niet goed, maar omdat het zulke niet-menselijke fouten zijn terwijl de AI wel menselijk lijkt, komt dat disproportioneel raar over.

In de psychologie doet dit denken aan het fenomeen van de uncanny valley, het griezelgebied tussen robots-die-duidelijk-robots-zijn en robots-die-echt-mensen-simuleren. Onze hersenen kunnen niet goed omgaan met een robot die er heel menselijk uitziet maar zich ineens niet als mens gedraagt, dat is veel erger dan een robot-robot die dezelfde fout maakt.

Ik herinner me van lang geleden een spraakherkenning-interface met een butler. Die werkte best goed maar de fouten werden als zeer storend ervaren. Toen verving men de butler door een puppy en de subjectieve kwaliteitsbeleving schoot omhoog. Waarom? Puppies mogen fouten maken, dat is zelfs schattig. Maar een butler, dat is een domeinexpert dus die mag geen fouten maken.

Een juridische AI wordt denk ik ook op die manier benaderd. Dat is een computer, getraind in dit domein, dús een domeinexpert. Hij moet dus hetzelfde presteren als een senior partner. Fouten, zeker rare fouten ingegeven door Unicode-problemen, zijn dan onvergeeflijk.

En dat is best raar want vervolgens gaat die AI standaardwerk doen zoals NDA’s reviewen, standaardcontracten nalopen of einddatums extraheren uit een serie documenten omdat men een bedrijfsovername-DD wil doen. Dat is typisch werk waar je een stagiair op inzet en geen partner. Terecht, want het is niet heel moeilijk maar wel veel. En het soort fouten dat daarbij te maken is, is redelijk te overzien en moet geen al te grote risico’s opleveren.

Paradoxaal genoeg heeft een AI dienst dus meer kans om geadopteerd te worden in een organisatie wanneer die zich niet als een AI presenteert. Niemand heeft de verwachting dat de grammatica-checker als een mens presteert, of dat Google net zo goed als een bibliothecaris je vraag begrijpt. Dat is gewoon een interface waar een output uit komt, en daarmee kun jij weer verder. Dus misschien moet legal tech AI gewoon terug naar een knopje in good old Microsoft Word?

Arnoud

Legal tech invoeren vereist een cultuurverandering en dus leiderschap #legaltechtuesday

Is nu, tijdens deze crisis, het moment om naar legal tech over te gaan? Dat dacht ik in mijn vorige column. We werken al op een andere manier, dus waarom niet naast thuiswerken ook met nieuwe tools gaan werken? Nou ja, dat was misschien toch wat makkelijk gedacht. Want thuis versus op kantoor werken is één ding, wisselen van tooling is iets héél anders. Dan kom je echt in de sfeer van de cultuur van het bedrijf, en dat is notoir lastig te veranderen.

“Culture eats strategy for breakfast”, aldus een quote van managementconsultant Peter Drucker. Je kunt nog zo’n mooi plan hebben bedacht, maar als de strategie niet past bij de cultuur van het kantoor dan zal deze niet werken. Ja, misschien worden voor de vorm een paar elementjes opgepakt of komt er een implementatieteam dat de boel opzet en iemand voor de interne nieuwsbrief laat poseren bij het dashboard, maar daarna moet het echt vanzelf gaan.

Ergens is dat raar. Je kiest als organisatie voor een bepaalde route, juist omdat je wilt veranderen. En dan lukt dat niet omdat je niet wilt veranderen?

De kern van dit probleem zit hem in het nemen van risico’s, meer specifiek het riskeren van de omzet (of winst) zoals die nu binnenkomt. Want veranderen is leuk, maar als de omzet daardoor in dreigt te storten dan voelt het ineens een stuk minder leuk. Helemaal als je als bedrijf op zich niet slecht functioneert, zoals bij de meeste juridische kantoren het geval is. De meeste advocaten zijn heel goed in hun werk, hebben grosso modo tevreden klanten en kunnen het werk toch aardig aan.

Daar doorheen fietsen met een grote blinkende legal tech applicatie gaat gewoon niet werken. Dat zet alles op zijn kop en introduceert overal grote risico’s. Dan gaan in veel organisaties direct de hakken in het zand. Vaak heel subtiel, er zal zelden een partner opstaan en zeggen “dit gaan we niet doen” maar de tool wordt gewoon niet gebruikt. Of men laat het eerst eens proberen door een pilotgroep, waarna niemand zes maanden later vraagt hoe die het is bevallen.

Maar hoe moet het dan wel?

Verandering hoeft niet strategisch, hoeft niet enorm en hoeft niet ineens. Verandering komt er als de cultuur daar voor open staat. Vaak is dat wel het geval bij kleine dingen. Een net iets handiger tooltje om verwijzingen te checken. Een dienst die niet alleen jurisprudentie opzoekt maar het meteen als referentie in je Word document zet (én controleert of er hoger beroep was tegen de gevonden zaak). Een knop in Word die een conceptbrief afrondt en van handtekening voorziet.

Ook kan legal tech vaak snel een ingang vinden bij grote, nieuwe projecten die men nog niet vaak heeft gedaan. Dan is er nog geen culturele opvatting in de organisatie dat het op een bepaalde manier moet, dus waarom dan niet met die nieuwe tool.

Wie meer wil, moet echt aan de slag met de cultuur op kantoor. Waarom willen mensen geen documenten uit een tool halen, maar blijven ze werken met de eigen sjablonen? Dat kan zijn dat ze de tool niet vertrouwen, of omdat ze de leercurve te pittig vinden. Of – heel stom maar het komt regelmatig voor – omdat ze niet (meer) kunnen inloggen en daarna merkten dat niemand ze daarop aansprak.

En dat aanspreken, dat is uiteindelijk ook een cultuur-ding. Want als je als leiding van zo’n organisatie wil veranderen, dan moet je een cultuur van leiden hebben. Van mensen meenemen en motiveren. En als het niet anders kan, verplichten. Maar dan moet je dus zelf ook volledig achter de keuze staan en voor lief nemen dat er dan dingen (tijdelijk) minder lopen.

Een belangrijke factor daarbij is ook hoe je mensen afrekent. Als je bijvoorbeeld stuurt op omzet per maand, dan zal niemand een nieuwe tool gaan gebruiken ook al zegt het projectteam dat je er veel efficiënter mee werkt. De maanden waarin je je inwerkt, zullen minder productief zijn – daar gaat dus je omzetdoelstelling, en je bonus. Als leider moet je dat compenseren. En wanneer je zegt dat documenten uit de generator moeten komen, maar vervolgens de sectiehoofden met de hand deze gaan corrigeren, dan zullen mensen ook niet graag die generator gebruiken want dat levert extra werk op.

Om dit voor elkaar te krijgen, heb je leiderschap nodig. Iemand die durft te zeggen, dit gaan we doen en niet anders. En die daar ook achter gaat staan als het even tegenvalt, of als de collega’s klagen dat het oude systeem toch zo comfortabel was. En dat valt niet mee, zo heb ik helaas nu al een aantal keer moeten merken. Dáár zit dus de grote uitdaging voor legal tech.

Arnoud

Oh, had ik maar een enorme dataset met contracten #legaltechtuesday

Deze foto deed me denken aan een archief van een juridische afdeling waar ik eens kwam. Een kelder vól met contracten, en nog net ergens een lijst met welk contract waar lag (althans: zou moeten liggen). Gelukkig werd dat een paar jaar later vervangen door een CMS met ingescande PDFs. Maar nog steeds: vind maar eens het juiste contract, of zelfs die ene mooie clausule die perfect zou zijn in dit nieuwe contract.

Sindsdien bleef het me bezighouden, hoe je effectief met contracten omgaat. Het kan toch niet zo zijn dat je het elke keer helemaal opnieuw moet typen? Mede uit die frustratie kwamen mijn documentgeneratoren er, en dat werd het succesvolle dochterbedrijf JuriBlox.nl waar je nu niet alleen contracten maakt, maar ook beheert en zelfs realtime en op afstand onderhandelt.

Maar ik wil nóg een stap verder gaan. Computers kunnen contracten lezen. En ook adviseren en zelfs redigeren. Daarom bouwde ik NDA Lynn, die nu geheimhoudingscontracten kan lezen en binnenkort ook amenderen (zowel margin notes als echte redlines). Leuk spul, en in principe ook breder bruikbaar voor alle soorten contracten.

Alleen heb ik dan een levensgroot probleem. Het maken van de software om automatisch contracten te lezen en analyseren is niet het probleem. It’s the data, stupid: er moet een hele berg contracten in zo’n systeem voordat je er echt mee kunt werken. En dan ook nog eens goede; zomaar wat modelletjes van internet trekken levert niet de kwaliteit die je nodig hebt. (Dit is voor elk onderzoeksdomein waar, volgens mij.)

Helaas zijn er geen echt uitgebreide en goede open bronnen. Ik ken bijvoorbeeld Contract Standards, DocTailors en Tech Contracts, maar dat zijn slechts een handvol clausules per type. Oh en ze zijn erg Amerikaans natuurlijk.

Er zijn natuurlijk heel veel adviesbureaus en advocatenkantoren die bergen contracten hebben, maar die kunnen dat niet zomaar delen vanwege vertrouwelijkheid natuurlijk. Bovendien is ook één kantoor niet genoeg, je wilt een brede spreiding om de kwaliteit gelijkmatig en goed te krijgen. Maar hoe creëer je een markt voor zulke documenten?

Arnoud

Hoe zouden robots contracten kunnen onderhandelen? #legaltechtuesday

Goed, robots kunnen dus contracten lezen. Kort gezegd: ze herkennen tekstpatronen, al dan niet grammaticale constructies en vergelijken dat met kennis en/of regels om te bepalen of die patronen acceptabel zijn. Zo niet, dan kan het systeem dat aangeven en kan een menselijke jurist een alternatief voorstellen. Zo doen beide partijen waar ze goed in zijn: de robot het saaie werk (bevat dit patroon iets geks) en de mens het creatieve (hoe maak ik hier iets wederzijds acceptabels van). Nog een stapje verder lijkt lastig voorstelbaar – als een robot eigenlijk de grammatica al maar nauwelijks snapt, hoe kan zhij dan de strekking begrijpen én daar een alternatief van maken?

Ik blijf het zeggen: je moet wat computers doen niet beschouwen als een vorm van denken, want computers denken niet. Net zo min als onderzeeboten zwemmen (Dijkstra). Waar het om gaat is het resultaat, dat computers een andere route kiezen is een gegeven. Wil je dus iets met AI dan zul je moeten bedenken welke resultaten je wil, en dan beredeneren hoe een computer die zou kunnen bereiken.

Het programmatisch genereren van teksten is iets dat sterk in de belangstelling staat. De bekendste tool op dit gebied is GPT-2: een neuraal netwerk dat teksten kan genereren, zó goed dat maar weinig mensen het verschil zien. Dit netwerk is gebouwd op een heleboel bestaande teksten, zodat het systeem weet welke passages typisch kunnen volgen op eerdere zinnen.

Het systeem is generiek, maar er is geen reden waarom je dat niet op contracten los zou kunnen laten. Zo zou je dus snel een heleboel contracten kunnen schrijven. Alleen, wat je in de praktijk vaak wil is vooral een aanpassing op een contract en niet perse een geheel nieuwe tekst. Dat vereist meer inhoudelijke kennis van zaken, maar is iets waar natural language processing (NLP) een rol bij kan spelen.

Je zou bijvoorbeeld beide tekstvoorstellen van de twee partijen kunnen vergelijken op zoek naar verschillende constructies. Als de een ‘harde’ termen (guarantees, shall deliver) gebruikt en de ander ‘softe’ (shall use best efforts) dan kun je in die categorie bewoordingen op zoek naar een woord dat tussen die twee uitersten in zit. Je zou daarvoor zelfs in je databank met eerder goedgekeurde contracten kunnen kijken: welke clausule lijkt veel op wat deze wederpartij wil en kon wél door de beugel. Daarvoor hoef je nog steeds niet inhoudelijk de tekst te snappen zoals een mens dat zou doen, maar heb je toch een uitkomst die een mens ook zou voorstellen.

Vaak zul je zien dat zo’n database vaak de eigen modelclausules bevat. Dan krijg je een ontwikkeling dat het systeem een tegenvoorstel vooral evalueert tegen die modelclausules, en dat wordt dan uiteindelijk een gevecht om welk model het beste past bij wat de wederpartij voorstelt. En dan kom je dus weer bij die korte contracten: de onderhandeling is dan niet meer of er “shall guarantee” of een andere juridische zin zal komen te staan, maar of we Inkoop.Leverdatum.Hard hebben dan wel .Soft. Robots standaardiseren juridisch jargon, hoe mooi zou dat zijn?

Arnoud