De lawyerbot van de toekomst wijzigt gewoon zelf je documenten even #ndalynnweek

| AE 12114 | Internetrecht | 2 reacties

Artificial Intelligence is wat een computer bijna kan, las ik ooit als definitie van die term. Want op het moment dat de computer het kan, is het gewoon een ding dat een computer kan. Er is maar een korte periode waarin een computer iets kan laten zien dat we nog echt nieuw vinden. Ik heb het gevoel dat we daar nu zitten met documentanalysetools zoals NDA Lynn: de tools bestaan, en ze kunnen dingen, maar we vinden het nog wel een beetje eng. Ik ben benieuwd of Edit Mode mensen over de streep trekt. Helemaal omdat het stiekem eigenlijk niet zo ingewikkeld is.

Ik heb gemerkt dat mensen enthousiast worden over nieuwe features of werkwijzen als je ze een catchy naam geeft, vandaar dat ik dit aspect Edit Mode heb genoemd (enige associatie met vim(1) is geheel toeval). Maar het is wel een forse andere manier van werken. In plaats van een rapport met bevindingen krijg je nu in je document bevindingen terug. In de vorm van commentaar in de marge, en in de vorm van een aangepaste clausule.

Dit heeft nogal wat voeten in de aarde, maar vooral in wat er allemaal omheen moet gebeuren. Ik rijd voor mijn werk dagelijks langs een grote bouwplaats. Daar gebeurt altijd weken niets, en dan zit er ineens een verdieping bovenop het gebouw. En laatst was ik er een week niet en toen bleken die betonnen platen te zijn bekleed, gestoffeerd en behangen. Morgen eerste bewoners. Nou, al dat werk aan die betonplaten en fundering dat is nu dus ongeveer gedaan.

In de oude versie werd alle tekst gewoon geëxtraheerd uit het brondocument. Daar zijn libraries te over voor. Die tekst werd dan geclassificeerd (“dit is security, dit gaat over overmacht, dit is een partijdefinitie”, etcetera etcetera) en daarna van een smaakje (streng, eenzijdig, breed, etc) voorzien. Dan nog even opzoeken wat dat betekent (“oké, eenzijdige partijdefinitie willen we niet”) en de uitvoer op je scherm. Duidelijk. Maar nu willen we dus terug het document in, en bij de zin over security een commentaartje hangen “Deze is te streng, dit willen we niet”). En dat was er dus niet, informatie om mee terug het document in te gaan.

Nu dus wel. We nemen dus het commentaar op de clausule en stoppen dat in een comment die in de marge verschijnt:

Ziet er gaaf uit, nietwaar? En ergens ook wel, eh, AI achtig, dat een robot gewoon doet wat een mens voorheen deed met zo’n tekst. De huidige teksten zijn nog geschreven als beschouwende analyse, maar je kunt ze ook net wat pittiger schrijven als pushback naar de opsteller van het document. En dan kun je daar nog een beetje GPT-3-achtige tekstvariaties bij laten maken en dan krijg je duidelijk een robot aan het woord.

Er zit nog een lastig aspect aan. We extraheerden dus die individuele zinnen, om daarmee vervolgens clausules te maken en die van commentaar te voorzien. Maar dan moet je dus terug in het document en dan kun je alleen de commentaren aan de individuele zinnen hangen. Dat gaat dan mis als twee zinnen uit dezelfde categorie na elkaar volgen. Dan krijg je twee keer hetzelfde commentaar achter elkaar. En “op elkaar volgen” is niet zo eenvoudig te herkennen. Word stopt er soms een héle trits codes tussen, waardoor het voor software lijkt of de twee zinnen drie kilometer uit elkaar staan.

De volgende stap: het document wijzigen. Oftewel, je hebt gezien dat een clausule onacceptabel is en je wilt er wat acceptabels van maken. Hoe pak je dat aan?

Als mens ga je dan op basis van ervaring zelf wat aanpassen. Hier een stukje redelijkheid, daar een “voor zover haalbaar zonder kosten” en zo nog wat braaftaal om al te strenge clausules rustig te krijgen. Of juist omgekeerd, je schrapt “inspanning” en je maakt er “garandeert” van, je voegt wat specifieke eisen toe en maakt het zo het gewenste niveau van strengheid. Automatiseer dat maar eens.

Die bedrijfsjuristen van gisteren hadden een nog iets ander idee: laat ons zelf clausules erin zetten, en schrap dan de onacceptabele clausule zodat ‘onze’ clausule erin geplakt gaat worden. Dát gaat hem niet worden. Dan moet je gewoon je eigen NDA opsturen als tegenvoorstel. Maar onderhandelingstechnisch staat het héél raar als je zegt “deze tekst kan niet, ik heb alles geschrapt en mijn tekst erin geplakt”. Daar kom je gewoon niet mee weg.

Nee, het moet met hier een stukje erbij en daar een stukje eraf. Gelukkig zijn er tools die dergelijke aanpassingen gewoon kunnen uitrekenen: gegeven brontekst A en doeltekst B, wat moet er in A bij of af om tot B te komen? Mijn probleem is dus alleen hoe je aan de juiste doelteksten B komt.

Dat is makkelijker dan je denkt, want ik had dus een hele bak met clausules die ook nog eens in verschillende smaakjes ingedeeld is. Dat is immers de dataset waarmee ik Lynn heb gevoed. Als ik nu uit elk smaakje een selectie maak, tien clausules van de brede soort, tien van de beperkte soort en tien van de standaard/gemiddelde soort, dan zijn we er. Kijk welke soort acceptabel is voor deze klant (bijvoorbeeld de brede smaak), pak een van die tien clausules van die smaak en pas de NDA aan zodat de onacceptabele clausule (bijvoorbeeld een beperkte) verandert in die ene van brede smaak.

Dan krijg je dus dit. En ja, dit is een redline gemaakt door NDA Lynn:

De originele tekst was een hele brede: alle informatie was geheim, ongeacht hoe deze was vastgelegd. Maar dat was niet acceptabel: het moest beperkt worden: alleen informatie waar “geheim” op staat valt onder de NDA. De aanpassing zorgt daarvoor, door een clausule uit de beperkte categorie te pakken en als een redline door te voeren.

Blijft nog over de business logic die erbij hoort. Want je kunt wel alles aanpassen, maar juist bij een NDA wil je niet op elke zin commentaar geven. Zowel jij als je wederpartij willen snel tekenen zodat je door kunt met je zakelijk gesprek. Vaak zie je dus dat je alleen van de échte problemen een punt maakt, zoals de hierboven getoonde definitie van vertrouwelijkheid. Maar dat jij een net wat mooiere manier hebt om te zeggen dat de rechtbank Amsterdam bevoegd is, dat laat je gewoon zitten. Dat kost alleen maar tijd.

Tegelijkertijd is dit wel een zakelijke feature en moet je een jurist overtuigen dat zhij dit wil. Dus dan kies je voor de tijdgeteste traditie van de afdeling Sales en maak je er een configuratie-optie van. Wat wil je voor dealbreakers; een edit of alleen een comment? En voor essentials? Het meest logisch – en dus de default – wordt dat dealbreakers een edit geven en essentials een comment.

En dan zijn we er eindelijk: jij uploadt je NDA met de vraag, ik ga informatie krijgen en kan ik deze tekenen? NDA Lynn zegt ja of nee, en zo nee dan krijg je de aanpassingen die naar je wederpartij kunnen. Ondertussen kan ik lekker écht werk doen. Dat is waar legal tech over gaat.

(Dit was deel vijf van vijf vakantieberichten.)

Arnoud

Met een lawyerbot de markt op, of hoe je juristen overtuigt je dienst af te nemen #ndalynnweek

| AE 12109 | Innovatie | Er zijn nog geen reacties

Mijn grootste fout bij de lancering van NDA Lynn was dat ik mezelf erbij verkocht. Iets preciezer: als je de bevindingen van Lynn te lezen kreeg, stond er bij dat je voor 99 euro een human review kon kopen. Hartstikke stom natuurlijk – Lynn klopt gewoon, waarom zou je nog een mens nodig hebben. (En het hele punt was nou net dat ik geen NDA’s meer hoefde te lezen. Maar dat terzijde.) Maar belangrijker, ik had vanaf het begin een custom omgeving moeten bieden. Mensen zelf laten aanpassen wat de uitvoer moet zijn. Want dan had je pas écht de kracht van AI voor juridische diensten kunnen bepalen.

Helaas duurde het even voordat we de Business Edition, zoals het is gaan heten, echt op de markt konden brengen. Je krijgt je eigen omgeving, waar je achtergrond, kleuren en teksten kunt aanpassen (en eigen URL, zij het als jouwnaamhier.ndalynn.com want dat was even het snelste). Je kunt oude gescreende NDA’s opvragen – wat nog een hele mooie bleek, want als er iets is dat in organisaties ontbreekt dan is het wel een index van de NDA’s die in je organisatie zijn getekend. Hartstikke leuk die contractmanagementsystemen maar NDA’s stopt niemand daarin.

Verder hadden we nog een mailinterface ingebouwd (forward je mail naar een speciaal adres en krijg de bevindingen teruggemaild) en een API koppeling gebouwd voor integratie van Lynn in andere diensten. Ik had mooie dromen om Lynn bijvoorbeeld aan Slack te koppelen: stuur haar een privébericht en ze reageert binnen een paar minuten in de chat met of je kunt tekenen of niet. Of nog leuker, een Outlook plugin of een koppeling met Salesforce. Stel je voor, je krijgt een mail met een NDA en in de sidebar staat meteen een bericht “deze kun je tekenen, no problem”. Maar ik had geen idéé hoe duur dat allemaal wel niet was.

De kern van de dienst is natuurlijk dat je zelf bepaalt welke NDA’s je accepteert. Je kunt dan ook alle dealbreakers, essentials en boilerplate zelf verschuiven, en bepalen wat er moet gebeuren bij welke uitkomst. Dus als jij vindt dat een NDA gerust 10 jaar van kracht mag zijn, dan zet je dat zo in je systeem en dan zal Lynn er nooit meer over vallen. Wil jij perse Zwitsers recht, dan zal Lynn er een punt van maken als er Duits staat. En je mag dan kiezen of dat punt een dealbreaker is of gewoon iets vervelends.

Daaraan gekoppeld zit een simpele workflow: als het resultaat iets anders is dan “je kunt tekenen” dan wordt de NDA met bevindingen doorgestuurd naar de bedrijfsjurist of advocaat die je zelf invult. Zo komen alle NDA verzoeken centraal binnen, is het idee, tenzij er helemaal niets mis is met het document. En je krijgt meteen de briefing met de problemen erbij, zodat je kunt bepalen of het alsnog goed is of je er echt inhoudelijk naar wilt kijken.

Tevens is er beperkt gebruikersbeheer: je moet inloggen via de webinterface om een NDA te kunnen uploaden. In de praktijk gebruiken mensen liever de mailinterface, want dat kun je vanuit je mailprogramma doen en je krijgt een reply die met één klik leidt naar de volledige resultaatpagina. De API gebruikt eigenlijk niemand.

Ik begin met de Business Edition bij bevriende advocaten aan te bieden. Die reageren geïnteresseerd maar ook sceptisch: wat als die bot een foutje maakt, wie is er dan aansprakelijk? Geen rare gedachte, zeker voor een advocaat die uiteindelijk ook tuchtrechtelijk voor slordigheden kan worden aangesproken. Maar het levert weinig business op.

Meer succes heb ik dan ook bij bedrijven met één overwerkte bedrijfsjurist. Die kan veel tijd vermijden met deze oplossing. Opvallend genoeg krijg ik vooral aanvragen uit Zuid-Amerika en Azië. De reden? Allereerst dat Lynn een stuk goedkoper is dan de alternatieven, en daarnaast dat ik ook Spaanstalige datasets heb toegevoegd. (Die maakte ik met Bing Translate, net als de Nederlandse en de Duitse. Dat werkt prima, iedereen gebruikt dezelfde terminologie en clausules.)

En nou ja, het werkt. Het wordt afgenomen, ook door bedrijfsadviseurs en anderen die het “erbij” verkopen aan hun klanten weer. Maar heel hard gaat het niet. Ik doe een snelle enquête en het antwoord is duidelijk: je moet documenten aanpassen, niet alleen maar adviseren. Nu moet je nog alles doorlezen om te zien wáár dan die te strenge regels staan of die vijf jaar die twee moet zijn.

Dat werd Edit Mode en daar zitten we nu hard aan te werken.

(Dit is de vierde van vijf vakantieberichten.)

Arnoud

Van idee naar ontwerp, of hoe moet een lawyerbot nu werken? #ndalynnweek

| AE 12095 | Innovatie | 5 reacties

Goed, ik had dus een dataset en daarmee kon ik redelijke voorspellingen doen ook. Tijd dus om het héle ontwerp van Lynn eens te maken. Dan is gelijk de eerste vraag: wat moet Lynn dan precies doen? Nou ja, mij werk uit handen nemen. Ik wil niet meer lastig gevallen worden met “kan ik deze NDA tekenen”. Het doel van Lynn was dus: wees een site die zegt of je die NDA kunt tekenen. Document uploaden, geen gezeur, ja je kunt tekenen.

Ik had zo’n systeem nog niet eerder gezien. Bestaande systemen ondersteunen advocaten in hun praktijk. Het grote voordeel is dan dat ze sneller lezen en altijd even accuraat. Je krijgt dan een document met geel gemarkeerde secties waar iets raar mee is, en je weet dat de rest dan dus standaard is. (Het is ergens heel raar dat bedrijven elkaar doodgooien met teksten waarvan een robot al zegt, dit is standaard lekker laten gaan, maar dat is een andere discussie.) Maar je moet het zelf nog steeds lezen en uiteindelijk je conclusie trekken.

Zo’n advies, gewoon ja of nee zeggen. Hoe moet dat eruit zien. Uit mijn praktijk weet ik dat mensen vaak alleen vragen of er dealbreakers in staan. Grote dingen die heel pijnlijk zijn. Een hele lange termijn. Een boetebeding. Exclusiviteit of een concurrentieverbod. Dat werk. Als je die ziet, dan mag er niet getekend worden.

Dan zijn er nog andere dingen die best vervelend kunnen zijn maar niet perse een dealbreaker. Ja, jij zit in Nederland en men wil Taiwanees recht, dat is niet handig maar even serieus, gaat er echt een rechtszaak komen hiervan? Dat wil je dus wel wéten maar om de NDA daar nu meteen op af te keuren is ook zo wat. Ik noem dit de essentials.

En dan heb je nog de boilerplate, de volkomen standaard tekst die iedereen van elkaar overneemt maar werkelijk niets relevants bevat. Dat de kopjes informatief zijn. Dat de partijen verklaren te mogen tekenen. Dat dit de gehele overeenkomst is. Dat herkent Lynn echt vrijwel perfect (wat niet raar is, in veel gevallen zou een pure string vergelijking minstens zo goed werken) maar niemand wil het weten. Dat moet dus zéér terughoudend terugkomen in de uitvoer.

Met deze opzet komt het erop neer dat Lynn dus allereerst kijkt of er dealbreakers in het document staan. Zo ja, dan is het advies om niet te tekenen. Zijn er essentials met problemen, dan mag je tekenen mits je daar even naar kijkt. (Maar zijn het er te veel, wat ik maar even arbitrair definieer als 30% van de essentials) dan mag je alsnog niet tekenen. En de boilerplate die is er maar dat betekent verder niets. Niemand gaat een NDA weigeren omdat er niets staat over hoe informatief de kopjes zijn.

Bij bovenstaande zit wel nog een impliciete aanname, namelijk aan welke kant van de tafel je zit. In het jargon van de NDA-jurist (ja, die bestaat) heb je zogeheten give, get en mutual NDA’s. Een give NDA is geschreven voor de partij die informatie geeft, en is dus heel streng in zijn voordeel. Een get NDA is er juist voor de ontvangende partij, en de mutual NDA probeert beiden even hard te beschermen. (Protip: vraag altijd de mutual NDA, dat scheelt héél veel onderhandelen.)

Je moet dus weten welke van de drie situaties je te maken hebt. Dat is dan ook de vraag (en de enige vraag) die NDA Lynn je stelt. Ga je geven, ontvangen of samen delen? Ik vraag nog meer, maar dat is optioneel en vooral voor de statistieken. Eigenlijk alleen de vraag “in welk land zit u” komt terug in het antwoord: als dat niet hetzelfde is als de rechts- en forumkeuze dan krijg je daar een waarschuwing over.

Blijft over: wat ga je zeggen. Daarvoor schrijf ik een uitvoertabel, die per clausule per smaak per situatie aangeeft wat het antwoord moet zijn. Hierboven zie je een klein stukje daarvan: dit is de uitvoer voor de categorie “warranties” oftewel garanties. Wat moet je zeggen als deze standaard of juist breed gevraagd worden, of als er geen garanties in staan. Je ziet dat het antwoord net anders is als je in de give dan wel in de get of mutual situatie zit.

En dan zijn we er. Document tekst extraheren, met een ML model de zinnen classificeren, de zinnen bij elkaar rapen, van de clausules het juiste smaakje bepalen, in de uitvoertabel opzoeken welke uitvoer je moet geven en klaar is Kees. Of Lynn dan.

We testen, en komen de nodige probleempjes tegen. Zo voegen we taaldetectie toe (“Sorry, Portugese NDA’s worden niet ondersteund”), is het extraheren van tekst uit PDF net wat ingewikkelder en staat er soms gewoon rommel in een document. Maar dat is allemaal op te lossen. Tijd om de markt op te gaan.

(Dit is de derde van vijf vakantieberichten.)

Arnoud

Als je een legal tech kantoor wilt hebben, moet je klein beginnen #legaltechtuesday

| AE 12083 | Innovatie | 4 reacties

De grootste fout die softwareontwikkelaars maken: versie 3.  Dat is namelijk de versie waarbij men besluit de oude rommel eens weg te gooien en hélemaal opnieuw te beginnen. Lekker een schone lei, al die rare dingen het raam uit en een mooie, strakke set code. Dat kost alleen ontzettend veel tijd en je gaat alle… Lees verder

Legal tech invoeren vereist een cultuurverandering en dus leiderschap #legaltechtuesday

| AE 12023 | Innovatie | 3 reacties

Is nu, tijdens deze crisis, het moment om naar legal tech over te gaan? Dat dacht ik in mijn vorige column. We werken al op een andere manier, dus waarom niet naast thuiswerken ook met nieuwe tools gaan werken? Nou ja, dat was misschien toch wat makkelijk gedacht. Want thuis versus op kantoor werken is… Lees verder

Hoe ga je als kantoor daadwerkelijk over naar inzet van legal tech? #legaltechtuesday

| AE 11942 | Innovatie | 1 reactie

Sinds de coronacrisis begon, lees ik veel over advocatenkantoren en bedrijfsjuristen die legal tech inzetten. Het begon met massaal digitaal ondertekenen van contracten, wat natuurlijk een heel logische stap is, en nu zijn we bij Zoom-onderhandelingen en gebruik van Google Docs om samen documenten door te nemen of te reviseren. Een virus als de grote… Lees verder

Hoe zouden robots contracten kunnen onderhandelen? #legaltechtuesday

| AE 11815 | Innovatie | 2 reacties

Goed, robots kunnen dus contracten lezen. Kort gezegd: ze herkennen tekstpatronen, al dan niet grammaticale constructies en vergelijken dat met kennis en/of regels om te bepalen of die patronen acceptabel zijn. Zo niet, dan kan het systeem dat aangeven en kan een menselijke jurist een alternatief voorstellen. Zo doen beide partijen waar ze goed in… Lees verder

Hoe meer we robots contracten laten lezen, hoe korter contracten worden #legaltechtuesday

| AE 11810 | Innovatie | 5 reacties

Ja, contractlezende robots komen eraan. Die scannen op vrij triviale wijze, trekken conclusies volgens standaardregels en geven basaal advies. Maar toch: dat is goed genoeg voor de meeste afnemers van juridische dienstverlening. De mens blijft over om de moeilijke gevallen te lezen, dat dan weer wel. Maar vandaag wou ik het over een ander aspect… Lees verder

Hoe gaat de jurist van de toekomst eruit zien? #legaltechtuesday

| AE 11776 | Innovatie | 1 reactie

Mijn blog van volgende week over het uurtarief raakte aan een teer punt, gezien het aantal reacties in de mail dat ik erop kreeg. Een jurist is toch een kenniswerker, die uiteindelijk zijn uren inzet verkoopt. Dus je kunt wel vaste prijzen ergens op hangen, maar dat blijft in feite het afronden van een urenschatting… Lees verder

Legal tech gaat niets worden als je niet ook het declarabele uurtje afschaft

| AE 11762 | Innovatie | 6 reacties

Al jaren gaat het rond in de juridische sector: het wordt tijd om eens af te stappen van de billable hours oftewel het uurtje/factuurtje model. Klanten worden er nooit gelukkig van, het is een hoop gedoe voor medewerkers en het zou zo eenvoudig moeten zijn om gewoon een prijs te noemen. Maar toch blijft het… Lees verder