Ik heb een AI gemaakt die NDA’s kan reviewen

De blogs over legal tech van de afgelopen tijd waren voor diverse mensen (hoi) speculatie: ben je iets aan het doen op dat gebied? En jawel, dat klopte: ik heb een AI gemaakt die NDA’s reviewt, en ze heet NDA Lynn. Ze is gratis en geeft deskundig en praktisch advies of je dat geheimhoudingscontract moet tekenen of niet.

De NDA of geheimhoudingsovereenkomst is een standaardding in veel zakelijke transacties, met name in de high-tech sector. (Ik zag eens de term “Silicon Valley Handshake” voorbij komen voor het ritueel van elkaars NDA tekenen voor je koffie ging drinken.) Grofweg is het een heel standaard document: we gaan praten, we houden dingen geheim en pas na X jaar mag je erover praten, oh ja en let op je beveiliging. Maar uiteraard is elke NDA weer wat anders, dus je blijft lezen elke keer.

Natuurlijk kun je elke keer naar een advocaat of jurist en vragen om een review, maar dat kost geld. Voor zo’n standaardding voelt dat niet als de moeite waard, is mijn ervaring. En ook voor de reviewende jurist is het niet perse leuk werk: ik denk dat ik in de bijna 20 jaar dat ik dit werk doe, meer dan 1500 NDA’s heb gereviewd, en ik kan je zeggen – weinig dingen zo saai en onproductief als daarover steggelen.

Een AI heeft daar allemaal geen last van. Vandaar NDA Lynn. Ze is een support vector network (mede mogelijk door het fantastische BigML.com) dat getraind is op een grote hoeveelheid publiek beschikbare NDA’s, en de clausules daaruit kan herkennen en classificeren. De uitvoer wordt gekoppeld aan een adviestabel, en zo komt ze tot de conclusie van tekenen of niet. Wie alles over de opzet wil weten, kan dit paper lezen.

Ongetwijfeld zullen er fouten in NDA Lynn zitten, het is en blijft software. Maar het is in ieder geval beter dan die dingen handmatig blijven reviewen, of blind tekenen omdat er “MUTUAL NON-DISCLOSURE AGREEMENT” op pagina 1 staat.

Ik ben heel benieuwd wat jullie van haar vinden.

Arnoud

19 reacties

  1. Mooi design en werkt erg gebruiksvriendelijk, complimenten. Welke talen ondersteunt werden was ook mij niet duidelijk.

    Ik heb getest met een engelse NDA uit 2014 en daar zaten toch wel wat missers in, hier de link naar de resultaten: https://ndalynn.com/results/jduKdj8hnEctnWA0 (als ik het goed heb kun je vanaf de resultatenpagina het originele document en de inhoud daarvan niet zien, anders graag link verwijderen…)

    There is no definition of the parties AT ALL in this document.
    Terwijl letterlijk de eerste alinea in het document zegt:
    This Agreement is made this TWENTY-THIRD (23rd) day of September 2014 between [removed] and [removed]
    Vervolgens

    The term of this NDA is indefinite, and therefore the NDA is in force until terminated. That’s bad for you because now even disclosures years from now are covered, which may come as a surprise at the time.

    Terwijl punt 6 zegt:

    6 This Agreement shall continue for a period of three years from the date at the head of this document.

    Hoe zit het eigenlijk wanneer werknemers na hun dienstverband informatie naar buiten brengen wat in strijd is met een NDA tussen twee bedrijven?

    1. Dank je, die fout zie ik vaker ja. Het komt door ongebruikelijk taalgebruik, meestal staat er iets van “by and between” en staat er bij de partijen nog iets van “hereafter Discloser”. Deze formulering is letterlijk de eerste keer dat ik ‘m zo zie.

      Voor de termijn geen idee, misschien omdat je “shall continue” had in plaats van “shall be in force”? Maar ik ga het meenemen.

      Schending van een NDA door personeel is voor het ontvangende bedrijf gewoon een schending, dus ze gaan voor de bijl. Die schade is niet te verhalen op dat personeelslid, tenzij kwade opzet of heel grove roekeloosheid.

  2. LOL. Do not sign op onze confidentiality agreement 🙂 Ziet er vet uit. In eerste instantie geen email want leuk om te kijken wat er gebeurt Nog een keer gebrobeert. Dan geef ik mijn email, en dan wat gebeurt er daarna mee? Krijg ik spam? “clearly specify our purposes before we process personal data, by using this Privacy Statement;”. Dat was niet helemaal duidelijk uit de send mail optie. Geen idee of dat GDPR bestendig is?

  3. Soms is de NDA overeenkomst ook onderdeel van de grotere overeenkomst, en beoogt de NDA de inhoud van de overeenkomst geheim te houden; natuurlijk is dat circulair; maar dan wordt upload naar deze service NADAT je hem hebt getekend ook een probleem. (Wat te denken van een overeenkomst met als onderdeel daarvan een NDA: mag je aan niemand laten lezen: gewoon een kopie aan een vertrouwde derde geven VOORDAT je hem tekent, en daarna voor alle vragen over de inhoud naar die derde verwijzen.)

  4. Ik heb snel even op het internet een volledig willekeurig contract gedownload en uitgeprobeerd. Aangezien het hier niet om een NDA gaat krijg ik dan natuurlijk allemaal opmerkingen terug over dingen die er niet in staan; tot zover gaat het zoals verwacht. Een soort “garbage in, garbage out”.

    Wat wel zorgwekkend is: het is wel een contract, met allerlei terms and conditions die niet NDA-gerelateerd zijn. Ik zou verwachten dat ik waarschuwingen krijg over formuleringen die de AI niet begrijpt, maar dat is niet zo. Er kunnen dus best allerlei dingen in een contract staan die je absoluut niet moet ondertekenen, maar als de AI die dingen niet begrijpt krijg je daar geen melding over. Je kunt dus niet vertrouwen op het oordeel van de AI; je zult de overeenkomst ook zelf moeten lezen en/of laten lezen door een menselijke expert. Welk voordeel heeft de AI dan nog? Misschien om de aandacht te vestigen aan mogelijke issues die je anders niet zou hebben ontdekt?

    Het bestaan van de AI heeft ook unintended consequences: mensen zouden nu contracten speciaal zo kunnen opstellen dat ze door de AI heen komen, en nadelige clausules expres zo kunnen formuleren dat de AI ze niet herkent. Een OK van de AI geeft dan een false sense of security.

    Ik vind het idee wel heel leuk, maar hoe zou ik het dan wel willen? Ik zou het “reject by default” maken: als er iets in zit dat je niet herkent, moet dat op zijn minst een waarschuwing opleveren. Herkennings-regels moeten “streng” zijn, met een minimum aan heuristiek. Het liefst accepteer je alleen exacte matches met een set van bekende formuleringen.

    Verdere iteratie: in plaats van de AI aan het contract aanpassen, zou je ook het contract aan de AI kunnen aanpassen; je maakt het dan expliciet machine-leesbaar. In principe zijn contract-aanbieders daar niet toe verplicht, maar partijen die hun contracten niet machine-leesbaar aanbieden zouden daarmee minder goodwill kweken, en op den duur zou het zelfs een reden tot wantrouwen kunnen zijn. Waarom wil jij niet dat ik jouw contract met een druk op de knop kan controleren? Heb je er soms iets nadeligs in verstopt?

    1. Dat is inderdaad een zwakte aan het systeem. Een classifier is ontworpen om te classifien, het moet en het zal een van de gedefinieerde categorieën zijn. En vaak staat er ook net genoeg in om iets van herkenning mogelijk te maken. Het is echt heel ingewikkeld om een classifier “geen idee” te laten zeggen. Het enige dat ik nu kan bedenken is als de betrouwbaarheid van identificaties laag is, dat je de clausule in kwestie dan reject en vervolgens kijkt of je toch wel minstens 5 clausules hebt herkend. Dan kom je bij “oké er staat echt niets in van wat ik in een NDA verwacht, dit is geen NDA mafkees”.

      1. Om er nog wat uitgebreider op in te gaan: ik denk dat het gebruik van heuristische / probabilistische modellen in dit soort toepassingen erg problematisch is. Ik denk dat Goodhart’s law van toepassing is. De meting verandert datgene dat gemeten wordt, waardoor nu beweren dat je bijv. 87% nauwkeurigheid hebt niets zegt over je toekomstige performance. NDAs die geschreven zijn voor de introductie van de AI zijn niet representatief voor NDAs die erna zijn geschreven. Ik verwacht met name dat er een motief is voor “gaming the system”, waardoor je performance achteruit gaat.

        Om dit tegen te gaan zou je eigenlijk de deur naar misbruik niet op een kier moeten laten staan, maar helemaal op slot moeten doen. Dus geen heuristische / probabilistische modellen, maar een enigszins paranoïde implementatie die alles afkeurt wat niet expliciet is goedgekeurd. De set van goed te keuren clausules bevat natuurlijk wel wat redundancy; je zou bijv. op basis van bekende grammatica en synoniemenlijsten kunnen werken in plaats van alleen opslag van letterlijke tekst, maar het moet echt zijn “X is een vorm van Y, dus het is goed”, en niet “X lijkt op Y, dus het zal wel goed zijn”.

        Dit gaat natuurlijk een heleboel afkeuren. Hoe houd je het werkbaar? Ik stel voor om een samenwerking aan te gaan met de gebruiker; daarvoor heb je een goede gebruikersinterface nodig. Geef bijvoorbeeld een kopie van de overeenkomst terug aan de gebruiker, met daarin (kleur-)gemarkeerd:

        • Dit is goed

        • Dit is slecht

        • Dit is niet herkend

        • Dit ontbreekt (zowel black-list als white-list)

        Wellicht zitten sommige ontbrekende elementen in de niet-herkende elementen; laat de gebruiker aangeven als ‘ie denkt dat dat zo is. Dan met een druk op een knop en tegen een kleine vergoeding opsturen naar een menselijke expert om de matching te controleren. Dit kost minder werk dan de oude manier van werken, en kan ook gebruikt worden om de automatische herkenning continu te verbeteren.

        Probeer niet 100% te automatiseren als dat lastig is. 80% of 90% is prima, zeker als het voldoende informatie biedt om de rest grotendeels te laten doen door de gebruiker die geen expert is.

        1. Met dit in het achterhoofd zou je bijna gaan pleiten voor wettelijk vastgestelde standaard contracten. Slechts de namen van de partijen en de betreffende objecten nog in te vullen. De rest is door de wetgever al vastgelegd. In een aantal gevallen is zo’n radicale benadering misschien nodig (waar een sterke macht of informatie asymmetrie tussen partijen bestaat) — maar het riekt dan wel naar juridisch micromanagement.

  5. Ik kom helaas niet verder dan:

    This site can’t provide a secure connection. ndalynn.com uses an unsupported protocol. ERRSSLVERSIONORCIPHER_MISMATCH

    Dit is met Chrome 49.0.2623.112 op een OS dat niet meer gesupport wordt. Ligt het dan aan mij? Dat zou iemand kunnen beweren, en ik zeg dan dat 99% van de andere HTTPS sites er geen last van hebben. Helaas linkt de HTTP site meteen door naar HTTPS.

  6. We vinden ‘m briljant opgezet en de testen met een NDA van FOX gaven aan dat zij op de goede weg waren. We bieden je graag een volgende AI-uitdaging aan: eenzelfde analyse-BOT voor verwerkersovereenkomsten voor gebruik onder de AVG!

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.