Wat moet ik me voorstellen bij een 91% accurate lawyerbot? #legaltechtuesday

| AE 12732 | Innovatie | 6 reacties

Na de lancering van lawyerbot Lynn kreeg ik veel reacties, waarbij ik één onderwerp eruit wilde lichten: hoe zit dat met die accuratesse, wat betekent het dat Lynn 91% accuraat een document screent? Hoe meet je überhaupt “accuraat” bij een juridische screening?

Om even met het getal te beginnen: die 91% is eigenlijk de F1-score of F1-maat uit de statistiek. Deze formule zoekt een balans tussen enerzijds de precisie (het percentage werkelijk correct gelabelde clausules) en de vangst of recall (het percentage correct positief gelabelde clausules), en dat zijn dan weer twee maten die iets zeggen over de kwaliteit.

De kern is dat deze maat ongevoeliger is dan bijvoorbeeld alleen kijken naar het aantal correcte labels. Computers zijn grappig wat dat betreft: als je stuurt op “ik wil 100% correcte labels” dan krijg je één label dat correct is, dat is namelijk honderd procent. En zeg je, ik wil niets missen uit categorie X, dan wordt je hele contract als X aangemerkt want dan heb je in ieder geval niets gemist. Volgens het boekje kun je dan beter naar de F1 score kijken, dus dat doe ik dan maar.

Je kunt natuurlijk nog een stapje dieper gaan. Wat is erger, een clausule missen (overslaan, niet relevant) die buitengewoon pijnlijk was, of een clausule verkeerd labelen? Of de clausule wel herkennen maar als onschuldige variant aanmerken? En maakt het dan uit of je aansprakelijkheid miste maar het wijzigingsbeding-als-de-AVG-verandert netjes aanwees, of andersom?

Wat me daarbij opvalt is dat de zorg over fouten bij lawyerbots hoog zit bij veel mensen. En dat snap ik, want we hebben allemaal een zekere onbewuste angst voor dingen die automatisch iets doen, helemaal als dat mensachtig werk is. Wat dan precies de angst is (wat is erger) dat verschilt bij personen.

Is het een gekke gedachte dat niemand dit ooit zo verifieert bij een menselijke jurist? Die wordt ook getraind met een grote trainingset, al het werk dat hij onder begeleiding van een collega/partner uitvoert. Maar niemand die ooit vraagt, laat eens zien welke NDA’s jij de afgelopen tien jaar hebt gereviewd zodat ik weet hoe goed jij bent in het inschatten van fouten en nasty clausules. Waarom moet een AI dat dan wel kunnen laten zien? Nieuwigheid dus bewijs maar dat je beter bent?

Arnoud

Deze lawyerbot reviseert en becommentarieert je verwerkersovereenkomst binnen één minuut (en twintig seconden) #legaltechtuesday

| AE 12681 | Innovatie | 17 reacties

Verwerkersovereenkomsten nakijken, het is dagelijkse kost voor iedere privacyjurist, compliance officer of functionaris gegevensbescherming. Maar 90% van dat werk is steeds hetzelfde gedoe: proberen ze toch weer de beveiliging een garantie te maken, klopt die geheimhouding wel, waarom staat aansprakelijkheid zo hoog (of laag) en zijn ze nou weer artikel 28 lid 3 sub e AVG vergeten op te nemen? En dan kun je weer gaan aanpassen. Dat was ik dus zat, vandaar dat onze nieuwe lawyerbot DPA Lynn dat helemaal doet. Ja, met edits en commentaar in de marge.

U herinnert zich misschien nog mijn frustratie over steeds NDA’s checken op die ene vraag: kan ik tekenen. Daar werd inderdaad een robot uit geboren, NDALynn.com. Die gaf je een keurig antwoord op die vraag, of suggesties waarom je niet kon tekenen.

Toen kwam de AVG, met een berg verwerkersovereenkomsten (data processing agreements, DPA’s) en al snel kregen mijn collega’s en ik hetzelfde gevoel: steeds dezelfde checks, steeds dezelfde soort aanpassingen en steeds dezelfde discussie. Waarom zou een robot dát niet kunnen? Nou ja, dat kan een robot dus prima, zoals DPA Lynn laat zien.

Het werkt supersimpel: je uploadt een Word document (docx), je zegt of je verwerker dan wel verantwoordelijke bent en je wacht een minuut. Een PDF kan ook maar dan krijg je geen aangepaste documenten. En na die minuut (en 20 seconden) krijg je een aangepast Word document waarin alle vervelende clausules aangepast zijn naar redelijke alternatieven, en waarin Lynn in de marge uitlegt waarom het anders moet. Wat ontbreekt, wordt er gewoon bij gezet. En oh ja natuurlijk is het gratis.

Voor drukke juristen en privacy officers een uitkomst, want Lynn werkt onvermoeibaar en levert altijd dezelfde kwaliteit. Natuurlijk blijven er lastige vragen over, zoals of je überhaupt wel verwerker bent, welke persoonsgegevens er precies gebruikt worden en of er misschien een DPIA nodig is. Maar daar heb je nu tijd genoeg voor, zou ik zeggen.

Ben je niet tevreden met de keuzes die Lynn maakt? Liever juist wél garanties over beveiliging, een kostenregeling voor bijstand (dat lid 3 sub e AVG) en de aansprakelijkheid hoger of juist lager? In de premium versies van Lynn kun je dat zelf instellen. En je krijgt er ook nog een mailinterface bij: forward die toegezonden DPA naar Lynn, wacht eventjes en je krijgt een reply met de aangepaste versie keurig in je inbox. En meer, zoals documentbeheer.

Probeer het nu: DPALynn.com.

Arnoud