Zou je een robot vertrouwen die je juridisch advies geeft?

| AE 9807 | Innovatie | 26 reacties

Afgelopen week kwam nog een interessante kwestie langs over NDA Lynn haar kwaliteiten: wie zou er durven te varen op het advies van een robot? Want nou ja, het blijft software en die maakt fouten. En leuk en aardig dat ze gemiddeld 94,1% van de zinnen correct herkent, maar een geniepige zin die net in die 6,9% valt wordt dan dus gemist. Bovendien, hoe kun je achterhalen wat Lynn nu doet, echt uitleg op zinsniveau krijg je niet. Dus moet je dat wel vertrouwen, zo’n robotadvies?

Het punt van die uitleg is een algemene zorg bij AI beslissingen en -adviezen. Veel AI opereert als black box, je gooit er een input in en je krijgt te horen wat de output is, maar over het waarom zwijgt het systeem. En als je dan in die doos kijkt, dan helpt dat maar beperkt. Vaak komt het neer op “het leek meer op categorie A dan categorie B”, maar zien welke factoren daarbij de doorslag gaven, is erg moeilijk. Ook het doorgronden van die factoren is soms een puzzel; Lynn vond bijvoorbeeld een tijd NDA’s onder Californisch recht strenger, omdat mijn traindataset toevallig veel strenge Californische en wat relaxtere Europese NDA’s bevatte.

De angst voor dit soort onduidelijkheid speelt met name bij besluiten over personen. De AVG bevat een streng verbod op geautomatiseerde besluiten op basis van profielen, en AI-gebaseerde analyses “u krijgt geen hypotheek” vallen daar natuurlijk onder. Vandaar dat er tegenwoordig veel wordt geïnvesteerd in uitlegbare AI.

Toevallig heeft BigML (de technologie achter NDA Lynn) dat ook – het systeem produceert heel grof gezegd een stapel gigantische beslisbomen en geeft het gewogen gemiddelde van elke boom z’n uitkomst als de uitslag. Je kunt dus exact zien hoe een classificatie tot stand komt: er stond “state of California” achterin, ik zag ook “security measures” dus dit is een strenge NDA. Het is uitleg, maar niet eentje waar je perse veel aan hebt.

De cynicus mag nu reageren dat uitleg van een menselijke jurist óók lastig te volgen is voor een leek. Maar daar gaan we dan toch in mee, en de reden is simpel: die jurist vertrouwen we. Hij heeft er voor geleerd, hij doet dit al tien jaar, hij heeft een dik pand en een sjiek pak dus de zaken gaan goed, hij is verzekerd tegen claims en ga zo maar door.

Een AI heeft dergelijke vertrouwensfactoren niet, dus is het veel moeilijker om in te schatten of het klopt. In een Engels onderzoek bleek bijvoorbeeld slechts 7% van de mensen een AI advies over financiën te vertrouwen. Gek genoeg zou 14% wel onder het mes gaan bij een robotchirurg. Waar zit hem het verschil? Het mentale model dat we hebben bij deze handelingen, denk ik. Dat een robot heel precies en met vaste hand kan snijden, dat is voor te stellen. Dat hij ook geen millimeter af zal wijken van waar hij moet zijn, dat is ook nog wel logisch. Maar dat een robot mijn financiële situatie snapt en een passende hypotheek uitzoekt, nee dat is bizar.

Wat zit daar dan achter? Is het het fysieke, dat we een robotarm met mesje kunnen zien en ongeveer kunnen inschatten dat dat kan werken? Of is het de intelligentie die nodig is – bij een chirurg is dat vrij rechtomlijnd, bij een advies is het veel fuzzy’er. Een hart is een concreet item dat je tegen kunt komen in een borstkas, en daar doe je dan wat mee. De opties lijken daarmee eindig. Terwijl bij een advies het veel lastiger voorstelbaar is dat zo’n robot alle situaties kan inschatten. Dus dat is enger, en dan denkt men: doe maar niet.

Dus, hoe krijgt een adviesrobot het vertrouwen in zijn kunnen omhoog? Kwestie van gewoon doen en wachten tot men omslaat?

Arnoud

Kan een robot juridisch advies geven?

| AE 9795 | Innovatie | 14 reacties

Twee weken geleden lanceerde ik NDA Lynn, een AI lawyerbot die geheimhoudingscontracten (NDA’s) kan lezen. Dat gaf veel leuke reacties, en Lynn heeft aardig bijgeleerd: meer dan 400 extra NDA’s waar ik verder mee kan trainen. Opmerkelijkste observatie: veel Nederlandstalige NDA’s, terwijl Lynn toch volgens mij vrij duidelijk Engelstalig is. Dat moet dus even anders. Maar ook de nodige andere kwesties.

Veel reacties gingen natuurlijk over de kwaliteit. Lynn beoordeelt zinnen in 87% (huidige versie 93.8%) van de gevallen correct, en kan daarmee clausules dus behoorlijk goed maar niet perfect herkennen. Dat is dus een risico, ze kan een clausule dus afkeuren of roepen dat die er niet in staat, enkel omdat de bewoordingen anders waren dan in haar trainingset. Maar mijn inschatting is dat dit wel meevalt omdat het gemiddeld wel goed uitkomt. Wel een probleem is nog de afhandeling van echte fouten, zoals een document waar geen tekst uit komt (een gescande PDF) of een tekst die in het geheel geen NDA is (ik kreeg onder meer Charles Dickens Night before Christmas langs, gelukkig was het advies die niet te tekenen).

Leuk vond ik de aandacht van Sprout en Emerce, die beiden ingaan op mijn motivatie: een kleine 18 jaar bezig zijn met NDA’s heeft me een grondige hekel aan die dingen gegeven (en nee, er 400 screenen in twee weken om je lawyerbot te verbeteren hielp niet), dus een automatische adviesbot is gewoon een mooie manier om tijd vrij te maken voor de leukere dingen in het juridische werk.

Want dat is uiteindelijk waar het volgens mij om gaat met AI in het recht. Robots gaan nooit advocaten vervangen, of het hoogwaardig juridisch advies over nieuwe kwesties. Robots doen per definitie standaardwerk, oftewel dingen als het screenen van stapels documenten of het spotten van kleine stiekemigheden in standaardcontracten of algemene voorwaarden. Als je als mens die dingen niet meer hoeft te doen, maar juist de afwijkingen krijgt en daar een oplossing voor moet vinden, dan heb je toch gewoon léuker werk dankzij een robot?

Vanuit de VS kreeg ik hele andere reacties: stop right there buddy, that’s unauthorized practice of law. Een beetje juridisch advies geven zonder advocatentitel, dat kan natuurlijk niet. Nu geef ik natuurlijk geen juridisch advies in de VS, maar dit blijkt dus een dingetje: allerlei tools zoals adviesbots en documentgeneratoren worden in diverse staten als advocaatjespelen aangemerkt en dus verboden. De achterliggende argumentatie is dat alleen een gekwalificeerd advocaat met tuchtrecht, verzekering en toezicht de kwaliteit kan bieden waar de burger recht op heeft.

Bij Justia staat een overzicht van de problematiek, met name: waar trek je de grens. De interessantste definitie vond ik “if a computer could do it, it’s not the practice of law.” Anders gezegd, juridische bijstand moet per definitie door een mens worden gedaan, omdat het creativiteit en inzicht vergt om de per definitie niet vastomlijnde set regels uit de wet toe te kunnen passen op een concreet geval. Ik twijfel of ik het ermee eens ben, want volgens mij kan best een aardig deel van zulk advieswerk geautomatiseerd gedaan worden. Zeg maar de 80% van de gevallen met de standaardsituaties die gewoon helder in de wet benoemd zijn. Het leuke stuk van de juristerij begint bij die 20%, maar dat wil niet zeggen dat de rest geen juridisch advies meer te noemen is.

En nou ja, uiteindelijk is dat volgens mij het voordeel dat je kunt halen met de inzet van AI. Automatiseer het saaie werk en maak je eigen werk leuker. Op naar de volgende Lynn dus, wat mij betreft.

Arnoud

Data bestaat juridisch niet, wat betekent dat voor de praktijk?

| AE 9779 | Innovatie | 21 reacties

Data is niets, is een mantra dat ik al geruime tijd verkondig op deze blog. Je kunt geen eigenaar zijn van data, want de wet kent dat concept alleen voor fysieke goederen. Dat roept dan altijd de nodige vragen op: als data niets is, wat doe ik dan allemaal online, en waarom zijn er dan soms toch wetten die wat zeggen over data die ik publiceer of up- dan wel download?

De reden dat ik dit roep, is om aan te geven dat je erg zwak staat wanneer je aanspraak wilt maken op data die je ergens hebt geplaatst. Bij fysieke goederen is dat makkelijk: die kun je te allen tijde terughalen met een beroep op je eigendomsrecht, no questions asked (behalve als je de rekening nog open hebt staan).

Een equivalent daarvan ontbreekt bij data. Er is geen enkele wettelijke grondslag om een kopie van je data op te eisen. Als je er niet bij kunt, of als hij weg is, dan heb je pech en de wet laat je in de kou staan. Hooguit kun je schadevergoeding krijgen voor de tijd nodig om deze te herstellen, maar in veel gevallen wil je helemaal niet de data herstellen of kún je dat niet eens (die vakantiefoto’s van tien jaar geleden, of je bonnetjes van je bedrijf van vorig jaar).

Natuurlijk heb je intellectuele-eigendomsrechten, met name auteursrecht en databankrecht op je data. Maar dit zijn ‘exclusieve’ rechten, oftewel rechten waarmee je anderen kunt verbieden iets te doen met die data. Ze geven je geen recht op toegang tot die data of anderszins beschikkingsrecht over die data. Je kunt daarmee dus alleen eisen dat men de data wist of weghaalt, meer niet.

Data in de vorm van virtuele objecten in online spellen bestaat juridisch dan weer wél, dat is gewoon een stukje eigendom. Dat volgt uit jurisprudentie over diefstal en beroving van dergelijke objecten. Ook je SMS-tegoed en dergelijke saldo’s gelden als eigendom. Maar dit is de uitzondering en niet de regel.

Ik noem dit met enige regelmaat een van de grootste, zo niet het grootste, probleem van de informatiemaatschappij. Informatie is alles, maar is tegelijkertijd niets in deze samenleving. Dat is raar. En het kan héél vervelend uitpakken, want we plaatsen steeds meer data bij derden in plaats van die zelf te bewaren. Als je daar geen zeggenschap over hebt, dan is dus die centrale grondstof van de maatschappij ineens juridisch buitengewoon kwetsbaar.

Misschien dat de nieuwe privacywet vanaf 25 mei hier verandering in brengt. Wie data over hemzelf elders onderbrengt, heeft recht op een kopie van zijn “dossier”, alle persoonsgegevens. Daarmee zou je dus je fotoverzameling terug kunnen halen, die hangt aan jouw account en is dus van jou. Maar ideaal is dat niet – zeker niet voor bedrijven, want data van een bedrijf is geen persoonsgegeven.

Is er een oplossing? Ik betwijfel het. Gewoon in de wet zetten dat eigendomsrecht ook geldt voor computergegevens gaat wat te snel. Je loopt dan tegen allerlei problemen aan, hoe pakt dat uit? Hoe geef je dan bijvoorbeeld data als onderpand, of wat gebeurt er als ik data dan twee keer verkoop? Maar een andere oplossing weet ik ook niet.

Arnoud

Waarom legal tech anders is dan automatisering

| AE 9715 | Innovatie | 9 reacties

Het onderwerp legal tech is een stevige hype aan het worden. De term is breed: alle technologie en software waarmee de juridische sector zijn voordeel kan doen. Dat kan gaan om handige hulpjes bij tekstverwerken of zelfs toetsenborden met juridische symbolen, waar we het eerder over hadden. Of over kunstmatige intelligentie die mensenwerk vervangt. Maar… Lees verder

De uitlegbaarheid van AI-uitspraken

| AE 9654 | Innovatie | 12 reacties

Steeds meer legal tech diensten maken gebruik van kunstmatige intelligentie oftewel AI. Dit is een belangrijke ontwikkeling: hiermee kunnen machines zelf beslissingen nemen of analyses uitvoeren die voorheen alleen door mensen gedaan konden worden. Denk aan dossiers doorspitten op zoek naar belastend materiaal, of juist oude afspraken terugvinden in een berg correspondentie. Maar steeds vaker… Lees verder

Sonos-speakers mogelijk onbruikbaar bij weigeren privacyvoorwaarden

| AE 9622 | Innovatie | 28 reacties

Gebruikers die niet instemmen met de nieuwe privacyvoorwaarden van Sonos, riskeren mogelijk dat hun speakers op termijn niet meer werken. Dat meldde Nu.nl eerder deze week. De speakerfabrikant gaat de apparaten voorzien van stemassistent Alexa van AmazonGoogle, en dat vereist een akkoord op privacyvoorwaarden. Wie dat weigert, kan geen updates meer installeren en zal dus… Lees verder

Jatten werkt: Instagram verplettert Snapchat met zijn Stories

| AE 9608 | Innovatie | 8 reacties

Een jaar geleden kopieerde Instagram de belangrijkste functie van Snapchat: de verdwijnende fotoverhalen, genaamd Stories. En met succes, las ik bij RTL Z. Beter goed gejat dan slecht bedacht, leken ze bij Instagram te hebben gedacht. En ja, dat is volkomen legaal, zo een feature overnemen van een concurrerende dienst. Er is weinig tot niets… Lees verder

Augmented reality mag je als gemeente niet zomaar reguleren

| AE 9577 | Innovatie | 11 reacties

Een rechter in Wisconsin heeft een gemeentelijke vergunningseis voor augmented reality games ongrondwettig verklaard, las ik bij Ars Technica. De maker van het spel Texas Rope ‘Em (een soort Pokémon Go) had bezwaar gemaakt tegen de regeling dat dergelijke aanbieders een vergunning moeten aanvragen en aan diverse eisen moeten voldoen, zoals de rotzooi van je… Lees verder