De toekomst van legal tech: verdwijnen naar de achtergrond

“De Nederlandse legal tech-markt is nog onvoldoende rijp en te onvolwassen om de vorm van geïntegreerde dienstverlening die we voor ogen hebben, succesvol te laten zijn.” Dat las ik half december in Advocatie. Merkwaardig, ik had niet het idee dat de rijpheid van de technologieleveranciers het grote probleem was bij de adoptie van legal tech in de juridische dienstverlening. Ik denk wel dat de term legal tech steeds meer naar de achtergrond gaat drijven – of zelfs gaat verdwijnen – en zie dat in 2020 al wel beginnen. Want uiteindelijk gáát het niet om de tech.

Legal tech is de verzamelnaam voor een bonte verzameling van technologieën en diensten die het juridische werk gaan transformeren. Van apps tot saas en van AI bots tot smart blockchains, je kunt het zo gek niet bedenken. Alle aspecten van juridische diensten worden daarbij aangepakt. Je hebt chatbots die parkeerboetes aanvechten, AI’s die dossiers doorspitten op zoek naar verborgen pijntjes en beslisboomdiensten om adviezen te genereren, opinies te checken of documenten samen te stellen.

Weet u nog dat u stopte met papieren formulieren en online ging tijdschrijven, reizen declareren en vakantiedagen aanvragen? Of dat u stopte met dicteren en zelf in Word uw dagvaardingen en adviezen typte? Of dat u stopte met adverteren in de krant en ging Twitteren? (Ik hoop dat ik zo alle generaties heb gehad.) Allemaal voorbeelden van technologieën die we met enige skepsis maar ook gevoelens van hype en vernieuwing ontvingen, en die we ondertussen doodnormaal vinden.

Want dat is de grap achter innovatie: zolang we het niet gebruiken is het nieuw, inspirerend maar misschien ook eng. En zodra we er aan gewend zijn, is het doodnormaal en gaan we het geen innovatie meer noemen. Een grapjas definieerde artificial intelligence dan ook eens als datgene wat een computer binnenkort kan. Zodra hij het nu kan, is het gewoon een knopje in Word of een site waar je een document uploadt.

Legal tech is voor veel organisaties een typisch voorbeeld van een innovatie die ietwat spannend voelt. Zoals ik in december al schreef: de adoptie van legal tech in een organisatie is vooral een kwestie van verandermanagement, en dat is eigenlijk altijd een zware dobber. Zeker in organisaties waar men gewend is op risico’s te sturen (zoals juridische dienstverleners). Daarom is er de nodige aarzeling en vertraging in de adoptie.

Maar de ervaring leert ook dat wanneer die innovatie eenmaal geaccepteerd wordt, hij binnen de kortste keren normaal is. Dan is het gewoon het knopje dat zegt dat het contract voldoet aan de business-eisen of dat de dagvaarding correct is opgesteld. Als we daar zijn, dan is legal tech een succes – maar noemt niemand het meer legal tech. De grootste toekomst voor legal tech is dus zo snel mogelijk verdwijnen.

Arnoud

Legal tech laten werken gaat vooral om verandermanagement #legaltechtuesday

Legal tech, ik schrijf er het hele jaar al over. Technologie die de juridische sector gaat veranderen. Niet alleen maar efficiënter werken, maar op een heel nieuwe manier werken. Het maakt bijvoorbeeld nogal wat uit of je sneller in je standaardcontract kunt werken, of dat je standaardcontract gewoon staat met twee klikken en je daarna tijd over hebt voor het échte aanpaswerk in dat contract. En de grap is: dat enorme voordeel, die belofte van legal tech, is meteen ook de grootste zwakte. Want je vraagt dan aan mensen om hun werk anders te doen.

Ja, dan heb ik het over verandermanagement. Een van de taaiste onderwerpen binnen bedrijven. Je kunt nog zo veel mooie shiny tools het bedrijf binnenrijden, als mensen er niet aan willen omdat ze hun oude hulpmiddelen zo prettig vinden, dan gebeurt het niet. Dan blijft dat nieuwe ding aan de kant staan stof te happen. In menig organisatie is ooit een prachtig customer relationship management-tool ingevoerd, waar weliswaar de basisgegevens staan maar alle échte informatie zit in een Excelsheet, Outlookpagina of achterhoofd van de medewerkers. Dat werkt namelijk al 20 jaar prima, en die nieuwe tool kost echt even veel tijd en moeite. Idem voor legal tech tools die bijvoorbeeld contracten genereren met een vragenlijst; leuk ding maar menig collega pakt toch even dat Word document van de vorige keer.

Ergens is dat raar. Je zou zeggen, als de hoogste baas zegt, dit gaan we nu doen met tool X, dan gaat iedereen dat doen. Instructie van de werkgever is wet, nietwaar? Maar helaas voor vele gefrustreerde werkgevers werkt het niet zo, zeker niet met tools voor het dagelijks werk. Mensen zijn gewend aan een manier van werken, en verwachten dat de nieuwe tool dat ook doet. Dat is natuurlijk niet zo, dus dat roept frustratie op. Wordt die niet opgepakt, dan grijpen mensen terug naar de oude manier van werken. En als je dáár dan niet hard op wordt afgerekend, dan is er natuurlijk geen reden om veranderen meer.

Specifiek in de juridische sector speelt er nog een extra factor. Wij juristen en advocaten zijn gespitst op het leveren van de hoogste kwaliteit, en vooral op het uitsluiten van risico’s. We kunnen die risico’s ook met de meest bloemrijke taal in de zwaarste akkoorden aanzetten, dat is immers ons werk. Dat maakt het extra lastig om nieuwe tools in deze sector te introduceren, want je moet dan al die risico’s adresseren om überhaupt het ding over de drempel te krijgen. En daarnaast moet je het wantrouwen wegnemen of die tool wel net zo goed werkt als de oude manier van werken.

Neem documentgeneratie (iets waar mijn eigen bedrijf tools voor levert). We willen graag het beste contract neerzetten, ook als het een ‘simpele’ standaardklus is – er is immers geen simpele klus, er zijn alleen verdacht eenvoudige situaties en cliënten die ondoordacht een businessdeal sluiten. Dat contract moet dus gewoon goed. Starten vanuit een model is prima, maar staat er wel in wat ik vind dat nodig is? Worden de risico’s waar ik op stuur, wel geadresseerd in deze tool? Als ik daar geen zekerheid voor kan krijgen, of net zo lang bezig ben dat te controleren, dan doe ik het wel gewoon ouderwets met het vorige contract waar ik de namen uit aanpas.

Hier doorheen breken is buitengewoon moeilijk. Nog los van de tijd die je nodig hebt om mensen de nieuwe tool te leren – allereerst moet de wil er zijn de nieuwe tool te leren kennen. En die wil komt er niet enkel omdat de nieuwe tool er is en “legal tech” heet of met een robot in toga wordt gepromoot. Daar is meer voor nodig; overtuigingskracht en inzicht, vertrouwen dat dat nieuwe systeem echt minstens zo goed is als het oude. En als dat niet werkt, ook negatieve prikkels. Maar ja, welk kantoor durft écht Word eruit te gooien om zo de advocaten te dwingen naar de nieuwe omgeving?

Arnoud

Is artificial intelligence niet vooral een hype? #legaltechtuesday

Zo’n veertig procent van de bedrijven in Europa die claimt AI in te zetten, doet dat niet daadwerkelijk. Dat maak ik op uit onderzoek van de Londense investeringsmaatschappij MMC, dat 2.830 AI startups in 13 EU landen onderzocht voor die conclusie. Daar moet wel worden bijgezegd dat het label “AI firma” vaak door anderen aan een bedrijf wordt toegeschreven, maar de vraag wordt desondanks legitiem: hoe reëel is het om te zeggen dat je met AI werkt, wanneer ben je een AI bedrijf dan? Is het niet vooral een hype?

De term artificial intelligence of AI dateert uit de jaren vijftig maar heeft nooit een formele definitie gekregen. De beste vind ik zelf “dat wat de computer bijna kan”, maar bekender is de Turing Test: als je de reactie van een computer niet van die van een mens kunt onderscheiden, dan kunnen we de computer ‘intelligent’ noemen. AI’s werken daarbij wel wezenlijk anders dan mensen. In de woorden van computerwetenschapper Edsger Dijkstra: “The question of whether machines can think, is about as relevant as the question of whether submarines can swim”. De vraag is dus hoe relevant het is om een computer intelligent te noemen.

Machines kunnen teksten analyseren, data minen en correlaties aanwijzen. Die kunnen relevant zijn om beslissingen te nemen, maar het proces dat je dan volgt is onvergelijkbaar met de traditionele werkwijze. Een AI zou bijvoorbeeld bij een rechtszaak precedenten zoeken en concluderen dat in 90% van de gevallen deze zaak verloren wordt, maar drijft dan puur op statistische vergelijkbaarheid. Een mens zou andere factoren zien, zoals hoe gevoelig het onderwerp tegenwoordig ligt, de verhouding van partijen en ga zo maar door.

In de praktijk vandaag de dag is AI vooral een kwestie van machine learning. Door grote hoeveelheden data door te ploegen, leert een systeem verbanden leggen zoals welke vragen bij welke antwoorden horen, welke producten samen gaan of wanneer je een bepaalde input ‘frauduleus’ of ‘verdacht’ of ‘interessant’ noemt. Daar genereert het systeem dan formules bij, die worden losgelaten op nieuwe input om zo zonder menselijke tussenkomst nieuwe output te kunnen leveren.

Vandaag de dag ontkom je nauwelijks aan AI: bedrijven zetten chatbots in die zelfstandig gesprekken kunnen voeren, dossiers worden met AI gescand op rare issues of ongebruikelijke situaties, fraudedetectie gebeurt zelden meer handmatig en ga zo maar door. En natuurlijk staat het groots gebruik van AI net om de hoek – de computer kan al bijna zelfstandig boeken schrijven, films componeren, een dagvaarding opstellen of een patiënt onderzoeken. Dat is waarom het een hype genoemd wordt: als een nieuwe technologie al bijna alles gaat kunnen, dan is dat een teken dat kritisch kijken naar die technologie te weinig aandacht krijgt.

Het MMC onderzoek constateert terecht dat het vaak gaat om overdreven inzet van de term AI. Een chatbot die een basaal gesprek kan voeren (“Hoi, ik ben Billy van Bol.com, waarmee kan ik je helpen?”) is gebaseerd op AI technologie, net als fraudedetectie waarbij nieuwe orders worden vergeleken met heel veel eerdere. Heel erg nieuw is dat niet, zowel chatbots als fraudesignalering bestaan al behoorlijk lang. Het is natuurlijk nieuw in zoverre dat er vroeger veel meer met harde regels werd gewerkt en nu veel meer statistiekgedreven is. Kunnen werken met statistische regels op basis van grote hoeveelheden data en daar heel goed passende formules bij verzinnen is wel degelijk nieuw in technologische zin.

Ook in de juridische wereld zien we dit steeds vaker. Een systeem dat teksten kan herkennen als standaardclausules is innovatief en kan de advocaat ontlasten in een contractsreview. Een analyse van vonnissen om zo nuttige of achterhaalde argumenten te achterhalen – of de keuze voor de gunstigste rechtbank te voorspellen – kan veel toevoegen aan de kansen voor een zaak. Zo’n analyse kan heel slim overkomen en verrassend voelen voor de praktijkjurist. Maar om dan te zeggen dat zo’n systeem ‘intelligent’ is, of dat men een AI-gedreven uitspraakvoorspeller heeft, gaat natuurlijk wel ver. Dat is waar de term ‘hype’ begint.

AI is dus in zoverre géén hype dat het wel degelijk op een nieuwe manier werkt, om op basis van data regels of formules te verzinnen en die vervolgens toe te passen in de praktijk. Maar het toepassingsgebied is vaak zodanig specifiek of klein dat het nogal overdreven en dus hyperig voelt om een bedrijf AI-gedreven te noemen. Bol.com is geen door zelfdenkende robots gedreven boekwinkel, men zet een handige chatdienst in die op een slimme manier veel voorkomende vragen kan herkennen en antwoorden daarop kan geven. Dat is innovatief en handig maar heel wat anders dan wat we ons voorstellen bij AI.

Arnoud

De redelijkheid is ver te zoeken in die smart contracts #legaltechtuesday

Smart contracts: zelfdenkende software die buiten de greep van één partij automatisch voorwaarden checkt en afgesproken handelingen uitvoert. Daarover schreef ik een paar columns geleden. Het onderwerp blijft tot de verbeelding spreken, want zeg nou zelf wie wil er geen slim contract dat zonder tussenkomst van een advocaat of rechter netjes nagekomen wordt? En het klinkt ook zo logisch, dat je contractuele afspraken niet opschrijft in juridische woordenwolken maar als duidelijke, stap-voor-stap instructies waar een computer gewoon mee aan de gang gaat.

Een smart contract heet ‘smart’ omdat de verbintenissen en de wijze van nakoming niet in gewone taal zijn opgeschreven maar in uitvoerbare instructies. In principe komt dat neer op een heleboel beslisregels. Is de leverdatum bereikt, zet het vermogensrecht dan op naam van ontvanger. Is er een betaling ontvangen, verreken dan eerst de nog verschuldigde rente op oude vorderingen en pas daarna boek je op de openstaande vorderingen zelf. Staat er in het faillissementsregister de naam van de leverancier, zet dan de betaling stop.

Dit klinkt redelijk basaal en dat is het ook. Maar praktisch is het wel, want veel van dit soort afspraken zijn dingen die gewoon automatisch bijgehouden en gecheckt kunnen worden. En het kan bijdragen aan vertrouwen wanneer partijen elkaar niet kennen en elkaar niet voor de rechter kunnen slepen. Als dan het contract, pardon het computerprogramma gewoon doet wat er is afgesproken en niemand kan dat halverwege beïnvloeden of omkopen, dan is zo’n risicovolle transactie misschien toch het ondernemen waard.

Maar zodra je dergelijke basale afspraken overstijgt, wordt het erg ingewikkeld. Je krijgt dan te maken met subjectieve toetsen, en hoe kan een computerprogramma – hoe slim ook – daarop verifiëren? Dat een website opgeleverd is, kun je automatisch nog wel nagaan. Maar of ‘ie mooi is, schrijf daar maar eens een statement voor. Daar kom je niet uit, vrees ik. Dan moet je ‘mooi’ kwantificeren tot objectieve technische eisen en ik weet niet hoe gelukkig je daarvan wordt (kleur A en kleur B verschillen minstens 30 tinten in de Pantone waaier, zoiets?)

Verder is er nog een vrij fundamenteel probleem: de redelijkheid (en billijkheid) is ver te zoeken in smart contracts. Het zijn immers computerprogramma’s, en die staan erom bekend rechtlijnig en compromisloos te opereren. Staat er een fout in, dan wordt die fout netjes uitgevoerd. Dit terwijl een fout in een ‘dom’ contract – stel, een nul vergeten in de verkoopprijs – altijd nog rechtgezet kan worden bij de rechtbank.

Punt is natuurlijk hoe je aantoont dat iets een foutje is. Die vergeten nul krijg je waarschijnlijk nog wel erbij gepraat met de eerdere contractconcepten of het spreekwoordelijke bierviltje. Een verkeerde rechtskeuze die niemand opviel in het proces is alweer wat lastiger recht te trekken. Maar een goed pleidooi kan alsnog de redding bieden.

Een belangrijke factor daarbij voor mij is dat een traditioneel contract (dat klinkt toch mooier dan ‘dom’) opgezet is met uitspraken over de gewenste uitkomst. “A verkoopt aan B het goed C”. Bij smart contracts wordt met programmeertaal gewerkt, en dat betekent instructies die de uitkomst moeten opleveren. Maar daar zit een subtiel verschil tussen. Hoe weet je of een verkeerde instructie fout is, als je niet weet wat de gewenste uitkomst is? Als je zegt, het smart contract is de afspraak, dan is die instructie dus niet fout. Misschien ongewenst, achteraf gezien, maar er staat dat het goed naar X moet dus gaat het naar X.

Een berucht voorbeeld is de zogeheten DAO-hack uit 2016. The DAO is een gedecentraliseerd investeringsvehikel dat opgezet is middels een berg van die slimme contracten, gebruik makend van de Ethereum-blockchainimplementatie. In een van die contracten stond een foutje, althans een onbedoelde feature, waardoor een bijdehantje in staat was om gratis geld te krijgen. Legaal. Hoewel het namelijk evident is dat The DAO dit niet heeft gewild, zijn er geen illegale hacks of dergelijke uitgevoerd. Het stelsel van smart contracts had namelijk een gaatje: iemand die een bepaalde onvoorziene aanvraag indiende en daarna introk, kreeg als een soort afrondingsfoutje meer geld terug dan hij betaald had bij die aanvraag.

Wie dit zou doen bij een papieren contract, zou meteen weten dat dit niet gaat werken. De stap naar de rechter zou waarschijnlijk niet eens nodig zijn. Maar in dit smart contract geval is dat lang zo evident niet. Als je namelijk zegt, de afspraak is wat het smart contract doet, en het smart contract doet iets anders dan jij had beoogd, wat is dan de legale uitkomst? Precies. Ook als dat in strijd met de redelijkheid is.

Het wordt dus tijd die redelijkheid in te gaan bouwen in software. Maar daar moet eerst een nieuwe programmeertaal voor komen vermoed ik.

Arnoud

Kan dat, een algoritme met een moreel kompas? #legaltechtuesday

Wat doe je als slimme algoritmes verkeerde of gevaarlijke keuzes maken? Die vraag las ik in FD onlangs. Machine learning-onderzoeker Philip Thomas uit Massachusetts heeft een methode ontwikkeld om ‘ongewenst gedrag’ vooraf uit intelligente machines te filteren. Hij noemt dat een Seldonian algoritme, en omdat mijn eerste zelfgekochte boeken de Foundation-reeks van Asimov waren trok dat meteen mijn aandacht. Want ja, het is een probleem als algoritmes racistisch, seksistisch of biasbevestigend zijn. Maar is daar werkelijk een quick fix voor die ook nog eens een mooie science fiction term kan krijgen?

De kern van het onderzoek van Thomas is dat je bepaalde ongewenste uitkomsten vooraf algoritmisch vastlegt, zodat een machine learning algoritme een uitkomst kan toetsen aan dit geprogrammeerde moreel kompas:

Using an experimental dataset, they gave their algorithm mathematical instructions to avoid developing a predictive method that systematically overestimated or underestimated GPAs for one gender. With these instructions, the algorithm identified a better way to predict student GPAs with much less systematic gender bias than existing methods.

Het idee is dus dat als je vooraf kunt zeggen “je mag geen bias hebben op klasse X”, dat je dan eerlijker uitkomsten krijgt. Dit is de omgekeerde benadering van hoe men nu vaak probeert vooringenomenheid te voorkomen, namelijk door klasse X weg te laten uit de dataset. Zeg maar, je wilt voorkomen dat je vrouwen onderselecteert dus je laat het veld ‘geslacht’ weg. Maar dat werkt niet: ML algoritmes zullen andere factoren oppikken (zoals de hobby vrouwentennis of het voornaamwoord haar) en daaruit alsnog genderbias construeren. De Seldonian-benadering is dus dat je zegt “ik wil even veel vrouwen als mannen op gesprek” als HR-adviseur.

(De benadering gaat overigens verder dan alleen discriminatie; je kunt ook bijvoorbeeld zeggen dat de uitkomst niet mag zijn dat een diabetespatiënt een risicovol lage bloedsuikerspiegel kan krijgen. Maar dat terzijde.)

Je zou dus zeggen, opgelost nu dat bias-probleem: maak een kompasregel voor iedere verboden factor uit artikel 9 AVG en verplicht ieder ML systeem daarop te toetsen. Maar dat is ingewikkelder dan je denkt. Bias of vooringenomenheid is niet alleen dat je keihard vrouwen uitsluit of weglaat. Vaak is het veel subtieler; lees het boek Invisible Women als u de details wil weten maar het was voor mij bijvoorbeeld een eye-opener dat als je mannen en vrouwen gelijke toegang tot toiletten wilt geven je 50% meer dames-wc’s nodig hebt. Dáár op komen is niet zo simpel als “je mag geen bias hebben op geslacht”.

Arnoud

De toekomst van het slimme contract #legaltechtuesday

Smart contracts zijn net als de blockchain en AI deel van de legal tech hype van de laatste tijd. Zelfdenkende software die buiten de greep van één partij automatisch voorwaarden checkt en afgesproken handelingen uitvoert. Samen gaan ze de advocatuur en het notariaat overbodig maken, alles wordt automatisch en fantastisch, u kent het wel. En alles op de blockchain ook nog, dus super autonoom en fantastisch.

Er zijn vele definities van smart contracts, maar kortweg komen ze erop neer dat je een aantal beslisregels in software giet die vervolgens vanzelf uitgevoerd worden. Als de domeinnaam advocatie.nl op 1 februari 2020 op naam staat van X, stuur dan 1 bitcoin naar wallet Y. Maar het hoeft juridisch gezien geen contract, geen overeenkomst te zijn: je zou ook bewijs kunnen vrijgeven als aan een voorwaarde (overlijden persoon X) is voldaan, of een specifieke voorwaarde van een overeenkomst borgen.

Ik pieker al een tijdje wat nu de echte praktische toepassingen van smart contracts gaan zijn. Dat voorbeeld van de domeinnaam is namelijk een van de weinige die ik in de categorie van het volledige contract zie werken. Dat is volledig automatisch na te gaan en uit te voeren middels gestructureerde registers, en er zit ook weinig controversieels aan zo’n afspraak. Je verkoopt of niet, op een specifieke datum en je mag tussentijds annuleren of niet.

Maar vooral: dat er geleverd is, nagekomen is, dat is eenduidig vast te stellen. Dat register vermeldt dat het ding op naam staat van de koper. Er zijn nog wel een paar voorbeelden in die categorie – onroerend goed, merkenrechten, misschien ondernemers in gereglementeerde beroepen – maar het is marginaal.

Ga je echter verder dan zo’n specifieke constructie, dan wordt het ingewikkeld. Betaald krijgen omdat je iemands algemene voorwaarden hebt gereviewd, of een website hebt gemaakt, voegt een smart contract daar wat toe? Je zit dan met een kwaliteitstoets namelijk (is de klant tevreden) waar een smart contract moeilijk op kan toetsen. Een AI die een website mooi kan vinden, of zelfs maar vaststellen of het ding adequaat is beveiligd en geprogrammeerd, dat zal nog wel even duren.

Het feit dat zo’n voor mij fundamenteel probleem nog niet opgelost is, maakt dat ik de slimme contracten vooral als een hype zie.

Toch geloof ik wel dat het smart contract er gaat komen, maar dan op een andere manier. Vaak gaat het namelijk zo met hypes. Er is een nieuwe innovatie of technologie, die gaat op zoek naar een oplossing. De eerste oplossingen lijken veelbelovend, dat zwelt aan tot een hype, waarna op zeker moment blijkt dat het toch niet werkt. Daarna stort de aandacht in, maar vasthoudende types blijven ermee doorgaan en komen bij iets uit dat wél interessant is. In managementjargon: de Gartner Hype Cycle. Waarschijnlijk wordt dat een combinatie met de blockchain. Ook dit is een oplossing op zoek naar een probleem. De blockchain is een gedistribueerd grootboek, een registratie van transacties, waarbij er niet één authentiek origineel is maar een hoop mensen elk een kopie hebben en middels consensus vaststellen of een nieuwe transactie klopt met de geregistreerde geschiedenis.

Er zit een heleboel technologie achter om dit te laten werken, vervalsingen tegen te houden en mensen te stimuleren hieraan mee te werken (zoals het minen of delven van bitcoins, in dat blockchainsysteem). Maar uiteindelijk gaat het daar niet om. De kern is dat je het idee van een centrale autoriteit of een authentiek origineel loslaat en in plaats daarvan consensus over de administratie haalt bij een grote groep mensen. Gedistribueerde consensus in plaats van autoriteit. Grote voordeel daarvan is dat die grote groep mensen veel lastiger (of eigenlijk onmogelijk) te manipuleren is om informatie aan te passen.

Nu is het natuurlijk een probleem dat registraties van van alles en nog wat aan te passen zijn als je niet uitkijkt. Foutjes worden overal gemaakt, en beheerders kun je omkopen, bedreigen en wat al niet meer. Het blockchainsysteem voorkomt dat inderdaad. Maar dan dringt zich de vraag op, is dat voordeel zo veel groter dat we over moeten stappen?

In de juridische wereld kennen we dat probleem natuurlijk al veel langer. En er zijn dan ook al lang oplossingen voor bedacht, zoals de notaris die als taak heeft als vertrouwde derde te fungeren. Als de notaris het zegt, dan is het waar (art. 156 Rechtsvordering). Idem voor bijvoorbeeld de constatering door een deurwaarder, of de registratie bij het Kadaster van perceelgrenzen. Natuurlijk zitten hier zwakke punten, in theorie is een notaris omkoopbaar of te foppen, maar dit is uiterst zeldzaam en vrijwel altijd te detecteren als het toch speelt. Het voelt dan wat zwaar om dat hele systeem af te schaffen.

De uitdaging voor zowel blockchain als smart contract is dus te zoeken naar een plek waar die centrale registratie er niet is, en waar eigenlijk ook geen behoefte is aan een enkele beheerder daarvan. Welke transacties of activiteiten willen we graag onder controle houden maar zonder controleur?

Arnoud

Hela, hebben we nou ineens een recht op reparatie van slimme (haha, ja) apparaten?

Huishoudelijke apparaten worden vanaf 2021 makkelijker te repareren, las ik bij de BBC. Fabrikanten moeten zorgen dat die dingen langer meegaan én dat reserveonderdelen 10 jaar beschikbaar blijven, waarbij ook anderen dan eigen dealers de reparatie moeten kunnen uitvoeren. Dit right to repair is al een jaar of tien een discussieding, want steeds vaker gaan apparaten op slot: alleen de fabrikant kan er softwareupdates in duwen, en hardwareupdates zijn technisch ingewikkeld of ook onmogelijk gemaakt tenzij je dealer bent en de juiste schroevendraaier of aansluiting hebt. Combineer dat met planned obsolescence oftewel geplande slijtdatum en je ziet hoe dat de markt verpest.

De berichtgeving gaat terug op tien Verordeningen over nieuwe ecologische eisen aan huishoudelijke apparaten. Deze moeten te herstellen en te recyclen zijn, en een stuk energiezuiniger ook. Oh, en softwareupdates mogen het gedrag niet veranderen op een manier die in strijd is met de certificering of op een manier die betere performance bij onderzoeken geeft. Oh en speciaal voor Apple: aanpassing van energieconsumptie mag alleen met expliciete toestemming van de gebruiker.

Herstel moet kunnen voor 7 tot 10 jaar na verkoop afhankelijk van het soort apparaat. Daarbij moeten de onderdelen binnen 14 dagen na verzoek geleverd worden en met algemeen gebruikelijke apparatuur geïnstalleerd kunnen worden zonder het apparaat permanent te beschadigen. Dat laat nog maar weinig ruimte voor fabrikantengeintjes. Zeker omdat ook de voor eigen onderdelen benodigde informatie (zoals diagrammen en specificaties van sensoren en dergelijke) moet worden gepubliceerd op de eigen officiële website.

Weinig, want specifiek bij software zie ik wel meer mogelijkheden. Mag je bijvoorbeeld inbouwen dat een zelfgemaakt vervangend stuk hardware alleen door jou gecertificeerde code mag bevatten; geen certificaat met digitale handtekening van de fabrikant, dan werkt ie niet. Dit voelt tegen de geest van de regel maar ik zie zo 1-2-3 geen expliciet verbod daarop.

Verder is het natuurlijk jammer dat de informatie alleen aan professionele herstellers hoeft te worden aangeboden. De informatie mag dus afgeschermd worden tot personen die zich aanmelden en door een (vrij beperkte, maar toch) screening heenkomen. Reken maar dat deel daarvan dan is dat ze de informatie niet publiek maken, zodat Jan met de 3D printer er niets mee kan.

In de goede journalistieke traditie van “een vraag in de kop wordt met nee beantwoord” is het antwoord dus helaas nee, slimme apparaten zijn niet wettelijk afdwingbaar te herstellen – dat gaat immers om softwareupdates en daar zegt de Verordening nu net niets over. Een gemiste kans dus. Jammer.

Arnoud
PS: er zijn nog beperkt kaarten beschikbaar voor mijn congres The Future is Legal!

Had ik al eens gezegd dat ICT van de open standaarden aan elkaar hangt (en wat dat met patenten doet)?

Innovatie en patenten, volgens de (juridische) boekjes horen die onlosmakelijk bij elkaar. Je vindt iets uit, en omdat je bang bent dat een ander ermee vandoor gaat houd je dat geheim. Dat is vervelend voor de maatschappij, dus kun je als alternatief een octrooi of patent krijgen waarmee je juridisch kunt optreden tegen zo’n innovatie-naäper. Wel moet je dan in detail vertellen hoe je uitvinding werkt, zodat we na afloop van je octrooi er allemaal profijt van kunnen trekken. Klinkt geweldig he? Maar in de praktijk werkt het vaak niet zo. Helemaal niet in de ICT.

Het octrooisysteem zoals wij dat kennen is geboren in de 18e eeuw, hoewel de eerste soort-van patentwet al in 1474 in Venetië van kracht was. Niet toevallig ging dat samen met de eerste Industriële Revolutie (we zitten nu in de vierde, overigens). Er werd veel uitgevonden en op de markt gebracht, en er werd ook veel gekopieerd. Patenten kwamen dan ook precies op het goede moment. Alleen, of ze werkten zoals de bedoeling was, blijft de vraag: al sinds de patenten van James Watt op de stoommachine is er discussie of patenten niet juist innovatie vertragen omdat je nieuwe systemen tegen kunt houden.

In de ICT en met name rond internet hebben we daar lang geen last van gehad, omdat patenten op software niet leken te kunnen. Wiskundige methoden en instructies voor computers waren uitgesloten van octrooi, en de grote innovators/patentaanvragers hadden ook zelden behoefte aan octrooien op dergelijke technieken want uiteindelijk werd alles toch hardware of een schakeling, waar gewoon octrooi op mogelijk was. Maar vanaf de jaren negentig veranderde dat; eerst in de VS en bijna tegen 2000 ook in Europa toen diverse uitspraken van de octrooiverlenende instanties leken te concluderen dat softwarepatenten wel mogelijk waren. Pas sinds de Alice-uitspraak lijkt er gelukkig een einde te zijn gekomen aan de grootste onzin. (Lees dit juridische artikel voor alle jurisprudentie in die tijd.)

Softwarepatenten waren met name vervelend vanwege de standaardisatie. De ICT hangt van de standaarden aan elkaar. Geen product of dienst staat op zich, alles moet met elkaar kunnen praten. Standaarden kun je geheim houden, maar dan kan niemand met je samenwerken en de meeste ict-dienstverleners hebben elkaar toch nodig. Vandaar dat op internet veel gewerkt werd met open standaarden, waarvan de specificatie bekend was zodat iedereen die in kon bouwen. Er is dan alleen één probleem: wat als iemand een patent heeft op iets in die specificatie? Dan kun je deze niet bouwen zonder het patent te schenden.

Wanneer zo’n standards essential patent een specifieke technologie treft, dan is de schade nog te overzien. Dan stap je over van GIF naar PNG of je vermijdt het IDEA algoritme. Maar als het patent fundamenteler is, dan loopt die standaard vast. Volgens mij is dat een bug in het patentsysteem. Bij de eerste industriële revolutie kwam die niet aan het licht, omdat de meeste vindingen in die tijd standalone waren. Daar kun je dan een alternatief naast zetten, maar de dieselmotor hoeft niet compatibel te zijn met de stoommachine of zelfs de benzinemotor.

Het concept van interoperabiliteit of compatibiliteit is daardoor nooit in het patentsysteem verwerkt, en daar merken we nu pas de gevolgen van. Natuurlijk waren die er al langer, maar het ging geruime tijd goed omdat de grootste patenthouders onderling licenties afsloten of patent pools inrichtten waar men eenvoudig kon afrekenen en toegang kon krijgen tot patenten. Als je die standaarden vervolgens in een commercieel verkocht product stopt, kun je die kosten vervolgens gewoon verhalen. Weinig aan de hand dus. Maar op internet werkt dat niet: daar wordt alles gratis geïmplementeerd. Afrekenen per product of per maand dienstverlening is dan niet mogelijk.

De product/patentwerelden en de ict/internetwereld botsen sinds eind jaren negentig steeds vaker met elkaar. De recentste plek waar dit lijkt te gaan gebeuren, is die van de elektrische auto. Op mijn congres The Future is Legal vertelt Lonneke Driessen van de Open Charge Alliance over open standaarden in de elektrische-autowereld:

Inmiddels zijn elektrische auto’s niet meer weg te denken uit het straatbeeld. Over een paar jaar zijn ze zelfs goedkoper dan benzine- of dieselauto’s in aanschaf, onderhoud en verbruik. Daarnaast rijden ze schoner, stiller en soepeler. Een nieuwe wereld ligt dus in het verschiet, waar nieuwe spelers kansen zien. Het eerste juridische wapengekletter is inmiddels een feit. Graag nemen we u mee in het verhaal hoe de eerste rechtszaak over intellectueel eigendom rondom elektrisch vervoer is verlopen, wie er gelijk heeft gekregen en waarom.

Er is nog plek dus schrijf je snel in.

En voor de discussie nu de stelling: patenten hadden bij de zuivere werktuigbouwkunde (en oké, chemie) moeten blijven.

Arnoud

Politiek wil waakhond op algoritmes, maar ik heb liever een keurmerk voor de trainingsdata

De Nederlandse politieke partijen D66 en CDA roepen het kabinet dinsdag in een motie op toezichthouder op te zetten die het gebruik van algoritmes bij de overheid in de gaten houdt. Dat las ik bij Tweakers maandag. De macht van algoritmes is een steeds grotere angst aan het worden: ze zijn niet transparant, ze kunnen al snel discrimineren of oneerlijk behandelen en ambtenaren voelen zich vaak verplicht om te doen wat het algoritme zegt in plaats van hun eigen afwijkende opvatting over de zaak door te zetten. Een loffelijk idee, alleen vergeten ze weer waar het eigenlijk om gaat: it’s the data, stupid.

Aanleiding voor het voorstel is eerdere berichtgeving van de NOS over de macht van algoritmes. Schokkend vond ik vooral dat niet duidelijk was waar en hoe men geautomatiseerde besluitvorming toepast, de NOS had vele wob verzoeken nodig om een en ander een tikje inzichtelijk te krijgen. De richtlijn moet duidelijk maken in welke gevallen gebruik van algoritmes wel of niet gerechtvaardigd is. Of er een volledig nieuwe toezichthouder moet komen of dat bijvoorbeeld de Autoriteit Persoonsgegevens extra bevoegdheden krijgt, moet nog worden besloten.

Een algoritme is een reeks instructies die door een computer wordt uitgevoerd, zo meldt de NOS netjes. Alleen hebben we het hier niet over algoritmes in klassieke zin, zoals in het stroomschema hier rechtsboven. Een klassiek algoritme is als een taartrecept: doe eerst dit, als de temperatuur hoog genoeg is doe dan dat, doe daarna zus tenzij X want dan zo. En computers gaan dat dan rechtlijnig uitvoeren. (Kennen jullie die van de programmeur die totaal uitgeput uit zijn douche werd gehaald? Op de shampoofles stond namelijk: haren natmaken, shampoo aanbrengen, uitspoelen, herhalen.)

Dergelijke algoritmes worden top-down ontworpen. Begin met de hoofdlijnen, zoek de simpele randgevallen en voeg daar uitzonderingen voor toe, draai het een paar keer en voeg extra uitzonderingen of bijzondere regels toe. Dat groeit door de tijd heen, maar in principe is elke stap bewust genomen en iedere uitbreiding weloverwogen. In theorie is daarmee iedere stap uit te leggen.

De algoritmes waar dit voorstel over gaat, zijn echter geen klassieke algoritmes. Ik zou dit haast kunstmatige intelligentie noemen maar het is gewoon machine learning: het zoeken naar trends en verbanden op basis van grote bakken met data. Eigenlijk gewoon statistiek: in deze bak data zijn dit de fraudeurs en dit niet, en dan flink doorrekenen wat die gemeenschappelijk hebben om zo een voorspellende functie te bedenken die voor een nieuwe aanmelding zegt of deze fraudeur is.

Die voorspellende functie, geladen met die data, is dan een algoritme in de zin dat het een reeks instructies is – maar praktisch gezien is het onvergelijkbaar met die klassieke algoritmen. Sterker nog: ik durf wel te zeggen dat die functie an sich totaal niet interessant is. Daar zijn er genoeg van, en hoewel ieder deep neural net vast zijn eigen prachtige theorie en implementatie heeft, is dat niet waar het om gaat. Laad datzelfde net met nieuwe data en je krijgt iets compleet anders.

Het gaat dus om die data en niets anders. Welke data gaat erin, hoe is die samengesteld en hoe wordt geborgd dat dit een eerlijke en objectieve samenstelling is? Want dáár komt al die ellende van. Vaak is data uit beperkte bron geselecteerd, of ergens aangekocht, en in ieder geval is ‘ie niet getest op representativiteit en actualiteit. Daar gaat het dan meteen mis, want met slechte brondata ga je natuurlijk nooit goede voorspellingen doen. Maar het enge is, het lijken bij het testen best goede voorspellingen want je houdt altijd een stukje van je brondata apart om eens mee te testen. En ik geloof onmiddellijk dat je dan goede uitkomsten krijgt. Logisch, het is dezelfde bron en op dezelfde manier gecategoriseerd.

Ik zou er dus hard voor willen pleiten om geen tijd te verspillen aan die algoritmes, maar juist de problemen bij de bron te bestrijden: geen data de overheid in tenzij met keurmerk. De data moet kloppen, eerlijk zijn en volledig. Dáár een toezichthouder voor lijkt me een prima idee.

Arnoud

Hoe een foto-app grondstof voor de AI-wapenindustrie bleek

Handige app: Ever, bewaar je foto-herinneringen voor eeuwig online. Fijn dat weekend met opa, en leuk om die eerste stapjes van je kind nog jaren later samen terug te zien. En helemaal om een warm gevoel van te krijgen: die gezichten worden knus ingezet om Artificial Intelligence gezichtsherkenning mee te trainen zodat slimme wapensystemen beter kunnen schieten. Wacht, zeg dat laatste nog eens?

Diverse media berichtten er recent over: fotodienst Ever blijkt niet alleen de consument als klant te hebben die daar graag zijn vakantiekiekjes en mooie momenten op wil slaan. Ever gebruikt deze foto’s als grondstof om haar gezichtsherkenningssoftware (een AI, heet dat dan) te trainen om beter gezichten in beeld te herkennen. Die software wordt dan vervolgens in licentie gegeven aan allerlei partijen, waaronder opsporingsdiensten en defensie.

Deze casus laat mooi zien wat het grootste pijnpunt is bij het aanbieden van AI-diensten oftewel algoritmes getraind op grote bergen data. Namelijk, hoe kom je aan die grote bergen data en met name de bijbehorende metadata, de informatie die zegt wat er in die data zit. Je kunt natuurlijk een boel foto’s aankopen en werkstudenten ze handmatig laten voorzien van labeltjes “gezicht”, “hond”, “auto” enzovoorts, maar dat kan behoorlijk arbeids- en kostenintensief zijn.

Een online dienst zoals Ever heeft echter een nog veel mooiere optie: haar gebruikers geven uit vrije wil al die data en zetten er zelf nog bij wat erop staat. Taggen, handig om alle foto’s van opa terug te vinden, maar ook om die gezichtsherkenning te trainen dat daar een oudere meneer op de foto staat (in tegenstelling tot een hond, bijvoorbeeld). Wie wil dat nou niet, gratis werkende leveranciers?

Het doet natuurlijk wel wat gek aan voor die gebruikers, die werden gelokt met de belofte “Make memories” en de geruststellende frase “dedicated to helping you capture and rediscover your life’s memories”. Dan verwacht je niet je foto’s als input te zien bij een dreigend-militair klinkend verkoopfilmpje voor gezichtsherkenning in wapensystemen.

Mag het? Tsja, in de VS waarschijnlijk wel. Daar geldt immers niet of nauwelijks enige bescherming voor privacy. Had je de privacyverklaring maar moeten lezen, daar stond vast een zin in dat “Some of these technologies may be used in our separate products and services for enterprise customers, including our enterprise face recognition offerings, but your files and personal information will not be”. Daaruit begrijpt toch iedereen dat gezichten in je foto’s door de Ever AI gezichtsherkenning worden gebruikt om beter te worden?

In Europa ligt dit wat lastiger, omdat de AVG (GDPR) daar natuurlijk streng over is. Het verwerken van iemands persoonsgegevens mag niet zomaar. Daar moet je toestemming of een andere grondslag voor hebben. Het eigen legitiem belang is zo’n grondslag. Je zegt dan, ik heb als bedrijf deze data nodig voor dit en dat doel, en ik doe dat zo dat uw privacy zo veel mogelijk intact blijft. Ik zie wel de redenering dat dit hier opgaat: de foto’s zelf gaan niet naar buiten, zelfs niet informatie over dat het opa Henk is, we maken alleen een algoritme dat beter kan zeggen waar in een nieuwe foto een gezicht zit. Hoe raakt dat de privacy van gebruikers?

Zuiver juridisch zie ik dat argument nog wel. Maar gevoelsmatig is dat een heel andere zaak. Die data voelt ergens tóch privé, en dan is dit soort gebruik toch onbehoorlijk. Zeker als het alleen met zulke wollige braaftaal aangegeven is en de context zó anders is. Hier zit dus voor mij een discrepantie tussen wet en praktijk, die we alleen maar vaker gaan merken. Want data is de grondstof voor AI en die grondstof gaat alleen maar meer nodig zijn.

Arnoud