Categorie: Innovatie

About Innovatie

Subscribe Feeds

In Estland denken ze dat AI een eerlijke rechter kan zijn

Geplaatst op in Innovatie, 9 reacties

De Baltische staat Estland timmert al geruime tijd fors aan de weg met wat wij e-government zouden noemen: innovatief en digitaal diensten aan de burger aanbieden, van een elektronische identiteitskaart tot een compleet online loket. Veilig, snel en goedkoop. En AI oftewel machine learning speelt daarbij een steeds grotere rol. Mede gedreven vanuit de behoefte aan een kleinere overheid reduceert men het aantal ambtenaren continu, om daar AI-gedreven diensten voor in de plaats te zetten. De laatste kandidaat: de rechtspraak. Zou dat wel goed gaan?

Het Estse ministerie van Justitie heeft onlangs chief data officer Ott Velsberg gevraagd een digitale rechtbank te ontwikkelen die volautomatisch kantonzaken – tot 7.000 euro – kan vonnissen. Velsberg is geen nieuwkomer: zijn team ontwikkelde eerder een hooiveldscanner waarmee subsidies voor braakliggend land konden worden gecontroleerd, en een banenmatcher voor de uitkeringsinstantie zodat gerechtigden eerder passend werk konden vinden. En nu dus de rechtspraak.

Een groot voordeel voor Estland is dat nu zo veel al geautomatiseerd is, het maar een kleine stap voelt om ook je juridische claims online in te dienen en te laten behandelen. Al dan niet met advocaat natuurlijk. Wel een grote stap verder is het automatisch laten behandelen – en dus een vonnis krijgen – van zo’n claim, zonder menselijke tussenkomst.

Helaas is er nog weinig in detail gepubliceerd over hoe het systeem moet gaan werken, maar het lijkt het bekende stramien van AI oftewel machine learning te zullen volgen. Voed het systeem met zo veel mogelijk oude zaakdossiers, koppel daaraan de uitspraak en laat het systeem ‘kauwen’ op die gegevens om lijnen en voorspellers te ontdekken. Vervolgens kun je nieuwe dossiers in het systeem plaatsen, die dan langs die lijnen worden gehouden om te zien of ze wel dan niet moeten worden toegepast.

Dit lijkt enigszins op hoe rechters nu ook werken: op basis van ervaring prik je snel door argumenten heen, zie je wat ontbreekt in het dossier of wat opmerkelijk is. En daar kun je dan een conclusie op bouwen. Maar een belangrijk verschil is natuurlijk dat een AI totaal niet de inhoud van het dossier analyseert, maar afgaat op rekensommetjes met die inhoud.

Een risico is dan ook dat een AI-rechtbank op basis van de verkeerde soort informatie conclusies trekt. Zo zou het kunnen gebeuren dat de meeste winnende eisers in de Estse hoofdstad Tallinn gevestigd zijn. Toeval, maar voor een AI significant. Die zou dan in een twijfelzaak deze vestigingsplaats de doorslag laten geven.

Natuurlijk kun je dat soort zaken proberen te filteren, bijvoorbeeld door NAW-gegevens te anonimiseren, maar dingen kunnen door blijven schemeren. Het Amerikaanse bedrijf Amazon ontdekte bijvoorbeeld dat hun sollicitatie-AI sterk de voorkeur gaf aan mannen, ook nadat men het geslacht van de kandidaat had geblokkeerd voor de brievenlezende robot. Het geslacht kon immers worden afgeleid uit hobby’s als vrouwentennis, waar natuurlijk maar weinig mannen aan meedoen. En als je ook dat verwijdert, zijn er misschien factoren als veel deeltijdbanen hebben bekleed.

Het onderliggende probleem is uiteindelijk altijd bij dit soort systemen dat zij alle data als even relevant behandelt. Dit terwijl mensen hoofd- en bijzaken kunnen scheiden, en weten dat de aanschaf van een bankstel dezelfde soort geldschuld geeft als de aanschaf van een auto. Dergelijke abstracties kunnen AI’s compleet niet maken.

Dat wil niet zeggen dat AI’s onmogelijk zijn in de rechtspraak. Een simpele variant zou een dossierchecker zijn: een zoektocht naar een ingebrekestelling in een dossier komt neer op tekstherkenning, iets waar computers beter in zijn dat mensen. En een claim wegens schadevergoeding zonder ingebrekestelling kan dan eenvoudig worden afgehandeld. AI helpt dan bij het zoeken naar feiten, naar invoer waarmee juridische regels worden ingezet. En dat lijkt me een betere verdeling van de respectieve krachten.

Arnoud

Mag dat, gratis wonen als je mee laat kijken in je bed?

Geplaatst op in Innovatie, Privacy, 14 reacties

Aangeboden: een jaar lang goedkoop wonen, zo meldde het FD onlangs. Ingebouwde sensors meten hoeveel je slaapt, wat je doet met ‘slimme’ huishoudelijke apparaten, hoeveel tijd je doorbrengt met social media, of je nog genoeg beweegt. Behoorlijk indringend maar er staat iets tegenover: hoe meer je laat meten, hoe lager je huur wordt. In theorie zou je zelfs geheel gratis moeten kunnen wonen als ze letterlijk álles van je mogen weten. Inclusief je Brown Big Data dus, de sensoren in de riolering. Een mooi initiatief, maar diverse lezers kregen er de vraag door, mag dat eigenlijk wel van de AVG?

Het Brainport Smart District in Helmond heeft als ambitie een toekomstwijk te zijn: een veilige, veerkrachtige wijk met sociale samenhang met, voor en door bewoners. De focus ligt op integratie en diensten voor de bewoner, dit in tegenstelling tot eerdere experimenten waarbij de focus lag op datagraaien voor de techbedrijven erachter (zoals Toronto). Veelzeggend vond ik de uitspraak van een voorlichter dat “data is arbeid”, arbeid mag best beloond immers.

Zo op het eerste gezicht lijkt er weinig mis met de opzet, juridisch gezien. Je gaat daar wonen terwijl je duidelijk weet wat er gaat gebeuren, daar zie ik wel een vrijwillig gegeven toestemming in. Die kun je intrekken, zelfs getrapt – deze week even de slaapkamer niet – en daar doet dan niemand moeilijk over. Volgens mij zit dat AVG technisch wel snor.

In het huurrecht is deze constructie een nieuwe volgens mij. Op zich is het nogal ongepast voor een verhuurder om te snuffelen in de privézaken van zijn huurder. Een verhuurder heeft het recht niet eens om het pand te betreden, om eens wat te noemen. Dus camera’s of sensoren, dat mag allemaal niet. Maar met toestemming mag er natuurlijk heel wat meer.

De enige mogelijke juridische vraagtekens kun je volgens mij zetten bij hoe vrij die toestemming echt is, omdat er immers keihard geld (en vast geen tientjes) tegenover staat aan korting op de huur. Het argument zou dan zijn, mensen gaan er heen met het idee dat het wel meevalt met die sensoren, en als ze dan ontdekken dat ze het onprettig vinden dan is die huurkorting al het budget ingeslopen zodat ze niet vrijelijk nee meer kunnen zeggen. Die gaat me wat ver, maar in de lijn van de cookiemuur-uitspraak van de AP is het verdedigbaar.

Arnoud

Een black box algoritme mag geen juridische besluiten nemen

Geplaatst op in Innovatie, 9 reacties

De zwarte doos roept steeds meer zorgen op. En dan bedoel ik niet de (overigens feloranje) kast in vliegtuigen waar informatie over crashes te vinden is, maar de zogeheten black box algorithms die zonder inzicht in hun werking een uitkomst geven. In het jargon van de ‘meme’ of internetgrap: “Computer says no”. Een zorgelijke ontwikkeling immers als je bedenkt dat steeds meer besluitvorming dankzij dergelijke algoritmes plaatsvindt. Een gebrekkige motivatie zou men bij menselijk genomen besluiten niet accepteren, dus waarom dan wel bij computers? Gelukkig heeft onze Hoge Raad nu een uitspraak gedaan die een harde lijn trekt tegen zulke besluitvorming.

De term ‘algoritme’ is in dit verband een tikje misleidend. Een algoritme is een eindige reeks instructies die vanuit een gegeven begintoestand naar een beoogd doel leidt. Meestal worden deze instructies door een computer uitgevoerd. In beginsel is er dus niets ondoorzichtigs of mysterieus aan een algoritme. “Ga na of betrokkene de leeftijd van 67 jaar heeft bereikt en zo ja ga over tot AOW-uitkering” is een volkomen transparant algoritme, dat iedere SVB-ambtenaar kan uitvoeren.

De meeste algoritmes zijn echter een stuk complexer, en drijven steeds vaker op zogeheten machine learning constructies in plaats van ouderwets ontworpen procedures. Klassieke algoritmes worden opgezet als stappenplannen van bovenaf, en verfijnd of uitgebreid als de regels ingewikkelder worden of uitzonderingen moeten worden ingevoerd. In bovengenoemd voorbeeld zou eigenlijk de deelregel horen “als betrokkene na 31 december 1954 en voor 1 oktober 1955 is geboren, neem dan de leeftijd van 67 jaar en 3 maanden”. Latere wetgeving kan nog meer regels doorvoeren, zoals wat te doen als iemand vele jaren in het buitenland heeft gewoond. Dit alles blijft relatief overzichtelijk.

Machine learning algoritmes werken van onderaf. Zij analyseren bestaande historische gegevens en destilleren daaruit patronen, die vervolgens worden omgezet in regels. Een dergelijk algoritme zou bijvoorbeeld uitkeringsfraude kunnen detecteren door in uitgavenpatronen van gerechtigden te zoeken naar voor fraude typische handelingen zoals op onregelmatige momenten grote bedragen ontvangen of vanaf de 15e van de maand niets meer te pinnen (omdat dan het zwart geld handje contantje wordt ontvangen).

Deze algoritmes zijn dus niet met vooraf opgestelde regels geformuleerd, maar kunnen uitsluitend vaststellen of een nieuwe casus voldoet aan het gedetecteerde patroon. Zo’n patroon is dan niet eenvoudig verklaarbaar, althans niet in een vorm waar mensen genoegen mee nemen. Effectief komt het algoritme niet verder dan “uw gedrag lijkt heel sterk op dat van fraudeurs, dus bent u volgens ons een fraudeur”. Nadere uitleg waaróm men dan lijkt, blijft vaak achterwege of komt neer op een opsomming van factoren waar moeilijk een voor juristen herkenbare regel van te maken is.

Een bijkomstigheid is dat dergelijke algoritmes vaak worden ontwikkeld door private bedrijven, die de effectiviteit van hun algoritme als belangrijkste verkoopargument aandragen. Het is dan ook essentieel voor hen dat zij geen inzicht hoeven te geven in de details van het algoritme, immers anders doet de concurrent morgen hetzelfde. Ook daardoor is sterk het beeld ontstaan dat algoritmes ondoorzichtige dozen zijn, er mag immers niet in worden gekeken.

Wanneer dergelijke algoritmes worden ingezet voor juridische besluitvorming, ontstaat een groot probleem. Een bestuursorgaan of rechtbank neemt dan een besluit, waarbij een deel van de motivatie gebaseerd is op een ondoorzichtige doos die ja of nee zegt. Een heldere motivatie is kern van een goede besluitvorming. Immers het is de motivatie waarop men een besluit in hoger beroep aanvecht.

Terecht dan ook dat de Hoge Raad bij arrest van 18 augustus een duidelijke streep in het zand trekt: wanneer een bestuursrechtelijk besluit geheel of ten dele het resultaat is van een geautomatiseerd proces, moet het bestuursorgaan zorgdragen voor de inzichtelijkheid en controleerbaarheid van die keuzes, aannames en gegevens. Anders kan een belanghebbende de juistheid van de bij dat geautomatiseerde proces gemaakte keuzes en van de daarbij gebruikte gegevens en aannames niet controleren en betwisten.

De zaak betrof de modelmatige waardebepaling in het kader van de uitvoering van de Wet WOZ. Deze waardebepaling vindt in eerste aanleg geautomatiseerd plaats. Hiertoe worden door (nagenoeg uitsluitend externe) softwareontwikkelaars taxatiemodellen ontworpen die per gemeente worden gevuld met de relevante objectgegevens en de beschikbare verkoopinformatie. Op grond van modelmatige analyse worden in het taxatiemodel onder meer staffels berekend die kunnen worden gebruikt voor het bepalen van de grondwaarde van het te taxeren object, met inachtneming van het type object en de ligging van de onroerende zaak. De staffels zijn opgenomen in de software en dus niet inzichtelijk voor de ambtenaren die ermee werken, laat staan voor de betrokkenen die de waardebepaling aangezegd krijgen.

De Hoge Raad ziet een dergelijke manier van werken in strijd met fundamentele beginselen van een goede besluitvorming. Een belanghebbende kan in geval van besluitvorming op basis van een computerprogramma dat vanuit zijn perspectief is te beschouwen als een zogenoemde “black box” immers niet controleren op basis waarvan tot een bepaald besluit wordt gekomen. Het is dan onmogelijk een fatsoenlijk bezwaar daartegen te formuleren. Het verbaast dan ook niet dat de HR de betrokkene gelijk geeft.

Terug naar de tekentafel, of eigenlijk rekentafel dus voor de gemeente. Echter, dat roept de vraag op hoe een nieuw besluit dan wél fatsoenlijk tot stand kan komen. Het is immers het gewone werkproces waarbij deze gegevens als black box worden gebruikt. In feite zou de gemeente nu de staffels opnieuw moeten construeren en als transparante tabellen moeten aanbieden, zodat ze als duidelijke onderbouwing en grondslag kunnen dienen. Dat zal buitengewoon veel werk kosten, en dat was nu precies waarom men die software van derden afnam.

Een ander probleem is dat dergelijke nieuwe staffels mogelijk minder van kwaliteit zullen zijn. De bestaande ontransparante staffels voldoen namelijk vaak wel in hoge mate. Dat is de keerzijde van zo’n breed computeralgoritme dat op basis van data-analyse tot stand komt: het wérkt wel heel goed. Het is immers gebaseerd op de feitelijke situatie, niet op hoe men op papier bedenkt dat dingen zouden kunnen zijn. Het dilemma van de algoritmes: wil men een mooi model dat niet past bij de werkelijkheid, of een passend model dat onverklaarbaar is?

Arnoud

Privacywet schiet tekort bij hulp tegen computer

Geplaatst op in Innovatie, 13 reacties

De nieuwe Europese privacyregeling, die moet voorkomen dat computers ongecontroleerd belangrijke beslissingen nemen over mensen, helpt niemand. Dat zeggen privacy-experts aan verschillende universiteiten in het FD vorige week. De AVG – want daar hebben we het natuurlijk over – bepaalt dat mensen niet onderworpen mogen worden aan geautomatiseerde beslissingen. De beslissing moet menselijk zijn, een computer of algoritme mag slechts ondersteunen en adviseren. Bovendien moet het geautomatiseerde proces uitlegbaar zijn, een onderwerp waar we vaker over hebben gediscussieerd. Maar het helpt niet, omdat – zo luidt de cynische conclusie – organisaties gewoon een mens “computer says no” laten zeggen en dan onder de wet uit denken te komen.

Op papier is het verbod natuurlijk streng genoeg om dit soort trucjes eenvoudig te dwarsbomen. Het hele idee van dit verbod is te voorkomen dat een ijzerenheinige computer een rood lampje laat branden waartegen je niets kunt doen. Een mens er naast die met veel sympathie de schouders ophaalt en “het spijt me, het mag écht niet” zegt, is dan natuurlijk geen wezenlijke verbetering. En als je die computer onder het bureau verstopt dan blijft het natuurlijk evenzo hetzelfde.

Praktisch gezien geloof ik onmiddellijk dat bedrijven deze oplossing kiezen en kijken of er iemand komt piepen. De kracht van de AVG zit hem net zoals alle andere wetten in de handhaving. Laten we dit gaan, dan blijft alles zoals het is. Bovendien zitten mensen vaak niet te wachten op uitleg of menselijke tussenkomst, ze hebben een bezwaar en willen dat iemand daar wat mee doet. Zoals Stefan Kulk het zegt:

‘Mensen willen dat een beslissing wordt teruggedraaid. Het kan ze misschien weinig schelen dat het een computer is geweest. Bovendien is de drempel voor een klacht erg hoog. Je moet weten dat jouw persoonsgegevens zijn gebruikt voor een volledige computerbeslissing. Dat weet bijna niemand.’

Dit suggereert alleen wel dat wanneer een mens handmatig (of gevoelsmatig?) het besluit neemt, je géén recht hebt om uitleg te krijgen over die beslissing. Dan zou je daar niet zomaar bezwaar tegen kunnen maken.

Hébben we eigenlijk wel recht op uitleg van een besluit? Die rechtsfilosofische vraag zag ik laatst besproken bij filosofisch blog Bij Nader Inzien. Daar kwam ook dit GDPR-artikel aan de orde:

Wat opvalt aan deze benadering is dat er sprake is van ‘normatieve asymmetrie’. Dat wil zeggen: geautomatiseerde beslissingen zijn in normatief opzicht anders of speciaal vergeleken met menselijke beslissingen. Kort gezegd: voor het hebben van een ‘recht op uitleg’ maakt het alles uit of je kredietonwaardig wordt bevonden door de persoon Ralph van de bank versus een algoritme van diezelfde bank.

Ralph mag dus gewoon zeggen, uw aanvraag voelt niet goed dus helaas geen hypotheek. Maar RalphCom de op IBM Watson gebaseerde Artifical Intelligence hypotheekbetrouwbaarheidsvoorspeller moet met een uitleg komen: “variabele t_lastpay is hoger dan 86400 en in uw uitgavenpatroon is een sterke correlatie gevonden met notoire wanbetalers. PHP Error: Apology not found.”

Wat we feitelijk doen wanneer we van ons recht op uitleg gebruik maken, is te eisen om de mens achter de machine te spreken te krijgen, aldus BNI. Mensen kun je overtuigen met rede en argumenten, vragen om alternatieven, heroverwegingen of nieuwe pogingen. Als ik nu een extra jaarrekening laat zien, denkt u dan wél dat ik een betrouwbare ondernemer ben? Ik bankier hier al twintig jaar, heeft u dat wel meegewogen?

De conclusie die BNI vervolgens trekt – nee, geen fundamenteel recht op uitleg – deel ik echter niet. Ik denk dat je wél dat fundamentele recht hebt, maar dat dit recht eigenlijk zo vanzelfsprekend is dat het niet genoemd wordt. Wie iets belangrijks vraagt en “nee” te horen krijgt, zal altijd vragen “hoezo, waarom dan”. En we worden boos als er dan “tsja, dat is nu eenmaal een gevoel dat ik heb” of vergelijkbare onzinpraat uit komt. Er moet een uitleg komen, en wel zo eentje dat we er bezwaar tegen kunnen maken – of vrede met de beslissing kunnen zoeken.

Arnoud

De rechtspraak en de bedrijfsgeheime bewijsanalyse

Geplaatst op in Innovatie, 28 reacties

Steeds meer bedrijven leunen zwaar op de wettelijke bescherming voor bedrijfsgeheimen, en dat heeft grote impact op de strafrechtspraak. Dat las ik bij Boing Boing een tijdje terug. Het gaat om software die analyses doet op data gebruikt als bewijs, of inschattingen van vluchtgevaar of recidive. Wie als verdachte de bevindingen van die software wil aanvechten, moet eigenlijk wel de broncode en/of brondata er bij hebben. En dat mag dus niet, omdat die bedrijven zich beroepen op de bescherming van handelsgeheimen. Een erg zorgelijke ontwikkeling.

Software in de rechtspraak is de laatste paar jaar aan een forse opmars bezig. Steeds vaker wordt software daarbij ingezet die adviezen of analyses doet waar rechters, advocaten en officieren op kunnen werken. Een bekend (berucht?) voorbeeld is COMPAS, dat recidivisme voorspelt. Daarmee kan een rechter makkelijker bepalen of iemand op vrije voeten gesteld moet worden of liever toch niet.

Het grote probleem met al deze software is dat ze vaak moeilijk (of gewoon helemaal niet) aangeven hoe ze tot hun analyse komen. Steeds vaker proberen gedaagden dan ook inzage te krijgen in de broncodes en achterliggende algoritmes. En dat lukt dus niet, omdat de leveranciers zich kunnen beroepen op bescherming van handelsgeheimen. De definitie van een handelsgeheim is immers dat iets waarde heeft omdat het geheim is, en dat past goed bij zo’n algoritme.

Het wringt natuurlijk enorm met het vereiste van transparantie in de rechtspraak. Wat mij betreft zou het dus een goede zaak worden als het verboden wordt software-analyses als bewijsondersteunend middel te gebruiken tenzij de werking transparant is en er een externe analyse op eventuele bias geweest is.

Arnoud

Terugblik: Werkelijk niemand heeft trek in de cookiewet

Geplaatst op in Innovatie, 19 reacties

Deze en volgende week ben ik met vakantie. Daarom deze week een terugblik op populaire blogs van de afgelopen jaren, vanuit het perspectief van 2018.

Deze week: Werkelijk niemand heeft trek in de cookiewet, en nee daar heeft nog steeds niemand trek in.

Er viel niet aan te ontkomen gisteren: de cookiewet is van kracht. Vanaf gisteren is het verboden cookies te plaatsen zonder toestemming (behalve voor “functionele cookies”, maar dat is hooguit 1% van de cookies). En prompt gaat iedereen als kip zonder kop rondrennen alsof ze niet al twee jaar hadden kunnen weten dat dit eraan zat te komen en ze nú acuut failliet gaan omdat het fundamenteel onmogelijk is om aan die wet te voldoen.

Wat ik me nu bedenk, als je voor “cookiewet” “AVG” leest dan klopt het nog steeds min of meer. Het lijkt wel of ondernemers altijd pas op het laatste moment de impact van wetten merken. Oh nee, de cynische blogs deed ik volgende week.

Weinig sites – tot en met de overheid zelf aan toe – lijken daadwerkelijk van plan iets te gaan doen met de cookiewet. Bij Opta.nl krijg je cookies zonder dat daarom gevraagd is, Rijksoverheid.nl idem, en ook de commerciële jongens en meisjes zetten gewoon vrolijk cookies alsof het niets kost. De enige opmerkelijke uitspringer was Fok!.nl, dat je een buitengewoon lompe tussenpagina geef en eist dat je toestemming voor hun cookies geeft. …

Ik ben eerlijk gezegd vooral benieuwd hoe lang ze het volhouden – en of andere sites ze gaan volgen. Want ergens zie ik het nog wel werken bij een communitysite (behalve dan bij nieuwe leden), maar bij een nieuwssite is het commerciële zelfmoord. Vandaar dat Telegraaf.nl niet verder gaat dan een banner aan de bovenkant van de site, overigens met een impliciete toestemming die volgens mij niet geldig is in Nederland. En Nu.nl heeft alleen een opt-outmelding in haar privacy- en cookiebeleid (“Je hebt op dit moment één actief cookie, klik op opt-out om jouw keuze te wijzigen.”).

Nou, dat ging best lang goed – vandaag de dag nog steeds hebben de banners de overhand over de popups en verplichte akkoords. Logisch, want je haalt er het meeste resultaat mee. En aangezien de handhaving van de cookiewet nul is gebleken, is er ook nul reden om dat te veranderen.

Erg jammer dus, deze gefaalde wet. Want het had zo mooi kunnen zijn, ondernemers dwingen na te denken over waarom cookies nou zo’n probleem zijn en hoe je het alternatief had kunnen oplossen. In plaats daarvan gaat iedereen Postbus 51-folders schrijven over wat cookies zijn en wat ermee gebeurt, waar vervolgens geen hond doorheen gaat.

Arnoud

Mag een AI gaan bellen voor een afspraak bij de kapper?

Geplaatst op in Innovatie, 9 reacties

Restaurants en kapsalons kunnen zich afmelden voor Duplex, waarin digitale assistent Google Assistant belt met restaurants en kapsalons. Dat meldde Tweakers onlangs. De digitale assistent is ontworpen om afspraken en dergelijke telefoontjes te regelen, zodat mensen dat niet zelf hoeven te doen. De gesprekservaring vind ik indrukwekkend, maar het roept natuurlijk wel wat juridische vragen op. Mag dat wel, zomaar als robot een mens gaan bellen? En is het bindend, zo’n afspraak?

De Assistant kan op verzoek van gebruikers op de achtergrond met de telefoon van de gebruiker bellen met bijvoorbeeld een restaurant of kappersalon om een afspraak te maken, schreef Tweakers in mei. Zo kun je met een simpele steminstructie aan een robot er voor zorgen dat het gewenste bedrijf wordt gebeld en dat die afspraak er komt, ook als het jou dan even niet handig uitkomt of je geen zin hebt in de sociale interactie die hoort bij een afspraak maken. Dergelijke afspraken zijn vaak gedoe, dus het is fijn als een computer je werk uit handen neemt.

Maar is het bindend? Ik zou zeggen van wel. Die robot maakt de afspraak op jouw instructie, en ten behoeve van jou. In feite is dit niets anders dan wanneer jij een webformulier invult of via de app op een knopje drukt. Afspraak is afspraak, dus als de robot dat zo regelt dan gá je donderdag om 9.45 naar de kapper. Ook al bedoelde jij eigenlijk 19.45. Jouw assistent zegt het, jij stuurde hem naar de kapper dus jij hangt voor het resultaat. Ook als je dat niet zo had bedoeld. Jouw assistent, jouw risico.

Natuurlijk kun je het gros van zulke afspraken probleemloos verzetten of annuleren, dus heel veel impact zal het niet hebben. Maar zodra we nog een stapje verder gaan, wordt het interessant voor juristen. Stel je assistent belt om een pizza te laten bezorgen, of regelt een kapper of stucadoor aan huis. Daar zitten wél kosten aan, al zijn het maar annuleringskosten of no-show fees als je er niet bent donderdag 9.45. Ik heb er geen twijfel over dat je er dan ook aan hangt. Ook als je dat niet zo had bedoeld. Afspraak is afspraak, en dat jij een onbetrouwbare assistent inschakelt is écht jouw risico.

Interessant vond ik nog het puntje dat we hier ineens weer robots hebben die mensen bellen. Dat hadden we twintig jaar terug ook, totdat de Telecommunicatiewet het verbood. Mensen werden gek van bandjes die je belden, waarna jij maar bezwaar moest maken als je dat niet leuk vond. Naar de letter van de wet zit zo’n Google AI volgens mij echt fout:

Het gebruik van automatische oproep- en communicatiesystemen zonder menselijke tussenkomst, faxen en elektronische berichten voor het overbrengen van ongevraagde communicatie voor commerciële, ideële of charitatieve doeleinden aan abonnees of gebruikers is uitsluitend toegestaan, mits de verzender kan aantonen dat de desbetreffende abonnee of gebruiker daarvoor voorafgaand toestemming heeft verleend

Zo’n robocall is een automatische oproep met communicatie zonder menselijke tussenkomst. De twijfel zou hem zitten in of het ongevraagd is. Is het zeg maar spam als je een reserveringslijn belt om een reservering te maken? Of valt dat nummer onder “contactgegevens die door de gebruiker daarvoor zijn bestemd en bekendgemaakt”, waar een uitzondering op dat belverbod op geldt?

Arnoud

Hoe verhoudt de AVG zich tot de (permissionless) blockchain?

Geplaatst op in Innovatie, Privacy, 2 reacties

Interessante kwestie opgeworpen op Twitter:

Verwerkingen zonder verantwoordelijke(n) zijn niet te vatten in door technologie alweer ingehaalde Avg. Permissionless blockchain verbieden? Avg n.v.t. verklaren? Beide zullen niet werken terwijl fundamentele rechten en vrijheden in het geding zijn. #spannend @toezicht_AP

De context was het rapport Het gebruik van blockchaintechnologie in het verkiezingsproces dat recent verscheen. Hierin werd -grof samengevat- negatief geadviseerd over de inzet van blockchain bij verkiezingen. Een zijdelings relevant aspect daarvan was deze kwestie: wie is de verwerkingsverantwoordelijke bij een blockchainsysteem, oftewel wie is onder de AVG aan te spreken op persoonsgegevens die verkeerd worden verwerkt in de blockchain?

De AVG gaat er vanuit dat bij verwerkingen van persoonsgegevens er uiteindelijk altijd iemand is die de eindbeslissing neemt over het waarom en hoe (doel en middelen). Deze partij is dan de verwerkingsverantwoordelijke en kan worden aangesproken op niet-naleving of gewoon uitoefening van rechten. Die constructie zou je achterhaald kunnen noemen als je kijkt naar (permissionless) blockchain: iedereen doet mee en iedereen stemt met één stem mee over de uitvoering, dus is er dan wel één partij die de eindverantwoordelijk draagt?

Toch denk ik dat de AVG niet zo achterhaald is als hier wordt gesteld. De AVG kent namelijk het concept van de gezamenlijke verwerkingsverantwoordelijken, twee of meer partijen die gezamenlijk de doeleinden en middelen van de verwerking bepalen (artikel 26). Hoe hun onderlinge relatie er dan precies uitziet, is niet van doorslaggevend belang. Het gaat erom dat er tezamen wordt besloten, zo gaan we het doen.

Die omschrijving past denk ik prima bij wat er in een blockchain gebeurt. Iedereen denkt mee en stemt mee. En je kunt kiezen een bepaalde fork niet te volgen, in het ergste geval. Daarmee ben je dus (een klein stukje) medeverantwoordelijk voor die blockchain.

Dat wordt dan in zoverre interessant dat de deelnemers dan een onderlinge overeenkomst moeten sluiten over hoe hun verdeling van taken en verantwoordelijkheden eruit zien. En minstens zo interessant, dat iedere betrokkene elke deelnemer voor nakoming van de AVG kan aanspreken (lid 3). Daarmee zou je dus een behoorlijk risico lopen als je deel gaat nemen aan zo’n open blockchain waar persoonsgegevens in geplaatst worden. Het voordeel daarvan zou voor mij zijn dat deelnemers dan niet al te snel zullen accepteren dat dit gebeurt, zo mag je dan hopen. AVG compliance in de blockchain?

Arnoud

AI rechters en het juridische novum

Geplaatst op in Innovatie, 10 reacties

“De doker begraaft zijn vergissingen; die van de rechter worden tot wet”. Met die tekst opende Coen Drion een blog over de koersvastheid van de rechter. Dat is namelijk een dingetje in het recht: mag een rechter afwijken van eerdere uitspraken van collega’s of zelfs hogere rechtbanken? In het Engelse en Amerikaanse common law systeem is dat een doodzonde, het principe van “stare decisis” vereist daar dat de rechtbank doet wat hoger is bepaald, en dat alleen hogere rechtbanken “om” kunnen gaan. Nu steeds meer stemmen opgaan om rechtspraak door AI of robots te laten doen, is het goed daar nog eens over na te denken want AI-gevoede rechtspraak gaat heel anders om met precedenten dan mensenrechtspraak.

Artificial Intelligence wordt binnen de juridische wereld nu vooral ingezet voor analyse en adviseren. Maar in theorie is er weinig technisch bezwaar tegen een AI systeem dat uitspraken gaat doen over daadwerkelijke zaken. Het infameuze E-court heeft al een robotrechter, die op basis van een hele stapel eerdere uitspraken analyseert hoe kansrijk een geldvordering is, en deze dan toe- of afwijst.

Dat is ook precies hoe AI werkt. Een robotrechter leert geen rechtsregels zoals menselijke juristen doen, en leert zelfs niet het analyseren van eerdere jurisprudentie wat belangrijke factoren zijn. AI’s zijn goed in het vergelijken: gegeven een dataset waarin elk item (elk vonnis dus) in een zit, bepaal welke factoren per item essentieel zijn om in een bepaald bakje te horen. Dat is een beetje hoe een ervaren menselijke rechter ook werkt: oké, een standaard-incassozaakje of daar heb je weer een fotoclaim met het bekende verhaal over citaatrecht. Maar niet helemaal: een AI kijkt blind naar alle factoren die hij ziet, en dat kunnen ook onbedoelde factoren zijn (als advocaat X pleit of de eiser in Amstelveen woont, dan is dat een indicatie dat de zaak niet sterk is).

Uiteindelijk is de kern echter wel dat een AI alléén afgaat op de eerdere dataset. Hij leert immers alleen daaruit hoe er recht gesproken moet worden. Een afwijking van die dataset is daarbij niet te verwachten. Computers zijn immers niet creatief, en niet gevoelig voor ongewone omstandigheden, nieuwe feiten of het overtuigendste pleidooi. Dat is ook de reden waarom robotrechters alleen voor standaardwerk ingezet moeten kunnen worden, én dat er altijd ruimte moet zijn om die ongewone omstandigheden te kunnen stellen waarna een mensenrechter en aar kijkt.

Complex daarbij vind ik wel dat je robotrechters inzet om standaardwerk te doen, en dat je wilt voorkomen dat iedereen alsnog naar de mensenrechter wil. Maar hoe toets je of iemands beroep op bijzondere omstandigheden legitiem is en dus naar de mensenrechter mag? Per definitie kan een robotrechter dat niet bepalen.

Arnoud

Waarom platforms en AI hand in hand gaan

Geplaatst op in Innovatie, 4 reacties

Het platform is aan een stevige opmars bezig, las ik bij HBR. Deze specifieke vorm van internetdienstverlening – van Amazon tot Twitter – heeft een heel bijzondere positie in de maatschappij en in het recht. Platforms brengen mensen bij elkaar en laten ze zaken met elkaar doen (of contact met elkaar leggen), en op de schaal waarmee dat mogelijk is, is dat ongekend. Dit geeft deze platforms een ontzettend grote macht. En vooral: heel veel inzicht in wat mensen doen. Daar wordt dan ook nog eens AI tegenaan getimmerd, en dan ga ik op zo’n vrijdagochtendfilosofischeblog door twijfelen waar het naartoe met moet dat klassieke recht.

Ik schreef er al eerder over: Internet doet me denken aan company towns, maar dan op nóg grotere schaal. Neem Facebook: je kunt er alles dat je ‘gewoon’ op internet ook kunt, alleen is alles uiteindelijk onder controle en toezicht van één bedrijf. Maar zij zijn natuurlijk niet de enige: eigenlijk is elk forum, elke sociale netwerksite, misschien wel elke website een bedrijfsdorp. Bedrijfsdorpen zijn controversieel omdat de werkgever zo ineens gigantische macht had over haar personeel. Het machtsmiddel van ontslag of loonkorting kan dan op alles ingezet worden, van niet netjes naar de kerk gaan tot bij de verkeerde winkel kopen. Iets dergelijks zie je ook bij die platforms.

Dit wordt vaak weggewoven met het argument dat je niet op zo’n platform hóeft te zijn. Je kunt toch zo weg bij Facebook, zonder angst voor ontslag en werkeloosheid? Ik vind dat naïef of arrogant als ik dat hoor. Nee, je kiest er niet voor om met zo’n dienst in zee te gaan. Je moet wel, praktisch gezien. Al je vrienden zitten er, je belangrijke dienstverleners zitten er ook en weggaan geeft je dan zó veel ongemak en gedoe dat het niet reëel is. Zeker niet voor generaties die vanaf hun jeugd opgegroeid zijn met digitale diensten.

Die platforms hebben dan ook nog eens een gigantische bak met data over hun gebruikers. Want álles wordt bijgehouden, al decennia. Onder het mom van marketing, maar vooral ook “je weet nooit wat we ermee kunnen”. En dat weten we nu wel: we kunnen er AI’s in laten spitten op zoek naar nieuwe verbanden en interesses. Analyses automatiseren die voorheen met de hand worden gedaan. Marketing, maar ook het koppelen van mensen en het bestrijden van vervelende dingen zoals trollen, haatzaaien en misbruik. De logica is onverbiddelijk:

If you look out at the world of platform companies, you will quickly find that use of AI for curation is a hallmark of the outperforming platform. An “old” platform company that provides a great counterpoint to Monster is Netflix. The streaming video company was founded in 1997, just one year after Monster went public, but has thrived in the two decades since its founding. What has kept Netflix relevant and useful to its customers? It has a long history of carefully curating content for customers. Netflix uses machine learning to make personalized recommendations, which reduce churn by keeping customers happy, and even reduce cost by allowing Netflix to better use the content it has already purchased. Netflix continues to keep AI at the forefront and is now using it to monitor and address bandwidth issues for streaming in emerging markets.

Ik vind dit zeer zorgelijk gezien de macht van deze platforms. Het is al moeilijk genoeg inzicht te krijgen in wat er gebeurt, als je dan óók nog eens algoritmes toevoegt die niet op een menselijke manier kunnen uitleggen hoe ze tot hun conclusies komen maar die wel stevige gevolgen hebben (verbannen worden, op pagina 2 komen, niet meer aangeraden worden) dan blijft er weinig over van de menselijke maat die wij als samenleving ooit voor ogen hadden.

Is er ergens een cursus rechtsfilosofie die focust op de informatiemaatschappij? Of zal ik die eens organiseren?

Arnoud