Hoe leg je uit dat je algoritme een sollicitant afwijst?

Geplaatst op in Privacy, 7 reacties

Via Twitter las ik:

In de US is er voor ‘hiring algoritmes’ een verplichte ‘explain’ regel. Het mag geen black box zijn en de keuzes moeten onderbouwd kunnen worden met de werkzaamheden. Lijkt me goede stap.

Waarop diverse reacties kwamen met de strekking dat de AVG deze regel al heeft. Een hiring algoritme bepaalt of iemand aangenomen wordt (of op zijn minst op sollicitatiegesprek), en zo’n besluit mag een algoritme niet zomaar nemen van de AVG.

Iets preciezer, in artikel 15 AVG staat dat je recht hebt op uitleg wanneer een geautomatiseerd besluit wordt genomen, althans op “nuttige informatie over de onderliggende logica” van het besluit. Het gehele algoritme hoeft niet te worden gepubliceerd, wat ook wat ver zou gaan gezien daar dan weer bedrijfsgeheimen in de knoop komen. Maar enkel “de computer zei nee” voldoet niet aan dit artikel.

Belangrijker is echter dat artikel 22 zegt dat zulke besluiten niet (zomaar) mogen. Als het noodzakelijk is bij je hiring-process dan is daar een uitzondering op mogelijk, maar dan moet je wel aan de bak want

3. In [deze gevallen] treft de verwerkingsverantwoordelijke passende maatregelen ter bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de betrokkene, waaronder ten minste het recht op menselijke tussenkomst van de verwerkingsverantwoordelijke, het recht om zijn standpunt kenbaar te maken en het recht om het besluit aan te vechten.

Er moet dus ruimte zijn voor mensen om erachter te komen wat er is gebeurd en om een menselijke aanvulling te horen te krijgen. Ook moet je tegen het besluit in beroep kunnen op een of andere manier. En dat is wel een interessante, want bij sollicitaties is dat natuurlijk niet bepaald de praktijk. Kom je niet door de eerste ronde, dan krijg je een standaardbrief over niet in het team passen of andere, geschiktere kandidaten die beter aansluiten bij het profiel, en dat is het dan.

Ik twijfel of dit betekent dat de AVG een gemotiveerde afwijzing eist. Ik denk het wel, maar alleen wanneer je als HR-manager het besluit in overwegende mate af laat hangen van je algoritme. Is het een van de tien factoren waarop je handmatig beslist, dan kun je blijven werken zoals je deed.

Arnoud

Politie brengt app uit waarmee slachtoffer onderzoek kan doen naar misdrijf

Geplaatst op in Regulering, 14 reacties

De Nederlandse politie en het openbaar ministerie brengen op 1 juni een app uit waarmee burgers zelf onderzoek kunnen doen naar het misdrijf waar ze slachtoffer van zijn geworden. Dat meldde Tweakers maandag. Mensen kunnen onder andere getuigeninterviews afnemen en foto’s als bewijs uploaden. Het gaat om een kleinschalige proef in zes basisteams in vier politie-eenheden: Oost-Nederland, Oost-Brabant, Noord-Nederland en Rotterdam. Mensen die aangifte doen van diefstal krijgen de mogelijkheid aangeboden om via de app zelf onderzoek te doen. De app documenteert dan voortgang en bewijs, zodat alles als een mooi pakketje naar de politie kan. Wat natuurlijk de vraag oproept hoe dat zit met de bewijskracht.

‘Het is niet zo dat wij burgers vragen om ons werk te doen’, benadrukt initiatiefnemer Oscar Dros. ‘We zien het echt als een vorm van samenwerking. Mensen komen steeds vaker zelf in actie, of wij nu wel of niet met hun aangifte aan de slag gaan. Wij proberen het onderzoek door burgers met deze app zo goed mogelijk te ondersteunen.’

Mensen leveren nu ook al steeds vaker bewijsmateriaal aan, maar de aard en kwaliteit wisselt nogal. Met zo’n app kun je daar sturing in aanbrengen. Getuigen interviewen, foto’s opslaan, of zelfs een video opsturen waarin je achter de dader aanrent, ik kan het me allemaal zo voorstellen.

Maar mag dat wel, is dat wel rechtmatig verkregen bewijs? Wie deze blog langer leest, weet dat het korte antwoord bij burgerbewijs is: ja dat mag, er gelden geen regels voor hoe gewone mensen bewijs mogen vergaren om het bruikbaar te laten zijn. Al breek je in om het te krijgen, het is toelaatbaar. Los daarvan ben je wel strafbaar voor inbraak, maar dat tast het bewijs niet aan. (Wel kun je een inhoudelijke discussie over de betrouwbaarheid krijgen, heb jij na de inbraak het bewijs gemanipuleerd.)

Als de politie zélf op onderzoek uit gaat, moeten ze zich aan de regels van het wetboek van strafvordering houden. Die zijn een stuk strenger, zomaar een camera ergens ophangen of stiekem foto’s maken mag niet binnen een strafrechtelijk onderzoek. En als een agent een burger inzet om bij te dragen aan zijn werk, dan valt die burger ook onder die strenge regels. De politie kan niet aan de regels ontsnappen door een privédetective in te huren, zeg maar.

Nu wordt het ingewikkeld: als je als politie deze app uitdeelt, rekruteer je dan een burger om jouw werk te doen, of geef je mensen een technisch hulpmiddel voor vrijwillig werk dat buiten strafvordering valt?

Ik neig zelf naar het laatste, omdat je mensen niet concreet instrueert om achter de dader aan te gaan of om te surveilleren bij een bekend drugspand om zo een transactie vast te leggen. Die app komt op mij over als een standaardisatiepoging voor soorten bewijs. In plaats van duizend fotoformaten te moeten kunnen lezen van honderden soorten gegevensdragers, krijg je nu de foto altijd via hetzelfde kanaal.

Arnoud

Mag je e-mails forwarden onder de AVG?

Geplaatst op in Ondernemingsvrijheid, 10 reacties

Een lezer vroeg me:

Het is niet ongebruikelijk om emails door te sturen (“forwarden”) naar derden. Elk email programma biedt die mogelijkheid. Maar die derden ontvangen dan ook het email adres van de oorspronkelijke verstuurder van de email zonder dat ik hem of haar toestemming heb gevraagd om de email te forwarden. Schend ik daarmee de AVG?

De AVG kijkt niet naar een specifiek mechanisme, maar naar wat je onderliggend aan het doen bent. Met het forwarden van een mail stuur je een bericht naar een ander. AVG-technisch zeg je dan, beste ander jij hebt deze informatie nodig.

Als je in een mail dus andermans afzenderinformatie laat staan, dan zeg je dus, beste ander jij moet weten dat Pietje opsteller is van onderstaande. En dat moet je dan onderbouwen met de juiste grondslag:

  1. Toestemming: Pietje vroeg me aan Marieke te vragen of dit-en-dat. Dan is het evident dat Marieke dat mag weten.
  2. Overeenkomst: Jij hebt Marieke nodig om te doen wat Piet besteld, gevraagd of geleverd had. Dan ontkom je er niet aan dat Marieke de informatie van Piet moet weten. Bijvoorbeeld: je forwardt een klacht van een klant naar de servicemonteur die vervolgens langs gaat voor herstel.
  3. Eigen belang: het is voor jou, Piet of Marieke belangrijk dat Marieke dit weet en Piets privacy moet daarvoor maar even wijken, niets aan te doen. Weglaten van het mailadres zou onzinnig zijn. Als je dat onderbouwt, dan is het prima.

Meestal zal het om dat laatste gaan. Dan moet je dus die onderbouwing hebben. Ik vertaal dat praktisch naar de vraag: kun je de headerinformatie ook weglaten, of gaat het dan mis met het issue dat je forwardt?

In een incidenteel geval, bij particulieren maar ook zakelijk, kun je denk ik ook wel zeggen, deze forward valt buiten de AVG omdat het slechts huishoudelijk verwerken is. Dan gaat het om een informele kattebel die je even doorzet. Als het forwarden hoort bij een werkproces, dan geldt deze uitzondering niet.

Arnoud

Is het strafbaar je aan gezichtsherkenning te onttrekken?

Geplaatst op in Privacy, Regulering, 13 reacties

Op Twitter las ik:

So @metpoliceuk has been running facial recognition trials, with cameras scanning passers-by. A man who covered himself when passing by the cameras was fined £90 for disorderly behaviour and forced to have his picture taken anyway.

De inzet van gezichtsherkenning bij de politie is al langer tijd onderwerp van aandacht, onder meer vanwege de bar slechte resultaten. Maar het is technologie, op televisie werkt het dus we blijven het gewoon gebruiken en foutjes, ach ja iedereen maakt foutjes he meneertje.

Mensen een boete opleggen omdat ze niet gezichtsherkend willen worden, die kende ik echter nog niet. In 2010 blogde ik over hoe je dit eenvoudig voorkomt, zie plaatje. Maar dat is vrij geavanceerd gedoe met make-up, deze meneer lijkt gewoon gezichtsbedekkende kleding aangewend te hebben. En dat is een juridisch probleem, omdat je in allerlei landen strafbaar bent als je in diverse openbare ruimtes zonder noodzaak je gezicht bedekt.

In Nederland is er geen algemeen verbod op gezichtsbedekking, wel vanaf 1 augustus in een aantal specifieke ruimtes. De Wet gedeeltelijk verbod gezichtsbedekkende kleding zegt het als volgt:

Het is verboden om in het openbaar vervoer en in gebouwen en bijbehorende erven van onderwijsinstellingen, overheidsinstellingen en zorginstellingen kleding te dragen die het gezicht geheel bedekt of zodanig bedekt dat alleen de ogen onbedekt zijn, dan wel onherkenbaar maakt.

Deze wet is het resultaat van het “boerkaverbod” dat begin jaren tien enige ophef gaf, maar veel te ver bleek te gaan en vooral niet tegen boerka’s ingezet kon worden omdat je daar een grondwettelijk beschermde reden hebt (godsdienstvrijheid in het openbaar) om dit verbod te mogen schenden. De nieuwe regels zijn vrij beperkt: alleen in openbaar vervoer en overheidsgebouwen (plus zorg en onderwijs). Gewoon op straat geldt dit verbod dus niet.

In theorie kan het dus: loop met een bivakmuts op station Utrecht centraal waar net een gezichtsherkenningspilot draait, en je krijgt een boete tot 415 euro (eerste categorie). Het doel van de gezichtsbedekking doet er niet toe – of je je nu wilt onttrekken aan zo’n algoritme of gewoon niet herinnerd wil worden in een winkel. Alleen bij wettelijke uitzonderingen als noodzaak voor de gezondheid of deelname aan een culturele activiteit mag je het verbod schenden.

Maar die schminck is geen kleding, dus die kun je blijven gebruiken.

Arnoud

Hoe een foto-app grondstof voor de AI-wapenindustrie bleek

Geplaatst op in Innovatie, Privacy, 7 reacties

Handige app: Ever, bewaar je foto-herinneringen voor eeuwig online. Fijn dat weekend met opa, en leuk om die eerste stapjes van je kind nog jaren later samen terug te zien. En helemaal om een warm gevoel van te krijgen: die gezichten worden knus ingezet om Artificial Intelligence gezichtsherkenning mee te trainen zodat slimme wapensystemen beter kunnen schieten. Wacht, zeg dat laatste nog eens?

Diverse media berichtten er recent over: fotodienst Ever blijkt niet alleen de consument als klant te hebben die daar graag zijn vakantiekiekjes en mooie momenten op wil slaan. Ever gebruikt deze foto’s als grondstof om haar gezichtsherkenningssoftware (een AI, heet dat dan) te trainen om beter gezichten in beeld te herkennen. Die software wordt dan vervolgens in licentie gegeven aan allerlei partijen, waaronder opsporingsdiensten en defensie.

Deze casus laat mooi zien wat het grootste pijnpunt is bij het aanbieden van AI-diensten oftewel algoritmes getraind op grote bergen data. Namelijk, hoe kom je aan die grote bergen data en met name de bijbehorende metadata, de informatie die zegt wat er in die data zit. Je kunt natuurlijk een boel foto’s aankopen en werkstudenten ze handmatig laten voorzien van labeltjes “gezicht”, “hond”, “auto” enzovoorts, maar dat kan behoorlijk arbeids- en kostenintensief zijn.

Een online dienst zoals Ever heeft echter een nog veel mooiere optie: haar gebruikers geven uit vrije wil al die data en zetten er zelf nog bij wat erop staat. Taggen, handig om alle foto’s van opa terug te vinden, maar ook om die gezichtsherkenning te trainen dat daar een oudere meneer op de foto staat (in tegenstelling tot een hond, bijvoorbeeld). Wie wil dat nou niet, gratis werkende leveranciers?

Het doet natuurlijk wel wat gek aan voor die gebruikers, die werden gelokt met de belofte “Make memories” en de geruststellende frase “dedicated to helping you capture and rediscover your life’s memories”. Dan verwacht je niet je foto’s als input te zien bij een dreigend-militair klinkend verkoopfilmpje voor gezichtsherkenning in wapensystemen.

Mag het? Tsja, in de VS waarschijnlijk wel. Daar geldt immers niet of nauwelijks enige bescherming voor privacy. Had je de privacyverklaring maar moeten lezen, daar stond vast een zin in dat “Some of these technologies may be used in our separate products and services for enterprise customers, including our enterprise face recognition offerings, but your files and personal information will not be”. Daaruit begrijpt toch iedereen dat gezichten in je foto’s door de Ever AI gezichtsherkenning worden gebruikt om beter te worden?

In Europa ligt dit wat lastiger, omdat de AVG (GDPR) daar natuurlijk streng over is. Het verwerken van iemands persoonsgegevens mag niet zomaar. Daar moet je toestemming of een andere grondslag voor hebben. Het eigen legitiem belang is zo’n grondslag. Je zegt dan, ik heb als bedrijf deze data nodig voor dit en dat doel, en ik doe dat zo dat uw privacy zo veel mogelijk intact blijft. Ik zie wel de redenering dat dit hier opgaat: de foto’s zelf gaan niet naar buiten, zelfs niet informatie over dat het opa Henk is, we maken alleen een algoritme dat beter kan zeggen waar in een nieuwe foto een gezicht zit. Hoe raakt dat de privacy van gebruikers?

Zuiver juridisch zie ik dat argument nog wel. Maar gevoelsmatig is dat een heel andere zaak. Die data voelt ergens tóch privé, en dan is dit soort gebruik toch onbehoorlijk. Zeker als het alleen met zulke wollige braaftaal aangegeven is en de context zó anders is. Hier zit dus voor mij een discrepantie tussen wet en praktijk, die we alleen maar vaker gaan merken. Want data is de grondstof voor AI en die grondstof gaat alleen maar meer nodig zijn.

Arnoud

Waarom moet ik elke keer een kopietje paspoort opsturen als ik onder de AVG wat vraag?

Geplaatst op in Privacy, 18 reacties

Een lezer vroeg me:

Met enige regelmaat vraag ik bij organisaties een kopie van mijn persoonsgegevens op, zodat ik fouten kan laten herstellen of oude gegevens kan laten wissen. Dat kost al moeite genoeg, maar ik word er echt ontzettend moe van dat ik elke keer een kopietje paspoort moet opsturen. Ook als ze heus al wel weten wie ik ben, laatst zelfs nog was de procedure dat ik online moest inloggen (op “Uw Mijn xyz”, excuses aan de taalkundigen…) en daarna via het portaal mijn ID-bewijs moest uploaden. Kunnen ze dat echt van me eisen?

Nee, dat kunnen ze niet. Maar de praktijk is hier weer eens weerbarstiger dan de theorie.

Onder de AVG heb je diverse rechten, zoals inderdaad het recht op inzage en kopie van je persoonsgegevens (artikel 15). Die kopie kun je bijvoorbeeld gebruiken om fouten in je persoonsgegevens te spotten en die laten corrigeren, of om verouderde gegevens op te sporen en te laten verwijderen.

Praktisch punt bij die rechten uitoefenen is dat de verantwoordelijke natuurlijk wel moet nagaan dat jij het bent die het verzoek indient. Een dossier naar de verkeerde vrager sturen is een datalek, en dat moet je als bedrijf natuurlijk voorkomen. Dus een verificatie van de identiteit daar ontkom je niet aan.

Veel organisaties grijpen dan lui en makkelijk naar het kopietje identiteitsbewijs. Naast dat dit lang niet altijd zinnig is (ik kan een kopie paspoort van een ander opsturen, immers) mag het ook helemaal niet van de AVG. Artikel 12 maakt duidelijk dat je geen extra gegevens mag vragen alvorens een verzoek te honoreren. Je moet dus als verantwoordelijke nagedacht hebben hoe je betrokkenen herkent.

Specifiek bij online portalen is de AVG nog duidelijker. Overweging 57 zegt

(57) Indien een verwerkingsverantwoordelijke aan de hand van de door hem verwerkte persoonsgegevens geen natuurlijke persoon kan identificeren, mag hij niet worden verplicht om, uitsluitend om aan een bepaling van deze verordening te voldoen, aanvullende gegevens te verkrijgen ter identificatie van de betrokkene. De verwerkingsverantwoordelijke mag evenwel niet weigeren de door de betrokkene tot staving van de uitoefening van zijn rechten verstrekte aanvullende gegevens aan te nemen. De identiteit van de betrokkene dient ook digitaal te worden vastgesteld, bijvoorbeeld aan de hand van dezelfde persoonlijke beveiligingsgegevens, die door de betrokkene worden gebruikt voor het aanmelden op de door de verwerker van de gegevens aangeboden onlinedienst.

In gewone taal: als iemand ingelogd is, dan weet je dat hij het is en dan mag je geen extra identificatie van hem vragen. Dat lijkt me ook logisch, als ik ingelogd ben op Uw Mijn Online punt ennel (waar ik dan vervolgens met jij en jou wordt aangesproken, behalve in de foutmeldingen, argh) dan bén ik die klant. En als je zegt, iedereen kan inloggen op jouw account, dan erken je dus dat je beveiliging niet op orde is. En dan moet je dat oplossen in plaats van lapmiddelen zoals kopietjes paspoort gaan eisen.

Arnoud

Politie wekt beschonken Tesla-bestuurder op A27 met sirene

Geplaatst op in Regulering, 17 reacties

Een aangeschoten en slapende automobilist is vannacht van de A27 geplukt in zijn rijdende Tesla. Dat las ik bij de NOS vrijdag (dank Franc). De auto bleef maar doorrijden omdat deze op automatische piloot stond en de bestuurder wel zijn handen aan het stuur had, zodat het automatische noodmechanisme (remmen en parkeren) niet in werking trad. Nadat men er uiteindelijk toch in slaagde de auto tot stilstand te krijgen, werd het rijbewijs van de bestuurder in beslag genomen. Maar eh, wát krijgen we nou.

Dat van die autopilot, pardon gedeeltelijke bestuurdersondersteuning, gaat nog eens een dingetje worden. Ik zie het inderdaad zomaar gebeuren dat iemand dronken instapt, nog net de boel gestart krijgt (toch makkelijker dan een benzine-auto) en wegrijdt, waarna het bij het rechte stuk snelweg lekker makkelijk en loom wordt met de autopilot aan. En dan val je zomaar in slaap.

Ontzettend gevaarlijk natuurlijk, en daarom heeft Tesla ook wat bedacht: als de autopilot merkt dat je geen twee handen aan het stuur hebt, dan treedt de noodprocedure in werking waarbij zo snel mogelijk automatisch wordt geparkeerd. Alleen ging dat hier dus mis omdat de bestuurder met de handen aan het stuur in slaap was gevallen. Voelt onwaarschijnlijk maar goed het is gebeurd, dus het kan.

De agenten wisten de auto tot stoppen te krijgen door met de sirene de man wakker te maken, waarna deze handmatig wist te parkeren. Vervolgens werd dus zijn rijbewijs ingenomen, ik lees bij RTV Utrecht op grond van artikel 5 – Koos z’n kapstok over potentieel gevaar op de weg. Want zelfs al reed de auto veilig, potentieel had het mis kunnen gaan en dat is al genoeg voor artikel 5. Dus bezwaren van het soort “ja maar Tesla’s rijden autonoom veiliger dan gewone auto’s” zijn juridisch dus niet geldig.

Persoonlijk zou ik er zeker wel wat in zien als autonome auto’s dronken mensen thuis brengen. Maar daar is wel een wetswijziging voor nodig.

Arnoud

Mijn bedrijf bestaat vijftien jaar en dat gaan we vieren

Geplaatst op in Informatiemaatschappij, 27 reacties

Dit jaar vieren wij ons 15-jarig jubileum. ICTRecht, ontstaan op een zolderkamertje, groeide in 15 jaar uit tot allround adviesbureau op het gebied van ICT, privacy en recht. Met een team van inmiddels bijna 70 specialisten voorzien we – onder leiding van Steven Ras en Arnoud Engelfriet – organisaties van praktisch advies. Van startup tot multinational en van overheidsinstantie tot zorginstelling. Om ons 15-jarig jubileum te vieren, roepen we dit jaar uit tot het jaar van de ‘Toekomst van het ICT-recht’.

Wat het ict-recht precies is, blijft voor mij een lastige open vraag. In de begintijd gingen vragen aan ons vooral over e-commerce, online contracten en aansprakelijkheid voor bijvoorbeeld verloren data of downtime van websites. Maar sinds een paar jaar zijn met name privacy en cloud ‘hot topics’. Wat mag er nog na de AVG en wat voor problemen kun je krijgen bij online dienstverlening? En natuurlijk ontwikkelt techniek zich continu: met blockchain, robots, AI’s en big data wordt de wereld opnieuw geheel anders. Ook juridisch.

Ik ben al een tijdje aan het broeden op hoe die vraag in te vullen, dus dat wil ik combineren met dit jubileum. Nieuw voer om over te bloggen dus!

Tevens roepen we dit jaar uit tot het jaar van de ‘Toekomst van het ICT-recht’. We gaan met verschillende evenementen en acties stilstaan bij de toekomst en ontwikkeling van het internet en ICT-recht.

Met als hoogtepunt de organisatie van een speciaal ICTRecht-congres in november: 15 november, reserveer die datum. En vaste reageerders zijn zeker uitgenodigd!

Arnoud

ACM doet onderzoek naar prijsafspraken bij verkoop van tv’s in webwinkels

Geplaatst op in Ondernemingsvrijheid, 11 reacties

Televisiefabrikanten worden ervan verdacht in Nederland minimumprijzen op te leggen aan webwinkels om de prijzen kunstmatig hoog te houden. Dat meldde Tweakers vorige week. Samsung bevestigt dat er een onderzoek bezig is, Sony zegt niet betrokken te zijn en LG geeft geen commentaar. TP-Vision, de fabrikant die Philips-tv’s maakt, zegt niet op de hoogte te zijn van een onderzoek. Webwinkels zouden volgens bronnen worden aangesproken op te lage prijzen, wat een vorm van prijsafspraken is die de markt verpest en daarmee door de ACM als concurrentiewaakhond aangepakt kan worden. Het lijkt me wel ontzettend lastig te bewijzen.

Eind vorig jaar maakte de toezichthouder bekend onderzoek te doen naar prijsafspraken tussen fabrikanten, winkels en webwinkels die consumentengoederen aanbieden. Hierbij werden onder meer invallen gedaan bij winkels en fabrikanten, een veelgebruikte manier om bewijs te verzamelen van zulke afspraken. Dat is natuurlijk lastig omdat het zelden formeel op papier staat. Deze aankondiging lijkt daarop een vervolg te zijn, al is het dus onduidelijk welke fabrikanten er precies in de gaten gehouden worden.

Op zich staat het een fabrikant natuurlijk vrij om eender welke prijs te rekenen aan winkels bij levering. Het probleem hier is dat men vervolgens een minimumprijs voorschrijft, waardoor de winkel niet kan stunten of onder de concurrent gaan zitten. En dát is een probleem met de concurrentieregels, want dit verstoort de vrije marktwerking op het gebied van prijs. Sneaky is dat die prijsregel niet op papier staat, maar je merkt het natuurlijk wel: je wordt ineens geweigerd bij levering of je krijgt hogere inkoopsprijzen. Maar maak het maar eens hard.

In de comments las ik nog de leuke tip dat je bij webshops vaak wel korting krijgt op grond van individuele verzoeken. Dat suggereert dat er in ieder geval de nodige ruimte in de prijzen is, wat weer een aanwijzing is dat de prijzen kunstmatig hoog gehouden worden.

Arnoud

In Estland denken ze dat AI een eerlijke rechter kan zijn

Geplaatst op in Innovatie, 9 reacties

De Baltische staat Estland timmert al geruime tijd fors aan de weg met wat wij e-government zouden noemen: innovatief en digitaal diensten aan de burger aanbieden, van een elektronische identiteitskaart tot een compleet online loket. Veilig, snel en goedkoop. En AI oftewel machine learning speelt daarbij een steeds grotere rol. Mede gedreven vanuit de behoefte aan een kleinere overheid reduceert men het aantal ambtenaren continu, om daar AI-gedreven diensten voor in de plaats te zetten. De laatste kandidaat: de rechtspraak. Zou dat wel goed gaan?

Het Estse ministerie van Justitie heeft onlangs chief data officer Ott Velsberg gevraagd een digitale rechtbank te ontwikkelen die volautomatisch kantonzaken – tot 7.000 euro – kan vonnissen. Velsberg is geen nieuwkomer: zijn team ontwikkelde eerder een hooiveldscanner waarmee subsidies voor braakliggend land konden worden gecontroleerd, en een banenmatcher voor de uitkeringsinstantie zodat gerechtigden eerder passend werk konden vinden. En nu dus de rechtspraak.

Een groot voordeel voor Estland is dat nu zo veel al geautomatiseerd is, het maar een kleine stap voelt om ook je juridische claims online in te dienen en te laten behandelen. Al dan niet met advocaat natuurlijk. Wel een grote stap verder is het automatisch laten behandelen – en dus een vonnis krijgen – van zo’n claim, zonder menselijke tussenkomst.

Helaas is er nog weinig in detail gepubliceerd over hoe het systeem moet gaan werken, maar het lijkt het bekende stramien van AI oftewel machine learning te zullen volgen. Voed het systeem met zo veel mogelijk oude zaakdossiers, koppel daaraan de uitspraak en laat het systeem ‘kauwen’ op die gegevens om lijnen en voorspellers te ontdekken. Vervolgens kun je nieuwe dossiers in het systeem plaatsen, die dan langs die lijnen worden gehouden om te zien of ze wel dan niet moeten worden toegepast.

Dit lijkt enigszins op hoe rechters nu ook werken: op basis van ervaring prik je snel door argumenten heen, zie je wat ontbreekt in het dossier of wat opmerkelijk is. En daar kun je dan een conclusie op bouwen. Maar een belangrijk verschil is natuurlijk dat een AI totaal niet de inhoud van het dossier analyseert, maar afgaat op rekensommetjes met die inhoud.

Een risico is dan ook dat een AI-rechtbank op basis van de verkeerde soort informatie conclusies trekt. Zo zou het kunnen gebeuren dat de meeste winnende eisers in de Estse hoofdstad Tallinn gevestigd zijn. Toeval, maar voor een AI significant. Die zou dan in een twijfelzaak deze vestigingsplaats de doorslag laten geven.

Natuurlijk kun je dat soort zaken proberen te filteren, bijvoorbeeld door NAW-gegevens te anonimiseren, maar dingen kunnen door blijven schemeren. Het Amerikaanse bedrijf Amazon ontdekte bijvoorbeeld dat hun sollicitatie-AI sterk de voorkeur gaf aan mannen, ook nadat men het geslacht van de kandidaat had geblokkeerd voor de brievenlezende robot. Het geslacht kon immers worden afgeleid uit hobby’s als vrouwentennis, waar natuurlijk maar weinig mannen aan meedoen. En als je ook dat verwijdert, zijn er misschien factoren als veel deeltijdbanen hebben bekleed.

Het onderliggende probleem is uiteindelijk altijd bij dit soort systemen dat zij alle data als even relevant behandelt. Dit terwijl mensen hoofd- en bijzaken kunnen scheiden, en weten dat de aanschaf van een bankstel dezelfde soort geldschuld geeft als de aanschaf van een auto. Dergelijke abstracties kunnen AI’s compleet niet maken.

Dat wil niet zeggen dat AI’s onmogelijk zijn in de rechtspraak. Een simpele variant zou een dossierchecker zijn: een zoektocht naar een ingebrekestelling in een dossier komt neer op tekstherkenning, iets waar computers beter in zijn dat mensen. En een claim wegens schadevergoeding zonder ingebrekestelling kan dan eenvoudig worden afgehandeld. AI helpt dan bij het zoeken naar feiten, naar invoer waarmee juridische regels worden ingezet. En dat lijkt me een betere verdeling van de respectieve krachten.

Arnoud