Meerdere algoritmen van de overheid voldoen niet aan de basiseisen (excuses, lange blog maar dit is zeg maar mijn ding)

| AE 13351 | Informatiemaatschappij, Innovatie | 3 reacties

De algoritmes die door de Rijksoverheid worden gebruikt, voldoen lang niet altijd aan de basiseisen. Van de negen getoetste algoritmes voldeden er zes niet aan de eisen, las ik bij Nu.nl. Dit blijkt uit onderzoek van de Algemene Rekenkamer. Deze zes bieden dan ook bijzondere risico’s: gebrekkige controle op prestaties of effecten, vooringenomenheid, datalek of ongeautoriseerde toegang. En omdat het kan gaan om algoritmisch besluiten (zoals verkeersboetes), is dat best schokkend.

Het toegepaste toetsingskader komt uit een eerder onderzoek, Aandacht voor Algoritmes, en bestaat uit 5 perspectieven waarbij het perspectief ethiek als rode draad verbonden is met de andere 4 perspectieven:

  • Sturing en verantwoording: eenduidigheid doel;
  • Model en data: in lijn met doelstellingen;
  • Privacy: ondermeer wettelijke verplichting verwerkingsregister;
  • ITGC: toegankelijke loginformatie;
  • Ethiek: ethische richtlijnen.
Voor wie het wil toepassen: er is een downloadbaar Excel-model om in te vullen. En wie meer wil weten over dat perspectief ethiek, in september begint onze cursus AI Compliance en Governance weer.

Het rapport Algoritmes Getoetst past het kader nu toe op negen overheidsalgoritmes, namelijk:

  1. Rijksdienst voor Identiteitsgegevens: Ondersteuning bij de beoordeling van de kwaliteit van foto’s voor identiteitsbewijzen
  2. Rijksdienst voor Ondernemend Nederland: Risicomodel dat gebruikt wordt bij de beoordeling van aanvragen voor de Tegemoetkoming Vaste Lasten (TVL)
  3. Belastingdienst Toeslagen: Ondersteuning bij de beoordeling van aanvragen voor huurtoeslag in het toeslagenverstrekkingensysteem (TVS)
  4. Centraal Bureau Rijvaardigheidsbewijzen: Ondersteuning bij de beoordeling van de medische rijgeschiktheid van mensen
  5. Politie: het Criminaliteits Anticipatie Systeem (CAS) voorspelt waar en wanneer het risico op incidenten hoog is
  6. Directoraat-generaal  (DG) Migratie: Zoekt intelligent in vreemdelingenpersoonsgegevens of iemand al eerder in Nederland is geregistreerd
  7. Centraal Justitieel Incassobureau (CJIB): Koppelt gegevens voor verkeersboetes aan op kenteken geconstateerde verkeersovertredingen
  8. SZW Inlichtingenbureau: Levert signalen aan gemeenten voor rechtmatigheidscontrole op bijstandsuitkeringen
  9. Sociale Verzekeringsbank (SVB): Ondersteuning bij de beoordeling van AOW-aanvragen.
Allemaal algoritmes, maar niet allemaal van dezelfde soort. Het rapport legt netjes uit dat ook een simpele beslisboom telt als een algoritme, net als data-koppelingen voor uitwisseling (als dit veld door filter X komt dan is het een datum en dan is het volgende veld een achternaam, zulke dingen). Maar er zijn ook algoritmes die ik ervan verdenk machine learning te zijn, zoals dat fotokwaliteitsbeoordelingssysteem van de RvIG of het lerende algoritme van de politie.

Verder hebben de algoritmes verschillende functies: vaak ondersteuning (technisch voorbereiden van data, een preselectie klaarzetten, zoekresultaten sorteren) maar soms ook besluitvorming (agent 40404 bij het CJIB) en soms van die twijfelgevallen zoals bij de ‘signalen’ van de SZW die best sturend kunnen worden opgevat – precision bias, het vooroordeel dat de computer gelijk heeft omdat deze objectief rekent en tien cijfers achter de komma heeft. Of omdat er bij iedereen wel wat te vinden is als je goed zoekt (iedere lezer van deze blog schendt minstens één regel van socialezekerheids- of belastingrecht, gegarandeerd).

Besluitvormend gaat overigens niet perse samen met complex: het toekennen van toeslagen is een simpel algoritme dat toch besluiten neemt (u heeft recht op huurtoeslag, u bent medisch geschikt om te rijden). Dat kan logisch lijken in een standaardsituatie, zoals het rapport uitlegt:

Een aanvraag wordt automatisch goedgekeurd wanneer de aanvraag door het algoritme als laag risico is aangemerkt, bijvoorbeeld omdat het bedrag waarop de aanvrager aanspraak maakt laag is en er geen aanwijzingen voor misbruik of oneigenlijk gebruik zijn. In dat geval komt er geen ambtenaar meer aan te pas.
Bij elektronicawinkel Coolblue is er (volgens mij) zo’n simpel algoritme: een vaste klant (meer dan X aankopen in 6 maanden) die een product van minder dan 10 euro koopt en retourneert, mag het houden en krijgt zijn geld terug. En bij voedselbezorgers geldt vaak ook zoiets: minder dan X klachten per maand/kwartaal/jaar, dan klacht automatisch goedkeuren en geld terug. De kosten/baten analyse is dan evident.

Wat ging er zoal mis bij deze overheidsalgoritmes? Bij drie organisaties ging het eigenlijk om de IT-processen er omheen (beheer, beveiliging, toegang), dat sla ik even over. Een relevanter risico is de governance bij uitbesteding: de ontwikkeling en implementatie van de algoritmes of datamodellen wordt dan door een externe partij gedaan, maar de overheidsinstantie moet daar wel toezicht op houden. Dat ging bijvoorbeeld mis bij dat fotokwaliteitsbeoordelingssysteem, dat was een black box waar alleen goed/onvoldoende uit kwam zonder dat men kon zien waarom, laat staan bijstellen.

Het rapport noemt nog een belangrijke fout die ik ook herken uit de praktijk:

Vaak wordt bij de verwerking van gegevens in massale processen vertrouwd op foutmeldingen en gaat men ervan uit dat de afwezigheid van foutmeldingen een garantie is voor de juiste werking van het algoritme. Dat is niet altijd het geval.
Zeker als het gaat om ‘zwakke’ klanten (zoals bij bijstand of toeslagen) moet je echt meer hebben dan een piepsysteem. Dit is trouwens ook waarom dat systeem van “laag risico = automatisch goedkeuren” riskant is, mensen kunnen onterecht in de bak laag risico zitten (of juist niet) en dat wordt dan niet opgemerkt.

De laatste die ik eruit licht, is de bias of vooringenomenheid in model of data. Dit is een lastige, want er is veel over te doen maar dit onderwerp zit ook vol met misverstanden. Zo stellen mensen bias vaak gelijk aan het strafbare feit discriminatie. Bias kan echter over van alles gaan, denk aan een aselecte steekproef uit de brondata, zonder dat je meteen een ethische groep, gender of andere groep op de korrel wil nemen. En zelfs als zo’n systeem expliciet onderscheid maakt naar zeg gender of ethiciteit dan kan dat onbedoeld zijn, of het gevolg van een onbewust onderscheid bij de mensen die de dataset hebben gevoed.

Het onderzoek laat zien dat er zelden wordt gecontroleerd op bias of de over- of ondervertegenwoordiging van bepaalde groepen. Dat is wel belangrijk, want het kan zomaar je data in sluipen:

Stel dat in het verleden samenwoonfraude intensiever is aangepakt en dat met deze gegevens een algoritme wordt ontworpen voor fraudedetectie. Dan zal het algoritme samenwoonfraude beter voorspellen, omdat deze vorm van fraude vaker voorkomt in de data. En als samenwoonfraude vooral door vrouwen wordt gepleegd dan is sprake van bias naar vrouwen toe.
Van eerdere blogs weet ik dat er nu reacties komen van het soort: maar fraude is fraude, als je zo dus meer samenwoonfraude door vrouwen weet te vinden dan heb je meer fraude gevonden en die kun je dan bestrijden. Dat mag zo zijn, maar als overheid heb je ook de plicht om je fraudebestrijding eerlijk te verdelen, zonder onderscheid naar kenmerken zoals gender of etniciteit. Als de politie alleen mannen boetes geeft voor door rood licht fietsen, en de vrouwen laat gaan, dan klopt dat gewoon niet. Ook niet als de mannen het tien keer vaker doen.

Dan nog het onderwerp transparantie, wat van belang is omdat je (onder meer vanwege de AVG) moet uitleggen hoe zo’n systeem werkt, wat er gebeurt en hoe de uitkomst tot stand is gekomen. Het rapport maakt onderscheid tussen technische en procedurele transparantie, en merkt terecht op dat weinig mensen willen weten hoe het technisch precies werkt. De procedurele transparantie (welke data en waarom, welke controle op de machine en waarom überhaupt een algoritme) blijkt echter vaak afwezig, terwijl dat juist is wat de burger nodig heeft.

Het rapport sluit af met een set aanbevelingen om bovenstaande beter door te voeren, ook bij organisaties die meer op afstand staan van de Rijksoverheid. Ik zou zeggen: ook de private sector kan dit prima oppakken.

Arnoud

 

 

Mijn werkgever laat concullega’s op Linkedin ons in de gaten houden

| AE 13347 | Ondernemingsvrijheid | 12 reacties

Een lezer vroeg me:

De HR afdeling van mijn werkgever heeft een afspraak met een ander bedrijf om elkaars werknemers te scannen op Linkedin op hun beschikbaarheidsstatus. De HR medewerker die het betreft heeft bij een vorige werkgever op zijn/haar kop gekregen, omdat er werknemers vertrokken zonder dat de werkgever actie hadden kunnen ondernemen, om die werknemers te behouden. Is dat wel toegestaan gezien bijvoorbeeld de AVG? En wat kan ik eraan doen?
Linkedin beschikt inderdaad over zo’n status, die in de vrolijke taal van het sociale netwerk de #OpenToWork status heet. Je kunt dit volledig aanzetten, je krijgt dan een groene krans om je foto maar de hele wereld ziet het dan en dus ook je werkgever.

Niet iedereen wil dat, dus is er ook de beperkte variant waarbij alleen mensen die Linkedin Recruiter afnemen (“een platform voor het vinden, contact leggen met en beheren van kandidaten”). Daarbij worden recruiters tegengehouden die voor je huidige werkgever of daarmee verbonden organisaties werken. De truc die deze werkgever dus heeft gevonden, is een recruiter van de concullega laten kijken en dan een seintje te geven “Wim hengelt naar nieuw werk”.

Mijn niet-juridische vraag is dan meteen, wat wil je doen met die informatie? Want iemand er direct op aanspreken lijkt me nogal kansloos, wat verwacht je te halen uit zo’n gesprek? Indirect het gebruiken, bijvoorbeeld “toevallig” een extra leuke klus toeschuiven of de bonus een week eerder, dat kan maar zou dat genoeg zijn? Iemand verbieden weg te gaan, of iemand verplichten dat vinkje weg te halen lijkt me onmogelijk.

Juridisch gezien: ja, natuurlijk valt zulke informatie onder de AVG. Het is immers informatie over een persoon, in dit geval “werknemer Wim wil mogelijk weg bij bedrijf X”. De vraag is dan waarom bedrijf Y (de concullega) deze informatie mag opvragen en doorgeven aan bedrijf X. Het opvragen zie ik nog wel: bij Y werkt een recruiter, die neemt deze tool af en Wim heeft expliciet het vinkje aangezet dat recruiters het mogen weten. Dus dat zit voor Y wel snor qua grondslag van de verwerking.

Maar het gaat mis bij het doorgeven aan X, precies omdat Wim bij het aanzetten van dat vinkje heeft gekozen voor die beperkte variant. Wim wil niet dat het bij X terecht komt, en zowel X als Y weten dat. Ze maken immers die afspraak om om deze wens heen te komen. En dan gaat het mis op de rechtmatigheid (art. 5 lid 1 AVG) van de verwerking, of zo je wilt op de doelbinding (art. 6 lid 4 AVG) omdat je heel duidelijk iets voor het verkeerde doel inzet.

Je kunt dus je werkgever verbieden om deze informatie aan te nemen laat staan te gebruiken. Ik weet niet hoe je dat op een handige manier doet, eentje waarbij de werkrelatie nog even overeind blijft. De OR of vakbond vragen hier wat van te vinden is denk ik nog de veiligste manier. Blijft hooguit de vraag hoe deze kan onthullen te weten te zijn gekomen dat het bedrijf zo werkt.

Arnoud

Twitter en Google niet aansprakelijk voor bitcoinscamreclames

| AE 13344 | Ondernemingsvrijheid | 13 reacties

Google en Twitter zijn niet aansprakelijk voor nepadvertenties voor zogenaamde investeringen in cryptovaluta met de naam en/of foto van bekende Nederlanders, onder wie @jortkelder en @AlexanderNL. Dat twitterde Bart Schellekens afgelopen woensdag. De platforms doen al genoeg om deze vervelende oplichterij tegen te gaan, meer kan niet echt worden verwacht dus handelen ze niet onrechtmatig. Dit nog los van de vraag of ze als platform überhaupt aansprakelijk zijn.

De nepadvertenties kennen de meeste mensen wel: een foto van een BN’er met een ietwat cryptische mededeling, zoals “Nederland neemt afscheid van Jort Kelder” of “Klöppings laatste investering jaagt bankiers angst aan” en pas na doorklikken kom je erachter dat het gaat om ‘beleggen’ in cryptovaluta. Waarbij de scam dan is dat je geld betaalt en er niets voor terugkrijgt.

Op Twitter en Facebook blijven deze dingen maar opduiken, en dat waren de heren meer dan zat. In navolging van onder meer John de Mol stapten ze naar de rechter. Maar waar die nog een succesje boekte in november 2019, krijgen de eisers nu nul op het rekest.

Kort gezegd doet Twitter al genoeg, maar scammers zijn slim en hoeven maar af en toe geluk te hebben:

Twitter International neemt in zijn algemeenheid allerlei maatregelen, onder meer met haar advertentie-beoordelingssysteem, waarmee scam tweets zo veel mogelijk worden geweerd. Een verwijzing naar bitcoin of andere cryptovaluta of financiële producten komt in de scam tweets overigens niet voor. De scam tweets bevatten vaak een onbegrijpelijke tekst. De naam van [eiser] komt daarin (op een uitzondering na) evenmin voor. Het systeem kan ook niet herkennen of een afbeelding het portret van [eiser] bevat. De scam tweets maken bovendien gebruik van een verhullende techniek, waarmee het advertentiebeoordelingssysteem wordt misleid door dat systeem te leiden naar een andere webpagina dan de pagina waarnaar de link in de tweet verwijst.
Tegelijk lijkt het erop dat het aantal scams behoorlijk afgenomen is: in deze procedure werd slechts een beperkt aantal scam tweets overgelegd. Die omstandigheden samen maakt dat Twitter niet onrechtmatig handelt, want gewoon je best doen en adequate resultaten laten zien tegen ongein is zoals het hoort. Perfectie wordt in het recht zelden verlangd.

De eisers hadden ook betoogd dat sprake was van een oneerlijke handelspraktijk door dit soort advertenties toe te laten. Oplichting is immers een vorm van oneerlijk handelen, en je kunt civielrechtelijk optreden tegen dat soort handelspraktijken. Alleen moet je dan wel een consument zijn (of een concurrent of toezichthouder), iemand die tegen wil en dank in de advertentie wordt opgevoerd is niet een van die categorieën en heeft dus geen bevoegdheid om hierover te klagen.

Helaas voor de heren dus, zowel Twitter als Google hoeven niet meer te doen dan ze al doen. Enig ongemak ook van deze soort moet je kennelijk voor lief nemen.

Arnoud

Kun je je Twitterkoop “on hold” zetten als je ineens ontdekt hoe veel spambots er daar zitten?

| AE 13338 | Ondernemingsvrijheid | 8 reacties

Elon Musk zegt dat zijn overname van Twitter niet door kan gaan totdat het sociale netwerk met bewijs komt over het aantal nepaccounts, las ik bij Tweakers. Volgens Twitter gaat dat om minder dan 5 procent van de dagelijks actieve gebruikers, maar Musk denkt dat dit veel hoger ligt, namelijk rond de 20%. Opmerkelijk: Musk… Lees verder

Mogen wij de hele dag gefilmd om de kwaliteit van onze beveiligingscamera’s te demonstreren?

| AE 13335 | Ondernemingsvrijheid | 4 reacties

Een lezer vroeg me: Mijn werkgever verkoopt beveiligingscamera’s en andere apparatuur. De showroom is dan ook natuurlijk zowel binnen als buiten voorzien van een enorme hoeveelheid camera’s die de klanten binnen kunnen bedienen vanaf schermen. Deze camera’s filmen dus ons terwijl we werken: de parkeerplaats, de ingangen, de showroom, het magazijn, de laad/losruimte en zelfs… Lees verder

GGD’s bieden 1250 slachtoffers van datalek schadevergoeding van 500 euro aan

| AE 13333 | Privacy | 16 reacties

GGD GHOR Nederland heeft via een brief 1250 mensen een schadevergoeding van 500 euro aangeboden, zo las ik bij Tweakers vrijdag. Het gaat om slachtoffers van een enorm datalek bij de GGD van vorige zomer, waar onder meer claimstichting ICAM bovenop sprong. Het bedrag van 500 euro hebben we eerder gezien bij de rechter, maar… Lees verder

Honderden websites verzamelen data van webforms voordat gebruikers die versturen

| AE 13329 | Ondernemingsvrijheid, Privacy | 3 reacties

Honderden websites verzamelen informatie die gebruikers in webformulieren typen en sturen die door naar trackingbedrijven, ook voordat gebruikers het formulier daadwerkelijk versturen. Dat meldde Tweakers onlangs op gezag van onderzoek uit Leuven getiteld “Leaky forms”. Het alvast verwerven van gegevens die je invult maar nog niet opstuurt zal voor veel mensen verrassend zijn, en is natuurlijk… Lees verder

Rechter beveelt politie in te loggen op WhatsApp-account overleden slachtoffer

| AE 13326 | Regulering, Security | 3 reacties

De rechter-commissaris in Den Haag heeft de politie bevolen om in te loggen op het WhatsApp- en Google-account van een overleden slachtoffer en zo de WhatsApp-communicatie en Google Takeout veilig te stellen voor zover die gegevens relevant zijn voor het onderzoek. Dat las ik bij Security.nl. Opmerkelijk, want de wet voorziet niet in een specifieke… Lees verder

Ziggo stopt prijsverhogingsrecht in voorwaarden om opzegging te voorkomen, wacht wat?

| AE 13324 | Ondernemingsvrijheid | 31 reacties

Ziggo verhoogt per 1 juli de prijzen van de meeste internetabonnementen, meldde Tweakers onlangs. De algemene voorwaarden zijn ook aangepast: er staat nu een wijzigingsbeding in. “Door de prijswijziging in de voorwaarden op te nemen, zijn klanten met een lopend contract niet meer contractvrij na een prijsverhoging”, zo legt men behulpzaam uit. Maar eh, zo… Lees verder

Mijn manager wil de WhatsApp-logs van mijn zakelijke gesprekken, moet ik dat doen?

| AE 13321 | Ondernemingsvrijheid, Privacy | 18 reacties

Een lezer vroeg me: Op mijn werk (ICT servicebedrijf) gebruiken we WhatsApp om met collega’s te overleggen, en ook wel om met klanten dingen te bespreken. Denk aan foto’s van problemen, overleg over werk bij de klant, afstemmen datums, dat soort dingen. Nu heeft onze manager bedacht dat we de logs van deze gesprekken centraal… Lees verder