Vier Utrechtse gemeenten, Nieuwegein, IJsselstein, Houten en Lopik, hebben bij de bestrijding van bijstandsfraude gebruikgemaakt van een verboden overheidsalgoritme. Dat meldde Security.nl onlangs. Het betreft hier de “Fraudescorekaart”, een Excelsheet die in 2003 werd ontwikkeld (en nooit werd bijgewerkt, wat op zich ook nog opmerkelijk is). Omdat het ophef in de pers (dank u Argos) besloot men er alsnog mee te stoppen. Dit gaf ophef in de compliance hoek: hoezo is een Excelsheet een “algoritme”?
De Fraudescorekaart is het waanzinnig idee dat je met een serie punten over iemands achtergrond kunt inschatten of diegene een fraudeur is:
De kaart profileerde bijvoorbeeld op beroep, woonsituatie, opleidingsniveau, geslacht en de wijk waarin burgers woonden. Woonwagenbewoners kregen 700 punten, huiseigenaren 0 punten. Bij een score van 950 punten was er volgens het systeem, dat door 158 gemeenten werd gebruikt, sprake van fraude. In 2020 besloten gemeenten met het systeem te stoppen.Wie zichzelf langs de lat wil leggen (doe me een lol en zet je score bij je reactie) kan dat dankzij Lighthouse Reports doen, en dan zien je meteen hoe raar het werkt. Neem bijvoorbeeld de beroepenlijst: horeca, bouw, taxi of kapper en anders “overig”. Hoe lager je inkomen hoe hoger je fraudekans. En ga zo maar door.
Is dat nu een algoritme? Wie de gebruikelijke definities erbij pakt, komt bij termen als “stappenplan” of “recept om een wiskundig of informaticaprobleem op te lossen”, al dan niet onder verwijzing naar de naam van de Perzische wiskundige Al-Chwarizmi. Die termen zijn zo breed dat dit er zeker ook wel onder valt, “beantwoord de vragen en tel de punten uit de bijlage op conform onderstaand schema” is best wel een stappenplan of recept te noemen, zij het voor het juridisch probleem “hoe rechtvaardig je een vermoeden van fraude zonder een heel dossier door te hoeven”.
In de praktijk wordt de term algoritme vooral gebruikt voor complexe stappenplannen of recepten, zeg maar waar je zonder computer er zeer zeker niet uit komt. Vaak gaat het dan specifiek over machine learning of artificial intelligence, waarbij een wiskundige formule datapunten classificeert of positioneert op basis van patronen die in een enorme bak data zijn aangetroffen. (Terzijde, dat is volgens informatici dan weer géén algoritme omdat het statistiek is en dus geen recept.) Het staat dan wat raar dat je een Excel filter of een formule die twintig cellen optelt en =if(C88>=950;"Fraudeur";"Geen fraudeur") laat zien dan met diezelfde term aanduidt.
Voor juristen zou deze hele definitiekwestie niet aan de orde moeten zijn. Waar het namelijk uiteindelijk om gaat, is of je geautomatiseerd een beslissing neemt (AVG artikel 22) of een hoog-risico AI systeem in gebruik hebt (artikel 6(2) concept AI Act). Dat je met zo’n Excelsheet een beslissing neemt, lijkt me vrij voor de hand liggend. Ik verwacht weinig tot geen nader menselijk onderzoek als je zo’n mooie Excel hebt.
Voor de AI Act is dan de definitie van AI relevant (art. 3 lid 1, concept):
‘artificial intelligence system’ (AI system) means software that is developed with one or more of the techniques and approaches listed in Annex I and can, for a given set of human-defined objectives, generate outputs such as content, predictions, recommendations, or decisions influencing the environments they interact with;En dan noemt Annex I deze drie elementen:
- Machine learning approaches, including supervised, unsupervised and reinforcement learning, using a wide variety of methods including deep learning;
- Logic- and knowledge-based approaches, including knowledge representation, inductive (logic) programming, knowledge bases, inference and deductive engines, (symbolic) reasoning and expert systems;
- Statistical approaches, Bayesian estimation, search and optimization methods.
als woning=woonwagen en beroep=autohandelaar dan fraudeur=true anders fraudeur=false is dan een AI. Net zoals die Excel dus. Dat is óók weer raar want dat bedoelen we normaliter niet met “AI”. Maar in de context klopt het, de vraag is niet zozeer “is dit volgens de beroepsbeoefenaars wel of geen AI” maar “levert dit systeem risico’s op voor mensen omdat er met dit soort technieken naar conclusies wordt gesprongen”. En dát is natuurlijk zeker het geval met die ene regel van mij, en met die Excel.
Arnoud (vermogensfraude 458, samenlevingsfraude 229; had ik in een woonwagen gewoond was dit 1526 en 534 geweest dus dikke fraudeur en wekelijks gecontroleerd)