Juridisch gezien is een Excelfilter een algoritme en dat is maar goed ook

| AE 13429 | Informatiemaatschappij | 43 reacties

Vier Utrechtse gemeenten, Nieuwegein, IJsselstein, Houten en Lopik, hebben bij de bestrijding van bijstandsfraude gebruikgemaakt van een verboden overheidsalgoritme. Dat meldde Security.nl onlangs. Het betreft hier de “Fraudescorekaart”, een Excelsheet die in 2003 werd ontwikkeld (en nooit werd bijgewerkt, wat op zich ook nog opmerkelijk is). Omdat het ophef in de pers (dank u Argos) besloot men er alsnog mee te stoppen. Dit gaf ophef in de compliance hoek: hoezo is een Excelsheet een “algoritme”?

De Fraudescorekaart is het waanzinnig idee dat je met een serie punten over iemands achtergrond kunt inschatten of diegene een fraudeur is:

De kaart profileerde bijvoorbeeld op beroep, woonsituatie, opleidingsniveau, geslacht en de wijk waarin burgers woonden. Woonwagenbewoners kregen 700 punten, huiseigenaren 0 punten. Bij een score van 950 punten was er volgens het systeem, dat door 158 gemeenten werd gebruikt, sprake van fraude. In 2020 besloten gemeenten met het systeem te stoppen.
Wie zichzelf langs de lat wil leggen (doe me een lol en zet je score bij je reactie) kan dat dankzij Lighthouse Reports doen, en dan zien je meteen hoe raar het werkt. Neem bijvoorbeeld de beroepenlijst: horeca, bouw, taxi of kapper en anders “overig”. Hoe lager je inkomen hoe hoger je fraudekans. En ga zo maar door.

Is dat nu een algoritme? Wie de gebruikelijke definities erbij pakt, komt bij termen als “stappenplan” of “recept om een wiskundig of informaticaprobleem op te lossen”, al dan niet onder verwijzing naar de naam van de Perzische wiskundige Al-Chwarizmi. Die termen zijn zo breed dat dit er zeker ook wel onder valt, “beantwoord de vragen en tel de punten uit de bijlage op conform onderstaand schema” is best wel een stappenplan of recept te noemen, zij het voor het juridisch probleem “hoe rechtvaardig je een vermoeden van fraude zonder een heel dossier door te hoeven”.

In de praktijk wordt de term algoritme vooral gebruikt voor complexe stappenplannen of recepten, zeg maar waar je zonder computer er zeer zeker niet uit komt. Vaak gaat het dan specifiek over machine learning of artificial intelligence, waarbij een wiskundige formule datapunten classificeert of positioneert op basis van patronen die in een enorme bak data zijn aangetroffen. (Terzijde, dat is volgens informatici dan weer géén algoritme omdat het statistiek is en dus geen recept.) Het staat dan wat raar dat je een Excel filter of een formule die twintig cellen optelt en =if(C88>=950;"Fraudeur";"Geen fraudeur") laat zien dan met diezelfde term aanduidt.

Voor juristen zou deze hele definitiekwestie niet aan de orde moeten zijn. Waar het namelijk uiteindelijk om gaat, is of je geautomatiseerd een beslissing neemt (AVG artikel 22) of een hoog-risico AI systeem in gebruik hebt (artikel 6(2) concept AI Act). Dat je met zo’n Excelsheet een beslissing neemt, lijkt me vrij voor de hand liggend. Ik verwacht weinig tot geen nader menselijk onderzoek als je zo’n mooie Excel hebt.

Voor de AI Act is dan de definitie van AI relevant (art. 3 lid 1, concept):

‘artificial intelligence system’ (AI system) means software that is developed with one or more of the techniques and approaches listed in Annex I and can, for a given set of human-defined objectives, generate outputs such as content, predictions, recommendations, or decisions influencing the environments they interact with;
En dan noemt Annex I deze drie elementen:
  1. Machine learning approaches, including supervised, unsupervised and reinforcement learning, using a wide variety of methods including deep learning;
  2. Logic- and knowledge-based approaches, including knowledge representation, inductive (logic) programming, knowledge bases, inference and deductive engines, (symbolic) reasoning and expert systems;
  3. Statistical approaches, Bayesian estimation, search and optimization methods.
Voldoen aan eentje van deze drie is genoeg om je systeem “AI” te mogen noemen. Dus ja, als woning=woonwagen en beroep=autohandelaar dan fraudeur=true anders fraudeur=false is dan een AI. Net zoals die Excel dus. Dat is óók weer raar want dat bedoelen we normaliter niet met “AI”. Maar in de context klopt het, de vraag is niet zozeer “is dit volgens de beroepsbeoefenaars wel of geen AI” maar “levert dit systeem risico’s op voor mensen omdat er met dit soort technieken naar conclusies wordt gesprongen”. En dát is natuurlijk zeker het geval met die ene regel van mij, en met die Excel.

Arnoud (vermogensfraude 458, samenlevingsfraude 229; had ik in een woonwagen gewoond was dit 1526 en 534 geweest dus dikke fraudeur en wekelijks gecontroleerd)

Deel dit artikel

  1. Het gebruik van Excelsheets verving in veel gemeenten de bestaande praktijk, dat bepaalde straten/wijken als “asociaal” gezien veel strenger werden gecontroleerd. In het dorp waar ik opgroeide had je twee zulke straatjes, en het was waar, er woonden daar veel mensen met een uitkering, gewoon omdat je daar heel goedkoop kon wonen, ook met een groot gezin (stapelbedden driehoog was geen uitzondering). Dat je dan natuurlijk daar ook meer mensen aantreft die frauderen is logisch, gewoon omdat er daar meer mensen wonen die een uitkering hebben. In een straat “als de onze” had niemand een uitkering, geen wonder dat daar niemand fraudeerde. Mijn scores grijs: 258 (258), zwart 687 (1888), Sameleving 515 (1202). de () cijfers zijn voor een woonwagen…

  2. De Fraudescorekaart is het waanzinnig idee dat je met een serie punten over iemands achtergrond kunt inschatten of diegene een fraudeur is

    Maar dat is toch niet zo ver gezocht? We weten uit statistisch onderzoek dat mensen met bepaalde kenmerken (strafblad, dubbel passport, laag opgeleid) vaker bepaalde misdaden plegen… het is dan toch juist efficient van onze opsporingsdiensten om eerst mensen te checken die aan meerdere van die kenmerken voldoen? Wat is het alternatief… mensen checken waarvan de kans minimaal is dat ze een frauderen? Waar de hele toeslagen-affaire in mijn ogen om draait is niet de opsporingstechnieken, maar het feit de de slachtoffers daarna geen eerlijk proces kregen.

    Misschien een leuke vervolgblog… hoe kan de rechtelijke macht statistische data gebruiken zonder in de clinch te komen met de AVG?

    • Er zitten 2 hoofdproblemen aan 1) Het is zelfbevestigend: als de opsporingsdiensten harder gaan zoeken, vinden ze natuurlijk meer. 2) Je zult maar een bij toeval aan het profiel voldoen en niks kwaads van plan zijn: de controles ondergaan is ook een last, en vertrouwen dat er geen vergissingen gemaakt worden, met zeer verreikende gevolgen, kun je sinds de toeslagenaffaire ook al niet meer

      Je kunt je natuurlijk afvragen: wat is het doel van de opsporingsdiensten: Zoveel mogelijk pakken? Of een breed gevoel creeren dat iedereen gepakt kan worden en dat iedereen zich dus maar beter aan de wet houdt?

      Sorry, score vergeten 206 op samenlevingsfraude, 0 op de rest.

    • Die kenmerken zeggen helemaal niets over of iemand misdaden pleegt en daarom zou het helemaal niet gebruikt moeten worden.

      Nog afgezien van het feit dat dit zelf versterkende effecten zijn. Immers die mensen met het dubbele paspoort ga je vaker nauwkeurig controleren, waardoor je nog meer fraude gevallen vind en de hele groep nog strenger gaat controleren.

      Ik snap werkelijk niet dat je het acceptabel vindt om mensen te beschuldigen op basis van dit soort informatie, mist ze later maar een eerlijk proces krijgen…

      Oh, en het alternatief is misschien gewoon een systeemverandering waardoor mensen minder (al dan niet per ongeluk) fraude plegen.

    • Een standaardantwoord: correlation != causation.

      Je kunt Bayesiaanse statistiek toepassen, maar dan moet je het wel goed doen. Als je het op een verkeerde manier doet versterk je alleen maar je vooroordelen. De eerste fout hier is dat het model niet regelmatig bijgewerkt wordt, zodat je (grof gezegd) met de vooroordelen van 20 jaar geleden werkt. Als je je systeem wilt ijken dan moet je regelmatig een steekproef nemen (goed verdeeld over alle categorieën) en deze allemaal op dezelfde wijze controleren. (Voorkom de vooroordelen bij de controleur door hem niet te vertellen onder welke categorieën de persoon valt of welke score hij heeft.)

      Het grote probleem bij de toeslagenaffaire is dat personen zonder goede aanleiding op een “zwarte lijst” terecht konden komen. En als je dan iemand wekelijks of maandelijks controleert, en ze ook nog aansprakelijk stelt voor door derden gemaakte fouten, dan is het niet te moeilijk om ze tussen de wielen van de bureaucratie te vermorzelen.

      • Die aanduiding “zwarte lijst” is een gevolg van media hype framing. Het heet niet voor niet FSV Fraude signaal lijst. Systeem was bedoeld voor ondernemingen (Kleine) met GO als eigenaar. Humorvol het was begonnen als een Excel lijst. Zonder menselijke review (ICT herbouw algoritme) omgebouwd naar een algemene centrale database. Vrij gebruik door velen om notities in te maken. Met falende IV voorzieningen moest het wel tot ongelukken leiden. Nee zwarte lijst is een verkeerde interpretatie.

        • ja, je hebt gelijk; de “fraude signaal lijst” voldoet niet aan de zorgvuldigheidseisen die de AP aan zwarte lijsten stelt. Er was niets geregeld over de criteria voor plaatsing op de lijst, waren geen regels voor wie de list mocht gebruiken en voor welke doeleinden; er was geen mogelijkheid voor beroep tegen plaatsing op de lijst en personen werden niet verwijderd na een relevante periode zonder fraude-indicatie. Goed dat de lijst opgedoekt is.

          • Het was geen zwarte lijst, fraude signalen zijn tips en meldingen niet mogen onderzoeken zou betekenen dat je nooit de politie mag bellen ook niet als je gemolesteerd wordt. Als die lijst opgedoekt zou zijn dan hebben frauderende ondernemers vrij spel gekregen.

            Een lijst van immigranten is logisch om op te nemen. Het geeft een verklaring waarom er geen woon en inkomens verleden is. Ja ik draai het bewuste even om, ook die gegevens waren er. Een andere lijst waren de mensen opgelicht in de eerste jaren van toeslagen toen dat met een willekeurige bankrekening bij de voorschotaanvraag mocht. Slachtoffers van fraude zijn niet zo aar fraudeurs.

            Waar ging het niet goed met FSV? Eenvoudig de IV voorziening was en is niet op orde. Discretionair beslissen bij wat van de band valt is de standaard werkwijze. Aantekeningen met onduidelijke uitleg met vrije tekst velden was het handig van FSV waarmee falende uitvoering iets verdoezeld werd. Lees de wobs maar eens goed zonder de media beïnvloeiding.

  3. Als wiskundige moet ik toch opmerken dat de zin “In de praktijk wordt de term algoritme vooral gebruikt voor complexe stappenplannen of recepten, zeg maar waar je zonder computer er zeer zeker niet uit komt. ” in de wiskunde niet waar is. Daar gebruiken we het woord algoritme ook voor stappenplannen die mensen zelf kunnen uitvoeren. Natuurlijk, dat komt ook omdat het begrip algoritme allang gebruikt werd voor er computers waren. Maar goed, in juridische context is dat misschien anders.

    (Alles 0 behalve samenlevingsfraude 361; positieve score volledig veroorzaakt omdat ik bij “heeft medebewoner of onderhuurder” ja heb ingevuld. Ik weet echter niet of mijn echtgenoot en kind daadwerkelijk tellen als medebewoner; ik kan me namelijk niet voorstellen dat fraude-risico net zo hard omhoog gaat als je samenwoont met vrouw en kinderen als wanneer je een onderhuurder hebt.) Verder heb ik ook 7 vinkjes, dus in Nederland nooit ergens last van op dit vlak. Toen ik een paar jaar in de VS ging wonen heb ik ook gemerkt dat ik door iedereen gewantrouwd werd, waarbij ik bijvoorbeeld voor mijn gasaansluiting meer dan een jaarrekening als borg vooruit moest betalen (met rente (!) teruggekregen overigens).

  4. Los van de formele positie: het is m.i. -deels- een kwestie van verwoorden.

    If score = 0 then “geen fraudeur :)” else “fraudeur!!11 :(” is iets anders dan If score = 0 then “5% kans”, elsif score <100 then “10% kans” else “15% kans%. Of 5% / 50% / 90% en dat is weer een hele andere boodschap. Dat is ook de reactie van de gemeenten, dat het ‘slechts’ een hulpmiddel is. Net zoals ‘bontkraagje, dikke auto, blingbling’ dat zou zijn om steeds aan de kant gezet te worden ook als je gewoon op weg bent naar oma.

    Alle Excelsheets met filters, sorteringen, etc. (en andere digi vormen, al was het auto-formatting in Word waar bepaalde postcodes rood worden) een algoritme. Dat zelfde gebeurt ook in de hoofden van inspecteurs, en vast des te meer in kladblokjes en koffieautomaat-roddelcircuits. Alleen zijn die niet te controleren.

    Boodschap zou misschien mogen zijn: zorg dat je als organisatie bewust bent van alle algoritmen, handigheidjes, lijstjes. En die langsloopt op redeneerfouten en discriminatie. 100% is onhaalbaar in een organisatie als een gemeente, maar het is wel een goed streven.

    • Ik ben geen advocaat en jij hebt je fraudescore niet gepost. Belangrijker: dit soort “hulpmiddelen” hebben vaak de neiging te verworden tot de vaste lijn. De computer zegt fraudeur, dan gaan we onderzoeken tot we wat vinden. En bij bijstandsfraude is het nu eenmaal 95% zeker dat als je zoekt, je iets vindt dat niet conform de regels is. En per definitie ben je een fraudeur als je je niet 100% aan de regels houdt. Onschuldige foutjes bestaan niet, naïeve vergissingen ook niet, alleen welbewuste pogingen tot oplichting van de maatschappij.

  5. Vermogensfraude 839…. 🙂 Maar dan wel in de fictieve situatie van ‘gewezen zelfstandige’.

    Het voelt misschien niet goed, maar ergens snap ik hem wel. Volledig willekeurig inspecteren is het eerlijkst, maar super inefficiënt. En zonder iets van vastgelegde criteria wordt het op basis van het onderbuikgevoel van de inspecteur, waar iedereen ook weer van alles van vindt. Het is volgens mij ook echt iets van de laatste pak em beet 10 jaar dat mensen zich hier druk over maken. En dat er wetgeving over is. Ik zou het niet erg vinden als die weer geschrapt worden en dit soort dingen geheim blijven. Die mensen moeten ook hun werk kunnen doen en wat niet weet wat niet deert.

    Een inspectie bezoek maakt nog geen beschuldigen van fraude, laat staan boete of veroordeling. Tenminste dat zou zou moeten zijn… Het onderliggende probleem is meer dat die inspecties soms niet deugen, denk aan kinderopvang toeslag, of de wetten te streng of onduidelijk zijn. We leven in een land met wetgeving zo complex dat je fraude kan plegen zonder daar bewust van te zijn. Als we ons daarop zouden focussen en dat oplossen, dan maakt het ook niet uit hoe de inspecteurs kandidaten voor controle selecteren.

    • Volledig willekeurig inspecteren is het eerlijkst, maar super inefficiënt.

      Eens met “eerlijk” oneens met “inefficiënt”: Als je geen extra informatie hebt over de correlatie tussen de ware kans op fraude en kenmerken van de “klant” is er geen efficiëntere methode dan willekeurig inspecteren. Als je denkt het beter te doen gebaseerd op vooroordelen kun je op “minder efficient” uitkomen als je vooroordelen ongefundeerd blijken. Daarnaast is er een risico dat je bepaalde groepen in de samenleving van je vervreemdt als je ze behandelt als fraudeurs. Dat is een groot gevaar als ambtenaren “naar beneden” trappen.

      Er kleeft ook een ander risico aan een tweedeling in “potentiële fraudeurs” en personen die nooit gecontroleerd worden. Als je van tevoren kunt inschatten dat je toch niet gecontroleerd wordt, kun je ongestraft frauderen. Wanneer je risico-gestuurd gaat onderzoeken dan moet je je risico-model ook bijhouden (zie een vorig commentaar van me) en daarvoor is het nodig om een steekproef uit de laag-risico groep te nemen.

      Een andere belangrijke vraag is “Hoeveel controle is sociaal aanvaardbaar?” Een wekelijks huisbezoek van de sociale recherche gaat na een maand vervelen. Dus “Hoever mag de overheid gaan in de frequentie van controles?” Er is iets mis als de politie iemand met een donkere huid wekelijks aan de kant zet voor een voertuigcontrole, terwijl wittere medelanders zoiets minder dan een keer per jaar meemaken. Wanneer overschrijdt de overheid de grens in de frequentie van controles?

      • Inderdaad, terroristen, vliegtuigkapers, etc. doen ook aan testen. Als blijkt dat jonge vrouwen minder vaak gecontroleerd worden, dan zoeken ze een aanslagpleger met dergelijke kenmerken: zo is Rajiv Gandhi aan zijn einde gekomen. Kom ik sneller ergens door de fraudecontrole omdat ik een witte man met een baan bij een bank ben, dan zullen ze misschien wel proberen mij te werven voor hun oplichtersactiviteiten, enzovoort. Zelf meegemaakt: toen ik een keer de Sint Pieter in het Vaticaan in wilde om de paus te zien met mijn toen negen maanden oude zoontje op de rug in een babydrager, hoefde dat ding niet door rontgenscanner, maar die had echt nog wel genoeg ruimte over voor een kalashnikov en genoeg munitie om heel veel ellende aan te kunnen richten.

  6. 0 punten in alle categorieen. Hmmm, kan de belastingdienst ook deze spreadsheet gaan gebruiken?

    Misschien moeten gemeentes bij dit soort spreadsheets eerder denken aan mensen die extra hulp nodig hebben ipv extra controles. Triest om te zien dat iemand dit ontwikkeld heeft.

  7. Het artikel zelf gaat van wat gegevens uit om naar een conclusie toe te werken. Het voldoet zo prima aan de definitie van een algoritme. De brenger van de uitkomst, in dit geval een jurist, wordt op zijn woord geloofd. Er zit geen menselijke meer achter of alles wel klopt en juist is. Het lijkt me iets wat voldoet om in een algoritmeregister op te nemen. Zeker omdat ongecontroleerde uitspraken flinke risico’s voor mensen en betrokkenen met zich meebrengt.

    Ver gezocht? Ja en nee, het is de wijze hoe desinformatie zoveel aandacht en volgers krijgt via social media.

  8. Overal 0. Dat op zich lijkt me heel erg verdacht. Sommige vragen leken inderdaad wel wat vreemd, maar een goede vriend van mij is agent, en een aantal van de dingen waar hij het soms over heeft zag ik terug bij deze checklist. Ik denk dat die vragen op zich wel op basis van kennis en ervaring zijn opgesteld. Het is natuurlijk ook geen groot geheim dat het met handel in tweedehands auto’s eenvoudiger witwassen en frauderen is dan met, noem eens wat, freelance columnist zijn. En als je een laag inkomen hebt en in de hele uitkeringsmolen zit is de kans dat je iets per ongeluk fout doet in de totaal ondoorzichtige brei aan regels en uitzonderingen ook vrij groot. Het hele toeslagenschandaal heeft laten zien hoe volkomen bizar de wet in sommige gevallen (niet) functioneerde, zoals mensen met nul-uren contracten die het stempel fraudeur kregen omdat ze achteraf de voorspelling van het aantal gewerkte uren ( die ze moesten maken op basis van dezelfde periode in eerdere jaren) met enkele uren moesten bijstellen omdat ze dan dat kwartaal toevallig een dagje minder waren opgeroepen om te komen werken. Sommige vragen kunnen inderdaad heel stigmatiserend zijn, en sowieso zou zo’n soort hulpmiddel in elk geval met regelmaat moeten worden herbeoordeeld en gecontroleerd en kan controle ook nooit beperkt worden tot alleen maar mensen die hoger scoren op zo’n lijstje.

    • Hier ook overal 0, dat is wel raar. Ik heb naar het waarom / waarvoor van de vragen gekeken. Het is een uitkering nadat de WW is afgelopen om het inkomen daarna naar bijstandsniveau te tillen, https://wetten.overheid.nl/BWBR0015703/ (verborgen in de vragen). Ik weet zeker dat ik als kindertoeslag of andere uitkering zou gaan aanvragen dat het om fraude zou gaan. https://wetten.overheid.nl/BWBR0004044.

      Met de toeslagen heb jee een raar menselijk algoritme van mensen te pokken. Met zelfredzaamheid en participatie zoen een ieder wel begrijpen dat het om voorschotten ging die achteraf gecorrigeerd worden omver dat jaar. Iedereen kan prima financieel plannen en niemand gaat de boel oplichten. Een reeks politieke beleidsaannames zonder onderbouwing waarmee het wel mis moest gaan. Toen het mis ging lag het ineens niet aan de beleidmakers met gebrek aan visie inzicht en reflectie maar aan anderen. Dat is een fnuikend iets dat zich blijft herhalen.

  9. 0 op alle scores. Kijk eens voorbij je vakgebied … de beslissing of een student na zijn examens geslaagd is, is ook een geautomatiseerde beslissing, gebaseerd op een algoritme. Zo zijn er in de praktijk nog wel veel meer beslissingen die primair gebaseerd worden op de uitslag/het resultaat van verschillende parameters.

  10. Interessant verhaal! Wat mij in de analyse verrast is dat bepaalde informatie over de vraag of een Excelfilter als een algoritme te beschouwen is niet lijkt te zijn meegenomen. Zo wordt binnen de Selectielijst gemeenten en intergemeentelijke organen 2020 (Vastgesteld staatscourant 11143, 26 februari 2020) een onderscheid gemaakt tussen 1. “de inzet van algoritmes die potentieel grote impact hebben op rechten van betrokkenen,” en 2. “en algoritmes waarvoor dat niet geldt (‘eenvoudige beslisboom algoritmen’)”. Die laatste worden getypeerd als algoritmen “om geheel of gedeeltelijk geautomatiseerde besluitvormingsprocessen van een gemeente goed te kunnen verantwoorden, is het daarom nodig dat de ontwerpen van de onderliggende algoritmen inclusief toelichting en bijbehorende documentatie worden bewaard. Het betreft hier veelal eenvoudige ‘beslisboomalgoritmes’: voorgeprogrammeerde formules waarmee voorspelbare processtappen geautomatiseerd kunnen worden.” Een vergelijkbaar onderscheid wordt vermeld in “Algoritmische beslisregels en geautomatiseerde feitenvaststelling: gevolgen voor de fundamentele uitgangspunten van het Nederlandse constitutionele recht Preadvies Staatsrechtconferentie 2020”. (https://www.uu.nl/sites/default/files/Goossens%2C Hirsch Ballin en Van Vugt – Preadvies Staatsrechtconferentie 2020.pdf) Namelijk als volgt: “Zolang algoritmen worden ingezet als vertaling van eenvoudige beslisregels (‘als x, dan y’; zie de overeenkomst met wat in de “Handreiking Toepasbare Regels” (VNG, 2019) over de oorsprong van eenvoudige beslisregels gezegd wordt) kan op het eerste gezicht wel worden voldaan aan de eisen van legaliteit en democratische legitimiteit. Besluiten van individuele strekking die het resultaat zijn van de geautomatiseerde toepassing van eenvoudige beslisregels zijn dan duidelijk terug te voeren op algemeen geldende, herhaaldelijk toepasbare, voorspelbare regels. Dat is echter niet het geval bij zelflerende complexe algoritmen.”

    Op basis van deze informatie lijkt het mij niet meer dan logisch dat een in deze situatie gebruikte eenvoudige beslisregel in de vorm van een Excel-filter gezien wordt als een algoritme. Dat betekent logischerwijze ook dat dit om passende information governance vraagt en dat je als overheidsorganisatie je kan verantwoorden als er een audit/inspectie uitgevoerd wordt. (score: 0) 🙂

Laat een reactie achter

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren en <em> en <strong> voor italics en vet.

(verplicht)

Volg de reacties per RSS