Amersfoort verbiedt gebruik van niet-herleidbare algoritmes

De gemeenteraad Amersfoort maakt zich zorgen over algoritmes, las ik in het stadsblad. De gemeenteraad constateerde namelijk recent dat het voor de burger onmogelijk is om in te zien -ergo, te controleren- tot welke acties de uitkomst van algoritmen leiden. Daarom heeft men besloten voorlopig geen algoritmen te gebruiken waarvan men de uitkomst niet kan herleiden. Wat een mooie stap is, maar wel eentje die vele vragen oproept want om welke algoritmes gáát het dan in Amersfoort?

Zo te zien heeft de gemeente geen registratie in het Algoritmeregister, maar dat is wel een van de voornemens uit een andere motie die recent werd aangenomen. Hier zien we ook iets meer duidelijkheid over de Amersfoortse zorgen:

  1. Het gebruik van nationaliteit en etniciteit als datavariabele in alle risicomodellen, -profielen, – systemen, -selectie en zwarte lijsten binnen de gemeente gebruikt worden uit te sluiten tenzij deze via het ethische afwegingskader een positief advies krijgen;
  2. Tevens te verzekeren dat ook zelflerende algoritmes in risicoclassificatiemodellen deze indicatoren niet gebruiken;
  3. Een publiek toegankelijk algoritmeregister naar het model van Helsinki of Amsterdam in te richten op de website van de gemeente Amersfoort;
  4. In dat register de datasets te openbaren van algoritmes die de gemeente Amersfoort gebruikt.
Bij een onderzoek in 2019 vond de NOS grootschalig gebruik van voorspellende algoritmes, met een hoog risico op discriminatie als gevolg. Dat zat hem dus in het niet goed begrijpen of verklaren van het gedrag van die dingen. Amersfoort kwam in dat onderzoek ook voor:
In andere gevallen bleek het voor overheden zelf ook lastig om te achterhalen wat er eigenlijk gebeurt. Zo voorspelt de gemeente Amersfoort wat de kans is dat een bepaalde leerling een voortijdig schoolverlater wordt. Maar hoe dat precies werkt, en op welke data dit wordt gebaseerd, kon de gemeente Amersfoort niet achterhalen. … Na publicatie van dit verhaal liet de gemeente Amersfoort weten dat geen gegevens zoals etniciteit worden gebruikt. Wel weegt het algoritme mee of een leerling bijvoorbeeld van school is gewisseld of is blijven zitten.
Dit sluit aan bij het landelijke beeld, dat gemeentes voorspellende algoritmes inzetten om fraude en criminaliteit op te sporen, in te schatten wat voor zorg iemand nodig heeft en de opleidingsvoortgang van leerlingen te bewaken. En bij zulke inzet van AI in het sociale domein is het risico op vooringenomenheid levensgroot: datasets kunnen impliciete vooringenomenheid uit het verleden bevatten, of beïnvloed zijn door selectieve samenstelling. Ik ken een gemeente waar wel een goede dataset was van het roomblanke gymnasium maar niet van de zeer diverse scholengemeenschap, raad eens wie er grote risico’s liepen op het intensieve traject voorkomen schoolverlating?

Het lastige is wel meteen dat het niet zo simpel is als de kolom nationaliteit of etniciteit weglaten uit je Excelbestand. Vaak is die factor eerder een stevige correlatie met de echte problemen, zoals taalachterstand sinds de basisschool, stille armoede of onbekendheid met het systeem voor aanvragen van aanvullende bijstand. Een beetje statistiek vist de gevallen met die problemen er nog steeds probleemloos uit, en wie dat dan weer langs de etnische maatstaf legt komt tot de conclusie van discriminatie. Wat dus onjuist is, maar de data zegt het wel.

Dat gezegd hebbende, het is een hele goede stap van Amersfoort en ik denk dat veel gemeentes hier van kunnen leren. Ik zou vooral dat vierde punt zeer toejuichen, zeker als daar ook bij gezet wordt waar de data vandaan komt en waaruit blijkt dat die data iets zegt over het probleem.

Arnoud

5 reacties

  1. Leuk dat ze dat algoritme afschaffen, maar wat is het alternatief? Hopen dat de ambtenaren van de gemeente of de medewerkers van de scholen gaan kijken welke kinderen het meeste risico lopen hun toekomst te vergooien? En wat doen we als straks blijkt dat door dit algoritme te verbieden heel veel mensen aantoonbaar slecht af zijn (het aantal voortijdige schoolverlaters per jaar zal redelijk makkelijk te achterhalen zijn)?

  2. Sympathieke initiatief maar slechte ontwikkeling.

    Dit moet gewoon centraal goed geregeld zijn, niet op gemeenteniveau. Gemeentes missen vaak de benodigde expertise/het grotere plaatje en gaan nu allemaal hun eigen oplossing zoeken en implementeren: Dit leidt tot een hoop nutteloze werkduplicatie en dan ook nog met waarschijnlijk slechts een redelijk, maar niet optimaal, resultaat

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.