Ombudsman: overheid moet burger bij gebruik algoritmen centraal stellen

| AE 12540 | Informatiemaatschappij, Innovatie | 4 reacties

Bij het gebruik van data en algoritmen moet de overheid burgers centraal stellen, aldus de Nationale ombudsman die hiervoor een ombudsvisie ontwikkelde (via). Onder de titel “Een burger is geen dataset” dringt de ombudsman aan op transparantie, duidelijkheid en bereikbaarheid bij problemen. Je zou zeggen dat dit voor zich spreekt bij inzet van algoritmes, maar nee.

Ik weet niet meer waar ik het las, maar de quote was iets van “inzet van algoritmes is de ultieme bureaucratie”. En bureaucratie is dan weer de poging om de menselijke maat uit procedures te halen, wat op zich een loffelijk streven is om te voorkomen dat je vriendjespolitiek (cliëntelisme) en voortrekken of achterstellen krijgt. Als iedereen gereduceerd wordt tot een formulier, dan is iedereen gelijk. En dat geldt in het kwadraat natuurlijk voor reductie tot een datapoint in een AI systeem.

Daar staat tegenover dat een bureaucratie – en zeker de AI, oftewel de datagedreven bureaucratie – over het algemeen keihard is voor wie niet past op het formulier, of wie het vakje “bijzondere omstandigheden” zocht dat er niet bij bedacht was. Bij een gewone bureaucratie heb je dan nog de menselijke maat, je kunt de behandelende ambtenaar iets vragen of een indringend beroep doen bij de menselijke bezwaarcommissie. Een AI is daar in het geheel niet gevoelig voor. En dat is een groot probleem bij algoritmen in overheidsprocessen.

Een belangrijk aspect van deze problemen is volgens mij dat een algoritme al snel groeit boven het zicht van de ontwerpers. Een erin geslopen bias komt pas vele jaren later naar boven, een procedurele fout is niet zichtbaar omdat het een zeldzame uitzondering is, en ga zo maar door. Ondertussen is het systeem erg populair – want effectief – en wordt het breed ingezet.

Ik ben bang dat ik weer een nieuw mantra ga beginnen, maar: it’s the data, stupid. Ik zou er een lief ding voor over hebben als we voortaan spreken van datagedreven beslissen in plaats van “algoritmen”. Die algoritmen zijn standaard, off the shelf, niet interessant. Die zoeken patronen in je data en maken daar beslissingen mee. Je moet dus kunnen borgen dat je data goed is. En afgezien van mooie woorden over data governance komt er eigenlijk niets daarvan naar voren. Jammer.

Arnoud

 

Deel dit artikel

  1. Je moet dus kunnen borgen dat je data goed is.

    Hiermee geef je eigenlijk aan dat als je data maar goed is dat het prima is, maar de conclusie zou moeten zijn dat je het nooit kan redden met AI zonder dat er een duidelijke, eerlijke en makkelijke menselijke escape is. Bij elke beslissing die AI neemt zou standaard moeten staan hoe je daar (makkelijk!) bezwaar tegen kan maken waarna mensen er naar gaan kijken.

    • We hebben telkens een beperkt aantal trappen: beslissing – bezwaar – hoogste beroep. Gezien de feilbaarheid van AI, die Arnoud denk ik goed beschreven heeft, moet het recht op een “menselijke” toetsing van een AI beslissing niet aangemerkt moet worden als de tweede trap. Zo’n toetsing moet dus niet als bezwaar tellen, maar gewoon als de eerste beslissing.

    • Wat men in Nederland nog wel eens vergeet is dat er ook een hoop burgers zijn die niet mondig en/of assertief genoeg zijn om bezwaar aan te tekenen, of überhaupt niet weten dat zoiets kan. Als we al onze procedures zo ontwerpen dat er pas met de menselijke maat wordt gemeten als je bezwaar aantekent, dan loop je enorm gevaar dat je stilletjes de menselijke maat compleet wegneemt bij een gedeelte van de burgers. Lijkt mij niet helemaal de bedoeling in een land als Nederland.

      Dit is overigens iets wat je ook van van migranten zonder westelijke achtergrond maar ook expats uit het westen hoort, die merken geleidelijk aan dat als je in Nederland je niet assertief opstelt in de zorg, richting de overheid, richting semi-overheid, etc, dat je dan al gauw vergeten wordt.

Laat een reactie achter

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren en <em> en <strong> voor italics en vet.

(verplicht)

Volg de reacties per RSS