Onbetrouwbaar algoritme bestempelt jongeren als toekomstig crimineel, dat is toch verboden per 2 februari?

Photo by and machines on Unsplash

Politie en justitie gebruiken een algoritme om jaarlijks van tienduizenden jongeren te voorspellen of ze in de criminaliteit belanden. Dat meldde Follow The Money onlangs. Je gelooft het niet, maar die voorspelling blijkt er vaak naast te zitten, terwijl de gevolgen groot kunnen zijn. Ik gooi een knuppel in het hoenderhok: dit is een verboden AI praktijk per 2 februari.

Het uitgangspunt is precies zoals zo veel AI systemen worden ontworpen:

Preselect is getraind met de gegevens van vijfduizend jongeren die ooit zijn verdacht van een strafbaar feit. Het algoritme leerde op basis van deze politiedata te voorspellen welke minderjarigen wel en niet recidiveren. Jongeren met een profiel dat lijkt op dat van leeftijdgenoten die eerder opnieuw in de fout gingen, krijgen een hogere risicoscore.
Alles staat of valt met de data, en 5000 is dan niet denderend veel. Met een simpele regressie-analyse kom je daarmee nog wel een eind, maar je wilt natuurlijk wel dat je data mooi verdeeld is. Maar helaas:
Maar bepaalde groepen – 12-jarigen, meisjes en jongeren die voor het eerst in aanraking komen met de politie – zijn maar in kleine aantallen in deze ‘trainingsdata’ vertegenwoordigd.
Ik lees ook nergens hoe veel mensen er in gestopt zijn die nooit verdacht zijn van een strafbaar feit. Als je alleen verdachten in een dataset stopt, kan daar bij wijze van spreken uitkomen dat “melk drinken” een top-voorspeller is omdat ze dat allemaal doen.

Dit nog even los van de vraag of die 5000 data-items wel eerlijk gekozen zijn. Als de politie Mohammed van 14 als verdachte aanmerkt, en Jan-Hendrik met een waarschuwing wegstuurt, dan krijg je een ontzettend scheef beeld bijvoorbeeld. Het artikel meldt niets over de achtergronden van de verdachten, dus we weten het niet.

En dat is uiteindelijk het grootste probleem: niemand weet of en hoe goed dit werkt. Het algoritme staat niet in ons beroemde Algoritmeregister, waar het wel zou moeten gezien de hoge risico’s.

Zelf vind ik de link naar de AI Act nog wel interessant. We hebben het hier over een recidivevoorspeller, en daar Vond Men Wat Van bij het maken van die wet. Er zijn twee smaken: predictive policing op basis van profilering is verboden (art. 5.1(d) AIA) en recidiverisicobeoordeling en predictive policing anders dan op basis van profilering is hoogrisico (Annex III.6d AIA).

Dit is verboden per 2 februari:

AI-systeem voor risicobeoordelingen van natuurlijke personen om het risico dat een natuurlijke persoon een strafbaar feit pleegt te beoordelen of te voorspellen, uitsluitend op basis van de profilering van een natuurlijke persoon of op basis van de beoordeling van diens persoonlijkheidseigenschappen en -kenmerken;
Wat “profilering” dan weer is, staat in de AVG:
elke vorm van geautomatiseerde verwerking van persoonsgegevens waarbij aan de hand van persoonsgegevens bepaalde persoonlijke aspecten van een natuurlijke persoon worden geëvalueerd, met name met de bedoeling zijn beroepsprestaties, economische situatie, gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid, gedrag, locatie of verplaatsingen te analyseren of te voorspellen;
En dat komt vrijwel letterlijk overeen met wat in het artikel wordt aangeduid met “Jongeren met een profiel dat lijkt op dat van leeftijdgenoten die eerder opnieuw in de fout gingen, krijgen een hogere risicoscore.” We voorspellen jouw gedrag (risico van plegen strafbaar feit) op basis van jouw persoonlijke aspecten in vergelijking met bekende data.

Het systeem doet een aanbeveling:

Het leidt tot een ‘score’ die een groot verschil kan maken: gaat de jongere naar Halt voor een leer- of werktraject, of wordt het een strafrechtelijke aanpak die hem of haar een strafblad bezorgt.
Is dat hetzelfde als “risico dat een natuurlijke persoon een strafbaar feit pleegt te beoordelen of te voorspellen”? Ja. Want dit moet je in de context zien: je gaat naar Halt als dat risico klein is en je krijgt een strafrechtelijk traject als het risico groot is. Want kennelijk(?) is ooit bedacht dat wie toch al gaat recidiveren, beter hard kan worden aangepakt.

Arnoud

15 reacties

  1. Ik zou het goed vinden als bij wet geregeld wordt wat de politie wel preventief mag doen en wat niet. Politie kampt met man- en budgettekorten, maar wordt vervolgens wel gevraagd om meer te doen. Ik begrijp dus wel dat zo naar zulke analyses kijken en daarmee proberen hun werklast te verlichten en misdaden te voorkomen.

    Het is niet erg als politie data gebruikt om zo hun werk beter te doen; Je patrouilleert vaker in de risico gebieden. Het idee dat de politie overal evenveel moet patrouilleren omdat de focus op achterstandswijken discriminerend is, vindt ik dan ook weinig steekhoudend. Het zijn achterstandswijken omdat daar de meeste steekpartijen en auto-inbraken gebeuren en niet omdat er vaker politie rijdt.

    Uiteindelijk vindt ik deze systemen dus niet erg, mits deze maar goed geregeld zijn middels een democratisch proces.

      1. Mee eens, misschien moeten ze eens een algoritme inzetten om te voorspellen wat de kans is dat de politie zich in de toekomst aan wetten zal houden.

        Zowieso een algoritme over potentiele criminaliteit van agenten zou net zo fout zijn maar wel leerzaam. Misschien eens als burger opzetten en dan ook meteen politici preventief als toekomstig corrupt laten bestempelen door een ai.

        Ben benieuwd wat de reacties zullen zijn 😉

    1. Jantje (12 jaar) en Pietje (12 jaar) worden betrapt op samen fikkie stoken, Jantje krijgt een Halt-traject en geen strafblad, en Pietje krijgt geen Halt-traject en wèl een strafblad, want Pietje heeft een 20 jaar oudere broer die al eerder met Justitie in aanraking is gekomen, en Jantje is enig kind.

      Lijkt me niet de bedoeling.

      1. Je moet toch op de een of andere manier bepalen wat, zowel voor dat kind als voor de samenleving, de optimale manier is waarop je met zo’n incident omgaat. Dat ben je toch hopelijk met me eens.

        En dan zou het best kunnen (ik zeg niet dat dat zo is, ik ben geen criminoloog) dat ‘criminele familieleden hebben’ een risicofactor is waardoor de kans op een positieve uitkomst voor Pietje op lange termijn hoger is indien hij het strafrechtelijke traject ingaat dan wanneer hij naar Halt moet.

        Dan kun je wel zeggen: Jantje en Pietje hebben hetzelfde gedaan, en daarom moeten ze hetzelfde behandeld worden, en daarom moet Pietje ook naar Halt, maar als uit wetenschappelijk onderzoek blijkt dat dat sub-optimaal is voor kinderen met Pietje’s thuissituatie, wat doe je dan? Willens en wetens een sub-optimaal traject aanbieden aan Pietje?

        Dat lijkt me ook niet de bedoeling.

        1. Je slaat de spijker op de kop: als er dergelijk onderzoek is, dan kun je op basis van zulk onderzoek stappenplannen formuleren. Ik zie alleen keer op keer dat er géén onderzoek bij wordt gehaald, maar het “gezond verstand” van de ontwikkelaars.

          Daarnaast speelt mee dat zulk onderzoek vaak soft is; dat X een risicofactor voor redicive is, betekent niet dat bij iedereen met X de conclusie moet zijn dat deze gaat recidiveren. Deze conclusie implementeren in een AI model maakt echter dat je hem kwantificeert en daarmee tot harde stelling bombardeert. De risicofactor draagt een punt bij, de grenswaarde is behaald, dús ben je recidivist. Dit lijkt objectief maar negeert de holistische analyse die een menselijke beoordelaar zou doen. (Het onderliggende probleem is natuurlijk dat die er vaak niet zijn, althans te duur om voor iedere twaalfjarige fikkiestoker in te zetten.)

          1. Ik weet nu niet of een menselijke beoordeler het beter zou doen dan een algoritme, maar ik deel je zorgen over het inzetten van een algoritme (AI genoemd of niet) hiervoor.

            Een verdere risicofactor (buiten wat je al genoemd hebt) is natuurlijk ook dat het maar de vraag is of de basisdata wel goed verzameld is. Ik kan me goed voorstellen dat (deels) gebeurt op basis van vermeende voorspellende factors waarvan de scores in het verleden op een slechte manier (slechte vraagstelling, een houding ‘het is niet belangrijk wat je invult maar alleen nodig voor de volledigheid van het formulier’) verzameld zijn.

            Aan de andere kant kunnen we niet ontkennen dat er, maatschappelijk gezien, en daardoor ook in de politiek, een vraag is naar een harde aanpak, en dat die dus democratisch als legitiem wordt gezien. De algoritmeleverancier vult alleen die vraag in.

            De hoofdissue is eigenlijk niet zozeer de twee dingen waar je in je blog op richt: is het algoritme fout (waarschijnlijk wel) en werkt het (onbewezen), maar een politieke issue: moeten we een dergelijke aanpak waarin we jongeren niet op maat, maar in enkele groepen opgedeeld op basis van ‘risicofactoren’, behandelen (zelfs als het algoritme correct is opgesteld, en zelfs als het voorspellend is) wel willen als die risicofactoren niet kennen en begrijpen?

            Gezien de huidige politieke contect is dat echter een gepasseerd station, en ben je waarschijnlijk een linkse spelbederver als je daarover begint.

        2. Ik heb echt een hekel aan mensen die stellingen uit hun duim zuigen en dan “dat ben je hopelijk toch met me eens” zeggen.

          Die stelling is bunk, want je gaat er vanuit dat het mogelijk is om die optimale manier te bepalen. (‘Mogelijk’ betekent hier niet alleen dat er een theoretische mogelijkheid is, hij moet praktisch uitvoerbaar zijn!)

          1. Fijn dat je een hekel aan me hebt. I love you back.

            De stelling is sowieso niet bunk. Het gaat er niet over dat er een optimale manier zou zijn, het gaat over een streven om dat zo optimaal mogelijk te doen (op basis van de (steeds voortschrijdende) wetenschappelijke inzichten over crimineel gedrag bij jongeren).

            Ik ga er dan vanuit dat ‘one size fits all’, met de twee extremen ‘bij iedereen negeren het is maar kattekwaad’ en ‘iedereen naar de gevangenis’ in ieder geval niet optimaal is, en dat het realistisch mogelijk is om het beter te doen dan dat. En wat is er dan bunk aan te stellen dat we, het zo goed moeten doen als we realistisch kunnen?

            1. Wat ik weet van criminologie is niet veel, het enige dat ik onthouden heb is dat snel straffen effectiever is dan pas na langere tijd een straf opleggen. De duur van de straf is van minder belang.

              Als we dit doortrekken zou een HALT afhandeling binnen een week een hele goede straf moeten zijn voor kattenkwaad. Of het dan 2 uur of 24 uur straatvegen wordt is dan minder relevant.

              Een algoritme gebruiken zou moeten bijdragen aan het doel van snel (maar wel rechtvaardig) straffen; niet de aanloop moeten zijn voor weken aan gegevensverzameling om later eventueel een optimale straf te bepalen.

        3. Het probleem is dat dit soort algorithmes’s tot selffulfilling prophesies leid.

          Pietje heeft een broer die al eerder in aanmerking gekomen is met justitie. Daarom krijgt Pietje een strafblad. Nu zal Pietje’s broer ook niet meer in aanmerking komen voor veel ‘mildere trajecten’. Pietje en broer krijgen daarom allebei geen kans op een opleiding terwijl jantje fluitend naar school gaat. Pietje en broer zullen bij een snelheidsovertreding vervolgens in de schulden komen omdat enige coulance er niet meer bij is door het algorithme. Ze zijn toch kansloos zonder opleiding. Het zelfde algorithme zal zien dat het nu gaat om criminelen die zwaar in de schulden zitten. En die gaan we maar eens preventief volgen op alles wat ze mogelijk mis kunnen gaan doen…etc

          Juist door te kijken naar effectiviteit zullen we zien dat er enorme bias in dit algorithme komt. En vervolgens wordt je eigenlijk afgerekend op je omgeving. Maar als we nu eens een rechtzaak zouden voeren. Beste rechter ik vind dat Pietje een zwaardere straf moet krijgen omdat zijn broer vorige maand schuldig was aan openbare dronkenschap. Is dat tegenwoordig uberhaubt toelaatbaar in een rechtzaak? Ik zou toch hopen dat de rechter zou zeggen wat heeft het gedrag van broer te maken met deze zaak. Dat is niet relevant. Sterker nog hij heeft broer al 3 jaar niet gezien (maar dat vinkje stond niet als optie in het algorithme)

          De enige manier waarop dit soort algorithme’s ethisch inzetbaar zijn is als we mensen meer kansen geven, lager straffen en meer helpen op het moment dat het algorithme zegt dat ze een groter risico vormen.

  2. “Die verdacht zijun van…”

    Voor zover ik weet (mmar ik ben al meer dan 40 jaar weg uit Nederland) geldt toch nog altijd “onschuldig tot het tegendeel is bewezen…”

    Ik herinner me nog uit mijn schooltijd, dat er een incident was geweest en dat een aantal leerlingen verdacht werden van vernieling. In het dorp waren ze eigenlijk al veroordeelt, ze bleken allemaal onschuldig, de schade was (zo bleek uiteineindelijk) veroorzaakt door een technisch defekt waar deze groep part nog deel aan had.

    Ik heb dus allereerst een groot probleem met het feit, dat uit een verdenking de conclusie wordt getrokken dat 1) ze dus inderdaad schuldig waren en 2) dat anderen die toevallig in het zelfde stramien passen dan automatisch ook al schuldig zijn voor er een bewijs is.

    Voor een recht-staat een hellend vlak…

  3. Het blijft mij verbazen hoe men zelfs maar denkt zo’n algoritme te kunnen opstellen.

    Zeker politie en justitie hebben zo’n tunnelvisie (inherent aan de functie) en data met een verschrikkelijke bias dat het echt niet zal lukken.

    Het feit dat ze toch verder doen geeft eigenlijk aan dat er niet zo’n verstandige mensen bij zijn.

    Dit is echt niet nieuw, maar is misschien al 100 jaar geweten.

  4. Uitgangspunt van het strafrecht is de put dempen als het kalf verdronken is, hoe tegennatuurlijk dat in andere situaties ook is. De aarde is een leerschool. Stelen en moorden zijn verboden, maar je hebt de vrijheid het te doen. Goed gedrag moet uit je geweten komen, niet uit algoritmes of uit een tot de tanden toe gewapend strafrecht.

    1. Strafrecht heeft een afschrikkende werking, met daarbij een (hopelijk) opvoedende werking van de straf. Wat goed gedrag is hangt van de normen en waarden af waarmee je opgevoed bent. “Goed” volgens bepaalde culturele normen kan “ongewenst” of zelfs “strafbaar” zijn in het Nederlandse recht.

      Terug naar algoritmen… Ja, het is mogelijk om een onderzoek te doen naar de normen en waarden die een persoon hanteert, maar het is niet eenduidig om daaruit te destilleren hoe groot de kans is dat die persoon een wetsovertreding zal gaan begaan. Mag de overheid, gelet op de vrijheid van levensovertuiging, een dergelijk onderzoek dan wel uitvoeren?

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.