Je zou denken dat die rechtszaak over SyRI niet nodig was geweest, zo logisch was die uitspraak (maar wel heel lang)

| AE 11759 | Regulering | 33 reacties

Het computersysteem dat de overheid gebruikt om fraude te ontdekken, schendt de privacy. Dat meldde NRC in de langverwachte SyRI uitspraak van de rechtbank Den Haag. Die wijst de inzet van SyRI door het UWV af omdat er geen onderbouwde noodzaak is. Logische uitspraak, zou je zeggen. Maar het is wel een héle dikke lap vonnis die men neerlegt: ik heb nog nooit 118 overwegingen gezien om een eis toe te wijzen.

SyRI is bedoeld voor gemeenten om fraude met sociale voorzieningen op te sporen. Dat gebeurt door gegevens van burgers uit allerlei overheidsdatabases te koppelen. Via een algoritme komen vervolgens risicoprofielen en personen met een verhoogd risico op fraude naar voren. Grof gezegd: als in het weekend je waterverbruik hoger is dan normaal en je staat als alleenstaand bekend, dan ben je een mogelijke fraudeur, pardon een risico want kennelijk woont je partner in het weekend bij jou. Dus dan krijg je een onderzoek en moet je aantonen dat je in het weekend gewoon graag in bad gaat. (Let op dat jij de bewijslast hebt want jij moet alle relevante feiten melden, dus ook bewijzen dat je alles hebt gemeld. Ja dit is raar.)

Om als overheid de privacy van de burger te mogen inperken (“legaal schenden”), zet de wet (artikel 8 EVRM) een aantal grenzen. De eerste lijkt de makkelijkste: er moet een wet zijn die bepaalt wanneer dit mag, waarom en tot hoe ver dan. Die wet maken kostte onze overheid nog even tijd, maar hij kwam er dan toch in 2014 als een wijziging in de Wet SUWI. Deze bepaalt dat “risicomeldingen” kunnen worden gedaan binnen een samenwerkingsverband, op basis van data die een aantal samenwerkende instanties tot hun beschikking hebben.

Maar met een wet ben je er niet. Die wet moet ook een legitiem doel dienen. Daar is de rechtbank vrij snel klaar mee: fraudebestrijding is legitiem want dat kost ons allen veel geld. Zo’n 150 miljoen euro, en daar achteraan willen is legitiem. (Als de rechtbank had gezegd dat dat slechts 0,2 procent van het totaal aan uitkeringen is, dan had dat zo raar geklonken. En ik laat u tussen deze haakjes achter met de constatering “Het gemiddelde fraudebedrag per uitkering is 17 euro.”)

Oké, kennelijk legitiem dus. Maar dan komt de laatste en grootste horde: noodzakelijkheid, proportionaliteit en subsidiariteit in het licht van de doelen die de wet dient. Dit is een hele mond vol, zeg maar het juridisch equivalent van een virtual inheritance base class constructor. En juristen worden daar altijd net zo zenuwachtig van als programmeurs. Maar concreet, er moet sprake zijn van een ‘fair balance’ tussen de doelen van de SyRI-wetgeving en de inbreuk op het privéleven die de wetgeving oplevert.

De grote pijn bij SyRI zit hem hier. Met name wreekt zich dat je niet kunt zien wanneer je een verhoogd risico bent, of waarom dan precies. De wet vermeldt dat niet maar laat dat aan de implementatie over (“specificatie: het doet wat het doet”). Verder dan “je krijgt punten voor iedere risicofactor en er zijn modellen die factoren herleiden tot een signalering” lijkt men niet te zijn gekomen qua uitleg. En dat is bepaald vervelend, zeker als je bedenkt dat je met een systeem als dit juist mensen treft die toch al in een zwakke positie zitten én met wetgeving te maken hebben waarvan het niet frauderen bepaald geen sinecure is. (Had ik al gezegd dat vergeten door te geven dat je moeder 3 weken komt logeren een vorm van fraude is?) Daarmee ontbreken dus de benodigde waarborgen om fouten te voorkomen of de gevolgen daarvan in te kunnen perken.

Het belangrijkste verweer lijkt te zijn geweest dat SyRI ‘slechts’ een indicatie geeft en nog lang geen vonnis. Dat mag zo zijn, maar in de praktijk krijg je natuurlijk gewoon een onderzoek op je dak, en mede vanwege die omgekeerde bewijslast én de weinig juridisch onderlegde mensen die je dan treft, pakt dat dus erg vervelend uit. Oh ja, en meer dan de helft van de signaleringen was vals positief, als ik het zo snel even lees. Dan was dus een muntje opgooien “audit of niet” een stuk effectiever én legaler geweest.

Ik ga nu even iets doen waar ik vrolijk van word want ik merk dat bloggen over dít stuk faal-ict bepaald onprettig voelt. Ik heb niet snel dat ik echt bóós van het onrecht word.

Arnoud

Deel dit artikel

  1. Interassant stuk.

    Oh ja, en meer dan de helft van de signaleringen was vals positief, als ik het zo snel even lees. Dan was dus een muntje opgooien “audit of niet” een stuk effectiever én legaler geweest.

    Als slechts een miniem deel van de gevallen als fraude is aan te merken (in de buurt van de 0.2% die jij noemt) is het ook verdomd moeilijk überhaupt een model te ontwikkelen dat veel beter presteert dan je hier boven beschrijft. Dan twijfel ik, naast de juridische basis, ook aan de praktische basis van de hele onderneming. Met andere woorden is het überhaupt het geval dat met dit model, per uitgegeven euro, meer fraude gevallen opgespoord kunnen worden?

    Wordt de effectiviteit van het geheel ook nog door de rechter getoetst? Stel SyRi was waterdicht en kan volledig de fraudeurs vna de niet fraudeurs scheiden, had dat nog wat uitgemaakt voor het vonnis?

      • Ik vraag me af of je deze twee getallen zo aan elkaar kan verbinden. 0,2% is het getal wat uiteindelijk -achteraf- vastgesteld is dat fraudeert. 50% is het aantal false positives -vooraf- maar dat is niet noodzakelijk de helft van die 0,2%. Er is geen getal genoemd van het aantal meldingen op het totaal van uitkeringstrekkers. Net zo min als er iets staat over welk deel van die 0,2% op een andere manier dan via SyRI bovenwater komt.

      • Interessante discussie over de ‘false positives’ ratio, maar het getal wat in het stuk langskomt, is gebaseerd op een miscommunicatie van het Ministerie. Dat stelde in juli 2018 dat het SyRI-project in Capelle in 62 van de 113 gevallen geen fraudeurs vond, maar dat bleek bij latere navraag vanuit de Kamer helemaal niet om een SyRI-onderzoek te gaan, maar om een Art. 64 Wet SUWI onderzoek dat was ingesteld toen SyRI om technische redenen was mislukt en het onderzoek daardoor dreigde te stranden wegens overschrijding van de wettelijke termijn. De resultaten kunnen dan ook niet aan de SyRI-analyse worden toegeschreven; ze lijken, als je het evaluatierapport leest, het resultaat van het bijeenbrengen van al bestaande vermoedens bij de samenwerkende partijen en de overlap daartussen. Op basis daarvan is het blijkbaar ook mogelijk om ‘verwonderadressen’ op te stellen en controles uit te voeren. Het is bovendien een stuk minder ingrijpend dan het heimelijk administratief binnenstebuiten keren van een complete achterstandswijk. De risicomeldingen uit de SyRI-analyse in het onderzoek in Capelle hadden overigens nul meerwaarde, zo staat te lezen in dezelfde evaluatie; ze bevatten reeds bekende of achterhaalde informatie. Staatssecretaris Van Ark is onlangs op het matje geroepen door de Kamer omdat ze dit heeft verzwegen toen deze hier eind 2018 naar vroeg.

  2. Met het openbaren van de algoritmen werd volgens haar de ‘modus operandi’ van SyRI vrijgegeven: “(Potentiële) overtreders kunnen hun gedrag hierop dan afstemmen. Het belang van ongehinderd kunnen opsporen en vervolgen van strafbare feiten en het belang van inspectie, controle en toezicht is hierbij in het geding”, stelde ze in haar brief.

    Stel je voor zeg, dat je de inhoud van wet en regelgeving niet mag weten, want dat kun je je gedrag erop afstemmen.

    Dat zou betekenen dat het niet mogelijk is om van een risicomelding na te gaan hoe deze tot stand kwam en wat de reden is dat iemand (ten onrechte) als risicoburger wordt geregistreerd. Een ernstige tekortkoming, omdat het voor een burger die door SyRI wordt aangemerkt als risico, onmogelijk is zich daar tegen te verweren, laat staan te controleren of de gegevens die hiervoor worden gebruikt correct zijn. Door geen maatregelen te nemen om de totstandkoming van risicomeldingen en de vervolgacties te reconstrueren, is deze controle ook naderhand niet mogelijk.

    Tijd voor een proefproces door een van de ‘risicoburgers’ ?

  3. Dan was dus een muntje opgooien “audit of niet” een stuk effectiever én legaler geweest.

    Dat is niet waar! Stel je hebt 1000 mensen, met 10% kans. Dan wil je die 100 targetten. Willekeurig auditten geeft 1 op 10 raak. Stel 50% false positives en 100 voorspellingen, dan heb je 50 raak op 100. Veel beter dan willekeurig.

    Op geen enkele wijze een verdediging van de handelswijze van de overheid. Alleen puntje statistiek. Bij lage kans op fraude kun je nog steeds een werkend systeem hebben bij false positives. Je moet alleen zorgvuldig omgaan met de false positives. Geen omgekeerde bewijslast bijv.

      • Euh, nee. Nu maak jij een rekenfout. 50% false positives betekent 50% correct positives. Dus jij onderzoekt mensen en de helft daarvan is terecht. Als je willekeurig mensen had onderzocht had naar verwachting maar 0,2% van je onderzoeken tot het vinden van een fraude geleid. 48,8% minder tijdsverspilling is significant. (de aanname is natuurlijk wel dat zonder dit model de controle een radom steekproef is, wat ongetwijfeld ook niet het geval is).

        False negatives zijn alleen een probleem als hiermee naar verwachting meer mensen de dans ontspringen als met de oude methode. Er van uitgaande dat er evenveel controles worden uitgevoerd en wederom dat voorheen een random steekproef werd gecontroleerd is 50% false negatives ook een verbetering van de voorgaande situatie!

  4. Om nog maar eens de discussie open te gooien: ik heb het idee de pijn ‘m vooral zit in de wijze waarop met de uitkomsten van het systeem wordt omgegaan. Dat moet beter in de zin dat de praktijk bijvoorbeeld zou moeten uitwijzen dat een combinatie van de uitkomst van het systeem en verder onderzoek door een persoon ‘op afstand’ (zodanig dat de mogelijke fraudeur er nog niets van merkt) tot 75% (dikke duim) zekerheid moet leiden alvorens de mogelijke fraudeur zelf wordt benaderd. En dan nog goed regelen hoe dat proces vanaf dat punt zou moeten verlopen.

    De afgelopen jaren zien we een enorme toename van fraude en profiteurs die onze maatschappij enorme sommen geld kosten, geld wat ik liever besteed zie worden aan bijvoorbeeld zorg of onderwijs. We gaan er niet aan ontkomen dat we op termijn automatische systemen hebben die een eerste indicatie opleveren van mogelijke fraudeurs, niemand hier betaalt graag belasting met de wetenschap dat dat geld deels bij fraudeurs terechtkomt terwijl je tegelijkertijd de middelen ontzegd worden om daar effectief achteraan te gaan. En dan heeft het geen zin om vast te houden aan ‘ja maar dan wordt iedereen bij voorbaat als verdachte bestempeld’ want dan zou de politie je ook niet meer om een alibi mogen vragen op basis van een vaag vermoeden, of zouden alle flitspalen verwijderd moeten worden. Die meten namelijk allemaal mijn snelheid om te zien of ik geen overtreder ben, niet omdat ik daartoe aanleiding geef maar alleen maar omdat ik langsrij… En ja, dat zit wat anders in elkaar qua ‘privacy’ en zekerheid qua uitkomsten, maar dat is precies wat zo’n systeem als SyRI beoogt: meten en dan een conclusie trekken.

    Hoe dan ook: ik zou ervoor pleiten om niet direct alle pogingen in deze richting de nek om te draaien, maar te blijven monitoren wat mogelijk of wenselijk is en wat misschien maatschappelijk zelfs noodzakelijk wordt.

      • En vergeet niet dat een toename in berichtgeving ook nog meerdere oorzaken kan hebben. Door de ‘stemming’ in het land is er meer aandacht voor, of door betere controles worden er meer mensen betrapt waardoor er meer te berichten is.

        Zonder onderzoek is het niet meer dan gegis en een hele slechte basis voor beslisingen. Je moet het dus feitelijk onderzoeken, maar probeer daar maar eens de handen voor op elkaar te krijgen. Een onderzoek kan namelijk niet alleen de stelling van Jeroen ontkrachten, het zou hem ook kunnen bevestigen en daar zit de (vooralsnog?) meerderheid niet op te wachten. Dan zouden ze namelijk een moeilijk verhaal krijgen in de discussie met een tweetal politieke partijen en hun aanhangers.

        Het gevolg is dat het feitelijk onbekend blijft en iedereen maar blijft roeptoeteren.

  5. De vraag die bij mij blijft hangen, die 150 miljoen, is dat een feit of een vermoeden? en hoe veel geld wil je investeren om het echt te weten te komen? Tevens, gemiddeld 17 euro per persoon per geval is niet iets waar ik me heel druk over zou maken als overheid. Alleen, 17 euro keer hoe veel komt aan 150 miljoen? Heel Nederland fraudeert zowat om aan een dergelijk bedrag te komen, en niet heel Nederland heeft een uitkering toch? (of zijn wij echt de enige die werken voor hun geld)

    Dus iets zegt me dat er iets niet klopt aan deze cijfers…

    Fraude opsporen moet wel lonend zijn, of heel effectief. En daarin lijkt SyRI toch echt te falen. Goed dat de rechter het als buiten proportioneel ziet.

    En sinds wanneer hebben we in Nederland slimme watermeters die kunnen zien wanneer we dat water gebruiken? 😉

  6. Het systeem werkte blijkbaar super effectief. Waar 1 op de 500 mensen fraudeerde wist het systeem dat voor controle terug te brengen naar 1 op 2. Een factor 250 beter dan willekeurige controles. Dat bespaart de overheid potentieel tientallen miljoenen op controles.

    Dat noem ik geen faal-ICT maar een wonderbaarlijk stukje werk.

  7. Ik zou eenieder toch echt aanraden om het volgende boek een keer te lezen: “ The Systems Bible: The Beginner’s Guide to Systems Large and Small” van John Gall. Oppervlakkig gezien lijkt dit een bonte verzameling van allerlei Cruijffiaanse uitspraken te zijn, maar het onderbouwd perfect wat hier gebeurt.

Laat een reactie achter

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren en <em> en <strong> voor italics en vet.

(verplicht)

Volg de reacties per RSS