Het computersysteem dat de overheid gebruikt om fraude te ontdekken, schendt de privacy. Dat meldde NRC in de langverwachte SyRI uitspraak van de rechtbank Den Haag. Die wijst de inzet van SyRI door het UWV af omdat er geen onderbouwde noodzaak is. Logische uitspraak, zou je zeggen. Maar het is wel een héle dikke lap vonnis die men neerlegt: ik heb nog nooit 118 overwegingen gezien om een eis toe te wijzen.
SyRI is bedoeld voor gemeenten om fraude met sociale voorzieningen op te sporen. Dat gebeurt door gegevens van burgers uit allerlei overheidsdatabases te koppelen. Via een algoritme komen vervolgens risicoprofielen en personen met een verhoogd risico op fraude naar voren. Grof gezegd: als in het weekend je waterverbruik hoger is dan normaal en je staat als alleenstaand bekend, dan ben je een mogelijke fraudeur, pardon een risico want kennelijk woont je partner in het weekend bij jou. Dus dan krijg je een onderzoek en moet je aantonen dat je in het weekend gewoon graag in bad gaat. (Let op dat jij de bewijslast hebt want jij moet alle relevante feiten melden, dus ook bewijzen dat je alles hebt gemeld. Ja dit is raar.)
Om als overheid de privacy van de burger te mogen inperken (“legaal schenden”), zet de wet (artikel 8 EVRM) een aantal grenzen. De eerste lijkt de makkelijkste: er moet een wet zijn die bepaalt wanneer dit mag, waarom en tot hoe ver dan. Die wet maken kostte onze overheid nog even tijd, maar hij kwam er dan toch in 2014 als een wijziging in de Wet SUWI. Deze bepaalt dat “risicomeldingen” kunnen worden gedaan binnen een samenwerkingsverband, op basis van data die een aantal samenwerkende instanties tot hun beschikking hebben.
Maar met een wet ben je er niet. Die wet moet ook een legitiem doel dienen. Daar is de rechtbank vrij snel klaar mee: fraudebestrijding is legitiem want dat kost ons allen veel geld. Zo’n 150 miljoen euro, en daar achteraan willen is legitiem. (Als de rechtbank had gezegd dat dat slechts 0,2 procent van het totaal aan uitkeringen is, dan had dat zo raar geklonken. En ik laat u tussen deze haakjes achter met de constatering “Het gemiddelde fraudebedrag per uitkering is 17 euro.”)
Oké, kennelijk legitiem dus. Maar dan komt de laatste en grootste horde: noodzakelijkheid, proportionaliteit en subsidiariteit in het licht van de doelen die de wet dient. Dit is een hele mond vol, zeg maar het juridisch equivalent van een virtual inheritance base class constructor. En juristen worden daar altijd net zo zenuwachtig van als programmeurs. Maar concreet, er moet sprake zijn van een ‘fair balance’ tussen de doelen van de SyRI-wetgeving en de inbreuk op het privéleven die de wetgeving oplevert.
De grote pijn bij SyRI zit hem hier. Met name wreekt zich dat je niet kunt zien wanneer je een verhoogd risico bent, of waarom dan precies. De wet vermeldt dat niet maar laat dat aan de implementatie over (“specificatie: het doet wat het doet”). Verder dan “je krijgt punten voor iedere risicofactor en er zijn modellen die factoren herleiden tot een signalering” lijkt men niet te zijn gekomen qua uitleg. En dat is bepaald vervelend, zeker als je bedenkt dat je met een systeem als dit juist mensen treft die toch al in een zwakke positie zitten én met wetgeving te maken hebben waarvan het niet frauderen bepaald geen sinecure is. (Had ik al gezegd dat vergeten door te geven dat je moeder 3 weken komt logeren een vorm van fraude is?) Daarmee ontbreken dus de benodigde waarborgen om fouten te voorkomen of de gevolgen daarvan in te kunnen perken.
Het belangrijkste verweer lijkt te zijn geweest dat SyRI ‘slechts’ een indicatie geeft en nog lang geen vonnis. Dat mag zo zijn, maar in de praktijk krijg je natuurlijk gewoon een onderzoek op je dak, en mede vanwege die omgekeerde bewijslast én de weinig juridisch onderlegde mensen die je dan treft, pakt dat dus erg vervelend uit. Oh ja, en meer dan de helft van de signaleringen was vals positief, als ik het zo snel even lees. Dan was dus een muntje opgooien “audit of niet” een stuk effectiever én legaler geweest.
Ik ga nu even iets doen waar ik vrolijk van word want ik merk dat bloggen over dít stuk faal-ict bepaald onprettig voelt. Ik heb niet snel dat ik echt bóós van het onrecht word.
Arnoud
Interassant stuk.
Als slechts een miniem deel van de gevallen als fraude is aan te merken (in de buurt van de 0.2% die jij noemt) is het ook verdomd moeilijk überhaupt een model te ontwikkelen dat veel beter presteert dan je hier boven beschrijft. Dan twijfel ik, naast de juridische basis, ook aan de praktische basis van de hele onderneming. Met andere woorden is het überhaupt het geval dat met dit model, per uitgegeven euro, meer fraude gevallen opgespoord kunnen worden?
Wordt de effectiviteit van het geheel ook nog door de rechter getoetst? Stel SyRi was waterdicht en kan volledig de fraudeurs vna de niet fraudeurs scheiden, had dat nog wat uitgemaakt voor het vonnis?
Inderdaad, toen ik die zin las over maar 50% false positives bij 0,2% van het totale bestand dat fraudeert, was mijn reactie ‘dat is dus een verdomd goed model!’.
Dus los van de discussie of dit een proportionele inbreuk op de privacy is, is het op zijn minst een zeer effectieve inbreuk op de privacy geweest!
Ik vraag me af of je deze twee getallen zo aan elkaar kan verbinden. 0,2% is het getal wat uiteindelijk -achteraf- vastgesteld is dat fraudeert. 50% is het aantal false positives -vooraf- maar dat is niet noodzakelijk de helft van die 0,2%. Er is geen getal genoemd van het aantal meldingen op het totaal van uitkeringstrekkers. Net zo min als er iets staat over welk deel van die 0,2% op een andere manier dan via SyRI bovenwater komt.
Interessante discussie over de ‘false positives’ ratio, maar het getal wat in het stuk langskomt, is gebaseerd op een miscommunicatie van het Ministerie. Dat stelde in juli 2018 dat het SyRI-project in Capelle in 62 van de 113 gevallen geen fraudeurs vond, maar dat bleek bij latere navraag vanuit de Kamer helemaal niet om een SyRI-onderzoek te gaan, maar om een Art. 64 Wet SUWI onderzoek dat was ingesteld toen SyRI om technische redenen was mislukt en het onderzoek daardoor dreigde te stranden wegens overschrijding van de wettelijke termijn. De resultaten kunnen dan ook niet aan de SyRI-analyse worden toegeschreven; ze lijken, als je het evaluatierapport leest, het resultaat van het bijeenbrengen van al bestaande vermoedens bij de samenwerkende partijen en de overlap daartussen. Op basis daarvan is het blijkbaar ook mogelijk om ‘verwonderadressen’ op te stellen en controles uit te voeren. Het is bovendien een stuk minder ingrijpend dan het heimelijk administratief binnenstebuiten keren van een complete achterstandswijk. De risicomeldingen uit de SyRI-analyse in het onderzoek in Capelle hadden overigens nul meerwaarde, zo staat te lezen in dezelfde evaluatie; ze bevatten reeds bekende of achterhaalde informatie. Staatssecretaris Van Ark is onlangs op het matje geroepen door de Kamer omdat ze dit heeft verzwegen toen deze hier eind 2018 naar vroeg.
Als van de 100 casussen er 5 zijn waarbij er sprake is van fraude dan pickt SyRI er pak hem beet 12 uit als verdacht, terwijl je er men een muntje er 50 aanwijst als verdacht.
Stel je voor zeg, dat je de inhoud van wet en regelgeving niet mag weten, want dat kun je je gedrag erop afstemmen.
Tijd voor een proefproces door een van de ‘risicoburgers’ ?
Kafka. Hoofdpersoon werd gearresteerd maar kwam er nooit achter waarom.
Makkelijk Kafka roepen, hoor.
De bevolking mag de wet wel kennen, alleen niet de opsporingsmethodes voor wetsovertreders. Dat is geen Kafka.
Dat is niet waar! Stel je hebt 1000 mensen, met 10% kans. Dan wil je die 100 targetten. Willekeurig auditten geeft 1 op 10 raak. Stel 50% false positives en 100 voorspellingen, dan heb je 50 raak op 100. Veel beter dan willekeurig.
Op geen enkele wijze een verdediging van de handelswijze van de overheid. Alleen puntje statistiek. Bij lage kans op fraude kun je nog steeds een werkend systeem hebben bij false positives. Je moet alleen zorgvuldig omgaan met de false positives. Geen omgekeerde bewijslast bijv.
Dat geld natuurlijk enkel als er alleen false positives in het systeem zitten en geen false negatives. Als dat systeem ook 50% false negatives zou hebben, dan kom je uit op dezelfde kans die je hebt als je een muntje op zou gooien.
Euh, nee. Nu maak jij een rekenfout. 50% false positives betekent 50% correct positives. Dus jij onderzoekt mensen en de helft daarvan is terecht. Als je willekeurig mensen had onderzocht had naar verwachting maar 0,2% van je onderzoeken tot het vinden van een fraude geleid. 48,8% minder tijdsverspilling is significant. (de aanname is natuurlijk wel dat zonder dit model de controle een radom steekproef is, wat ongetwijfeld ook niet het geval is).
False negatives zijn alleen een probleem als hiermee naar verwachting meer mensen de dans ontspringen als met de oude methode. Er van uitgaande dat er evenveel controles worden uitgevoerd en wederom dat voorheen een random steekproef werd gecontroleerd is 50% false negatives ook een verbetering van de voorgaande situatie!
Dit is geen faal-ict maar faal-wetgeving. Waarbij het frappant is dat Lodewijk Asscher degene is die het door de wetgevende macht heeft gesleurd, terwijl hij ooit (lang geleden) een enorme voorvechter van privacy en burgerrechten was.
Om nog maar eens de discussie open te gooien: ik heb het idee de pijn ‘m vooral zit in de wijze waarop met de uitkomsten van het systeem wordt omgegaan. Dat moet beter in de zin dat de praktijk bijvoorbeeld zou moeten uitwijzen dat een combinatie van de uitkomst van het systeem en verder onderzoek door een persoon ‘op afstand’ (zodanig dat de mogelijke fraudeur er nog niets van merkt) tot 75% (dikke duim) zekerheid moet leiden alvorens de mogelijke fraudeur zelf wordt benaderd. En dan nog goed regelen hoe dat proces vanaf dat punt zou moeten verlopen.
De afgelopen jaren zien we een enorme toename van fraude en profiteurs die onze maatschappij enorme sommen geld kosten, geld wat ik liever besteed zie worden aan bijvoorbeeld zorg of onderwijs. We gaan er niet aan ontkomen dat we op termijn automatische systemen hebben die een eerste indicatie opleveren van mogelijke fraudeurs, niemand hier betaalt graag belasting met de wetenschap dat dat geld deels bij fraudeurs terechtkomt terwijl je tegelijkertijd de middelen ontzegd worden om daar effectief achteraan te gaan. En dan heeft het geen zin om vast te houden aan ‘ja maar dan wordt iedereen bij voorbaat als verdachte bestempeld’ want dan zou de politie je ook niet meer om een alibi mogen vragen op basis van een vaag vermoeden, of zouden alle flitspalen verwijderd moeten worden. Die meten namelijk allemaal mijn snelheid om te zien of ik geen overtreder ben, niet omdat ik daartoe aanleiding geef maar alleen maar omdat ik langsrij… En ja, dat zit wat anders in elkaar qua ‘privacy’ en zekerheid qua uitkomsten, maar dat is precies wat zo’n systeem als SyRI beoogt: meten en dan een conclusie trekken.
Hoe dan ook: ik zou ervoor pleiten om niet direct alle pogingen in deze richting de nek om te draaien, maar te blijven monitoren wat mogelijk of wenselijk is en wat misschien maatschappelijk zelfs noodzakelijk wordt.
“De afgelopen jaren zien we een enorme toename van fraude en profiteurs die onze maatschappij enorme sommen geld kosten”
Ik zou wel willen weten of deze toename echt bestaat, of dat we slechts een enorme toename in berichtgeving zien. Of dat we meer genieten van het “is het geen schande…”-gevoel
En vergeet niet dat een toename in berichtgeving ook nog meerdere oorzaken kan hebben. Door de ‘stemming’ in het land is er meer aandacht voor, of door betere controles worden er meer mensen betrapt waardoor er meer te berichten is.
Zonder onderzoek is het niet meer dan gegis en een hele slechte basis voor beslisingen. Je moet het dus feitelijk onderzoeken, maar probeer daar maar eens de handen voor op elkaar te krijgen. Een onderzoek kan namelijk niet alleen de stelling van Jeroen ontkrachten, het zou hem ook kunnen bevestigen en daar zit de (vooralsnog?) meerderheid niet op te wachten. Dan zouden ze namelijk een moeilijk verhaal krijgen in de discussie met een tweetal politieke partijen en hun aanhangers.
Het gevolg is dat het feitelijk onbekend blijft en iedereen maar blijft roeptoeteren.
Misschien iemand de laatste 2 jaar iets meegekregen over WW-fraude op grote schaal door Polen, of zorgfraude door Bulgaren? Of vastgoed/vermogensfraude door Turken maar waar de rechter een effectieve controle in de weg stond omdat het toch wel erg gericht zoeken was als je bij de bron ging controleren?
Dat lijkt me geen roeptoeteren…
Ik dacht eerder aan frauderende bedrijven, ondernemers of zzp’ers. Gaat over veel en veel meer geld, daar valt veel meer te rapen.
De vraag die bij mij blijft hangen, die 150 miljoen, is dat een feit of een vermoeden? en hoe veel geld wil je investeren om het echt te weten te komen? Tevens, gemiddeld 17 euro per persoon per geval is niet iets waar ik me heel druk over zou maken als overheid. Alleen, 17 euro keer hoe veel komt aan 150 miljoen? Heel Nederland fraudeert zowat om aan een dergelijk bedrag te komen, en niet heel Nederland heeft een uitkering toch? (of zijn wij echt de enige die werken voor hun geld)
Dus iets zegt me dat er iets niet klopt aan deze cijfers…
Fraude opsporen moet wel lonend zijn, of heel effectief. En daarin lijkt SyRI toch echt te falen. Goed dat de rechter het als buiten proportioneel ziet.
En sinds wanneer hebben we in Nederland slimme watermeters die kunnen zien wanneer we dat water gebruiken? 😉
Het is 17 euro gemiddeld per uitkering, ongeacht of er fraude is. Niet 17 euro per fraudegeval.
Per jaar, per maand?
Mijn watermeter heeft een bluetoothverbinding met de slimme elektriciteitsmeter. Of was dat nou de gasmeter? Ja, die is het. Maar technisch is dat andere ook doenlijk.
17 euro gemiddeld is een verkeerd argument om het als ‘minder belangrijk’ te bestempelen. Het totaal van 150 miljoen nu, de trend (groei?) en welk deel fraude met dit soort middelen te voorkomen is, is veel interessanter. Stel dat je de volledige 150 miljoen fraude kunt voorkomen, dan kun je dat zoals hier eerder is gezegd, aan onderwijs of zorg besteden.
Ook als het een 200 miljoen kost om die fraude te voorkomen?
Dat zou jammer zijn en uiteraard is het nuttig om een kosten/baten plaatje te hanteren, maar dat gaat niet alleen over geld. Fraude voorkomen gaat bijvoorbeeld ook over vertrouwen van belastingbetalers in de overheid en uitstralen naar potentiële fraudeurs dat er een hoge pakkans is waardoor ze er hopelijk van afzien.
Ik vind het nogal een boude aanname dat al deze “fraude” opzettelijk zou zijn geweest.
Ik vind het nogal een boude aanname dat al deze “fraude” ONopzettelijk zou zijn geweest.
In de context van UWV en uitkeringen is er volgens mij hele stapels aanwijzingen dat veel fraude onopzettelijk is. Ik overdrijf niet als ik zeg dat een foutje op een formulier automatisch meetelt als fraudegeval, ook als je als laaggeletterde niet weet wat het verschil tussen gescheiden en gescheiden van tafel en bed is zeg maar. In ieder geval vind ik niet echt hoopgevend voor de stelling dat alle (of zelfs maar het merendeel) fraude opzettelijk is.
Het was niet mijn stelling dat alle fraude opzettelijk is. Hoewel ik daar wellicht duidelijker in had kunnen zijn, was mijn punt dat er meer te overwegen is dan het geld alleen, wat onderschreven wordt als het merendeel onopzettelijk is door bijvoorbeeld ingewikkelde formulieren of zo. Tegelijkertijd herinner ik me nieuws over de Poolse ‘lange vakantie’ wat imho toch echt opzettelijk is wanneer er burootjes tussen zitten die de Poolse arbeiders hierin faciliteren. De verhoudingen onopzettelijk/opzettelijk zijn uiteindelijk minder relevant als je doel is om het te voorkomen. Voor het onopzettelijke deel zullen de kosten bijvoorbeeld gaan zitten in verduidelijken van het proces en voor het opzettelijke deel gaat het dan bijvoorbeeld over controles e.d. al dan niet ondersteund door tools als SyRI.
Het lijkt me een kwestie van definities. In mijn definitie is fraude altijd opzettelijk. Geef je bewust verkeerde informatie met het doel daar onrechtmatig beter van te worden, dan is dat fraude; geef je onbewust verkeerde informatie, dan is het een vergissing, en zeker geen fraude.
Inderdaad. Ik durf ook best al eens een toelichting op een formulier te schrijven, gewoon om te vermijden dat ze me kunnen pakken op fraude omdat de vraag niet logisch was.
Het systeem werkte blijkbaar super effectief. Waar 1 op de 500 mensen fraudeerde wist het systeem dat voor controle terug te brengen naar 1 op 2. Een factor 250 beter dan willekeurige controles. Dat bespaart de overheid potentieel tientallen miljoenen op controles.
Dat noem ik geen faal-ICT maar een wonderbaarlijk stukje werk.
Lijkt me niet echt spectaculair. bv. Een beetje drugsspeurder gaat echt naar minder dan 1/250ste van de bevolking kijken.
Ik zou eenieder toch echt aanraden om het volgende boek een keer te lezen: “ The Systems Bible: The Beginner’s Guide to Systems Large and Small” van John Gall. Oppervlakkig gezien lijkt dit een bonte verzameling van allerlei Cruijffiaanse uitspraken te zijn, maar het onderbouwd perfect wat hier gebeurt.