Categorie: Informatiemaatschappij

Politie en justitie gebruiken een algoritme om jaarlijks van tienduizenden jongeren te voorspellen of ze in de criminaliteit belanden. Dat meldde Follow The Money onlangs. Je gelooft het niet, maar die voorspelling blijkt er vaak naast te zitten, terwijl de gevolgen groot kunnen zijn. Ik gooi een knuppel in het hoenderhok: dit is een verboden AI praktijk per 2 februari.

Het uitgangspunt is precies zoals zo veel AI systemen worden ontworpen:

Preselect is getraind met de gegevens van vijfduizend jongeren die ooit zijn verdacht van een strafbaar feit. Het algoritme leerde op basis van deze politiedata te voorspellen welke minderjarigen wel en niet recidiveren. Jongeren met een profiel dat lijkt op dat van leeftijdgenoten die eerder opnieuw in de fout gingen, krijgen een hogere risicoscore.

Alles staat of valt met de data, en 5000 is dan niet denderend veel. Met een simpele regressie-analyse kom je daarmee nog wel een eind, maar je wilt natuurlijk wel dat je data mooi verdeeld is. Maar helaas:

Maar bepaalde groepen – 12-jarigen, meisjes en jongeren die voor het eerst in aanraking komen met de politie – zijn maar in kleine aantallen in deze ‘trainingsdata’ vertegenwoordigd.

Ik lees ook nergens hoe veel mensen er in gestopt zijn die nooit verdacht zijn van een strafbaar feit. Als je alleen verdachten in een dataset stopt, kan daar bij wijze van spreken uitkomen dat “melk drinken” een top-voorspeller is omdat ze dat allemaal doen.

Dit nog even los van de vraag of die 5000 data-items wel eerlijk gekozen zijn. Als de politie Mohammed van 14 als verdachte aanmerkt, en Jan-Hendrik met een waarschuwing wegstuurt, dan krijg je een ontzettend scheef beeld bijvoorbeeld. Het artikel meldt niets over de achtergronden van de verdachten, dus we weten het niet.

En dat is uiteindelijk het grootste probleem: niemand weet of en hoe goed dit werkt. Het algoritme staat niet in ons beroemde Algoritmeregister, waar het wel zou moeten gezien de hoge risico’s.

Zelf vind ik de link naar de AI Act nog wel interessant. We hebben het hier over een recidivevoorspeller, en daar Vond Men Wat Van bij het maken van die wet. Er zijn twee smaken: predictive policing op basis van profilering is verboden (art. 5.1(d) AIA) en recidiverisicobeoordeling en predictive policing anders dan op basis van profilering is hoogrisico (Annex III.6d AIA).

Dit is verboden per 2 februari:

AI-systeem voor risicobeoordelingen van natuurlijke personen om het risico dat een natuurlijke persoon een strafbaar feit pleegt te beoordelen of te voorspellen, uitsluitend op basis van de profilering van een natuurlijke persoon of op basis van de beoordeling van diens persoonlijkheidseigenschappen en -kenmerken;

Wat “profilering” dan weer is, staat in de AVG:

elke vorm van geautomatiseerde verwerking van persoonsgegevens waarbij aan de hand van persoonsgegevens bepaalde persoonlijke aspecten van een natuurlijke persoon worden geëvalueerd, met name met de bedoeling zijn beroepsprestaties, economische situatie, gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid, gedrag, locatie of verplaatsingen te analyseren of te voorspellen;

En dat komt vrijwel letterlijk overeen met wat in het artikel wordt aangeduid met “Jongeren met een profiel dat lijkt op dat van leeftijdgenoten die eerder opnieuw in de fout gingen, krijgen een hogere risicoscore.” We voorspellen jouw gedrag (risico van plegen strafbaar feit) op basis van jouw persoonlijke aspecten in vergelijking met bekende data.

Het systeem doet een aanbeveling:

Het leidt tot een ‘score’ die een groot verschil kan maken: gaat de jongere naar Halt voor een leer- of werktraject, of wordt het een strafrechtelijke aanpak die hem of haar een strafblad bezorgt.

Is dat hetzelfde als “risico dat een natuurlijke persoon een strafbaar feit pleegt te beoordelen of te voorspellen”? Ja. Want dit moet je in de context zien: je gaat naar Halt als dat risico klein is en je krijgt een strafrechtelijk traject als het risico groot is. Want kennelijk(?) is ooit bedacht dat wie toch al gaat recidiveren, beter hard kan worden aangepakt.

Arnoud

Via Reddit:

Ik woon in een studentenhuis met eigen kamer en een gemeenschappelijke voordeur. De huurbaas/Woningstichting stuurt ons vandaag een mail met het bericht dat zij van plan zijn de voordeursloten te veranderen voor digitale sloten, bediend door een app. Hier hebben wij verder geen inspraak of aankondiging op gehad.

De vraagsteller denkt dat het om sloten van het merk iLoq gaat; “toonaangevende, modulaire software en diensten voor al uw toegangsbehoeften” aldus de ronkende website. Een unieke toegangsbehoefte is dat je geen fysieke sleutel meer hebt, maar alleen een “breed scala aan slimme toegangsfuncties” met een app op je telefoon.

Het eerste wat je je dan kunt afvragen is wat er gebeurt als je batterij leeg is net op het moment dat je dringend naar buiten moet. Zoals bij een brandalarm, om eens wat te noemen. Wie kan vinden waar staat dat deze sloten van binnenuit zonder app te openen zijn, ik hoor het graag.

Ook interessant zijn de vele slimme rond toegang gegroepeerde behoeftes, zoals deze:

Houd actuele informatie bij over wie waar en wanneer toegang heeft. Gebruik audittrailrapporten om gevallen van onbevoegde toegang te voorkomen of te helpen oplossen.

In het Nederlands: dit slot houdt bij wie wanneer het slot open deed, en dat kun je correleren aan bevoegd en onbevoegd gebruik. Je kunt bijvoorbeeld een code geven aan bezoek, die dan op jouw gezag naar binnen gaat. De beheerder kan dan terugzien dat er dinsdag om 14:23 iemand naar binnen is gegaan dankzij jouw autorisatie. Volgens het privacybeleid is iLoq daarbij de verwerker en de gebouwbeheerder de verwerkingsverantwoordelijke.

Een aanverwante zorg van de vraagsteller/huurder is dat hiermee de verhuurder naar binnen zou kunnen gaan. Dat is inderdaad een risico, maar niet anders dan met fysieke sleutels waar men immers ook een duplicaat of loper zou kunnen hebben. Het mag natuurlijk absoluut niet zonder toestemming.

Normaal vervang je dan de cilinder (en bewaar je de originele) en dan is binnengaan onmogelijk. Maar hier zou je dan een bijzetslot moeten plaatsen. En als je dat ook van buifenaf bedienbaar wil maken, dan moet je dus een slotgat in je deur maken en dát is even iets heftiger dan een schroef losmaken en de cilinder vervangen.

Binnen het huurrecht is een niet-afsluitbare toegangsdeur een gebrek categorie A7. Het gaat dan om aan twee zijden afsluitbaar zijn, niet alleen aan de binnenzijde (waar een schuif nog een doe-het-zelf optie zou zijn). Je kunt dus naar de huurcommissie, in theorie is hiermee de huur tot 20% te verlagen totdat de verhuurder een deugdelijk slot heeft geplaatst.

Alleen: ís het wel een ondeugdelijk slot? De privacy policy leest solide, de verhuurder zal beleid overleggen dat niet binnengetreden wordt zonder toestemming of uitzonderlijke situatie en er zit een CE keurmerk op de slotelementen. Dan blijven theoretische speculaties over onveiligheid over, en daar kom je niet zo ver mee.

Ook dat van naar buiten bij brand is niet doorslaggevend. Ik lees dat iLoq speciale dingesen verkoopt die hetzelfde werken maar dan de vormfactor van een sleutel hebben. Die zouden tegen een redelijke meerprijs verstrekt kunnen worden, en hebben geen batterij nodig.

Ik realiseer me dat dit weinig opwekkend is, maar ik zie geen manier hier juridisch wat tegen te doen totdat het aantoonbaar een keer misgegaan is.

Arnoud

 

De overheid komt met API’s (application programming interfaces) voor het delen van data tussen burgers en private partijen, ter vervanging van de praktijk met convenanten. Dat meldde Security.nl vorige week. Het gebruik van convenanten werd immers in augustus verboden door de Autoriteit Persoonsgegevens. En het is een mooie stap op weg naar de implementatie van de Data Governance Act (DGA).

DGA kennen de meesten als directeur-grootaandeelhouder, maar in 2022 werd Verordening 2022/868 aangenomen die ook zo heet – de Nederlandse naam is Datagovernanceverordening. Doel ervan is een kader voor hergebruik van overheidsinformatie, databemiddelingsdiensten en data-altruïsten te stellen. (Dit staat dan naast wetten zoals de Wet open overheid die aangeven wélke data hergebruikt mag worden.)

De kaders komen neer op regels over het gestructureerd en machinaal op kunnen vragen van data, en toepassen van technieken voor anonimisering of differentiële privacy zodat het bijvoorbeeld AVG-compliant gaat. Dan kom je al heel snel uit bij de applicatieprogrammainterface (API), omdat je daarin formeel vastlegt welke data kan worden opgevraagd en wat er moet gebeuren als zo’n aanvraag binnenkomt.

Ik schrok eerlijk gezegd een beetje toen ik las hoe het nu gaat:

Gebruikers moeten in dit geval eerst een app downloaden en vervolgens zelf, vanuit de app, via DigiD inloggen op de verschillende overheidswebsites, bijvoorbeeld van DUO, het UWV of de Belastingdienst. Na het inloggen via DigiD heeft de app toegang tot alle gegevens die over de gebruiker op de betreffende overheidswebsite staan. Deze gegevens worden eerst door de datadeler-app gescrapet. Daarna selecteert de applicatie benodigde set gegevens, en stuurt deze, na toestemming van de gebruiker, door aan de dienstverlener, bijvoorbeeld een bank.

De achterliggende reden is dat er geen formele manier (lees: API) is om die gegevens op te halen. De app doet zich dus voor als de burger zelf, logt in en scrapet alles waar ie met zijn vieze regex-vingers bij kan. Daarna wordt bij de dienstverlener uitgezocht wat er nodig is. Nee, word ik niet vrolijk van.

Hoe dat op te lossen? Het ministerie zag weinig heil in verbieden van scrapen, met name omdat je feitelijk niet kunt zien of iemand zelf inlogt dan wel of een app dat namens hem doet. Dat niveau van kat-en-muisspel is zelfs voor Facebook of Linkedin forsehoofdpijngevend. Een convenant, waarin de diensten afspreken zich keurig aan de wet te houden? Liever niet, zegt de AP:

Zolang en voor zover in dit convenant sprake is van verwerkingen die in strijd zijn met de AVG, acht de AP het ongewenst dat het ministerie van BZK die verwerkingen zou reguleren en daarmee zou legitimeren. … de AP acht het niet juist om om die redenen verwerkingen te faciliteren die, naar het zich laat aanzien, in strijd zijn met de AVG en grote risico’s met zich mee brengen voor de bescherming van persoonsgegevens van burgers.

De enige echte route is dus het implementeren van een formeel protocol waarmee wél genuanceerd informatie kan worden opgevraagd. En dat is precies het kader dat de DGA ook eist.

Bij Tweakers wijst men op het al bestaande Solid Project (van Tim Berners-Lee, die ja) dat precies hiervoor is bedoeld. In Zweden is hiermee bijvoorbeeld het datauitwisselingsplatform iGrant.io mee gerealiseerd. Het Nederlandse Yivi zou ook een hele mooie implementatie zijn om te kiezen.

Arnoud