Vrouw staat vaker voor dichte deur bij gemeenteportaal dan man

| AE 12744 | Innovatie | 28 reacties

Vrijwel standaard hebben alleen mannen bij gemeenten toegang tot belangrijke privégegevens over hun huishoudens, las ik bij de Stentor. Dat blijkt uit onderzoek van de krant. Steeds vaker schuiven gemeentes burgers naar online portalen voor persoonlijke informatie, belastingaanslagen (hond, huis), heffingen (riool, reiniging) en betalingsafspraken. Detail: slechts een persoon per huishouden (de belastingplichtige) krijgt toegang en dat de gemeente bepaalt wie dat is. Die keuze is onder meer gebaseerd op ‘veronderstelde betalingscapaciteit, doelmatigheid en doeltreffendheid van heffing en invordering’. Vandaar: de man.

Oké, dat was flauw. Afgezien van Staphorst (serieus) maakt geen gemeente de bewuste keuze om de man in een huishouden als enige de toegang tot de gezamenlijke belastinginformatie en dergelijke te geven. Er is gekozen voor toegang door één persoon, en daarbij wordt per gemeente een voorkeursvolgorde ingesteld. Voorheen stond “de man” daarbij als een van de criteria, maar dat is al even weg (behalve dus in Staphorst):

In de model-beleidsregels van de VNG voor het aanwijzen van een belastingplichtige is de gemene deler in de volgorde van kiezen nu zo: degene die het meeste eigendom heeft, een natuurlijk persoon boven een niet-natuurlijk persoon en de oudste ingeschrevene op het adres.
U mag nu even alle samenwonenden in uw omgeving langs deze lat leggen: wedden dat bij 80% of meer daarvan de man hier uit komt? In de meeste relaties is het huis of van de man of gezamenlijk en is de man ouder dan de vrouw. Een mooi voorbeeld van onbewuste bias zoals we die ook in de AI kennen: niemand bedóelt dat de man als enige die gegevens moet kunnen beheren, het komt alleen er zo uit (meestal) en omdat niemand heeft nagedacht dat dat onwenselijk is, is er dus geen procedure om dit eerlijker te maken:
Ook al ben je geboren en getogen in deze gemeente, en al 33 jaar getrouwd met dezelfde partner, woon je al die tijd samen in een huis dat gemeenschappelijk eigendom is en betaal je keurig op tijd de rekeningen, als jij de uitverkorene niet bent, is het systeem niet aardig tegen je en meldt het doodleuk: de ingelogde gebruiker is niet bekend.
Wat is dan wel de reden? Het lijkt een IT-keuze te zijn geweest, maar er zit iets juridisch achter. Beschikkingen zoals een aanslag onroerendezaakbelasting moeten op naam gesteld worden, je kunt niet aan “de familie Ten Brink” een aanslag richten want juridisch bestaat niet. Juridisch gezien hebben we op de Terwekselsestraat 1 de burgers Wim en Kornelia Ten Brink wonen, die een gedeelde huishouding hebben. Aan twee personen dezelfde aanslag uitreiken leidt tot gedoe zoals dubbele betalingen (of erger nog: burgers die gaan klagen dat ze twee keer moeten betalen). Daarom is zo veronderstel ik het IT-systeem ontworpen met een keuze welke van de twee burgers aangeslagen wordt.

Ja, ik zou ook denken dat enkel kíjken naar de status van een en ander geen probleem moet zijn. Je weet via de BRP of mensen gehuwd/GP zijn, en dan kun je ze (na inloggen met DigiD) toegang geven tot de informatie waartoe ze gerechtigd zijn. Je zou dan zelfs iets kunnen bouwen waarbij de eerste van het stel die de aanslag ‘pakt’ als enige ermee verder mag, of een algemene keuze inbouwen “wie van u gaat de financiën doen”. Maar dat is complex en vereist vele, vele koppelingen en dubbelchecks. Weinig dingen zo vervelend als dergelijke IT-projecten. Dus ik snap wel dat gemeenten kiezen voor de iets simpeler oplossing van zelf iemand aanwijzen.

Arnoud

Ombudsman over probleem etnisch profileren: draai bewijslast om

| AE 12589 | Informatiemaatschappij, Regulering | 81 reacties

De ombudsman heeft onderzocht hoe de overheid moet omgaan met klachten over etnisch profileren, las ik bij deze onafhankelijke instantie. De meest opmerkelijke uitkomst, volgens RTL, is het idee van de bewijslast omdraaien bij etnisch profileren. De burger mag verwachten, aldus het rapport, dat de overheid kan uitleggen op basis waarvan hij geselecteerd is en in hoeverre etniciteit daarbij een rol heeft gespeeld. Hiermee wordt voorkomen dat de burger zelf moet aantonen dat een uitkomst op basis van verboden etnisch profileren is gerealiseerd, iets wat gezien de black box van overheidsbesluiten vaak onmogelijk is. Sommigen zouden zeggen dat de AVG dit al eist.

Etnisch profileren is het gebruik van criteria als ras, huidskleur, nationaliteit, taal, geloof of afkomst bij opsporing of rechtshandhaving terwijl dat niet objectief te rechtvaardigen is, zo valt te lezen in het rapport “Gekleurd beeld” dat eerder deze week verscheen. Daarbij doet het er niet toe of dit de bedoeling was (zoals bij de toeslagenaffaire) of dat het een onbewuste bijkomstigheid is van bijvoorbeeld data-gedreven opsporing – dat de data een bepaalde wijk aanwijst, omdat de postcodes sterk correleren met een etnische verdeling. Waar het om gaat, is dat we als samenleving niet op basis van deze criteria willen handelen, ook al lijken ze goede voorspellers van het te bestrijden gedrag.

De reden is natuurlijk simpel: deze criteria zijn geen voorspellers.

Desondanks blijft het idee hardnekkig, met name nu we steeds vaker met data-analyses werken die dan objectief zouden zijn. Want ja, als uit de data blijkt dat criminelen vaker uit regio X komen, dan is dat een feit toch? Dan mag je daar best op sturen, toch? Nou ja, nee: je handelt dan omgekeerd, uit die data volgt niet dat mensen met afkomst uit regio X significant vaker crimineel zijn. Om eens wat te noemen. En zelfs als de correlatie beide kanten op klopt, dan nog heb je waarschijnlijk een onderliggende factor over het hoofd gezien. Net zoals ze in Maine al jaren het aantal echtscheidingen terugdringen door margarineconsumptie te bestrijden. De cijfers zijn overtuigend, immers.

Daar komt natuurlijk bij dat de AVG het gebruik van deze bijzondere persoonsgegevens eenvoudig verbiedt, tenzij met heel goede reden die wettelijk is vastgelegd (en met waarborgen). Nou, dat kun je vergeten.

En dan komen we bij het punt van de bewijslast. Inderdaad moet je normaal als burger aantonen dat je onrecht is aangedaan, en dat is lastig bij zoiets groots als een onderzoek naar uitkeringsfraude (want een fraudepercentage van 0,2% van de uitkeringen is natuurlijk een hele goede reden voor strikte handhaving, dit in tegenstelling tot zeg btw fraude die qua Europese omvang gelijk is aan het totaal van de uitkeringen in Nederland). Maar de AVG draait de bewijslast zelf al om, het voor mij cruciale artikel 5 lid 2:

2. De verwerkingsverantwoordelijke is verantwoordelijk voor de naleving van lid 1 en kan deze aantonen (“verantwoordingsplicht”).
Dit betekent dus dat je te allen tijde in staat moet zijn om uit te leggen hoe je tot bijvoorbeeld je keuze voor nader onderzoek bent gekomen. En dan mag het niet blijven bij mooie woorden over zorgvuldig gekozen datasets of historisch gevalideerde gegevens maar moet er echt een stappenplan bij, hoe kwam de conclusie tot stand en welke gegevens zijn daar precies bij gebruikt. Een simpele is “een willekeur-generator zegt bij 10% van de mensen ‘Nader controleren’ en dat was u”. Maar wat ook kan, is zeggen “we hebben alle uitkomsten gecorreleerd met etnische afkomst en zagen geen uitschieters”, daarmee toon je ook aan dat daar niet naar wordt gekeken.

Wat de meeste mensen willen, is gehoord worden en excuses krijgen als het misgegaan bleek:

De wijkagent kan als wit persoon nooit weten hoe het is. Maar hij kan wel zeggen: wat vervelend en naar dat dit u is overkomen. Dat hij mij het gevoel geeft: ik hoor u en zie u. Ik kan het niet oplossen, maar wel uw verhaal serieus nemen.
Helaas blijkt nou juist dát het moeilijkste om voor elkaar te krijgen. Maar misschien als we beginnen met die data-analyse en omgekeerde bewijslast, dat we dan de goede richting op geduwd worden.

Arnoud

Kan dat, een algoritme met een moreel kompas? #legaltechtuesday

| AE 11642 | Innovatie | 61 reacties

Wat doe je als slimme algoritmes verkeerde of gevaarlijke keuzes maken? Die vraag las ik in FD onlangs. Machine learning-onderzoeker Philip Thomas uit Massachusetts heeft een methode ontwikkeld om ‘ongewenst gedrag’ vooraf uit intelligente machines te filteren. Hij noemt dat een Seldonian algoritme, en omdat mijn eerste zelfgekochte boeken de Foundation-reeks van Asimov waren trok dat meteen mijn aandacht. Want ja, het is een probleem als algoritmes racistisch, seksistisch of biasbevestigend zijn. Maar is daar werkelijk een quick fix voor die ook nog eens een mooie science fiction term kan krijgen?

De kern van het onderzoek van Thomas is dat je bepaalde ongewenste uitkomsten vooraf algoritmisch vastlegt, zodat een machine learning algoritme een uitkomst kan toetsen aan dit geprogrammeerde moreel kompas:

Using an experimental dataset, they gave their algorithm mathematical instructions to avoid developing a predictive method that systematically overestimated or underestimated GPAs for one gender. With these instructions, the algorithm identified a better way to predict student GPAs with much less systematic gender bias than existing methods.

Het idee is dus dat als je vooraf kunt zeggen “je mag geen bias hebben op klasse X”, dat je dan eerlijker uitkomsten krijgt. Dit is de omgekeerde benadering van hoe men nu vaak probeert vooringenomenheid te voorkomen, namelijk door klasse X weg te laten uit de dataset. Zeg maar, je wilt voorkomen dat je vrouwen onderselecteert dus je laat het veld ‘geslacht’ weg. Maar dat werkt niet: ML algoritmes zullen andere factoren oppikken (zoals de hobby vrouwentennis of het voornaamwoord haar) en daaruit alsnog genderbias construeren. De Seldonian-benadering is dus dat je zegt “ik wil even veel vrouwen als mannen op gesprek” als HR-adviseur.

(De benadering gaat overigens verder dan alleen discriminatie; je kunt ook bijvoorbeeld zeggen dat de uitkomst niet mag zijn dat een diabetespatiënt een risicovol lage bloedsuikerspiegel kan krijgen. Maar dat terzijde.)

Je zou dus zeggen, opgelost nu dat bias-probleem: maak een kompasregel voor iedere verboden factor uit artikel 9 AVG en verplicht ieder ML systeem daarop te toetsen. Maar dat is ingewikkelder dan je denkt. Bias of vooringenomenheid is niet alleen dat je keihard vrouwen uitsluit of weglaat. Vaak is het veel subtieler; lees het boek Invisible Women als u de details wil weten maar het was voor mij bijvoorbeeld een eye-opener dat als je mannen en vrouwen gelijke toegang tot toiletten wilt geven je 50% meer dames-wc’s nodig hebt. Dáár op komen is niet zo simpel als “je mag geen bias hebben op geslacht”.

Arnoud

Een black box algoritme mag geen juridische besluiten nemen

| AE 11004 | Innovatie | 9 reacties

De zwarte doos roept steeds meer zorgen op. En dan bedoel ik niet de (overigens feloranje) kast in vliegtuigen waar informatie over crashes te vinden is, maar de zogeheten black box algorithms die zonder inzicht in hun werking een uitkomst geven. In het jargon van de ‘meme’ of internetgrap: “Computer says no”. Een zorgelijke ontwikkeling… Lees verder

Het gaat bij AI niet om algoritmes, het gaat om de data die je erin stopt

| AE 10622 | Innovatie | 15 reacties

Steeds vaker lees ik over aandacht voor AI en algoritmes bij de politiek. Een goeie ontwikkeling, zeker omdat AI software steeds vaker ingezet wordt om bestuur te ondersteunen. Bijvoorbeeld het selecteren van cold cases waar potentie in zit of herkennen van potentiële onrust zodat je de geweldprotesten voor kunt zijn. Steeds vaker lees ik daarbij… Lees verder

Aansprakelijk voor je algoritmes

| AE 6254 | Intellectuele rechten, Ondernemingsvrijheid | 10 reacties

Wie anderen informatie op zijn site laat plaatsen, is daarvoor niet aansprakelijk mits hij snel ingrijpt bij klachten. Echter, dat geldt alléén voor de user-generated content als zodanig. Wat je zelf daar vervolgens mee doet, al dan niet met een algoritme, komt alsnog voor je eigen rekening. Dat maak ik op uit een vonnis van… Lees verder

In strijd met het goed fatsoen – maar wiens fatsoen?

| AE 4724 | Informatiemaatschappij | 25 reacties

Vandaag weer even een filosofisch iets, en dat mag want ik ben jarig. Ik las een intrigerend artikel in de NY Times: Impermium, a Silicon Valley company that helps Web sites deal with unwanted reader comments, has begun marketing technology that identifies “all kinds of harmful content — such as violence, racism, flagrant profanity, and… Lees verder

Open source code in patentaanvraag?

| AE 2331 | Intellectuele rechten | 9 reacties

Een ontwikkelaar van de open-source video-encoder x264 beschuldigt het bedrijf Tandberg ervan dat zij open-sourcecode heeft gestolen en die nu wil patenteren. Tandberg ontkent. Dat meldde Webwereld gisteren, en Tweakers al zondag. In patentaanvraag WO2010077148 blijkt een algoritme beschreven te worden dat wel héél sterk lijkt op een in 2006 bedacht algoritme voor de open… Lees verder