VN-commissaris roept op tot stopzetting van biometrische herkenning via AI

| AE 12915 | Innovatie | 30 reacties

De commissaris voor mensenrechten bij de VN pleit voor een stopzetting op het gebruik van biometrische herkenning in de publieke ruimte, las ik bij Tweakers. Mevrouw Bachelet doet deze uitspraak in een rapport van de Verenigde Naties waarin de effecten van artificiële intelligentie op mensenrechten wordt besproken. Overheden zouden eerst moeten kunnen aantonen of er voldaan wordt aan de privacywetgeving en of er niet gediscrimineerd kan worden. En dat geeft weer gelijk discussie over de vraag of een AI wel kan discrimineren.

Het rapport stipt nog meer dingen aan, zoals dat AI vaak door private partijen wordt geleverd en dan totaal niet transparant is. Of dat je niet weet waar de data vandaan komt of wat men er nog meer mee doet. Ik vind dat soort dingen minstens zo ingewikkeld en juridisch vervelend.

Maar goed, discriminatie. Gewoon een neutraal woord in de wetenschap hoor, zo lees ik dan in de comments. En terecht: het betekent gewoon “onderscheid maken” en in de statistiek gebruik je dat voor iedere situatie waarin je data in groep A of B gaat onderverdelen. Maar juristen en ethici bedoelen er wat anders mee, namelijk het onderscheid maken op basis van verboden kenmerken zoals etnische afkomst, seksuele gerichtheid of politieke voorkeur. Dat willen we niet, en daar is een hele goede reden voor: deze kenmerken zijn fundamentele waarden van mensen, en ook niet te wijzigen zoals een kledingkeuze of zelfs woonplaats. Daar blijf je dus af.

Bovendien is er nooit enig oorzakelijk verband aangetoond tussen die kenmerken en welk gedrag dan ook. Iedere uitspraak van het soort “mensen met etnisch kenmerk X willen/hebben/kunnen/haten” is dus automatisch fout, dat is gewoon geen kenmerk waar je uitspraken op kunt baseren. Oké, heel misschien medische kenmerken (kroeshaar is lastiger te scheren, Aziaten verdragen koemelk niet) maar dat zijn echt de uitzonderingen. Het soort situatie waar we het bij AI vaak over hebben, past daar niet bij.

Dat wringt, omdat we vaak AI systemen correlaties zien aanwijzen: de criminaliteit is hoger bij groepen met etnisch kenmerk X, sollicitanten met huidskleur A zijn minder geschikt, seksuele gerichtheid X gaat niet samen met lesgeven op school. Voor een AI is dat inderdaad een neutrale constatering, als dat zo in de dataset zit en de functie komt daarbij op een goed werkend onderscheid (de test-dataset wordt correct als ja of nee gesorteerd) dan is het in orde.

Zo’n conclusie is voor de maatschappij echter niet in orde. In eerste instantie niet omdat de dataset waarschijnlijk niet compleet is (dit is namelijk bij vrijwel iedere AI applicatie een ware uitspraak). Maar zelfs als je wél alle relevante data hebt, blijft er een probleem.

Natuurlijk kan een AI ook een bestaande bias blootleggen. Huidskleur blijkt bij dit bedrijf een perfecte voorspeller van geschiktheid, omdat de HR-medewerker die de sollicitanten screende, zelf die bias had. Dan heb je dus een bias geformaliseerd, maar dat kun je het systeem niet verwijten toch? Die geeft neutraal aan hoe de werkelijkheid is, hoe de maatschappij er nu uit ziet.

Maar dat is niet waar. Een mens is allereerst niet zo hard als een AI. Die zal niet snel iemand in zijn of haar gezicht zeggen, je huidskleur past niet bij dit bedrijf. Die verzint excuses, blaast een smetje op het cv op of legt het gewoon op de stapel “tweede keus” wetende dat er al tien mensen op gesprek komen. Dat merk je niet. Een AI zegt gewoon letterlijk waar het op staat, zonder schroom of vergoeilijking of excuses. En dat valt veel meer op, komt veel meer binnen.

Bovendien, en dat vind ik problematischer, heeft een AI veel meer een aura van objectiviteit, betrouwbaarheid, echtheid. De cijfers zeggen het, deze huidskleur kan gewoon niet bij dit bedrijf. Helaas, objectief berekend met 88% betrouwbaarheid en achttien cijfers achter de komma. Maar in feite hebben we hetzelfde als die HR-medewerker die het met mooie smoesjes wist te verhullen.

Arnoud

Vrouw staat vaker voor dichte deur bij gemeenteportaal dan man

| AE 12744 | Innovatie | 51 reacties

Vrijwel standaard hebben alleen mannen bij gemeenten toegang tot belangrijke privégegevens over hun huishoudens, las ik bij de Stentor. Dat blijkt uit onderzoek van de krant. Steeds vaker schuiven gemeentes burgers naar online portalen voor persoonlijke informatie, belastingaanslagen (hond, huis), heffingen (riool, reiniging) en betalingsafspraken. Detail: slechts een persoon per huishouden (de belastingplichtige) krijgt toegang en dat de gemeente bepaalt wie dat is. Die keuze is onder meer gebaseerd op ‘veronderstelde betalingscapaciteit, doelmatigheid en doeltreffendheid van heffing en invordering’. Vandaar: de man.

Oké, dat was flauw. Afgezien van Staphorst (serieus) maakt geen gemeente de bewuste keuze om de man in een huishouden als enige de toegang tot de gezamenlijke belastinginformatie en dergelijke te geven. Er is gekozen voor toegang door één persoon, en daarbij wordt per gemeente een voorkeursvolgorde ingesteld. Voorheen stond “de man” daarbij als een van de criteria, maar dat is al even weg (behalve dus in Staphorst):

In de model-beleidsregels van de VNG voor het aanwijzen van een belastingplichtige is de gemene deler in de volgorde van kiezen nu zo: degene die het meeste eigendom heeft, een natuurlijk persoon boven een niet-natuurlijk persoon en de oudste ingeschrevene op het adres.
U mag nu even alle samenwonenden in uw omgeving langs deze lat leggen: wedden dat bij 80% of meer daarvan de man hier uit komt? In de meeste relaties is het huis of van de man of gezamenlijk en is de man ouder dan de vrouw. Een mooi voorbeeld van onbewuste bias zoals we die ook in de AI kennen: niemand bedóelt dat de man als enige die gegevens moet kunnen beheren, het komt alleen er zo uit (meestal) en omdat niemand heeft nagedacht dat dat onwenselijk is, is er dus geen procedure om dit eerlijker te maken:
Ook al ben je geboren en getogen in deze gemeente, en al 33 jaar getrouwd met dezelfde partner, woon je al die tijd samen in een huis dat gemeenschappelijk eigendom is en betaal je keurig op tijd de rekeningen, als jij de uitverkorene niet bent, is het systeem niet aardig tegen je en meldt het doodleuk: de ingelogde gebruiker is niet bekend.
Wat is dan wel de reden? Het lijkt een IT-keuze te zijn geweest, maar er zit iets juridisch achter. Beschikkingen zoals een aanslag onroerendezaakbelasting moeten op naam gesteld worden, je kunt niet aan “de familie Ten Brink” een aanslag richten want juridisch bestaat niet. Juridisch gezien hebben we op de Terwekselsestraat 1 de burgers Wim en Kornelia Ten Brink wonen, die een gedeelde huishouding hebben. Aan twee personen dezelfde aanslag uitreiken leidt tot gedoe zoals dubbele betalingen (of erger nog: burgers die gaan klagen dat ze twee keer moeten betalen). Daarom is zo veronderstel ik het IT-systeem ontworpen met een keuze welke van de twee burgers aangeslagen wordt.

Ja, ik zou ook denken dat enkel kíjken naar de status van een en ander geen probleem moet zijn. Je weet via de BRP of mensen gehuwd/GP zijn, en dan kun je ze (na inloggen met DigiD) toegang geven tot de informatie waartoe ze gerechtigd zijn. Je zou dan zelfs iets kunnen bouwen waarbij de eerste van het stel die de aanslag ‘pakt’ als enige ermee verder mag, of een algemene keuze inbouwen “wie van u gaat de financiën doen”. Maar dat is complex en vereist vele, vele koppelingen en dubbelchecks. Weinig dingen zo vervelend als dergelijke IT-projecten. Dus ik snap wel dat gemeenten kiezen voor de iets simpeler oplossing van zelf iemand aanwijzen.

Arnoud

Bild nagelt ‘vluchtelinghatende’ Facebookers aan schandpaal, mag dat?

| AE 8119 | Privacy, Uitingsvrijheid | 25 reacties

bild-haat-schandpaalDe Duitse krant Bild heeft dinsdag een selectie haatdragende teksten van Facebookgebruikers gepubliceerd – inclusief namen en profielfoto’s. Dat las ik in de Volkskrant. Bild wil zo de -aldus de Volkskrant- welig tierende vluchtelingenhaat op sociale media aan de kaak stellen en de gebruikers ‘aan de schandpaal nagelen’.

De term ‘schandpaal’ suggereert natuurlijk nogal sterk dat dat niet mag, die is immers in 1854 afgeschaft. Maar dat is een kwestie van framing: als je het “een bijdrage aan een actueel maatschappelijk debat” noemt, dan klinkt het ineens heel redelijk.

En daar zit hem de kneep, juridisch gezien. We hebben hier te maken met een klassiek voorbeeld van twee botsende grondrechten: het recht op vrijheid van meningsuiting van Bild om te melden wat er in de maatschappij gebeurt versus het recht op privacy van deze mensen om niet zomaar in de spotlight te worden getrokken als privépersoon.

Hebben die mensen privacy dan? Ja, privacy geldt namelijk altijd, ook op Facebook. In principe is het een privacyschending om een Facebookbericht uit zijn context te trekken en elders te herpubliceren, als de plaatser dat niet voor ogen had toen hij het plaatste. (Dat staat dus los van welke instellingen men koos. Hooguit kun je uit die instellingen betogen wat mensen redelijkerwijs voor ogen moeten hebben gehad, maar dan moet je wel ook betogen dat Facebook zo eenvoudig is dat de gemiddelde gebruiker precies weet wat er kan gebeuren, inclusief meelezende kranten.)

In principe dus, want dit is geen harde regel. Als het nieuwswaardig is om te melden dat Pieter de Vries die uiting deed, dan mag dat worden gemeld ondanks Pieters privacy. En ja daar zit een soort van cirkelredenering in. Grondrechten winnen het niet automatisch van elkaar. Ze zijn gelijkwaardig, en het is dus per definitie een afweging per geval waarbij je de argumenten voor de een tegenover die voor de ander zet, om zo tot een slotsom te komen welke het hier wint.

Eens even kijken. Pro meningsuiting: actueel issue, uitingen in openbaarheid gedaan (niet afgeschermd of uit privéberichten gelift), schokkende uitingen, ze kozen er zelf voor deze te plaatsen. Pro privacy: dit zijn gewone burgers (geen Bekende Duitsers) dus waarom is hun mening nieuws, het punt “kijk wat mensen op Facebook zeggen, schandalig” had ook zonder naam en foto gemaakt kunnen worden, uitingen zijn in hitte van het moment geplaatst en niemand voorziet dat ‘ie dan met naam en foto in de krant komt onder de kop “Schandpaal”.

Mijn gevoel zegt me dat hier dan de vrijheid van meningsuiting zou moeten winnen. Nee, niet iedereen snapt Facebook en er zullen er bij zitten die oprecht niet beseften dat het wereldwijd te lezen was en ook nog eens in de krant zou komen. En ja, het had ook zonder naam gekund. Maar het punt van Bild is volgens mij óók dat je ziet dat het gewone mensen zijn in plaats van rare pseudoniemen van professionele trollen. Het enige echte tegenargument is voor mij dat Bild het zelf een schandpaal nóemt, en dus daarmee ieder hoger motief over bijdrage aan debatten al meteen van tafel veegt.

En kunnen we nog wat met de Wbp? Het zijn tenslotte persoonsgegevens en die worden langs elektronische weg verwerkt. De Wbp geldt ook voor journalisten en kranten (afgezien van een paar randvoorwaarden zoals de informatieplicht). Echter, die afweging komt op hetzelfde neer als de algemene vraag hoe meningsuiting versus privacy uitpakt. Het kan dus niet gebeuren dat je met die grondrechten-afweging concludeert “het mag” en vervolgens “van de Wbp mag het niet”.

Ben benieuwd naar jullie afwegingen!

Arnoud

RET weigert nieuwe leerling vanwege tweet

| AE 7984 | Ondernemingsvrijheid | 43 reacties

De RET heeft een 20-jarige Rotterdammer niet toegelaten tot de opleiding van metrobestuurder omdat hij een racistisch bericht op Twitter verstuurde, las ik bij RTV Rijnmond. Metro noemt het een ‘gaskamertweet’, wat het niveau wel aangeeft denk ik. De RET vindt deze tekst onacceptabel (joh) en heeft daarom zijn inschrijving geweigerd. U denkt nu misschien… Lees verder

Kabinet wil notice/takedown van extremistische uitingen opvoeren

| AE 6929 | Regulering, Uitingsvrijheid | 21 reacties

Het kabinet wil verspreiding van online radicaliserende, haatzaaiende, gewelddadige jihadistische informatie tegengaan, maakte men vorige week bekend. Onderdeel daarvan is een specialistisch team dat notice/takedownbevelen gaat geven aan tussenpersonen zoals Facebook. “Ook maakt het team afspraken met internetbedrijven over effectieve blokkeringen.” Onder de huidige wet is het mogelijk een bevel tot verwijdering te geven van… Lees verder

Een vacature in een Facebookadvertentie, mag dat?

| AE 6026 | Ondernemingsvrijheid | 37 reacties

Hoe zet je Facebook-advertenties optimaal in om de juiste kandidaat te vinden, las ik op Marketingfacts. Het sociale netwerk biedt mogelijkheden voor zéér specifieke targeting, en dat is natuurlijk ook voor vacatures interessant. Staat je bedrijf in Rotterdam, dan is het niet zinnig de advertentie aan Assenaren of Groningers te vertonen, bijvoorbeeld. Maar je kunt… Lees verder

Linkedin brak Nederlandse wet met personeelsadvertentie met vraag naar etnische afkomst

| AE 5639 | Ondernemingsvrijheid | 19 reacties

Juridische foutje-bedankt van de maand: bij een personeelsadvertentie van zakelijkesocialmediasite LinkedIn werd naar ras en etnische afkomst van de sollicitant gevraagd, onder verwijzing naar Amerikaanse positieve-discriminatiewetgeving. Dat ontdekte Bas van de Haterd eerder deze week. De fout werd per direct opgelost, want dat mag natuurlijk absoluut niet. Wie zijn CV wilde insturen naar LinkedIn, kreeg… Lees verder

Een wikipagina over “zwartjoekels”, mag dat?

| AE 2472 | Uitingsvrijheid | 47 reacties

Bij het onvolprezen Retecool las ik woensdag een berichtje over de inmiddels zes maanden oude Wakkerpedia, de de wiki voor onderbuikend Nederland. RC lanceerde deze in september vorig jaar bij wijze van satire op onder meer de Wikipedia-poging van Rita Verdonk. Doel was elk lemma te vullen met ‘pareltjes’ uit de onderbuikcomments bij onder meer… Lees verder

DNA afstaan vanwege discriminerende tweet?

| AE 2456 | Informatiemaatschappij | 22 reacties

Bij Madbello las ik het opmerkelijke bericht dat een zeventienjarige twitteraar DNA moest komen afgeven nadat hij (voorwaardelijk) veroordeeld was voor een haatzaaiende tweet. En na deze retecoole reactie kon ik niet anders dan er induiken. De jongeman was veroordeeld voor het twitteren van Tering joden in israel zijn weer bezig. Als de Fuhrer nou… Lees verder

“Minder openbare” websites bestaan niet

| AE 1866 | Uitingsvrijheid | 14 reacties

Semi-openbare websites bestaan per definitie niet, zo ging NRC Handelsblad gisteren kort door de bocht. Het Gerechtshof Amsterdam had namelijk in hoger beroep een man veroordeeld die op Polinco.net discriminerende teksten had achtergelaten. Eerder had de rechtbank hem vrijgesproken omdat lezers niet onverhoeds tegen de uitingen aan zouden kunnen lopen en daarmee de uiting niet… Lees verder