De AI Hall of Shame laat zien waarom AI compliance officers nodig zijn

| AE 12742 | Innovatie | 4 reacties

Heb je je wel eens afgevraagd hoe deze innovatie bijdraagt aan een afschuwelijke dystopie? Zo prikkelt machine learning engineer Sean McGregor zijn collega’s als die weer eens enthousiast doen over de inzet van AI voor het een of ander. Want maar al te vaak blijkt een goed idee uiteindelijk vooral nadelen voor kwetsbare mensen op te leveren of nodeloze rechtlijnigheid te introduceren in een op zich prima werkend menselijk proces. En om dat kracht bij te zetten, onderhoudt hij sinds een tijdje de AI Incident Database.

Zoals de site het zelf toelicht:

The AI Incident Database is a collection of harms or near harms realized in the real world by the deployment of intelligent systems. You are invited to submit reports to the database, whereupon accepted incidents will be indexed and made discoverable to people developing and deploying the next generation of AI technology to the world. Artificial intelligence will only be a benefit to people and society if we collectively record and learn from its failings. Learn more about the database, or read about it on the PAI BlogVice NewsVenture Beat, and arXiv among other outlets.
Soms gaat het om gewoon hilarische storingen, zoals een surveillancerobot die zichzelf de fontein in rijdt omdat hij water niet van tegels kon onderscheiden. Wat ook weer heel naar kan uitpakken, zoals bij de lasrobot die niet geprogrammeerd was om mensen te vermijden – en iemand doodde toen die een losgelaten metalen plaat wilde verwijderen.

De pijn zit hem vaker niet in zulke extreme dingen, maar in de vaak schimmige manier waarop een AI tot haar conclusie komt. Bijvoorbeeld omdat je geen uitleg krijgt, zoals bij incident 96 waar een door de fabrikant geheimgehouden algoritme leraren beoordeelt en laat ontslaan. Of bij incident 78, waar een studente geweigerd werd bij geneeskunde in Duitsland omdat de AI had ingeschat dat ze lage cijfers zou halen. Of bij incident 95 waarin gezichts- en stemanalyse ertoe leidt dat sollicitanten geweigerd worden.

Die laatste is interessant omdat de gebruikte data is geanalyseerd en vrij van bias zou zijn bevonden. Ja, ik ben skeptisch want ik geloof dat niet – bijvoorbeeld omdat ik me niet kan voorstellen dat men bij stemanalyses de moeite neemt om stotteraars of mensen met slokdarmspraak te vragen om een representatieve hoeveelheid data aan te leveren.  (De kans is groter dat men het ding op porno getraind heeft, daar is immers veel sneller een grote hoeveelheid data voor te krijgen.)

Dat gebrek aan representativiteit zie je vaak opduiken. Bijvoorbeeld in incident 48, waarbij paspoortfoto’s worden gescreend op “ogen volledig open” wat natuurlijk misgaat bij Aziatische mensen. Die overigens ook niet hoog scoren in beauty contests waarbij een AI de jury speelt. Op het gorilla-incident van Google hoef ik al helemaal niet op in te gaan. Het aantal voorbeelden is talrijk.

De vraag is, hoe moet het dan wel. Daar zijn alweer eventjes geleden de EU Ethics Guidelines for trustworthy AI voor geformuleerd. Deze bevatten geen juridische eisen (die komen er wel aan, de Verordening AI) maar juist ethische kaders: hoe moet het wel, wat mag de burger verwachten en wat moet een bouwer of gebruiker van AI aan verplichtingen op zich nemen.

Wie wil leren hoe dat werkt: op 20 september start mijn tienweekse cursus AI Compliance in de praktijk weer. Leer in je eigen tijd (ongeveer 4 uur per week) de techniek én de ethische kaders rondom AI, met echte cases en echte data. Ik laat je zoeken naar bias in een dataset met leningaanvragen of puzzelen over waarom een snel en vrijwillig AI-loket bij de gemeente in strijd is met de mensenrechten. En ondertussen zet je je ook in om de gemeente Juinen met haar miljoenen kostende AI initiatieven hoog in de wereldranglijst te krijgen. Wees er snel bij!

Arnoud

 

U staat op een zwarte lijst, mag dat?

| AE 9772 | Privacy | 37 reacties

Incassokantoren hebben stilletjes grote zwarte lijsten aangelegd van bijna iedereen die in Nederland wel eens een rekening vergat te betalen. Dat meldde De Groene) vorige week (dank, vele tipgevers!). Talloze energiebedrijven, webwinkels en telefoonmaatschappijen checken de betaalmoraal van hun klanten – geheel in strijd met de wet. Wat dus al die tipgevers mij deed mailen: hoe kan het dat men daarmee wegkomt, en wat kun je doen als individu als je terecht of onterecht op zo’n lijst staat?

Iedereen kent het BKR uit Tiel, maar er blijken dus veel meer bedrijven te zijn die gegevens verzamelen over ons betaalgedrag:

Databedrijf EDR bijvoorbeeld heeft gegevens van 7,5 miljoen mensen. Het bedrijf Lindorff beschikt over de vuile was van 10,3 miljoen consumenten en Focum is kampioen met 10,5 miljoen Nederlanders, oftewel bijna iedere volwassene met een eigen portemonnee. Bedrijven analyseren de herkomst van je achternaam en hoeveel je verdient. Ze registreren openstaande rekeningen die je een keer over het hoofd hebt gezien. En ze knopen daar subjectieve conclusies aan vast die zeer nadelig kunnen zijn.

Juridisch kan ik daar weinig over zeggen dat niet al door Jan Kabel en Arnold Roosendaal is gezegd: dit mag gewoon niet, punt. Je moet worden geïnformeerd (actief) over waar je persoonsgegevens heen gaan, en wat die ander daarmee gaat doen. Daarnaast heb je recht op inzage in je dossier, en onder de AVG straks ook recht op een kopie daarvan plus een uitleg over de algoritmes die bepalen waarom men je een wanbetaler noemt.

Frustrerend dat het niet gebeurt, en dat hier geen handhaving op plaatsvindt. Dit is toch een grootschalige misstand waar mensen écht last van hebben. Het is een wat flauw argument om dan te zeggen, vanaf de nieuwe wet zal er opnieuw naar gedragscodes en naleving worden gekeken. Hoewel ik het wel begrijp, het schiet weinig op om een uitspraak onder de Wbp te krijgen terwijl we over minder dan 9 maanden een nieuwe wet krijgen met geheel nieuwe kaders.

Praktisch gezien weet ik niet hoe hier dan beweging in te krijgen, als de Autoriteit Persoonsgegevens het niet oppakt. Het enige dat ik kan bedenken, is massaal gebruik maken van je recht op inzage, en vanaf 25 mei ook staan op uitleg over een en ander.

Helaas staat er nog steeds geen standaardbedrag aan schadevergoeding op het niet naleven van zulke rechten. Ik blijf peinzen op een manier om een uitspraak daarover te forceren. Het blijft raar dat bij inbreuk op ‘gewone’ rechten (zoals auteursrecht) de rechter eigenlijk altijd aanneemt dat er schade is, en dat we bij privacy-inbreuk eigenlijk standaard zeggen dat er geen waardeerbare schade is. Een massaclaim dan maar, iedereen claimt een symbolische euro schade bij een stichting en dan namens tienduizend mensen naar de kantonrechter?

Arnoud

Mag je nog wel een zwarte lijst voor bedrijven aanleggen?

| AE 9665 | Ondernemingsvrijheid, Uitingsvrijheid | 7 reacties

Een lezer vroeg me:

Ik begrijp dat een zwarte lijst voor personen erg lastig is om aan te leggen, vanwege privacywetgeving. Maar nu las ik dat privacy niet geldt voor bedrijven, dus klopt het dan dat ik wel voor mijn b2b webshops een zwarte lijst mag hanteren van zakelijke klanten met wie ik geen zaken wil doen?

Een zwarte lijst voor webwinkels ligt erg gevoelig, onder de privacywetgeving. Het belang voor winkeliers is duidelijk, maar het kan voor betrokken personen bijzonder vervelende gevolgen hebben. Zeker omdat mensen er onterecht op kunnen belanden. Wat nu als ik verhuis naar een plek waar een wanbetaler woonde, bijvoorbeeld. Of omdat ik erop kom omdat de winkelier me een vervelend figuur vindt dat maar blijft zeuren over garantie.

Kort gezegd komen de eisen vanuit privacywetgeving over zwarte lijsten neer op zorgvuldigheidseisen. Zo moet vooraf aangekondigd zijn dat deze gegevens verwerkt worden. Een winkel moet dus op een of andere manier kenbaar maken dat men een zwarte lijst beheert. Ook moeten mensen in staat zijn om na te gaan dat zij op deze lijst staan, en hebben zij het recht om eraf gehaald te worden als blijkt dat hun vermelding onterecht was. De toezichthouder heeft een checklist zwarte lijsten gepubliceerd. Ook moeten dergelijke lijsten worden gemeld.

Privacy geldt alleen voor mensen, en dus in principe niet voor ondernemingen of verenigingen/stichtingen. Hooguit als het ook gaat om privégegevens, zoals de 06 van de directeur van een bv of het persoonlijk mailadres van de voorzitter. Dus in principe is er weinig tegen zo’n zwarte lijst te doen.

In de praktijk zul je wel aan hoge eisen van zorgvuldigheid moeten voldoen om te voorkomen dat je smaadclaims tegen je krijgt, want een bedrijf kun je wel besmaden door ze ten onrechte en lichtvaardig op een zwarte lijst te zetten. Ik denk dat je in de praktijk dan diezelfde checklist zult moeten volgen, afgezien van de melding bij de toezichthouder zelf.

Arnoud

Mag een browserextensie je waarschuwen voor oplichters?

| AE 8707 | Intellectuele rechten, Uitingsvrijheid | 20 reacties

Afgelopen maand heb ik in de avonduren een chrome extensie ontwikkeld die op elke webpagina zoekt naar IBAN, telefoonnummer, e-mailadressen, las ik (dank, tipgever) bij Gathering of Tweakers. De poster was slachtoffer van oplichting geworden en ontdekte dat hij dit had kunnen voorkomen door even dergelijke gegevens door Google te halen. Vandaar de extensie: de… Lees verder

Kun je een zwartelijstbeheerder tegenhouden met een beroep op de Wbp?

| AE 7541 | Privacy, Uitingsvrijheid | 3 reacties

De Block Bot is in de juridische problemen gekomen, las ik onlangs. Blogger Matthew Hopkins, zelfbenoemd “Witchfinder General” had een claim ingediend bij de beheerder van deze Twitter zwarte lijst, waar je op komt als de beheerder je een troll vindt, of een vrouwonvriendelijke man of nog wat niet bepaald vleiende kwalificaties. Het op smaad… Lees verder

Mag een advertentieblokker een betaalde whitelist hebben?

| AE 5974 | Informatiemaatschappij | 12 reacties

Intrigerend. Advertentieblokker AdBlock Plus werkt met een betaalde whitelist: bedrijven die liever niet meteen geadvertentieblokkeerd willen worden, kunnen het bedrijf achter Adblock Plus betalen om standaard op een witte lijst te komen. Natuurlijk kan de gebruiker alsnog die bedrijven of hun advertenties blokkeren maar dan moet je wel moeite gaan doen, en als het gaat… Lees verder

Zwartelijstweek: Hoe mogen websitevoorwaarden worden gewijzigd?

| AE 2634 | Informatiemaatschappij | 17 reacties

Vanwege mijn vakantie deze week geen gewone blogs, maar een zomerserie die ik ‘Zwartelijstweek’ heb gedoopt. Welke websitevoorwaarden zouden moeten worden verboden? Of hoe ver zouden website-exploitanten nog mogen gaan bij een site waar gebruikers ook een bijdrage leveren? In de items tot nu toe is het al een paar keer aan de orde gekomen:… Lees verder

Zwartelijstweek: Wat mogen websites met je persoonlijke informatie?

| AE 2637 | Informatiemaatschappij | 13 reacties

Vanwege mijn vakantie deze week geen gewone blogs, maar een zomerserie die ik ‘Zwartelijstweek’ heb gedoopt. Welke websitevoorwaarden zouden moeten worden verboden? Of hoe ver zouden website-exploitanten nog mogen gaan bij een site waar gebruikers ook een bijdrage leveren? Privacy op sociale media en websites is een hot topic, maar tegelijkertijd een verschrikkelijk lastig onderwerp…. Lees verder

Zwartelijstweek: Welke garanties moet een website bieden?

| AE 2635 | Informatiemaatschappij | 18 reacties

Vanwege mijn vakantie deze week geen gewone blogs, maar een zomerserie die ik ‘Zwartelijstweek’ heb gedoopt. Welke websitevoorwaarden zouden moeten worden verboden? Of hoe ver zouden website-exploitanten nog mogen gaan bij een site waar gebruikers ook een bijdrage leveren? Een standaardbepaling in websitevoorwaarden gaat over garanties. Of beter gezegd, de totale afwezigheid daarvan. Een websitebeheerder… Lees verder