Is het toegestaan iemands stem na te doen met een AI zoals Vall-E?

Een lezer vroeg me:

Recent presenteerde Microsoft een nieuw AI-model, genaamd Vall-E. Dit text-to-speechmodel kan gesproken zinnen in vrijwel ieder stemgeluid genereren na een sample van drie seconden gehoord te hebben. Het AI-model kan daarbij ook intonatie en emotie nabootsen. Is dat strafbaar, als ik het train op iemands stem en die dan van alles laat zeggen?
Er is geen stem-equivalent van het portretrecht, dat je een (soort van) algemene zeggenschap over je beeltenis geeft. De positie van de stem in het portretrecht is al lang onderwerp van discussie. Niet met AI, maar gewoon met stem-imitatoren (zoals Gert-Jan Dröge en koningin Beatrix overkwam). De rechtspraak is daar altijd hard in geweest: dat is géén portret, geen afbeelding van die persoon. Laatstelijk nog in 2020, toen een vrouw probeerde zich te verzetten tegen gebruik van een audiofragment van haar stem.

Dat vonnis maakte wél duidelijk dat een stemgeluid een biometrische persoonsgegeven kan zijn onder de AVG. De definitie (artikel 4 lid 4 AVG) noemt als voorbeelden wel “gezichtsafbeeldingen of vingerafdrukgegevens” maar ik zie geen bezwaar tegen een herkenbare uitspraak van iemand op een lijn te zetten met een portretfoto of vingerafdruk. De Franse toezichthouder ziet dit ook zo.

Natuurlijk moet het stemgeluid wel herleidbaar zijn, de persoon er achter moet te identificeren zijn. Dat is bij een willekeurig stukje geluid opgenomen in een winkelstraat erg lastig. Maar bij zo’n online geluid dat uit een AI komt is dit een stuk makkelijker – de publicist van het geluid zet erbij wiens stem het is. Ja oké, hij liegt, maar een leugenachtig informatie-element over een persoon is net zo goed een persoonsgegeven.

Een onjuist (want leugens bevattend) persoonsgegeven zou te corrigeren of te verwijderen moeten zijn, wat je dus zeggenschap zou geven over zo’n stemopname. Die vrouw uit 2020 had echter pech, omdat bij haar de opname gebruikt werd in een theaterprogramma, en dat is een verwerking voor artistieke doeleinden. Die zijn net als journalistieke verwerkingen niet vatbaar voor het recht van correctie of verwijdering.

Het is goed mogelijk dat zo’n AI-stem ook daarvoor wordt gebruikt: laat Mark Rutte wat geks zeggen (u mag zich oud voelen: Tuut tuut tuut, de groeten van …?) of leg Max Schrems wat positiefs over Privacy Shield in de mond en noem het parodie. Als de stem wordt gebruikt om iemand voor gek te zetten zonder enige literaire of artistieke rechtvaardiging, dan is dat wél met de AVG aan te pakken.

Strafbaar is het niet, iemands stem imiteren. Daar kom je pas als je met die imitatie (al dan niet met AI) een strafbaar feit construeert, zoals die persoon zijn reputatie beschadigen of valse bekentenis afleggen (smaad) of de uitspraak gebruiken om fraude te plegen (de directeur imiteren die een frauduleuze betaalopdracht geeft).

Arnoud

 

Mag ik een AI-artiest online zetten of moet ik bang zijn voor het auteursrecht?

Een lezer vroeg me:

Gisteren heb ik zitten spelen met zo’n machine-learning ai die plaatjes maakt van een tekstje (“prompt”). Dat tekstje en een aantal getals-parameters kun je zelf invullen en tweaken. Het resultaat is een webpagina vol met schilderijen waarop acteur Brad Pitt te zien is alsof hij geschilderd is door Monet, van Gogh, Degas, enzovoort. Als ik deze AI online zou zetten, kan ik dan problemen verwachten met portretrechten van Brad Pitt dan wel auteursrechten van de bronwerken?
Allereerst het portretrecht, daar verwacht ik de minste problemen. Het gaat om een portret niet in opdracht, waarbij de vraag is of de afgebeelde persoon een redelijk belang tegen publicatie heeft. Wat kan meneer Pitt aanvoeren? Hij is een bekend persoon en je gebruikt hem vanwege de herkenbaarheid, dat is nu eenmaal inherent aan bekend zijn vanwege je uiterlijk (met alle respect voor zijn inhoudelijke kwaliteiten, overigens).

Auteursrecht is lastiger, want de AI van de vraagsteller transformeert niet één foto maar tien miljoen. Dat lijkt de auteurswet te buiten te gaan, alsof je zou zeggen dat je mijn boek overneemt omdat je daaruit plus nog tien miljoen boeken haalt hoe juridische tekst gaat. Ik meen dat dat niet opgaat.

De gegenereerde werken zijn in de stijl van bekende schilders. Dat kan, een stijl van werken is niet beschermd. Ook niet als de bedenker van die stijl auteursrechtelijk nog leeft (70 jaar na overlijden).

Pas als er concrete fragmenten uit één bronwerk in het gegenereerde werk komen, dan loop je tegen auteursrecht aan. Denk aan het schilderij van het meisje met de parel, waar je AI eigen variaties op maakt. Dat zou inbreuk zijn als het een modern werk was.

Arnoud

Mijn foto is een datapunt in iemands AI, kan ik een schadevergoeding krijgen?

Simon / Pixabay

Via de website “Have I been trained” kun je achterhalen of jouw foto gebruikt is om een AI te trainen, las ik bij Ars Technica. Of nou ja, iets preciezer: of je foto in een van de enorme datasets zit waarmee tegenwoordig alle beetje fatsoenlijke AI’s worden getraind. Want die datasets zijn meestal zonder het ook maar iemand te vragen opgebouwd, dus een beetje pixeljager zou daar wel geld moeten zien. Maar valt er wel wat te eisen?

Wie een machine learning systeem wil trainen, heeft data nodig. Dat geldt voor iedere applicatie, maar voor afbeeldingen is het helemaal een complexe eis: waar haal je die enorme hoeveelheid plaatjes vandaan die nodig is om een adequate brede dekkingsgraad van je AI-toepassing te krijgen? Nou ja, dat pluk je gewoon van internet want als je het maar massaal genoeg verzamelt is het geen auteursrechtinbreuk meer maar innovatie (cf. Google Images).

De state of the art dataset tegenwoordig is LAION-5B,met 5,85 miljard afbeeldingen verreweg de grootste. Bijeengebracht voor researchdoeleinden en experimenteren met zulke enorme sets, aldus de website. “The images are under their copyright”, staat er dan ook. En dan de juridische truc, of nou ja truc, waarmee dat kan: elk item uit de dataset bevat simpelweg alleen de bron-URL van de afbeelding, waarmee de dataset zelf geen inbreuk is.

De dataset is voor haar doel buitengewoon nuttig: bij elk plaatje staan labels zoals wie of wat er te zien is. Met dergelijke metadata kun je systemen trainen die daarmee nieuwe afbeeldingen kunnen maken op een zelfbedachte suggestie (“copyright symbol racing against computer“). Die leren dan op basis van die metadata wat er zoal mogelijk is bij een dergelijke tekst.

Als je nu een dataset maakt door al die afbeeldingen te downloaden en daarmee een AI traint, heb je dan auteursrechten geschonden? De eerste stap – het downloaden – is voor onderzoekers of bedrijven problematisch, omdat in Europa in ieder geval zoiets buiten de thuiskopie-regeling valt. In de VS is dit mogelijk fair use, het staat immers legaal online en het downloaden van een afbeelding is dan fair. 

De volgende stap is het trainen van een machine learning model, waarbij dus allerlei features van die afbeeldingen worden geëxtraheerd en in combinatie met die metadata tot een algoritme wordt omgezet waarmee nieuwe afbeeldingen worden gemaakt. In principe zijn die echt nieuw, maar er zitten soms wel herleidbare stukjes in, zoals in deze foto met herkenbaar Getty watermerk. (Ik weet niet of dit is omdat het stukje met het watermerk paste bij de prompt of omdat het systeem heeft geleerd dat goede foto’s vaak een Getty watermerk dragen, en daaruit concludeerde dat dit erbij hoort.)

Het belangrijkste is, je kunt aan een AI eigenlijk nooit zien of jouw foto’s er specifiek in zitten. Deze tool maakt voor het eerst soort van dat wél mogelijk, althans als de AI-exploitant dus meldt dat hij met LAION-5B werkt (wat op zich een normale melding is, want het is nodig voor benchmarking). En dan kun je dus een claim doen, want gegarandeerd dat er dan bij dat bedrijf ergens een zipfile rondzwerft met een kopie van jouw foto(‘s).

Alleen: wat is je schade? Dit probleem is fundamenteel bij het auteursrecht online, zeker voor mensen die hun werk gratis op internet zetten. Want dan kun je niet eens de gemiste licentiekosten als schade opvoeren. En hier speelt dan ook nog eens dat we niet weten wat je auteursrechtelijk precies doet als je een foto omzet naar een berg datapunten waarmee je een image generator maakt.

De makers van deze tool hebben een iets andere insteek: zij willen dat de AI community vrijwillig overstapt naar een model waarbij toestemming de norm is, juist om de kleine creatieveling te beschermen. En dat is een heel nobel streven, met natuurlijk de kanttekening dat er weinig prikkel is om bij dit soort bedrijven hier op over te stappen.

Arnoud

 

Mag je persoonsgegevens gebruiken om een AI mee te trainen?

ahmedgad / Pixabay

Een lezer vroeg me:

Wij willen in onze organisatie gaan experimenteren met AI oftewel machine learning voor tekstanalyse. Onze bronbestanden bevatten persoonsgegevens (denk aan ingevulde aanvraagformulieren en onze beoordeling daarvan). Mogen we die meenemen in het bouwen van ons systeem?
Het gebruik van persoonsgegevens is natuurlijk gereguleerd onder de AVG. In principe is het niet de bedoeling dat je persoonsgegevens voor andere doeleinden gebruikt, zie mijn blog over testen met persoonsgegevens* als voorbeeld.

Er is echter een specifieke route bij het gebruik van data voor trainen van AI. AI oftewel machine learning is immers “alleen maar” statistiek, je zoekt naar patronen met wiskundige algoritmes, bijvoorbeeld lijnen die een heleboel metingen in twee groepen (ja/nee, gevaarlijk/normaal, etc) verdeelt of een formule waarmee je een nieuwe meting kunt plaatsen. In AVG terminologie noemen we dit een verwerking voor statistische doeleinden.

Vanwege artikel 5 lid 1 sub a AVG is dat dan in principe verenigbaar met het oorspronkelijke doel, wat dat doel ook was. Je mag statistisch onderzoek doen op je rechtmatig verkregen persoonsgegevens, daar is geen aparte toestemming voor nodig. De voornaamste eis is dat wat daaruit komt, niet rechtstreeks terug wordt toegepast op de betrokken personen, en al helemaal niet als een geautomatiseerde besluitvorming (artikel 22 AVG).

Dat is bij een AI model totaal niet aan de orde. Sterker nog, persoonsgegevens zijn gewoonlijk niet meer dan ruis – die paar keer dat er “Jansen” in een veld staat, heeft geen enkel effect. De vele duizenden bedragen waartussen geïnterpoleerd kan worden, of de velden met geslacht, werkzame status et cetera zijn veel belangrijker. Het statistisch model (“de AI”) dat eruit komt, zal dus niet of nauwelijks beïnvloed zijn door die namen of adressen in het bronbestand.

Het risico dat ik wel zie, is dat je een bron-dataset hebt waarin al die Jansens met naam en toenaam staan. Dat bestand zal dus goed moeten worden bewaakt, want daarin zitten dus leesbare persoonsgegevens en die zouden kunnen lekken of voor niet-statistische doelen worden ingezet. Tegelijk zul je dit bestand wel steeds nodig hebben bij iedere update, dus dit direct weggooien is ook weer geen optie.

Arnoud * sed s/Wbp/AVG/g

VN-commissaris roept op tot stopzetting van biometrische herkenning via AI

De commissaris voor mensenrechten bij de VN pleit voor een stopzetting op het gebruik van biometrische herkenning in de publieke ruimte, las ik bij Tweakers. Mevrouw Bachelet doet deze uitspraak in een rapport van de Verenigde Naties waarin de effecten van artificiële intelligentie op mensenrechten wordt besproken. Overheden zouden eerst moeten kunnen aantonen of er voldaan wordt aan de privacywetgeving en of er niet gediscrimineerd kan worden. En dat geeft weer gelijk discussie over de vraag of een AI wel kan discrimineren.

Het rapport stipt nog meer dingen aan, zoals dat AI vaak door private partijen wordt geleverd en dan totaal niet transparant is. Of dat je niet weet waar de data vandaan komt of wat men er nog meer mee doet. Ik vind dat soort dingen minstens zo ingewikkeld en juridisch vervelend.

Maar goed, discriminatie. Gewoon een neutraal woord in de wetenschap hoor, zo lees ik dan in de comments. En terecht: het betekent gewoon “onderscheid maken” en in de statistiek gebruik je dat voor iedere situatie waarin je data in groep A of B gaat onderverdelen. Maar juristen en ethici bedoelen er wat anders mee, namelijk het onderscheid maken op basis van verboden kenmerken zoals etnische afkomst, seksuele gerichtheid of politieke voorkeur. Dat willen we niet, en daar is een hele goede reden voor: deze kenmerken zijn fundamentele waarden van mensen, en ook niet te wijzigen zoals een kledingkeuze of zelfs woonplaats. Daar blijf je dus af.

Bovendien is er nooit enig oorzakelijk verband aangetoond tussen die kenmerken en welk gedrag dan ook. Iedere uitspraak van het soort “mensen met etnisch kenmerk X willen/hebben/kunnen/haten” is dus automatisch fout, dat is gewoon geen kenmerk waar je uitspraken op kunt baseren. Oké, heel misschien medische kenmerken (kroeshaar is lastiger te scheren, Aziaten verdragen koemelk niet) maar dat zijn echt de uitzonderingen. Het soort situatie waar we het bij AI vaak over hebben, past daar niet bij.

Dat wringt, omdat we vaak AI systemen correlaties zien aanwijzen: de criminaliteit is hoger bij groepen met etnisch kenmerk X, sollicitanten met huidskleur A zijn minder geschikt, seksuele gerichtheid X gaat niet samen met lesgeven op school. Voor een AI is dat inderdaad een neutrale constatering, als dat zo in de dataset zit en de functie komt daarbij op een goed werkend onderscheid (de test-dataset wordt correct als ja of nee gesorteerd) dan is het in orde.

Zo’n conclusie is voor de maatschappij echter niet in orde. In eerste instantie niet omdat de dataset waarschijnlijk niet compleet is (dit is namelijk bij vrijwel iedere AI applicatie een ware uitspraak). Maar zelfs als je wél alle relevante data hebt, blijft er een probleem.

Natuurlijk kan een AI ook een bestaande bias blootleggen. Huidskleur blijkt bij dit bedrijf een perfecte voorspeller van geschiktheid, omdat de HR-medewerker die de sollicitanten screende, zelf die bias had. Dan heb je dus een bias geformaliseerd, maar dat kun je het systeem niet verwijten toch? Die geeft neutraal aan hoe de werkelijkheid is, hoe de maatschappij er nu uit ziet.

Maar dat is niet waar. Een mens is allereerst niet zo hard als een AI. Die zal niet snel iemand in zijn of haar gezicht zeggen, je huidskleur past niet bij dit bedrijf. Die verzint excuses, blaast een smetje op het cv op of legt het gewoon op de stapel “tweede keus” wetende dat er al tien mensen op gesprek komen. Dat merk je niet. Een AI zegt gewoon letterlijk waar het op staat, zonder schroom of vergoeilijking of excuses. En dat valt veel meer op, komt veel meer binnen.

Bovendien, en dat vind ik problematischer, heeft een AI veel meer een aura van objectiviteit, betrouwbaarheid, echtheid. De cijfers zeggen het, deze huidskleur kan gewoon niet bij dit bedrijf. Helaas, objectief berekend met 88% betrouwbaarheid en achttien cijfers achter de komma. Maar in feite hebben we hetzelfde als die HR-medewerker die het met mooie smoesjes wist te verhullen.

Arnoud

Mag je een AI telefonende politici laten signaleren en daarover tweeten?

De Vlaamse kunstenaar Dries Depoorter heeft software gemaakt die via machinelearning en gezichtsherkenning ziet wanneer een politicus op zijn of haar smartphone zit tijdens een overheidsvergadering. Dat meldde Tweakers afgelopen maandag. En de grap: de software maakt daarna een Twitter- en Instagram-bericht aan. Onder de naam The Flemish Scrollers kunnen geïnteresseerden dan constateren dat de betreffende politicus dan afgeleid is, waar je dan zelf wat van mag vinden.

Het beeld dat ontstaat is natuurlijk dat politici zich aan hun werk onttrekken of niet geïnteresseerd zijn in wat collega’s te melden hebben. Dat zal zeker wel eens het geval zijn (je zou het misschien zelfs nog aan de politicus zhaar Twitter of Instagram-activiteit kunnen koppelen, bedenk ik me) maar men zal zeker ook wel op die manier ruggespraak houden met partijgenoten. Dat is iets praktischer en juist vriendelijker dan opstaan en buiten de zaal samen praten, en dan weer naar binnen gaan.

Onduidelijk is nog wat de politici er van vinden, ik zag in de comments al dat het ironisch genoemd werd omdat politici de burger juist met alles en nog wat in de gaten houden. Maar dat zou het alleen maar zijn als de dames en heren politici hier bezwaar tegen hebben, wat voorals nog niet het geval lijkt.

Ook wat betreft de AVG zie ik geen probleem. Dit is evident een artistieke verwerking, die een duidelijk maatschappelijk punt maakt en zich baseert op openbare beelden. Daarmee is de belangenafweging van artikel 6 sub f AVG snel gemaakt, het gerechtvaardigd belang van Depoorter om dit te tonen weegt zwaarder dan privacy- of andere belangen van de politici in kwestie. (Voor mij weegt dan zeker mee dat Depoorter zich niet uitlaat over wat men doet op de telefoon: men kan immers ruggespraak houden, dossiers nazoeken of anderszins legitiem de smartphone gebruiken.)

Hoe moeilijk zou het zijn dit te porten naar de Nederlandse Tweede Kamer?

Arnoud

GitHub brengt AI-programmer uit die helpt bij het schrijven van code, mag dat van de GPL?

GitHub heeft een technische preview uitgebracht van Copilot, een AI-gedreven pair programmer die ontwikkelaars helpt bij het schrijven van code. Dat las ik bij Tweakers. Copilot stelt contextgebonden code en functies voor, en helpt acties bij het oplossen van problemen door te leren van de code die iemand schrijft. De AI is getraind op een grote dataset van publieke broncode, en dat zal vast grotendeels open source zijn onder de GPL want dat is nu eenmaal de bulk van de “publieke” software. Maar de GPL vindt daar iets van, van hergebruik.

Copilot kan automatisch opmerkingen omzetten in code, repetitieve code aanvullen en een functie testen tijdens het schrijven. Het systeem leert en verbetert zichzelf. Het klinkt als een hele goede ontwikkeling, maar als je even doordenkt dan besef je dat dit alleen kan door een héle berg broncode door te akkeren en tot een machine learning model om te zetten. Dat zegt men zelf ook:

Trained on billions of lines of public code, GitHub Copilot puts the knowledge you need at your fingertips, saving you time and helping you stay focused.

Er is die merkwaardige gedachte dat als iets “publiek” is, dat je er dan wat mee mag. Misschien moeten we naast “data is niets” nog een juridisch mantra invoeren: “dat het publiek is, is geen argument”. Want het gaat hier om software, en die is zonder twijfel auteursrechtelijk beschermd. En wanneer die “publiek” online staat, dan weet ik vrij zeker dat het om open source gaat. En dan krijg je dus te maken met de licentie. Of niet?

Interessant genoeg zegt men in de FAQ dan:

GitHub Copilot is a code synthesizer, not a search engine: the vast majority of the code that it suggests is uniquely generated and has never been seen before. We found that about 0.1% of the time, the suggestion may contain some snippets that are verbatim from the training set. Here is an in-depth study on the model’s behavior.
Er is natuurlijk een ontzettend groot verschil tussen een lap code copypasten en heel goed kijken naar “billions of lines of code” om jezelf te trainen. Wie zei dat ook weer, kopiëren uit één bron is diefstal en kopiëren uit honderd is inspiratie? Dat lijkt me hier ook van toepassing.

Het komt neer op de algemene vraag of het maken van een machine learning model een kopie is van alle brondocumenten of -data. Als dat zo is, dan krijg je met de licentie te maken en daar zou dan in dit geval de GPL op van toepassing kunnen zijn. Dan zou alle code die Copilot suggereert, onder de GPL vallen, want dan is al die code afgeleid van de GPL code die erin ging. En dan is dus ook elk door Copilot mede geschreven project GPL.

Bewijstechnisch valt daar nog wel wat op aan te merken: de GPL auteur zal moeten bewijzen dat deze suggestie gedaan is op basis van haar code, want zonder kopie geen inbreuk. En dat zal niet meevallen. Maar dat terzijde.

Is een machine learning model inbreuk op de rechten van de brondocumenten? In de VS waarschijnlijk niet. In 2019 oordeelde de Second Ciruit (de hogerberoepsrechter voor New York, Connecticut en Vermont) dat het verwerken van stukjes uit boeken om een boekenzoekalgoritme te trainen géén inbreuk op auteursrechten is. De dataset die daarmee ontstaat, is dus niet onderworpen aan toestemming (of licentie) van de boekenrechthebbenden.

In Europa zijn er geen vergelijkbare zaken. We hebben wel de Infopaq-zaak, waarin werd bepaald dat het overnemen en verspreiden van 11 woorden (een snippet in zoekresultaten) onderworpen kan zijn aan auteursrechten, maar het ging daar om het publiceren van zoekresultaten in een nieuwsbrief. Dat is toch echt wat anders dan een statistisch model maken waarin staat dat codestukje X vaak samengaat met Y, of dat constructie A goed aansluit bij aanhef B. Ik volg dan ook de conclusie van professors Gotzen en Janssens:

Vooral de overwegingen in de arresten Infopaq I, in verband met bepaalde handelingen van ‘data capturing’ die onder het toepassingsgebied van de uitzondering kunnen vallen, verdienen aandacht. Maar de vijf voorwaarden die de uitzondering … oplegt, zijn cumulatief en, mede in het licht van de regel van de strikte interpretatie, zijn we niet geneigd om te concluderen dat alle gebruikshandelingen voor het trainen van AI-systemen die gebruik maken van beschermd materiaal, door deze uitzondering zullen worden afgedekt.
Die vijf voorwaarden zijn als volgt:
  1. deze handeling is tijdelijk;
  2. deze handeling is van voorbijgaande of incidentele aard;
  3. deze handeling vormt een integraal en essentieel onderdeel van een technisch procedé;
  4. dit procedé wordt toegepast met als enig doel de doorgifte in een netwerk tussen derden door een tussenpersoon of een rechtmatig gebruik van een werk of beschermd materiaal mogelijk te maken, en
  5. deze handeling bezit geen zelfstandige economische waarde.
Een machine learning dataset maken is een tijdelijke handeling, die essentieel en integraal nodig is om het neuraal netwerk mee te maken. Dat trainen is niet op zichzelf economisch waardevol (de exploitatie van het resultaat natuurlijk wel, maar dat bedoelt men hier niet). Punt 4 zou je dan naar analogie moeten interpreteren, wat het Hof van Justitie doet in punt 64 van het arrest:
wanneer de levensduur ervan is beperkt tot hetgeen noodzakelijk is voor de goede werking van het betrokken technische procedé, waarbij dit procedé geautomatiseerd moet zijn zodat deze handeling automatisch, zonder menselijke interventie, wordt gewist zodra de functie ervan om dit procedé mogelijk te maken is vervuld.
Oftewel in gewone taal “ik extraheer even de essentiële kenmerken om een statistisch model te maken, daarna gooi ik het weer weg” en dat zou dan mogen.

Arnoud

Nederlandse politie geeft details over gebruik van Boston Dynamics-robot Spot

De Dienst Speciale Operaties van de Nederlandse politie heeft een Spot-robot van Boston Dynamics in gebruik genomen en die onlangs voor het eerst ingezet. Dat meldde Tweakers onlangs. Spot is een robothond met als unieke eigenschap zijn natuurlijke manier van bewegen en evenwicht bewaren, waarbij je dan moet zeggen dat het “AI aangedreven is”. De variant die onze politie inzet, kan niet autonoom opereren en wordt op afstand bestuurd. Doel is met name in gevaarlijke situaties zoals drugslabs veilig te kunnen opereren. Een mooie eerste stap, maar het roept natuurlijk wel de vraag op hoe zo’n robotpolitiehond (politierobothond?) dan in de toekomst ingezet kan worden.

Voor wie wil weten hoe de toekomst van AI in de Nederlandse gemeenschap eruit ziet, is de case van de gemeente Juinen een unieke kans. De gemeente is nu bijna een jaar bezig met de breedschalige implementatie van AI voor gemeente- en burgerprocessen. Zij heeft daarbij gekozen voor de insteek van wettig, ethisch en robuust conform de Europese Guidelines voor verantwoorde AI, en is tot veler verbazing gekozen tot een van de twintig steden die aan de wereldwijde competitie World City AI Ranking mee mag doen.

Als afsluiter van het eerste jaar is daarbij een onderzoek naar draagvlak gewenst. Onderzoeksbureau Akkermans c.s. heeft daarom in opdracht van Juinen haar burgers bevraagd naar hoe zij de belangrijkste AI projecten hebben ervaren. Gezien de inzet van deze robothond wil ik u één aspect alvast meegeven:

In Woon-zorgcentrum Dageraad wordt al geruime tijd gewerkt met zorgrobot Jorien, die de bewoners wat extra gezelschap biedt. Daarnaast werkt het Juridisch Loket met intake-lawyerbot Hugo en experimenteert het ziekenhuis met de inzet van Meredith de robotchirurg. De politie heeft een aanvraag ingediend om een autonome robothond (Koiro, lees meer) te laten patrouilleren. Al deze robots werken autonoom, dus zonder human-in-the-loop (HITL). Waar hebben de Juinense burgers het meest vertrouwen in, denkt u? En waarom?

  1. Zorgrobot Jorien
  2. Lawyerbot Hugo
  3. Robotchirurg Meredith
  4. Robotpolitiehond Koiro
Wie denkt dat zhij het antwoord weet, moet zich zeker inschrijven voor de tienweekse opleiding AI Compliance & Governance die in mei weer van start gaat!

Arnoud

Moet ik nog zeggen dat die ondergoedfotoapp van Albert Heijn van de AVG niet mag?

Winkelpersoneel van Albert Heijn is binnenkort in nieuwe bedrijfskleding te zien. De maat zou worden bepaald door foto’s in ondergoed. Dat las ik bij NRC (dank, vele tipgevers, ook voor dit gedicht). De foto’s worden – als ik het goed begrijp – door een AI geanalyseerd om zo de best passende maat te weten te komen, en kennelijk heeft niemand in de keten van hoofdkantoor-ontwikkelbedrijf-testgroep-management ergens gezegd “goh, is het eigenlijk niet raar dat we ons personeel verplichten in ondergoed op de foto te gaan”, of zelfs maar “goh wat zou er gebeuren als die foto’s op straat komen straks”. Zelfs de AP ontkwam niet aan de terechte kwalificatie van “bizar”.

Mijn eerste gedachte bij het lezen van dit artikel was natuurlijk, waaróm in vredesnaam kom je op het idee dat je hier een app voor nodig hebt. Het doorgeven van maten voor bedrijfskleding is toch iets dat werknemers al heel wat decennia doen (grapje voor wie in dienst zat: we hebben Te Groot en Te Klein, maar Past Precies is op). Maar her en der lees ik informeel dat een probleem is dat werknemers te grote kleding uitkiezen (dat werkt fijner) terwijl het bedrijf wil dat mensen precies passende kleding dragen (dat staat verzorgder). Dus moet er objectief worden gemeten, en toen was er iemand die zei, kunnen we niet een app dat laten doen met AI.

Voor de volledigheid toch even het juridisch inkoppertje. Het (laten) maken van digitale foto’s van personeel is een verwerking van hun persoonsgegevens, gebeurt dat bij slechts gekleed in ondergoed dan kom je mogelijk zelfs bij bijzondere persoonsgegevens (gezondheid). Daar is een grondslag voor nodig en als werkgever heb je alleen de noodzaak voor het werk of het eigen belang dat boven het privébelang gaat. Nog even los van hoe dit beveiligd is en wat er nog meer met die foto’s gebeurt (ik zie de commerciële waarde van verkoop aan jeugdkledingmakers wel).

Een noodzaak voor het werk zou dan zijn dat mensen correct gekleed moeten gaan en dat dat niet anders vast te stellen is, ondersteund door managersverklaringen dat personeel altijd te ruim gekleed gaat. Ik zou dan zeggen, daar kun je mensen op aanspreken, of desnoods iemand het laten opmeten. Zó veel personeelsleden per filiaal zijn er nou ook weer niet. (Oké, ik weet niet wat vervelender is, een collega met een meetlint of een AI die je ondergoedfoto op een AWS bucket in Amerika opslaat.) Dus nee, die noodzaak zie ik niet. Zeker niet omdat AH zegt, wie echt niet wil die kan gewoon zijn maten doorgeven. Om diezelfde reden krijg je de eigen noodzaak gewoon niet rond.

De belangrijkste vraag voor mij is, hoe had men gedacht dat dit het gestelde probleem zou oplossen? Voor zover ik weet heeft men alleen S, M, L en XL. Dus dan kan zo’n AI wel heel gedetailleerd taillematen met afwijkende mouwen, extra lange achterkant en strak kraagje aanraden, maar dan krijg je alsnog gewoon een L. Nee, dit geeft meer vragen dan antwoorden.

Arnoud

Mag een AI-politiecamera je beboeten voor een plak roggebrood in de hand bij het rijden?

Een lezer vroeg me:

Onlangs werd bekend dat de politie ‘slimme camera’s’ gaat inzetten tegen automobilisten die met hun smartphone in de hand aan het appen of bellen zijn. Maar hoe kunnen ze met zo’n camera zien of ik een telefoon vasthoud of bijvoorbeeld een navigatie-unit of zelfs een plak roggebrood? Die is ook zwart en rechthoekig.

Dit nieuwe systeem van de politie maakt gebruik van zogeheten “kunstmatige intelligentie” oftewel machine learning, waarmee foto’s worden geclassificeerd als “telefoon in de hand” versus “geen telefoon in de hand”. Zulke systemen zijn technisch relatief simpel; ze vereisen vooral een hele berg gelabelde foto’s van beide categorieën, zodat de herkenning van een nieuwe foto zo goed mogelijk is.

Het zou inderdaad niet werken als de camera ten onrechte van een foto concludeert dat deze “telefoon in de hand” betreft en dan het kenteken doorstuurt naar het boetesysteem. Daarom is een extra slag ingebouwd: als het camerasysteem een telefoon in de hand ziet, gaat de foto naar een menselijke agent. Deze doet dan de ‘echte’ beoordeling, en pas als zhij ervan overtuigd is dat de bestuurder op de foto reed en een mobiel elektronisch apparaat vasthield, volgt de automatische boeteprocedure.

In dit systeem is de camera dus eigenlijk niet meer dan een voorselectie. Daar zie ik weinig mis mee. Agenten kunnen niet iedere auto in kijken, en juist computers zijn goed in routinematig veel situaties verwerken en potentieel gekke dingen daarin signaleren. Ik heb dit liever dan een agent met verrekijker die de gehele dag op telefoons zit te letten.

Hoe goed het systeem is in het herkennen van roggebrood of ontbijtkoek weet ik niet. Maar het zou prima zijn als het systeem navigatie-units aanmerkt als “telefoon in de hand”, want ook het vasthouden van zo’n unit (of van een tablet, mediaspeler, laptop en ga zo maar door) valt onder het verbod.

Arnoud