Is het toegestaan iemands stem na te doen met een AI zoals Vall-E?

| AE 13776 | Intellectuele rechten, Privacy | 27 reacties

Een lezer vroeg me:

Recent presenteerde Microsoft een nieuw AI-model, genaamd Vall-E. Dit text-to-speechmodel kan gesproken zinnen in vrijwel ieder stemgeluid genereren na een sample van drie seconden gehoord te hebben. Het AI-model kan daarbij ook intonatie en emotie nabootsen. Is dat strafbaar, als ik het train op iemands stem en die dan van alles laat zeggen?
Er is geen stem-equivalent van het portretrecht, dat je een (soort van) algemene zeggenschap over je beeltenis geeft. De positie van de stem in het portretrecht is al lang onderwerp van discussie. Niet met AI, maar gewoon met stem-imitatoren (zoals Gert-Jan Dröge en koningin Beatrix overkwam). De rechtspraak is daar altijd hard in geweest: dat is géén portret, geen afbeelding van die persoon. Laatstelijk nog in 2020, toen een vrouw probeerde zich te verzetten tegen gebruik van een audiofragment van haar stem.

Dat vonnis maakte wél duidelijk dat een stemgeluid een biometrische persoonsgegeven kan zijn onder de AVG. De definitie (artikel 4 lid 4 AVG) noemt als voorbeelden wel “gezichtsafbeeldingen of vingerafdrukgegevens” maar ik zie geen bezwaar tegen een herkenbare uitspraak van iemand op een lijn te zetten met een portretfoto of vingerafdruk. De Franse toezichthouder ziet dit ook zo.

Natuurlijk moet het stemgeluid wel herleidbaar zijn, de persoon er achter moet te identificeren zijn. Dat is bij een willekeurig stukje geluid opgenomen in een winkelstraat erg lastig. Maar bij zo’n online geluid dat uit een AI komt is dit een stuk makkelijker – de publicist van het geluid zet erbij wiens stem het is. Ja oké, hij liegt, maar een leugenachtig informatie-element over een persoon is net zo goed een persoonsgegeven.

Een onjuist (want leugens bevattend) persoonsgegeven zou te corrigeren of te verwijderen moeten zijn, wat je dus zeggenschap zou geven over zo’n stemopname. Die vrouw uit 2020 had echter pech, omdat bij haar de opname gebruikt werd in een theaterprogramma, en dat is een verwerking voor artistieke doeleinden. Die zijn net als journalistieke verwerkingen niet vatbaar voor het recht van correctie of verwijdering.

Het is goed mogelijk dat zo’n AI-stem ook daarvoor wordt gebruikt: laat Mark Rutte wat geks zeggen (u mag zich oud voelen: Tuut tuut tuut, de groeten van …?) of leg Max Schrems wat positiefs over Privacy Shield in de mond en noem het parodie. Als de stem wordt gebruikt om iemand voor gek te zetten zonder enige literaire of artistieke rechtvaardiging, dan is dat wél met de AVG aan te pakken.

Strafbaar is het niet, iemands stem imiteren. Daar kom je pas als je met die imitatie (al dan niet met AI) een strafbaar feit construeert, zoals die persoon zijn reputatie beschadigen of valse bekentenis afleggen (smaad) of de uitspraak gebruiken om fraude te plegen (de directeur imiteren die een frauduleuze betaalopdracht geeft).

Arnoud

 

Nederlandse politie arresteert man om maken van deepfakeporno van BN’er

| AE 13682 | Regulering | 29 reacties

De politie heeft onlangs een 38-jarige Amersfoortse man opgepakt omdat hij een deepfakeporno zou hebben gemaakt van de NPO-presentatrice Welmoed Sijtsma. Dat meldde Tweakers vorige week. De journalist en presentatrice van Goedemorgen Nederland en Op1 maakte er voor omroep WNL een vierdelige docuserie van, Welmoed en de seksfakes. Tijdens het maken van de docuserie is ook de maker van haar nep-filmpje opgespoord, die na verhoor weer is vrijgelaten. Dat roept de vraag op of en hoe deze man strafbaar is.

Een deepfake is een techniek voor het samenstellen van videobeelden met machine learning, meer specifiek een generatief antagonistennetwerk of generative adversarial network (GAN). Heel simpel uitgelegd bestaat een GAN uit twee AI systemen, de een genereert plaatjes en de ander probeert te zien of die gegenereerd zijn. Pas als die laatste ze niet herkent, zijn ze af. Maar los van de technische details, de omschrijving uit het AD “Mijn hoofd is op het lichaam van een pornoactrice gemonteerd.” laat prima zien waar het om gaat. Er zijn immers genoeg andere manieren om dit resultaat te bereiken, ze zijn alleen duurder of arbeidsintensiever dan een GAN.

Is dat strafbaar? Ja. Sinds een paar jaar hebben we een nieuw wetsartikel over onvrijwillige porno, namelijk art. 139h Strafrecht:

Met gevangenisstraf van ten hoogste een jaar of geldboete van de vierde categorie wordt gestraft: a.hij die opzettelijk en wederrechtelijk van een persoon een afbeelding van seksuele aard vervaardigt; b. hij die de beschikking heeft over een afbeelding als bedoeld onder a terwijl hij weet of redelijkerwijs moet vermoeden dat deze door of als gevolg van een onder a strafbaar gestelde handeling is verkregen.
Dit artikel is ingevoerd vanuit de wens om ‘wraakporno’ te bestrijden, zeg maar stiekem je partner filmen tijdens seks en dat publiceren om haar (het is vrijwel altijd een haar) pijn te doen of te vernederen. Maar ik zie geen reden waarom een GAN-gegenereerd beeld hier niet onder zou vallen.

De discussie gaat dan namelijk over de vraag of het een ‘afbeelding’ is. Dat lijkt mij wel: die persoon is herkenbaar in beeld, dat is het hele punt van de deepfake. Dat er geen beeldbewerking is gebruikt en dat je het portret wellicht niet zelf hebt gemaakt, is dan geen argument.

Ditzelfde woord ‘afbeelding’ staat namelijk in het wetsartikel dat kindermisbruikafbeeldingen (csam) strafbaar stelt. Daarbij is door de minister gezegd:

Voorts is sprake van vervaardigen van kinderporno als bijvoorbeeld een verdachte foto’s van kinderhoofdjes op pornografische foto’s van volwassenen plakt, realistische tekeningen of computeranimaties maakt, maar ook als (heimelijk) beeldmateriaal gemaakt wordt van (naakt) spelende kinderen, met een kenbaar seksuele strekking.
In het strafrecht betekenen dezelfde woorden dezelfde dingen. Als dus ‘afbeelding’ in 139h staat, dan geldt die uitleg van de minister ook voor artikel 139h. Dus is een “realistische tekening of computeranimatie” een vorm van “afbeelding”, en je kunt van een deepfake veel zeggen maar “tekening of animatie” dekt de lading prima. En dat de afbeelding een tekening is, is geen bezwaar om het een portret van iemand te noemen, zie het strafbareportretrecht (art. 31 Auteurswet). Ik zie dus het probleem niet.

Werkte ik bij de politie dan was ik een minderheid, want in NRC schrijft onderzoeker Marthe Goudsmit:

De huidige wettekst biedt wel ruimte voor een interpretatie waarbij deepfakes ook strafbaar zijn, maar is daar niet duidelijk over. Daardoor komt een slachtoffer dat aangifte wil doen in een soort lekkende pijpleiding terecht: allereerst zal de politie moeten inschatten dat pornografische deepfakes onder de huidige strafwet vallen. Als de politie denkt van niet, kan geen aangifte worden gedaan. Als de politie de aangifte echter wel opneemt, is voor vervolging nodig dat er een officier van justitie is die er brood in ziet. Als dat dan ook het geval is, zal uiteindelijk de rechter moeten bepalen of in art. 139h Sr met ‘beeldmateriaal’ ook nepfoto’s bedoeld worden. In het beste geval zegt de rechter ‘ja’. Maar de rechter kan ook ‘nee’ zeggen, en dan heeft Nederland geen wet die pornografische deepfakes strafbaar stelt.
De huidige richtlijnen van het OM gaan inderdaad niet in op het aspect “is een foto van werkelijk gebeurde seks” versus “een hoofd is op andermans lijf geplakt”. Ik vermoed omdat de aandacht twee jaar geleden vooral ging over dat eerste, deepfakes bestonden wel maar waren nog geen maatschappelijk fenomeen. Dat is wel een héél frustrerende opstelling.

Persoonlijk zou ik bij zo’n onduidelijkheid juist zeggen, forceer een uitspraak. Hoe dan ook is duidelijkheid beter dan gedraai en “mja wie weet”, toch?

Arnoud

Is het strafbaar om je kwetsbare router uit 2016 te blijven gebruiken?

| AE 13549 | Security | 41 reacties

Een lezer vroeg me:

Naar aanleiding van de recente besmetting van oudere D-Link routers vroeg ik me af: is het blijven gebruiken van een besmet apparaat, waarmee bijvoorbeeld ddos-aanvallen worden uitgevoerd waar de eigenaar geen last van heeft, strafbaar? Ben je verplicht om bij een vastgestelde besmetting actie te ondernemen?
Die oudere D-Link routers blijken kwetsbaar voor de Mirai-botnetsoftware, en omdat hiervoor geen updates meer beschikbaar komen (al sinds 2016) is het een kwestie van tijd totdat ze besmet raken. Er is dus weinig aan te doen behalve je router vervangen, en dat is een lastige want voor de consument-gebruiker lijkt het ding nog prima te werken.

Er is althans op papier een mogelijkheid om het strafbaar te noemen dat je met zo’n apparaat door blijft werken. Art. 350b Strafrecht bepaalt namelijk in lid 2:

Hij aan wiens schuld te wijten is dat gegevens wederrechtelijk ter beschikking gesteld of verspreid worden die zijn bestemd om schade aan te richten in een geautomatiseerd werk, wordt gestraft met gevangenisstraf of hechtenis van ten hoogste een maand of geldboete van de tweede categorie.
Malware zoals Mirai verspreidt zichzelf en heeft als doel schade aan te richten (door ddos-aanvallen, waar die router dan aan meedoet), dus dat valt onder het begrip ‘gegevens’ uit dit wetsartikel. De vraag is dan dus: heb je juridisch gezien “schuld” aan dat verspreiden als je een niet meer te updaten router aan laat staan, wetende dat Mirai actief zoekt naar (onder meer) dit type apparaat?

De term “schuld” is een trapje lager dan “opzet” (met daartussen de “voorwaardelijke opzet”). Kort door de bocht is de vraag of je dit risico redelijkerwijs had kunnen voorzien en het desondanks voor lief hebt genomen. Weet een gemiddeld gebruiker dat zijn D-Link router niet meer wordt bijgewerkt sinds 2016?

Daar komt bij: wat kon je redelijkerwijs doen om het gevaar af te wenden? De enige optie lijkt te zijn, de router vervangen. Voor 50 euro heb je al een prima router voor thuis, maar ik geef toe dat lang niet iedereen zo even 50 euro over heeft voor een nieuw apparaatje (dat is een modaal weekbudget boodschappen) als de oude het nog doet, nog los van de tijd (en ict-kennis) om zo je netwerk opnieuw in te richten.

En dat moet je dan tegenover de impact stellen: het is niet zo dat jóuw router wereldwijd enorme schade aanricht, je bent een klein deeltje van een enorm netwerk. Cynisch gezegd maakt het dan weinig uit dat enkel en specifiek jij je router vervangt, die aanval komt er toch wel want de totale massa aan geïnfecteerde systemen is enorm. Maatschappelijk is het gewenst dat iedereen die apparaten vervangt, maar daar is dus geen juridische prikkel voor.

Arnoud

Minister stuurt wetsvoorstel dat doxing strafbaar moet maken naar Tweede Kamer

| AE 13453 | Regulering | 10 reacties

De Nederlandse minister van Justitie en Veiligheid Dilan Ye?ilgöz-Zegerius heeft een wetsvoorstel dat doxing strafbaar moet stellen, naar de Tweede Kamer gestuurd. Dat meldde Tweakers vorige week. Doxing is de wat merkwaardige internetterm voor “iemands identiteit achterhalen”, waarbij het eigenlijk altijd gaat, zoals het wetsvoorstel zegt, om het gebruik van persoonsgegevens voor intimiderende doeleinden. De maximale… Lees verder

Onder welk recht vallen misdrijven in de Metaverse eigenlijk?

| AE 13017 | Ondernemingsvrijheid, Regulering | 16 reacties

Via Twitter: als je straks in het #Metaverse van Facebook een misdrijf begaat, onder welke wetten valt dat dan? Ik zou zelf de Metaverse zeggen, maar dat terzijde. De vraag is natuurlijk relevant omdat de Metaverse een nieuwe manier is om via internet te interacteren en dingen te doen. Dat kunnen ook strafbare dingen zijn,… Lees verder

Eh nee, F12 indrukken bij een website is geen criminele handeling

| AE 12980 | Ondernemingsvrijheid, Security | 24 reacties

(Geen zorgen, nog een keer F12 en je scherm is weer normaal.) Het ziet er misschien heel imponerend uit, maar dit is gewoon het onderwaterscherm waarmee je onder meer de broncode van de huidige site in beeld krijgt. Dan kun je soms net iets meer informatie zien. Zoals recent journalist Josh Renaud uit Missouri ontdekte: de social… Lees verder

Mag een zoekmachine het World-Wide Web scannen op securitykwetsbaarheden?

| AE 12830 | Security, Uitingsvrijheid | 2 reacties

Een lezer vroeg me: Ik las dat in augustus tijdens de Defcon-hackerconferentie de zoekmachine Punkspider opnieuw gelanceerd zal worden. Deze zal dan dagelijks miljoenen websites op kwetsbaarheden scannen. De resultaten zijn vervolgens via de zoekmachine te vinden, wat volgens de ontwikkelaars voor een veiliger web moet zorgen. Hoe is dat in vredesnaam legaal, laat staan… Lees verder

Politie overtreedt opnieuw regels voor inzet hackingtools

| AE 12762 | Regulering | 6 reacties

De politie heeft zich opnieuw niet aan de regels gehouden bij het inzetten van hackingtools. Dat las ik bij Tweakers, dat zich baseert op een rapport van de Inspectie Justitie en Veiligheid. In dit rapport concludeert de inspectie dat de politie zich niet hield aan de gestelde voorwaarden houdt voor het inzetten van hacking tools. De politie… Lees verder

Aangifte tegen studenten om racistische plaatjes in appgroepen

| AE 11825 | Uitingsvrijheid | 11 reacties

Studenten van de Erasmus Universiteit en de Hogeschool van Rotterdam hebben seksistische, racistische, antisemitische beelden en porno gedeeld in besloten appgroepen. Dat meldde de Telegraaf onlangs. De universiteit en de hogeschool gaan daarom aangifte doen, en mogelijk ook eigen maatregelen (zoals schorsing) nemen. In appgroepen werden heftige beelden gedeeld onder het mom van ‘grappig’ en… Lees verder

Hoe strafbaar is het liken van strafbare berichten?

| AE 9462 | Regulering | 19 reacties

Een rechter in Zwitserland heeft een man veroordeeld vanwege het liken van lasterlijke berichten over een dierenrechtenactivist op Facebook, las ik bij de NOS. Met zijn likes zou hij de posts uitdrukkelijk hebben onderschreven, en daarmee zeg maar medeplichtig zijn aan het plegen van de laster. Dat vonden ze bij de NOS raar: liken is… Lees verder