Een 39-jarige man uit Amersfoort is donderdag door de rechtbank in Amsterdam veroordeeld tot een voorwaardelijke taakstraf van 180 uur. Dat meldde het AD vorige week. Hij had een deepfakepornovideo van journalist en presentatrice Welmoed Sijtsma gemaakt, en dat blijkt dus strafbaar. Joh.
Bij de arrestatie blogde ik:
Een deepfake is een techniek voor het samenstellen van videobeelden met machine learning, meer specifiek een generatief antagonistennetwerk of generative adversarial network (GAN). Heel simpel uitgelegd bestaat een GAN uit twee AI systemen, de een genereert plaatjes en de ander probeert te zien of die gegenereerd zijn. Pas als die laatste ze niet herkent, zijn ze af. Maar los van de technische details, de omschrijving uit het AD “Mijn hoofd is op het lichaam van een pornoactrice gemonteerd.” laat prima zien waar het om gaat. Er zijn immers genoeg andere manieren om dit resultaat te bereiken, ze zijn alleen duurder of arbeidsintensiever dan een GAN.Als we het zuiver juridisch bekijken, dan komt het neer op de vraag of dit een vorm van ‘wraakporno’ is, of iets preciezer of dit valt onder art. 139h Strafrecht:
Met gevangenisstraf van ten hoogste een jaar of geldboete van de vierde categorie wordt gestraft: a. hij die opzettelijk en wederrechtelijk van een persoon een afbeelding van seksuele aard vervaardigt; b. hij die de beschikking heeft over een afbeelding als bedoeld onder a terwijl hij weet of redelijkerwijs moet vermoeden dat deze door of als gevolg van een onder a strafbaar gestelde handeling is verkregen.De discussie is dan of een deepfake een ‘afbeelding’ is: het is niet een via traditionele manieren gemaakte reproductie van de beeltenis van Sijtsma, het is de uitkomst van een statistisch proces.
De rechter ziet dat echter niet als een fundamenteel bezwaar:
- Op basis van een grammaticale interpretatie van de wettekst kan naar het oordeel van de rechtbank een deepfake pornovideo onder het begrip afbeelding van seksuele aard als bedoeld in artikel 139h Sr vallen. Het begrip afbeelding is een zeer breed begrip en daar valt naar normaal spraakgebruik, zeker in de huidige maatschappij met alle (online) digitale content, zonder meer een digitaal gemanipuleerde video onder.
- Bij de beoordeling van de reikwijdte van het begrip afbeelding van seksuele aard moet ook gekeken worden naar de bedoeling van de wetgever ten tijde van de invoering van de strafbaarstelling. … De wetgever heeft zich volgens de rechtbank echter niet slechts tot deze bovengenoemde rechtstreekse opnames willen beperken.
- [Tevens] is het artikel ondergebracht in een reeks van artikelen (138 Sr tot en met 139h Sr) die (in min of meerdere mate) de privacy van personen beoogt te beschermen, in dit geval seksuele privacy. … Het te beschermen belang bestaat er aldus uit dat seksueel getint beeldmateriaal niet tegen iemands zin vervaardigd mag worden, dan wel dat dit beeldmateriaal in de privésfeer moet blijven wanneer openbaarmaking nadelig kan zijn voor de afgebeelde persoon. Naar het oordeel van de rechtbank kan ook seksueel beeldmateriaal in de vorm van een deepfake-afbeeldingen onder dit te beschermen belang vallen.
het beeldmateriaal in kwestie zodanig echt lijkt dat het op het eerste gezicht niet duidelijk is dat het gaat om beelden die gemanipuleerd zijn.Een zelfgemaakte schetstekening zou dus geen ‘afbeelding’ zijn, en zelfs een realistisch schilderij niet. Het gaat erom of het publiek op het eerste gezicht zou denken dat de afbeelding echt is, zeg maar dat het een foto of video van de werkelijkheid is.
De ietwat opmerkelijke conclusie is dus dat als duidelijk is dát het een deepfake is, het niet strafbaar is. Maar alleen maar letterlijk dat erbij zeggen, is volgens de rechtbank dan weer niet genoeg:
De door verdachte gemaakte deepfake pornovideo van aangeefster kan naar het oordeel van de rechtbank daarom aangemerkt worden als een afbeelding van seksuele aard van een persoon. De door verdachte op de video geplaatste tekst dat het gaat om een deepfake maakt dat niet anders. Daarbij neemt de rechtbank in aanmerking dat de strafbaarheid van de gedraging ligt in de vervaardiging van het seksuele beeldmateriaal zelf.Deze volg ik niet helemaal, want als het criterium is hoe het publiek het percipieert dan lijkt me een duidelijke disclaimer wel degelijk relevant bij de toetsing aan dat criterium.
Arnoud
Wat zou er in dat geval gebeuren wanneer de video later wordt gedeeld zonder tekst? Als de video met tekst niet valt onder 139h.a, kan later delen ook niet onder 139h.b vallen. Of telt dat dan als nieuwe vervaardiging?
Dan zou een watermerk ook niet voldoende zijn, immers kan die er uit worden gehaald voorafgaand aan doorsturen.
En resteert ‘simpelweg’ slechte gelijkenis. Of toestemming vooraf.
Ik zou zeggen dat de video met disclaimer een andere is dan de video zonder. Daarmee is de herpublicatie van de video zonder een ander feit en dan gaat jouw redenering niet op.
Ik denk dat de rechter mogelijk zich bij de overweging om de disclaimer niet mee te nemen in de uitspraak heeft afgevraagd wat voor uitwerking zijn uitspraak zou kunnen hebben in een soortgelijke casus waarbij een echte video van een disclaimer dat het een deepfake is zou worden voorzien?
Ik vind dit toch een lastig argument. Ik heb deze specifieke beelden niet gezien maar ik ben nog geen deepfake tegen gekomen die niet onmiddellijk te herkennen was als zijnde een deep fake. Ik vind het dan ook moeilijk om te geloven dat iemand op z’n zolderkamer wél een deepfake heeft gemaakt zonder de tell-tale signs dat het een deepfake betreft. Bijvoorbeeld de overgang tussen hoofd en lichaam.
De video die De Correspondent van Rutte maakte (https://www.mediawijsheid.nl/video/voorbeeld-van-een-deepfake-met-mark-rutte/) was voor u visueel direct als nep herkenbaar?
Voor een deepfake absoluut goed gemaakt, maar als je dit 3 seconde kijkt is het toch volstrekt helder dat het een deepfake is? Allerlei, zij het kleine, artefacten waarneembaar. In dit specifieke voorbeeld vind ik het bij de tanden bijvoorbeeld extreem duidelijk.
En misschien ben ik er gewoon gevoelig voor en is dit voor andere mensen wel overtuigend. Maar wie bepaald dan waar de grens ligt? Ik vind het niet echt een objectief gegeven, that’s all.
Bij de makers vonden ze het spannend genoeg om een disclaimer toe te voegen dat het een disclaimer is. In juni was er een onderzoek over deepfakes waaruit bleek dat 61% van de Nederlanders van zichzelf inschat dat ze niet in staat zijn deepfakes te herkennen.
Ik geef vaak trainingen over AI, ML en deepfakes en gebruik standaard de foto van de Paus in Pufferjas deepfake die zeer viraal ging. Het zal de doelgroep zijn maar heel veel mensen merken die als echt aan, tenzij ze erover gelezen hebben.
Nou is een deepfake foto, met de huidige technologie zeg ik er bij, écht al een stuk verder dan deepfake video. Ik heb het dan ook specifiek over video, in de huidige technologische staat.
Maar het kan toch niet de bedoeling zijn dat deze rechter zegt:
terwijl als ik er als rechter had gezeten ik had geconcludeerd: .Ik zou dan graag wat meer objectievere maatstaven zien waar aan getoetst wordt.
Zou een gemiddelde rechter een vergelijkbare kennis over deepfakes hebben als de (niet bestaande) gemiddelde burger en dus prima als maatmens kunnen dienen in de beoordeling of een bepaalde video als deepfake herkenbaar is?
Op basis van welke objectieve maatstaven concludeer jij dat het beeldmateriaal overduidelijk getrukeerd is? Want als de rechter dat had moeten doen voor zijn oordeel, moet jij dat ook voor het jouwe.
Ik weet dat jij diverse punten kunt aanwijzen in de video die dit oordeel ondersteunen, maar dan gebruik je specifieke vakkennis die een gemiddeld rechter niet heeft. Dat vind ik een gevaarlijke, hoe moet jouw collega-rechter zonder die vakkennis tot het oordeel komen?
Ik weet niet eens of de vraag of je het gemakkelijk als deep fake kunt herkennen relevant is.
Ik zou eerder willen argumenteren dat de aanname van veel mensen, dat een plaatje dat er als een ‘foto’ uitziet een weergave van de werkelijkheid is, onredelijk is (maar historisch te begrijpen).
Als jij tegen mij zegt: ‘kijk, een foto van de Paus met pufferjas’, zet je me al op het verkeerde been, want door het gebruik van het woord ‘foto’ laat je mij geloven dat het echt is. Dan maakt het niet meer uit of het herkenbaar is of niet als deepfake, degene die mij het plaatje gaf zei/impliceerde immers dat het echt was.
Ik zag het juridisch criterium als volgt: als (a) de verspreider het doet voorkomen dat het materiaal echt is, (b) terwijl dat onjuist is en (c) je dit niet triviaal kunt weerleggen, dan is de verspreiding strafbaar. Zeg jij nu, (c) doet niet ter zake? Dus als ik een pentekening van mijn dochter van 7 verspreid met de tekst “BREAKING: Mark Rutte in zeer compromitterende positie” dan heb ik een strafbare deepfake verspreid?
Dat een tekening meestal geen echte situatie weergeeft (maar het KAN wel), is bij de meeste mensen wel duidelijk.
Mijn punt is dat datzelfde inmiddels geldt voor een plaatje dat eruit ziet als een foto, en dat we ons daarvan bewust moeten zijn. De instinctieve aanname: ‘het ziet eruit als een foto, dus het is echt’ moet eruit, want die is achterhaald door de techniek.
We kunnen allerlei juridische redeneringen opstellen, en allerlei grensgevallen beschrijven en driestappencriteria maken, maar we kunnen eigenlijk veel beter uitgaan van : ‘geloof niet alles wat je ziet’ als norm.
De techniek kan ons gemakkelijk visueel bedriegen. In plaats van daar tegen te strijden (dat verlies je vroeg of laat toch), is het veel efficienter om daar bewustzijn voor te kweken en het te accepteren.
Dan hoeven we deelcriterium (c) niet meer te besluiten, dan wordt deelcriterium (b) de default, en dan krijgt in deelcriterium (a) de verspreider de bewijslast.
Maar het vereist een verandering in de samenleving.
Ik ben het helemaal met je eens dat iedereen zich daar bewust van zou moeten zijn.
Ik ben echter van mening misbruik van iemands beeltenis altijd strafbaar moet zijn. Dat staat voor mij los van of dat nu een deepfake porno filmpje of een deepfake reclame voor is of wat dan ook is. Of het makkelijk of moeilijk als nep te herkennen is ook niet. Een cartoon waarin je de persoon herkent is net zo fout als een deepfake video. Waar het om zou moeten gaan is of de persoon achter het gebruik staat of niet.
Dus een deepfake of cartoon x-rated gebruik van een beeltenis van een actrice is anders dan een maatschappelijk geaccepteerd fan fiction verhaal gebaseerd op een film waar deze actrice in speelde. Dat laatste heeft deze immers vrijwillig gedaan en de openbaarheid mee gezocht. (Dit los van auteursrechtelijke hindernissen)
Misbruik… natuurlijk.
Maar wanneer is het misbruik??
Zelf ben ik overigens niet zo voor de uitzonderingspositie van zaken die met sex te maken hebben. Dat is een normaal deel van onze menselijke activiteiten, en ik zie dan ook niet in waarom daar andere regels voor zouden moeten gelden dan voor anderen dingen (eten, sporten etc).
En voor ‘neutrale’ blootheid geldt dat nog veel sterker.
Iemand mag natuurlijk best willen dat er geen blote afbeeldingen van hem/haar verspreid worden, net zoals zhij dat mag van afbeeldingen waarin zhij aan het sporten of tuinieren is.
Maar een blote afbeelding, of een sexuele afbeelding, is niet sneller ‘misbruik’ dan een andere afbeelding (althans, in mijn optiek)
Ik vind het hele verhaal lastig.
Uiteindelijk, vanuit een helicopterview, is een randvoorwaarde om dit strafbaar te vinden dat sommige mensen zouden kunnen denken dat het echt is. Als niemand gelooft dat het echt is (bijvoorbeeld een tekening in stripboekstijl) is er niets aan de hand. [En misschien gelooft over 10 jaar wel niemand dat meer]
Dus wat men nu doet is persoon A straffen omdat personen B, C, D niet op de hoogte zijn van de mogelijkheden van moderne technologie. Dat vind ik uit filosofisch oogpunt toch moeilijk verteerbaar.
Dat is een goede vraag, wat moet de maatman zijn. Welke kennis of oplettendheid mag je verwachten bij het publiek? Momenteel is die kennis laag, dus is het dan wenselijk om nu te zeggen, iedereen moet maar mediawijsheid doen?
Ik zit meer met het punt: ‘mag de ‘kennis bij het publiek’ uberhaupt wel een rol spelen bij bestraffing van ongewenst gedrag dat speelt tussen persoon X en persoon Y ?’
Dan wordt een persoon met geavanceerdere kennis dan het algemene publiek al snel bestraft.
Dat lijkt wel heel erg op een middeleeuws volksgeding: ‘Wij snappen het niet dus je zult wel een tovenaar/heks zijn, dus dan verdien je straf’
Hoe zie jij dit bij zeg merkinbreuk (namaak) of misleidende reclame? Ook daar zou je het kunnen zien als publiek, je moet alleen abnormaal veel moeite doen.
Het grote verschil is dat bij merkinbreuk of misleidende reclame het publiek het (beoogde) slachtoffer is. Daarom mag je natuurlijk uitgaan van een oplettend lid van het publiek als een soort maatstaf.
Hier is het echter 1 enkel individu dat slachtoffer is. Is de kennis van het algemene publiek dan nog wel relevant?
De schade komt doordat het publiek de foto ziet en aanmerkt als echt. Dat geeft onterechte reputatieschade en dergelijke. Dan is het volgens mij relevant wat het publiek denkt. Als die het redelijkerwijs niet als echt zou zien, dan kan het niet strafbaar zijn (zoals een imitatie bij Koefnoen).
Bij smaad speelt ook mee of het publiek de uiting zou geloven. Als deze totaal ongeloofwaardig is (Arnoud zijn blogs worden geschreven door wezens van Arcturus, hij doet zelf niets) dan is dat echt geen smaad, want niemand gelooft dat.
Hier ben ik het juridisch gesproken niet mee eens.
Ja, het is relevant voor de vraag of er schade is.
Maar de blog ging (ten minste, zo lees ik hem) over de vraag of een deep fake video een afbeelding is. Dat er schade is INDIEN het een afbeelding is staat natuurlijk vast, vanwege het effect op het publiek.
Maar bij de vraag OF het een afbeelding is lijkt het me onredelijk om de mening van het ongeinformeerde publiek als maatstaf te nemen. Dat is een puur juridisch-technische afweging.
Je vraagt het publiek ook niet wat de belastbare winst van Philips is, maar wel (indirect via het parlement) hoeveel belasting er geheven moet worden INDIEN er winst is.
Er zijn genoeg voorbeelden van acteurs die aangesproken worden op de acties van hun karakters in een film of serie. Zelfs in een omgeving waar het voor een ieder kenbaar zou moeten zijn dat het geen weergave van de werkelijkheid betreft, lijkt het toch moeilijk voor veel mensen om feit en fictie te onderscheiden wanneer de weergave voldoende realistisch is.
Ik kan me dan ook wel voorstellen dat bij een dergelijke deepfake video – die men er juist zo natuurgetrouw mogelijk uit probeert te laten zien – er effectief schade wordt aangericht aan de geloofwaardigheid, eerbaarheid, of welke eigenschap er dan ook in het geding is, door de beelden zelf. Het doet er dan niet zo heel veel meer toe dat er ergens een disclaimer bij staat dat die beelden niet echt zijn.
Persoon A (wel op de hoogte van de mogelijkheden) kan redelijkerwijs verwacht worden te weten dat B, C en D dat niet zijn. Dat is namelijk het hele punt om de video te maken.
Als B, C, D gelijk zouden zeggen “Dat is fake!”, dan had persoon A zich de moeite wel bespaard.
Persoon A maakt in deze misbruik van het feit dat B, C en D niet op de hoogte zijn. Dus het lijkt me geen probleem hem daarvoor te straffen.
Moet ik hieruit opmaken dat als iemand zelf, voor eigen erhm…gebruik, op zijn of haar eigen computer en zonder de intentie om het materiaal te verspreiden een sexueel getinte deepfake maakt hij of zij al strafbaar bezig is?
Dat klopt.
De reden is praktisch: als je een dreigende verspreiding wil tegenhouden, kan de verdachte zeggen dat ie dat nooit van plan was. Maar dan is zhij dus alsnog strafbaar voor het vervaardigen.
Qualifies as, anglicisme. Geldt als, stel ik voor. Ik moet streng zijn in deze barre tijden.