‘Mijn naam is Jess, en dit is de compleet nieuwe Kids Top 20’! Maar er is iets geks mee: presentatrice Jess bestaat helemaal niet! Aldus het Jeugdjournaal. Raar verhaal. Maar op dit moment inderdaad niet wettelijk verboden.
Voor wie het niet weet: de Kids Top 20 was een Nederlands muziekprogramma voor kinderen tussen 6 en 12 jaar, waarbij de hitlijst door stemmen van kinderen zelf tot stand kwam. Het programma was in Nederland van 2007 tot november 2025 op televisie, en werd toen wegbezuinigd.
Nu is er een doorstart via de website, en kennelijk was het alsnog te duur om dan iemand in te huren. Vandaar ‘Jess’, een inderdaad vrij snel als AI herkenbare simulatie. Het is toch maar voor de kinderen, die zien de hele dag al AI. Of zoiets. Ja, erger ik me aan.
Het werd nergens gemeld (het JJ zet er zelf keurig “Let op AI” bordjes overheen), en dat doet wel raar aan. Maar op dit moment is er geen wettelijke regel die dat verplicht. Dat komt pas in augustus, als artikel 50 van de AI-verordening (AI Act) van kracht wordt. (De recent aangenomen Omnibus AI Act verandert hier niets aan.)
Wie deepfakes maakt met een AI-systeem, moet bij die content bekend maken “dat de content kunstmatig is gegenereerd of gemanipuleerd”. Dat is dus meer dan een watermerk (zoals bij gewone synthetische content), het moet er echt expliciet bij staan. Vanaf augustus moet de Kids Top 20 dat label dus apart voeren.
Om de kunst te beschermen, is er een iets zwakkere formulering bij deepfakes in een “kennelijk artistiek, creatief, satirisch, fictief of analoog werk of programma”, en ik kan niet ontkennen dat de Kids Top 20 daar onder valt. Voor dergelijke programma’s
zijn de transparantieverplichtingen van dit lid beperkt tot de openbaarmaking van het bestaan van dergelijke gegenereerde of bewerkte content op een passende wijze die de weergave of het genot van het werk niet belemmert.Een kadertje of symbool in een hoek van het programma zou in dit geval wel passend zijn, lijkt me.
Een juridisch-technisch probleem is nog of dit wel een deepfake is, omdat ‘Jess’ niet bestaat. Moet een deepfake van iemand zijn? De AI Act zelf is daar niet duidelijk over. De in mei voorgestelde richtsnoeren van de AI Office hanteren een brede interpretatie waardoor ‘Jess’ wél een deepfake is:
[I]t is sufficient for simulated persons, objects, places, entities or events to resemble someone or something that can exist or could have existed in reality to be considered a deep fake.‘Jess’ wordt voorgesteld als een werkelijk bestaand persoon, ze hád gewoon een acteur kunnen zijn. Als ze, en ik citeer,
[would] defy the laws of nature or physics or depict lifeforms that are not commonly accepted in biologydan was het géén deepfake geweest.
Dus: óf ze krijgt vleugels, óf een AI waarschuwingslabel.
Arnoud
Maakt het nog uit dat dit heel specifiek en expliciet op kinderen gericht is?
Juridisch is de leeftijd van de ontvanger nergens relevant. Bij de markeerplicht zou je indirect kunnen zeggen dat die leeftijd uitmaakt in wanneer je “duidelijk genoeg” bent geweest. Maar dat is niet anders dan andere doelgroepen: de 85+er in het tehuis moet je ook anders aanspreken dan de hardcore gamers van 18-28.
Ik zou dit geen deepfake willen noemen – voor mij is die definitie echt puur geijkt op het vervangen van een gezicht of persoon in een bestaande video. Aangezien dit een “origineel gegenereerde video” betreft – althans, niet een bestaande video waar Jess ingezet is – vind ik die term hier niet gepast.
Afgezien daarvan lijkt het me inderdaad volledig wenselijk dat dit vermeld wordt, al betwijfel ik dat zo’n vermelding veel impact gaat maken.
Hoe is “gemaakt met AI” fundamenteel anders dan “gemaakt met photoshop” of “gemaakt met Blender”? Waarom zou er wel een waarschuwing voor het 1 moeten komen maar niet voor het andere? En ja, ik weet dat dan bijna iedere foto of video zo’n merkje krijgt.
Het is vrij makkelijk om met AI afbeeldingen te maken van gebeurtenissen die nooit plaatsgevonden hebben. En er zijn personen die deze afbeeldingen dan voor politiek gewin als “waar” verspreiden. Natuurlijk is dat gevaar bij een Top 20 presentatAI niet zo groot; maar het is wel goed om grenzen te trekken om het moedwillig verspreiden van desinformatie tegen te gaan. Zie het als “productinformatie”.
Natuurlijk is het fout om nepafbeeldingen voor dat soort doeleinden te maken. Maar wat is het verschil tussen iemand die het met photoshop doet of iemand die het met AI doet? Dat is als zeggen die iemand die 150 in een ICE rijd anders moet worden behandeld dan iemand die 150 in een EV rijd. We moeten uitkomsten reguleren, niet processen of gereedschappen.
Het verschil is iemand die 150 met de fiets rijdt versus iemand die dat met een auto rijdt. Die eerste komt in de krant, die tweede is vooral vervelend. De schaalgrootte bij AI-generatoren maakt de wedstrijd fundamenteel anders.
Ik zou een waarschuwing “Fotosoep” ook helemaal niet erg vinden als er aan het beeld geknutseld is. Bij al het knip-, plak- en retouche werk waardoor een foto niet meer een weergave van de werkelijkheid is.
De vraag is dus wat ‘een passende wijze’ van bekendmaking van deze deepfake is. Vermoedelijk zullen TV-programmamakers er geen zin hebben om continue een disclaimer in beeld te houden en zich beperken tot ergens een korte mededeling vooraf. Is dat normaliter voldoende? (wetende dat niet iedereen programma’s integraal kijkt, maar vaak later inschakelt)? En is het ook voldoende als de doelgroep uit kinderen bestaat die een korte disclaimer niet goed begrijpen? Want welk 8-jarig kind begrijpt wat er bedoeld wordt als er heel kort in het begin van de show de mededeling “de presentatrice is door AI-gegenereerd” in beeld komt?
Vleugels geven lijkt mij niet genoeg, want ook echte presentatrices kunnen met een klein beetje AI of traditionele videotrucage er ‘anders uitzien’. In de show van Arjan Lubach gebeurt dat bijvoorbeeld soms (ontploffend brein met een paddenstoelwolk etc.). Zelfs als de presentatrice er enorm onrealistisch uitziet, zal zelfs niet altijd duidelijk zijn dat het om een deepfake gaat. Iemand die er uitziet als ‘Monstro Elisasue’, kan immers ook gewoon een monsterpak aangetrokken hebben en dus geen deepfake zijn. Hoe weet je dan of het een mens (in een pak) of een AI-creatie is als dat er niet bij staat?
Ze hadden ook gewoon een “getekende” presentatrice kunnen hebben (net zoals vtubers), volgens mij maakt dat voor niemand verschil, en dan is voor iedereen duidelijk dat het geen echt persoomn is.