Franse ministers hebben bij justitie en de mediatoezichthouder Arcom melding gemaakt van illegale content die door xAI’s Grok gegenereerd zou zijn. Dat las ik bij Tweakers. De AI-bot maakt zonder enige guardrail seksualiserende deepfakes van geplaatste foto’s, ook van duidelijk minderjarigen.
A review of public requests sent to Grok over a single 10-minute-long period at midday U.S. Eastern Time on Friday tallied 102 attempts by X users to use Grok to digitally edit photographs of people so that they would appear to be wearing bikinis. The majority of those targeted were young women. … “Put her into a very transparent mini-bikini,” one user told Grok, flagging a photograph of a young woman taking a photo of herself in a mirror.Natuurlijk, wie zo’n prompt stuurt is eenvoudigweg strafbaar bezig. Zowel bij minderjarigen als bij meerderjarigen – in veel landen, waaronder Nederland, is het maken van nonconsensual deepfakes een strafbaar feit op zich, zeker wanneer die een seksuele lading krijgen.
Het probleem is, zoals altijd, dat die mensen niet of nauwelijks op te sporen zijn. Daarom bepaalt de Digital Services Act dat óók de dienstverleners hiervoor aansprakelijk zijn, tenzij ze hun best doen om dergelijke contentgeneratie te verhinderen. Guardrails, in het jargon. Daarvan blijkt bij Grok in het geheel niets; de prompt geciteerd hierboven is echt meer dan genoeg.
Ik zie bij Tweakers vele reacties van de strekking “dit kan met Photoshop ook, waarom wordt dat niet aangepakt”. Een systeem dat met zo’n eenvoudige prompt complexe en specifieke handelingen kan uitvoeren, is wezenlijk anders dan een algemene tool waarbij je zelf cognitieve vaardigheden in moet zetten voor een specifiek resultaat.
Het probleem is niet dat er theoretisch een eindresultaat mogelijk is, maar dat Grok dat resultaat automatisch, direct en op schaal produceert. Wie in Photoshop een geloofwaardige seksuele deepfake wil maken, moet weten wat hij doet: selecties maken, lagen maskeren, belichting aanpassen, anatomie reconstrueren. Dat vergt tijd, kunde en intentie. Grok doet dat allemaal zelf, in één stap, op basis van een paar woorden. Dat is geen neutrale tool meer, dat is functionele automatisering van een strafbaar handelingstype.
Een vergelijking is misschien die tussen het lockpicking-setje en de slotenmaker die langskomt om een deur open te maken als dienst. Natuurlijk kun je met dat setje ergens inbreken, maar triviaal is dat niet, en je hebt zelf de nodige kennis en ervaring nodig. Die slotenmaker brengt die zelf mee, en opent de deur die jij aanwijst. Volgens mij is het niet controversieel dat de slotenmaker even controleert of jij daar wel woont.
Het gaat me wat ver om de aanbieder van Grok per definitie aansprakelijk te houden voor alles dat er uit komt. Juist omdat het user-driven content is, kun je niet verder gaan dan een zorgplicht. En dat is dan ook wat de DSA eist.
Arnoud
Dan zijn derde dienstverleners die via de API’s Grok gebruiken als deel van hun diensten, ook aansprakelijk te stellen? Afhankelijk van wat er door Grok over richting hen is toegezegd (ik denk te lezen: ‘no censorship’).
Nog even los van de wenselijkheid bij volwassen subjecten / deepfake-slachtoffers: vraag aan dezelfde grok de leeftijd bij het linkerplaatje in te schatten. Dat lijkt me een eenvoudige test om in te bouwen.
Althans als de ontwikkelaars er aan hebben gedacht dat er volk is dat dit soort dingen wil doen. Ik hoop nooit in een beroep te komen waar ik daar over moet nadenken.
Grok is een hulpmiddel dat op tal van rechtmatige manieren gebruikt kan worden. (Wat jouw mening over de eigenaar ook mag zijn.) Als jouw diensten Grok-APIs gebruiken zie ik geen direct probleem, jij hebt voor jouw dienst (als je die in de EU aanbiedt) een zorgplicht. Dit kan betekenen dat jij aan jouw kant mogelijk het een en ander aan filtering zal moeten implementeren. Wanneer Musk Grok uit Europa terugtrekt zul je naar een alternatief moeten zoeken.
Ik ben verrast te lezen dat alleen al het maken van nonconsentual deepfakes op zich een strafbaar feit is. Dat het verspreiden van deepfakes strafbaar is kan ik inkomen; daarmee kan je iemand beledigen, kwetsen, of reputatieschade toebrengen, maar dat alleen al het maken an sich strafbaar is vind ik vreemd. Als ik dus voor mijn eigen lol en vermaak een deepfake maak van Xi Jingping in een Winnie de Poe pak, of een deepfake van Rob Jetten in een SS-uniform dan ben ik strafbaar bezig? Gerelateerde vraag; er zijn mensen die zo realistisch kunnen tekenen dat het lijkt op een foto; is het dan ook strafbaar als je zo’n realistische tekening maakt van iemand anders zonder toestemming?
Het moet gaan om een nonconsensual afbeelding “van seksuele aard” (art. 254ba Strafrecht). En inderdaad, ook het vervaardigen daarvan is strafbaar. Het argument daarvoor is dat het in alle opzichten onwenselijk is dat je zoiets maakt zonder consent. Er is geen enkele reden denkbaar waarom jij van een ander mens seksdeepfakes zou mogen maken (ook niet met potlood) zonder hun consent.
Ah het moet sowieso gaan om afbeeldingen van seksuele aard..oke.. Waarom je die moeite zou willen nemen vind ik ook vreemd, het is niet alsof er een gebrek is aan afbeeldingen van seksuele aard op het internet, maar goed..
Het gaat om macht uitoefenen, “dit kan ik met jou”, en niet perse seksuele prikkeling.
Dus die tekening en deepfakes van Putin en Trump in sm-outfits met de laatste duidelijk in de onderdanige rol zijn strafbaar?
Ik zou zeggen dat die niet “van seksuele aard” zijn omdat evident niet bedoeld om de zinnen te prikkelen. Althans mag ik hopen.
Ik heb het voor de zekerheid bij thuiskomst even aan de vrouw en dochterlief gevraagd en ik kan bevestigen dat afbeeldingen van Putin en Trump in SM-outfits inderdaad niet de zinnen prikkelen, maar vooral de lachspieren.
Ik gebruik AI Studio en Google Gemini/Imagen om een eigen app te maken dia via Gemini afbeeldingen kan bewerken. Daarbij gaat het erom dat deze mensen in een foto kan herkennen om ze vervolgens te isoleren, uit te knippen en dan de ontbrekende delen toe te voegen. Zo krijg ik templates die ik weer kan gebruiken om weer nieuwe afbeeldingen te maken. En dat gaat enorm eenvoudig met best een goede kwaliteit. Maar Google heeft een hele stevige guardrail om te voorkomen dat deepfakes gemaakt kunnen worden. En een filter om minderjarigen weg te filteren. En natuurlijk ook beperkingen op het verwijderen van kleding. Voor mij niet nodig, omdat ik afbeeldingen nodig heb voor web-projecten. Met de AI kun je in minuten een goede foto maken van b.v. een stelletje in een park, een man die de hond uitlaat, een vrouw die haar huisdieren eten geeft, dat soort dingen. En dan ook in meerdere stijlen, gravures, cartoon, rendered of fotografisch. Dat gaat ook razendsnel en is practischer dan stockfoto’s te gaan zoeken. en goedkoper. 🙂 Kortom, er zijn veel legitieme toepassingen voor Imagen en Grok, maar net als alle andere tools kan het ook misbruikt worden. Maar dat kan voorkomen worden door de prompts te filteren, de dataset niet met van alles en nog wat te trainen en om de resultaten daarna ook nog eens te controleren. En dat is wat Google dus doet. Maar niet alle AI-bots, dus. Zo is er ook mage.space dat erg populair is voor het maken van naaktbeelden. En die site gaat extreem ver, maar heeft filters tegen minderjarigen. Hele strenge filters. Deepfakes van beroemde personen is ook lastig met die AI. Maar de competitie tussen de bots is groot en bots die teveel beperken worden omgeruild door bots die veel toleranter zijn…
Als een nonconsensuele seksuele deepfake afbeelding uit Grok strafbaar is, hoe zit het dan met de prompt die deze afbeelding heeft opgeleverd?
Een prompt an sich is geen afbeelding. Zij is wel bewijs van opzet op het willen maken van de afbeelding. Ik zou het hebben van een dergelijke gerichte prompt in principe wel zien als poging tot het plegen van het misdrijf, in de vorm van voorbereidingshandelingen (inbrekersgereedschap en bivakmuts in de achterbak). Uiteraard zijn er omstandigheden waaronder dat niet opgaat.
Ik vermoed dat je hier de huidige mogelijkheden van photoshop onderschat. Deze zit inmiddels ook gewoon vol met genAI dus het wordt waarschijnlijk een stuk simpeler dat je het hier stelt.
Volgens nu.nl heeft Musk ingegrepen… Beeldbewerken met Grok kan alleen nog maar voor betalende gebruikers.
Dit lijkt me geen oplossing voor het probleem dat Grok illegale plaatjes kan genereren, maar biedt Musk wel een extra bron van inkomsten.
Ik lees hier dat als je betaald dat je nog steeds het soort beelden kunt maken. Daarmee voelt het voor mij alsof Musk faciliteert. Dus ben ik benieuwd hoe je/jullie dit bezien?
Betaling zorgt er ook voor dat ze weten wie er achter zit (betalingsgegevens), dus kan dat weer aan autoriteiten doorgegeven worden.
Het is Naast CAICO ben ik docent informatica op Hogeschool Inholland, met focus op cybersecurity, cloud en Data AI. Wat mij in dit verhaal vooral raakt, is hoe makkelijk dit soort misbruik nu is geworden. Vroeger moest iemand echt moeite doen om een geloofwaardige nepafbeelding te maken. Je had kennis nodig, tijd en je moest weten wat je deed. Nu hoeft iemand alleen een foto te uploaden en een paar woorden te typen, en de computer doet de rest. Dat is een wereld van verschil. Het is niet meer knippen en plakken, het is gewoon: “doe dit” of “dat” en het gebeurt. Daarom is dit ook geen gewone tool meer. Dit is een systeem dat het verkeerde heel makkelijk maakt. Precies daarom mogen we niet alleen naar de mensen kijken die misbruik maken, maar ook naar de bedrijven die deze systemen aanbieden. Niet omdat gebruikers geen schuld hebben, maar omdat dit zo snel en zo massaal kan gebeuren dat naar mijn mening politie en justitie er achteraf nauwelijks nog grip op krijgen. Wat mij als docent misschien nog wel meer zorgen baart, is dat onze samenleving hier niet op voorbereid is. Politie, rechters, psychologen en hulpverleners krijgen nu al te maken met online pesten, afpersing en cybercrime. Dit komt daar bovenop: mensen die worden beschadigd met nepbeelden, soms met een seksuele lading, soms met levenslange gevolgen. Bij kinderen wordt het nog erger. Als er twijfel is of iemand minderjarig is, dan moet het al als zwaar misbruik worden gezien. Maar met AI wordt het steeds lastiger om te zien wie echt is, wie volwassen is, en wat nep is. Dat maakt het voor slachtoffers én voor de rechtspraak ontzettend moeilijk. Daarom vind ik het gevaarlijk om te denken dat technologiebedrijven dit vanzelf wel netjes oplossen. Maar ook om te denken dat de overheid dit alleen aankan. Dit raakt alles tegelijk: technologie, recht, hulpverlening en bescherming van mensen. We moeten hier nu over nadenken. Niet pas als het misgaat bij iemand in je straat, op de school van je kind of in je familie. Want dit probleem groeit veel sneller dan onze regels en onze hulpverlening. #rechters, #psychologen, #politie, #hulpverleners