[De] Nederlandse rechter verbiedt X om uitkleedbeelden en beelden van kindermisbruik te genereren met Grok. Dat meldde Tweakers vorige week. Zolang het bedrijf zich hier niet aan houdt, mag het Grok ook niet meer aanbieden in Nederland, op straffe van stevige dwangsommen.
Zoals ik een tijdje geleden al uitlegde, de AI-bot maakt zonder enige guardrail seksualiserende deepfakes van geplaatste foto’s, ook van duidelijk minderjarigen. Niet direct harde porno – daar zit een blurfilter op – maar iemand in een bikini zetten tegen haar wil is natuurlijk ook niet de bedoeling.
Stichting Offlimits en Fonds Slachtofferhulp stapten naar de rechter, nadat uit overleg bleek dat X niet aan hun eisen tegemoet zou komen.
De stichtingen zeggen dat Grok op grote schaal illegaal beeldmateriaal genereert en verspreidt. X zei dat dit niet mocht volgens de gebruiksvoorwaarden. Daarnaast zei het platform op 4 januari maatregelen te hebben genomen waardoor het ‘onmogelijk’ zou zijn om kindermisbruikmateriaal te maken. Twee weken later voerde het platform maatregelen in om het genereren van uitkleedbeelden verder tegen te gaan.De rechter had grote moeite met de proceshouding van X, als ik het zo lees. Als je eerst zegt dat het ‘onmogelijk’ is en in de rechtszaal dat “het onmogelijk is om honderd procent te garanderen”, wordt het ongezellig.
Sowieso was het een opmerkelijke zitting als ik het zo lees:
Om aan te tonen hoe doodeenvoudig het is om met Grok een blootfoto te genereren, voerde advocaat Otto Volgenant, die optrad namens Offlimits, een portret van [X-advocaat Albert] Knigge in op Grok. … Hij gaf een paar prompts en niet veel later was de topadvocaat dansend te zien in zijn onderbroek, met op zijn rug een tattoo, zo vertelde Volgenant in de rechtszaal.Opmerkelijk daarbij is ook dat nonconsensual naakt erger is als het de betrokken mannen zélf raakt, maar dat terzijde.
Als vaststaat dat de maatregelen niet werken zoals verwacht, dan is de vervolgvraag of je X daarvoor aansprakelijk kunt houden. Het standaardverweer is dan natuurlijk dat niet X maar de gebruikers die beelden genereren. Dat accepteert de rechter niet:
Als internet tussenpersoon die controle heeft over de functionaliteiten van Grok als beeldgenerator, is X.AI de aangewezen partij om het genereren en verspreiden van onrechtmatige afbeeldingen te voorkomen. Daardoor bestaat voldoende grond voor toewijzing van de gevorderde verboden, los van de vraag of gedaagden zelfstandig aansprakelijk zijn voor die afbeeldingen, naast de gebruikers die die content genereren / verspreiden.Ophouden hiermee dus. En totdat dit adequaat gefixt is, mag de dienst Grok niet in Nederland worden aangeboden. Met een voor Nederlandse begrippen stevige dwangsom van een ton per dag, gemaximeerd op tien miljoen euro.
In het perspectief van de geschatte 2.9 miljard jaaromzet is dat natuurlijk geen enorm getal. Maar allereerst moet je dit zien in het licht van de scope Nederland voor het verbod. En ten tweede kan Offlimits altijd naar de rechter als het plafond wordt aangetikt, om een verhoging te vorderen.
Arnoud
Terechte uitspraak, maar helaas ook water naar zee dragen.
Alles wat Grok online doet kan je ook op je eigen PC draaien. Ik vrees dat het hek van de dam is.
Zo draai ik zelf lokaal tegenwoordig een coding AI voor de eenvoudige code completion, zodat ik meer tokens overhoudt voor de betaalde top modellen. Die gratis modellen zijn nu al beter dan de (dure) top modellen van een jaar geleden.
Ik verwacht dat het meer moeite kost om een AI model op je computer te installeren, dan dat het kost om een webpagina op te roepen. (Die prompt zul je in beide gevallen moeten intypen.) Die extra moeite is ook een barrière.
Wat ook belangrijk is, het delen van de gemaakte beelden in tweets is nu ook niet meer automatisch, hetgeen een tweede barrière is om deze fake plaatjes op Internet te verspreiden. Ook iets waarmee de slachtoffers geholpen zijn.
Tja, de personen die een AI op de eigen computer installeren om voor zichzelf (kinder-)porno te genereren. Ik sta op het standpunt dat je niet moet ingrijpen in wat iemand in zijn slaapkamer doet, zolang hij daarmee geen derden schaadt en alle deelnemers instemmen met de activiteiten. (Vertel maar eens wie er schade oploopt door het genereren van virtuele porno met virtuele persona’s.)
Nee, ook wanneer je op je eigen computer kinderporno genereert met virtuele personages is dat terecht strafbaar. Het op deze manier seksualiseren van kinderen kan effect hebben op wat iemand als acceptabel en normaal gedrag gaat zien en kan een verlangen oproepen naar echt materiaal. Er is niet zoiets als ‘onschuldige kinderporno’. Ook is het de vraag of die virtuele porno en virtuele persona’s wel zo virtueel zijn, want getraind op echte foto’s en video’s van echte kinderen en naar ik vrees ook echt misbruik van kinderen. Kinderen die er nooit mee hebben ingestemd dat hun beeltenis op deze walgelijke manier misbruikt wordt.
Het is inderdaad helaas zo dat ook de bekende grote image-datasets dergelijk misbruikmateriaal bevatten, bijvoorbeeld alhier gemeld en in allerlei onderzoeken aangetoond.
Ik had voorheen net als MathFox de gedachte “beter fake/virtueel” thuis dan echt kinderen mishandelen.
Totdat ik een ogen openend gesprek had met iemand die dit soort mensen behandelt. Het hele gesprek was interessant, maar wat te veel voor hier. Maar het komt erop neer dat het grote probleem dat deze mensen hebben is dat wat ze hebben niet te ‘genezen’ is. Ze moeten daarom hun hele leven weerstand aan de verleiding bieden en uit onderzoek blijkt dat beelden – ook virtuele – deze weerstand ondermijnen.
Overigens lost het verwijderen van de beelden waar Arnoud op doelt hierbij niets op. Een diffusie model heeft aan gewone legale afbeelding van kinderen voldoende en legale afbeeldingen van seksuele aard voldoende om deze te combineren. De enige manier om dat te voorkomen is geheel voorkomen dat je model één van die beide categoriën geheel niet kent uit de training. Ik zie dat niet gebeuren, dus blijft het bij de makkelijkste weg (Grok & co) tegenhouden.
Het is echter zo dat je AI modellen (LLM’s maar ook diffusie modellen voor afbeeldingen) zeker onder Linux al met een paar simpele commando’s – die je overal kan googlen – kan installeren. Ik vrees dat dat echt nu al geen drempel meer is. Zo draai ik zelf lokaal meerdere LLM’s die bij programmeren ondersteunen en krachtiger zijn dan wat je een jaar geleden alleen betaald als service kon krijgen. En het installeren was niet meer dan 10 minuten werk!
Elroy, dank voor jouw reactie. Het ondermijnen van deze weerstand door kinderporno zou voor mij ook een motivatie kunnen zijn achter een verbod op deze beelden.
Aan de andere kant, als lokale modellen dit soort beelden ook kunnen genereren (eventueel na “bijgetraind” te zijn met echte porno) is het zoals je in je eerste reactie suggereert, dweilen let de kraan open. Ik denk niet dat we in Nederland een “big brother deamon” op iedere computer willen hebben om te controleren of de gebruiker van die computer iets ondeugends doet.
Dus ja, voor de mensen die het echt willen blijven er mogelijkheden, maar het verbod aan Grok sluit een pad af. Ik blijf, na een risicoanalyse, ervan overtuigd dat de overheid de “privacy van de slaapkamer” moet blijven respecteren, de kansen op misbruik of lekken van surveillancedata zijn te groot en surveillance kan misdaad niet 100% voorkomen.
Mike Masnick heeft op Techdirt een interessant artikel geschreven over het scannen op CSAM dat door veel bedrijven vrijwillig wordt gedaan. Het lijstje “tradeoffs” dat hij enkele paragrafen voor het eind van het artikel noemt geeft ook aan waarom scanning voor mij niet zonder problemen is.