Grok gemeld bij Franse autoriteiten voor maken deepfakes en kindermisbruikbeeld

(Screenshot via Spitfire News)

Franse ministers hebben bij justitie en de mediatoezichthouder Arcom melding gemaakt van illegale content die door xAI’s Grok gegenereerd zou zijn. Dat las ik bij Tweakers. De AI-bot maakt zonder enige guardrail seksualiserende deepfakes van geplaatste foto’s, ook van duidelijk minderjarigen.

Bij Reuters leggen ze uit:

A review of public requests sent to Grok over a single 10-minute-long period at midday U.S. Eastern Time on Friday tallied 102 attempts by X users to use Grok to digitally edit photographs of people so that they would appear to be wearing bikinis. The majority of those targeted were young women. … “Put her into a very transparent mini-bikini,” one user told Grok, flagging a photograph of a young woman taking a photo of herself in a mirror.
Natuurlijk, wie zo’n prompt stuurt is eenvoudigweg strafbaar bezig. Zowel bij minderjarigen als bij meerderjarigen – in veel landen, waaronder Nederland, is het maken van nonconsensual deepfakes een strafbaar feit op zich, zeker wanneer die een seksuele lading krijgen.

Het probleem is, zoals altijd, dat die mensen niet of nauwelijks op te sporen zijn. Daarom bepaalt de Digital Services Act dat óók de dienstverleners hiervoor aansprakelijk zijn, tenzij ze hun best doen om dergelijke contentgeneratie te verhinderen. Guardrails, in het jargon. Daarvan blijkt bij Grok in het geheel niets; de prompt geciteerd hierboven is echt meer dan genoeg.

Ik zie bij Tweakers vele reacties van de strekking “dit kan met Photoshop ook, waarom wordt dat niet aangepakt”. Een systeem dat met zo’n eenvoudige prompt complexe en specifieke handelingen kan uitvoeren, is wezenlijk anders dan een algemene tool waarbij je zelf cognitieve vaardigheden in moet zetten voor een specifiek resultaat.

Het probleem is niet dat er theoretisch een eindresultaat mogelijk is, maar dat Grok dat resultaat automatisch, direct en op schaal produceert. Wie in Photoshop een geloofwaardige seksuele deepfake wil maken, moet weten wat hij doet: selecties maken, lagen maskeren, belichting aanpassen, anatomie reconstrueren. Dat vergt tijd, kunde en intentie. Grok doet dat allemaal zelf, in één stap, op basis van een paar woorden. Dat is geen neutrale tool meer, dat is functionele automatisering van een strafbaar handelingstype.

Een vergelijking is misschien die tussen het lockpicking-setje en de slotenmaker die langskomt om een deur open te maken als dienst. Natuurlijk kun je met dat setje ergens inbreken, maar triviaal is dat niet, en je hebt zelf de nodige kennis en ervaring nodig. Die slotenmaker brengt die zelf mee, en opent de deur die jij aanwijst. Volgens mij is het niet controversieel dat de slotenmaker even controleert of jij daar wel woont.

Het gaat me wat ver om de aanbieder van Grok per definitie aansprakelijk te houden voor alles dat er uit komt. Juist omdat het user-driven content is, kun je niet verder gaan dan een zorgplicht. En dat is dan ook wat de DSA eist.

Arnoud

 

Zit je aan de prijs vast als die achter je rug wijzigt op zo’n e-ink prijskaartje?

Via Linkedin:

Je kent het wel, de winkels met die kleine displaytjes waar de prijs van het product op staat. Familielid ziet een product met een prijs van 127 Euro, denkt van “Ik koop ‘m”, en loopt ermee naar de kassa. Maar even later bij de kassa blijkt de prijs opeens 147 Euro te zijn. Net in die paar minuten is de prijs aangepast! (zowel bij de kassa als op het displaytje). Hoe zit dat juridisch?
Juridisch gezien koop je in een winkel op het moment van afrekenen. Niet zodra je het product pakt – terugleggen mag immers altijd. Bovendien eist de wet dat je je aanvaarding mededeelt aan de winkel, en eerder dan bij de kassa kan dat eigenlijk niet.

(Ook vind ik een mooi argument dat als je bij het pakken al de koop sluit, je niet meer kunt stelen. Door de koop te sluiten met product in de hand, wordt je eigenaar. Dat je nog moet betalen, staat daar los van. Oftewel: het delict winkeldiefstal is onmogelijk. Dat kan niet waar zijn.)

Dat wil echter niet zeggen dat alleen de prijs bij de kassa bindend is. De winkel doet namelijk het aanbod in het schap. Dit is het, dit kost het. En als die prijs geen rare prijsfout bevat, dan is dat de prijs waar de winkel zich op committeert. Die kan men dan niet bij de kassa meer wijzigen, ook niet als op een bordje of in de voorwaarden staat van wel. Aanbod is aanbod.

Een aanbod kan echter vervallen zolang het niet is aanvaard. En de winkel kan het herroepen, tenzij er een termijn bij staat of het anderszins als onherroepelijk geldt (art. 6:219 BW). Vanuit dat perspectief kan de winkel dus de prijs aanpassen en daarmee het oude aanbod doen vervallen. Dat geldt dan ook voor wie nog niet afgerekend heeft.

Arnoud

Zou de Nederlandse politie gestolen wachtwoorden aan een private dienst mogen geven?

Een lezer vroeg me:

De website Have I Been Pwned heeft van de FBI 630 miljoen wachtwoorden ontvangen. Deze wachtwoorden werden volgens de website aangetroffen na de inbeslagname van meerdere apparaten van een verdachte. Het doet mij raar aan dat de politie zo ‘gestolen’ data deelt met een private partij. Kan dat in Nederland?
Als je het zo algemeen stelt, doet het inderdaad raar aan. De politie treft iets aan (spullen of data) bij een verdachte in het kader van een strafrechtelijk onderzoek, en geeft die dan onderhands aan zomaar een private partij.

Dat zou zo algemeen niet kunnen in Nederland. Als de politie zaken in beslag neemt, dan worden die of teruggegeven, of verbeurd verklaard. In dat laatste geval wordt de Staat er eigenaar van (art. 9 Strafrecht) en gewoonlijk worden ze dan verkocht. Zaken die op zichzelf verboden zijn (bijvoorbeeld vuurwapens) worden juist vernietigd. Er is dus geen formele route om die spullen zomaar aan iemand mee te geven.

Hier is het echt niet zomaar, HIBP is een maatschappelijk initiatief van grote bewezen waarde dat al lange tijd samenwerkt met de FBI om de maatschappij veiliger te maken. In 2021 maakte HIBP-initiatiefnemer Troy Hunt bekend een samenwerking met de FBI opgezet te hebben waarbij de dienst wachtwoorden uploadt en Hunt ze ontsluit via zijn zoekdienst. De FBI noemde dit toen een “belangrijke publiek/private samenwerking”.

Ook in Nederland kunnen dergelijke constructies worden opgezet. Waarborgen zijn dan wel nodig, zoals het afschermen van de wachtwoorden vergelijkbaar met hoe HIBP dat doet. De AVG is precies hier dan niet relevant, omdat de FBI alleen de wachtwoorden deelt (“Pwned Password”) en niet gebruikersnaam/wachtwoord combinaties. Een wachtwoord an sich kan ik niet als een persoonsgegeven zien.

Arnoud

Mag een sigarettengezichtsscanner iedereen scannen die in de rij staat bij de kassa?

"3D Face Scanner on Digitopolis" by davepatten is licensed under CC BY-NC-SA 2.0

Een lezer vroeg me:

Op diverse plekken staan zuilen voor sigarettenverkoop, die gezichten scannen om te bepalen of men oud genoeg is. Mij is opgevallen dat deze dingen gezichten scannen van iedereen in de rij. Ik zie het lampje van de scanner iedere keer branden wanneer iemand voor de kassa verschijnt, dus niet pas als je sigaretten afrekent of in de scanner kijkt. Mag dat zomaar?
Ik zie wel hoe dit zo kan werken. Vanwege gebruiksgemak scant het ding de hele tijd naar gezichten, maar meestal zal dat geen nuttige scan opleveren omdat mensen te ver weg staan of niet recht in de camera kijken. De scans worden niet opgeslagen, dus de praktische impact is beperkt.

Er is geen expliciete wettelijke regel waaruit blijkt dat je moet melden dat je een gezichtsscan uitvoert. Vanaf 2 augustus zal onder de AI Act de transparantie-eis (artikel 50) van kracht worden. Deze verplicht “gebruiksverantwoordelijken” van AI-systemen (zoals biometrische gezichtsherkenning) waarmee je directe interactie hebt, expliciet aan te laten geven dat je met een AI interacteert. Zo’n scanner zal dus bij iedere scan moeten melden “ik scan nu je gezicht”.

Heel recent verscheen arrest C-422/24 van het Hof van Justitie. Hier ging het over de vraag waar een opname met een bodycam door een controleur in het openbaar vervoer onder valt binnen de AVG. Het Hof noemt dit een “directe verkrijging” van persoonsgegevens, en eist dat er dan ook direct informatie wordt verschaft aan de betrokkenen. De locatie moet daarom voorzien zijn van bordjes (“Inspecteurs hebben bodycams”) en verwijzingen naar uitgebreidere informatie.

Dit arrest is met een beetje goede wil zo te lezen dat ook zo’n gezichtsscanner een bordje moet krijgen als deze de gehele ruimte scant. Ik twijfel daar wel over, omdat het niet de bedoeling is dat iedereen gescand wordt, maar de scanner gewoon een zeker bereik heeft en dus toevallig gezichten aanstraalt waar vervolgens niets mee gebeurt.

Arnoud

Fijne feestdagen en een juridisch correct 2026!

Vanaf vandaag ben ik met kerstvakantie. Maandag 5 januari leest u hier weer nieuwe blogs. Voor nu fijne feestdagen en een juridisch correct (maar ook rustig en voorspoedig) 2026 toegewenst!

Leestips:

Goede voornemens: (De afbeelding is uit US patent US6350499B1 en betreft een kerstboom die aan het plafond bevestigd wordt.)

 

Artikel door verschillende mensen besteld, wie is de eigenaar?

Photo by fauxels on Pexels

Via Reddit:

Stel dat persoon A achter een computer gaat zitten die eigendom is van persoon B maar in het huis van persoon C staat. Via die PC plaatst hij een bestelling bij een webwinkel voor een product. Bij die bestelling vult persoon A bij het factuuradres de naam van persoon D in en het adres van E. Bij het bezorgadres komt de naam van F en het adres van G te staan. De bestelling wordt betaald vanuit de rekening van persoon H, maar de handeling van het betalen is uitgevoerd door A. Bij de daadwerkelijke bezorging wordt het pakket aangenomen bij de deur door persoon I. Wie is, na levering, de juridische eigenaar van het product?
Op het gevaar af als een autonoom te klinken: het gaat niet om de gebruikte identiteiten maar om de persoon van vlees en bloed die de handeling voltooit.

Je koopt een product door het aanbod van de verkoper te aanvaarden. Omdat het hier gaat om een webwinkel, moet dat via zo’n knop “Bestellen met betalingsverplichting” gebeuren. Maar zodra je op die knop drukt, heb je een overeenkomst. Levering, betalen etcetera is allemaal niet relevant. Persoon A is dus de koper. Dat zijn identiteit bij de winkel niet bekend is (die ziet namen D en E) maakt hiervoor niet uit.

Eigenaar word je door het product in ontvangst te nemen onder wat juristen een “geldige titel” noemen, in dit geval een koopovereenkomst. Het pakket wordt op het adres van G aangenomen door I. De vraag is of daarmee A – de koper – het ontvangen heeft, zodat zhij eigenaar is geworden.

Bij een koop op afstand heb je een pakket pas ontvangen als het fysiek bij jou “of een door [jou] aangewezen derde, die niet de vervoerder is” ontvangen is (art. 7:11 BW). Maar die regel gaat over het risico bij transport, en staat los van wanneer je goederenrechtelijk eigenaar bent geworden. Dat staat in artikel 3:90 BW: door aan de verkrijger het bezit der zaak te verschaffen.

Omdat hier het pakket door I aangenomen is, en niet gegeven is dat I het aan A gegeven heeft of dat afgesproken is dat I namens A zou aannemen, heeft A nog niet het bezit van het product. Daarmee is de eigendom dus nog niet overgegaan en dus is de winkel nog steeds eigenaar. Daarvoor is nodig dat I het aan A overhandigt.

Een goederenrechtelijk alternatief is te zeggen: I houdt het pakket voor de webwinkel, en nadat A heeft gehoord (track&trace mail) dat het pakket daar is, appt hij I om te zeggen “hee dat pakket is van mij, ik kom het zondag halen”. Volgens mij is dan A ook al de eigenaar geworden, en niet pas zondag.

Arnoud

Heeft het praktisch nut om een Qualified Electronic Signature te gebruiken?

Een lezer vroeg me:

Als inkoper werk ik dagelijks met digitale handtekeningen. Nu vraagt een nieuwe leverancier mij om met EU-QES van Docusign te werken. Dit kost 9 euro per maand, is dat juridisch nu echt verstandig?
Een QES of Qualified Electronic Signature is binnen het Europese juridische kader (eIDAS) het hoogste niveau van betrouwbaarheid. Zoals ik in 2023 blogde, de EIDAS Verordening kent drie soorten elektronische handtekening:
  1. de gewone elektronische handtekening, zeg maar een plaatje van een krabbel;
  2. de geavanceerde elektronische handtekening, het enorme verhaal met grote priemgetallen en certificaten waar de naam in staat die erbij zou horen;
  3. de gekwalificeerde elektronische handtekening, de geavanceerde maar dan is dat certificaat met de naam uitgegeven door een onafhankelijke instantie die instaat voor de juistheid.
Die 9 euro betaal je dus voor de extra zekerheid dat je werkelijk met persoon A van organisatie X aan het inkopen bent. Docusign opereert hierbij als de geregistreerde gekwalificeerde vertrouwensdienstverlener (QTSP), oftewel zij verifiëren de identiteit en borgen dat dit correct gebeurt. Was het dan toch persoon A’, dan kun je Docusign daarop aanspreken.

Ik zie hoe dat in het algemeen nuttig klinkt. Specifiek bij zakelijk onderhandelen ben ik niet overtuigd van de meerwaarde. In die situatie ken je je wederpartij al. Je hebt kennisgemaakt, je weet wie je moet benaderen en je krijgt zoveel harde en softe informatie dat je ook zonder een QES wel overtuigd bent dat je met persoon A van X werkt.

Natuurlijk, A kan onbevoegd zijn. Maar daar helpt een QES niet bij. Het enige dat je daarmee vaststelt, is dat je écht A tegenover je hebt. En dat is in een zakelijke inkoopsituatie gewoon niet zo’n belangrijk punt.

Arnoud

 

EU onderzoekt of Google genoeg betaalt voor teksten die zoekmachine gebruikt

Photo by Patrick Tomasso on Unsplash

Google mag niet zomaar inhoud van het internet plukken om zijn eigen kunstmatige intelligentie mee te voeden. Dat las ik bij Nu.nl. De Europese Commissie ziet deze werkwijze als een schending van het mededingingsrecht vanwege misbruik van de dominante positie in de zoekmarkt.

Sinds kort heeft de advertentiedienst-met-zoekmachine Google twee nieuwe AI-toepassingen: AI Overview en AI Mode. AI Overviews vat zoekresultaten samen, en AI Mode biedt een soort chatinterface. Daar is veel van te vinden, maar het probleem hier is dat je als website-exploitant niet kunt verhinderen dat Google ook jouw content hierin gebruikt.

De Commissie ziet dit als machtsmisbruik. Je enige escape is Google geheel blokkeren (de crawler is gewoon dezelfde, dus de AI-bot blokkeren met robots.txt zit er niet in). Maar niemand zal buiten Google willen blijven, dus moet je knarsetandend toezien hoe Google mooie AI-sier maakt met jouw content als bronvermelding.

Natuurlijk, Googles zoekmachine zelf doet dit al sinds 1998, net als haar voorganger-zoekmachines. Het idee van zoekmachines is het hele web scrapen en de resultaten sorteren op een relevante manier. Of dat mocht van het auteursrecht is altijd een beetje grijs gebleven, maar de consensus die ik ken, komt erop neer dat het oké zou moeten zijn omdat zoekmachines uiteindelijk je zó veel zichtbaarheid en kliks geven dat dit opweegt tegen eventuele gemiste inkomsten.

Het probleem met die AI-modi is precies dat: niemand klikt op jouw site, want ze hebben het antwoord al. (Of denken dat te hebben, want het is vaker fout dan goed. Maar dat terzijde.) Dit staat bekend als het Google Zero fenomeen. En die onbalans maakt dat we de hele auteursrechtelijke discussie weer opnieuw kunnen gaan voeren. Maar dat wil niemand, want dat komt neer op uit Google gegooid worden.

Het probleem is dus: eigenlijk had Google dit moeten vragen, en dan hadden ze waarschijnlijk geld moeten betalen. Nu hebben ze een gratis licentie afgedwongen, en dat konden ze door misbruik te maken van hun machtspositie (je gaat uit Google als je geld vraagt voor AI Overviews).

De Commissie onderzoekt eigenlijk wat er gebeurd zou zijn als Google netjes met iedereen een licentie had afgesloten: welk bedrag zou er dan zijn betaald? Dat is dan het bedrag dat Google oneerlijk verdiend heeft door dat misbruik.

Arnoud

 

Mag ik Microsoft clipart eigenlijk wel in een pdf document stoppen?

Een lezer vroeg me:

Regelmatig gebruik ik de afbeeldingenbibliotheek van Microsoft in presentaties, Word-documenten en dergelijke. Nu wees een collega me er op dat dit alleen mag zolang je ze alleen hergebruikt in programma’s van Microsoft, dus een tekst gemaakt in Word met afbeeldingen mag je als Word-document (online) publiceren maar niet als pdf want dat is een programma van Adobe. Klopt dat?
Microsoft heeft een behoorlijk uitgebreide bibliotheek met creatief materiaal zoals iconen en stockbeeld, naast een koppeling met Bing Afbeeldingen die mede kan zoeken op licentie (Creative Commons). Afgezien van die laatste liggen de rechten op dat materiaal bij Microsoft, en je hebt dus een licentie nodig om dit te mogen gebruiken.

Het lastige is dat de standaard licentie van Microsoft noch de dienstenvoorwaarden (TOU) dit expliciet vermeldt. Gezien hoe auteursrecht werkt, mag je dan die materialen dus niet gebruiken.

Oudere versies van die licentie benoemden dit wel nadrukkelijk, en hanteerden het criterium van van “geïntegreerd in een document” wat ik altijd heel logisch vond. Je krijgt toegang tot die clipart om je documenten mee te versieren, dus mag je er documenten mee versieren. Maar ze los op mokken of advertentieposters plakken, dat is niet de bedoeling dus mag dat niet.

Het enige dat er nu nog is, is een soort FAQ van Microsoft waarin ze uitleggen dat

You can use the premium images and other creative content however you see fit, as long as it’s within an Microsoft 365 app or SharePoint site. For commercial customers, this includes selling PowerPointpresentations, Excel workbooks, or Word documents that include this content, just as you would have sold these files in the past.
Het criterium is hiermee verschoven naar “moet in onze apps blijven”. Hoe zich dat verhoudt tot “je mag ze verkopen” is dan wel volstrekt onduidelijk.

Iets verderop staat dat je mag “Export these files to other formats such as PDF and ODF.” Die PDF mag je dan kennelijk ook ‘verkopen’ of weggeven aan een ander, maar daarbij gaat de content dan buiten de MS365 app of SharePoint site.

Ik denk dat dat dus mag, specifiek omdat men spreekt van “selling documents that include this content” en gratis weggeven zit redelijkerwijs in dezelfde categorie. (Juristen die over ‘redelijk’ beginnen, hebben geen echte argumenten meer.)

Wat vooral onduidelijk is, is wat de ontvanger mag doen met het document. Lezen en dergelijke is ongetwijfeld prima, maar zou deze de presentatie aan mogen passen in OpenOffice en die dan aan hun cliënt mogen geven? Ik vermoed van niet gezien de bewoordingen van de licentie, maar “selling presentations” impliceert dat de koper er mee mag doen wat deze wil.

Arnoud

Welke juridische weg kan ik bewandelen als Microsoft mijn opslagaccount blokkeert?

Photo by Clker-Free-Vector-Images on Pixabay

Een lezer vroeg me:

Al jaren heb ik een abonnement op Microsoft 365. Mijn Microsoft account is recentelijk geblokkeerd, waar ik het niet mee eens ben en waar volgens mij ook geen geldige reden voor is. Ik heb inmiddels twee keer bezwaar ingediend via het officiële formulier, de eerste keer meteen op de dag van de blokkade. Ik heb ook een verzoek tot herstel ingediend, maar ik krijg geen antwoord. Mijn vraag: is er een juridische weg te bewandelen die mij hoop zou kunnen geven op het verkrijgen van toegang tot mijn bestanden?
Een van de grotere frustraties in de diensteneconomie is dat niets meer echt “van jou” is. En dat geldt helemaal voor data: data is geen onderwerp van eigendom, formeel juridisch gesproken. Je kunt dus niet zoals bij fysieke spullen eisen dat je deze terugkrijgt of er bij mag.

Toegang tot data of online opslag is zuiver en alleen geregeld door je contractuele relatie tot de leverancier van de dienst. Er is geen enkel ander juridisch middel (ook niet de AVG, ook niet de Data Act, ook niet het auteursrecht) waarmee je dit af kunt dwingen. Hetzelfde geldt voor de dienst an sich.

Een contractuele relatie is op zich prima bij de rechter af te dwingen. De Nederlandse, want jij als consument woont hier en ongeacht wat het contract zegt mag je dan in Nederland procederen. In juridische taal vorder je dan nakoming van de overeenkomst. Microsoft moet dan uitleggen waarom ze dat niet hoeft, oftewel welke voorwaarde je hebt overtreden. Dat moet gemotiveerd (art. 17 DSA) en moet dus meer zijn dan vage verwijzingen naar “abuse” of het inroepen van bepalingen waarin staat “wij mogen alles en je hebt geen rechten”.

De relevante vraag is natuurlijk wel waarom het account gesloten zou zijn. Microsoft heeft dat niet toegelicht, dus voor mij is het gissen. Verspreiding van malware vanaf het account heb ik met enige regelmaat gezien, auteursrechtschending wordt ook wel genoemd en er zijn ook gevallen bekend waarin Microsoft-scanners kindermisbruikmateriaal detecteren in foto’s die je in je account zet (al dan niet via achterdeuren zoals backups van WhatsApp-groepsgesprekken).

Die laatste categorie is relevant, want er zijn in Nederland twee rechtszaken (één, twee) geweest over precies die situatie en in beide gevallen kreeg de accounthouder gelijk. Maar naar de rechter moet je.

Arnoud