Categorie: Regulering

About Regulering

Subscribe Feeds

Britse kinderen onder de 16 jaar mogen vanaf 2027 niet meer op sociale media

Geplaatst op in Ondernemingsvrijheid, Regulering, 15 reacties
Peggy_Marco / Pixabay

Het Verenigd Koninkrijk komt met een verbod op sociale media voor kinderen onder de zestien jaar. Dat meldde Nu.nl vorige week. Voor de duidelijkheid: dit is een wetsvoorstel, dat de minister-president “hopelijk voor Kerstmis” aangenomen wil krijgen, waarna het dan voorjaar 2027 in werking moet treden.

Het persbericht verduidelijkt:

The government plans to use the same model for a social media ban as Australia. This would capture user-to-user platforms, whose purpose is to enable social interaction and?which allow users to post material, alongside algorithms. The ban will therefore include platforms like Snapchat, TikTok, YouTube, Instagram, Facebook and X. We do not intend for messaging services like WhatsApp and Signal to be included in the social media ban.
Hij verwijst naar de Australische Online Safety Amendment (Social Media Minimum Age) Act 2024 die op 10 december 2024 van kracht werd. Die definiëren “social media” als volgt:
  1. the sole purpose, or a significant purpose, of the service is to enable online social interaction between 2 or more end?users;
  2. the service allows end?users to link to, or interact with, some or all of the other end?users; en
  3. the service allows end?users to post material on the service.
Het gaat om drie cumulatieve criteria: dus én je hoofddoel is sociale shizzle, én je kunt connecten met anderen, én je kunt zelf dingen plaatsen. Een nadere regel voegt toe dat het platform ook een recommender en/of een loginfeature moet hebben. (Daarnaast kan er een lijst worden gemaakt waar partijen keihard “social media” verklaard kunnen worden.)

Volgens de toezichthouder omvat dit alle bekende spelers, hoewel ze er gelijk bij zeggen dat opname in hun overzicht niet impliceert dat die partijen het er mee eens zijn.

De Britten geven aan deze definitie te willen volgen, want die lijkt prima te werken. De hamvraag is natuurlijk: hoe handhaaf je dat, oftewel welke maatregelen leg je op om leeftijdsverificatie te doen. In Australië mogen partijen dat zelf bepalen, en kopietje paspoort is populair naast diensten zoals bankrekening-gebaseerde verificatie. Wat dan weer niet mag, is eisen dat de Australische DigiD wordt gebruikt.

De resultaten in Australië vallen tegen: 78 procent van de jongeren onder de zestien jaar heeft nog steeds toegang tot sociale media, en 41 procent weet de nieuwe regels te omzeilen. Belangrijk probleem lijkt te zijn dat de handhaving grotendeels bij de ouders ligt, en u kent mijn mening over die gemakzuchtige ontkenning van een maatschappelijk probleem. Ik citeer even uit dat gelinkte artikel:

Het Nederlands Jeugdinstituut vindt dat een verbod wel een optie is, maar niet zonder aanvullende maatregelen. “We moeten niet alleen ouders en scholen betrekken, maar er moet vooral iets in de platforms veranderen”, zegt expert Vivian den Blanken. “Zolang de verslavende werking blijft en er extreme content wordt geplaatst, is een verbod onvoldoende.”
Een totaalverbod, aangenomen dat het handhaafbaar is, heeft vooral als effect dat een jongere in het geheel niets meer doet met die social media. Word je dan 16, dan krijg je het geheel en ongefilterd om je heen. En dát werkt niet.

Nee, dat is niet hetzelfde zoals bij alcohol, waarbij je ook tot 18 geen druppel mag en dan ineens los met bier. Als je nou op elke straathoek onbeperkt gratis bier kreeg en onze levens draaiden om “welk bier hijst Wim vanavond”, dan misschien. Social media is alomtegenwoordig en verweven met zo veel aspecten van de maatschappij, en dat maakt het zo lastig aan te pakken.

Arnoud

 

 

Je pincode moeten geven aan Justitie is géén schending van je zwijgrecht

Geplaatst op in Regulering, Security, 58 reacties
Photo by rc.xyz NFT gallery on Unsplash

Had ik even gemist: vorige maand bepaalde het Europees Hof voor de Rechten van de Mens dat het gehoor moeten geven aan een decryptiebevel géén schending oplevert van je zwijgrecht – het recht niet tegen jezelf te hoeven getuigen. Een pincode is geen bekentenis, zeg maar.

In deze zaak (Minteh v. Frankrijk) werd een man door de politie gecontroleerd in zijn auto. Daarbij werd veel contant geld met drugssporen, cannabis en een mobieltje gevonden. Bij een daarop volgende huiszoeking werden meer telefoons en een tablet gevonden.

In Frankrijk mag Justitie dan volgens de wet je pincode of decryptiesleutel vorderen van die apparaten, maar meneer weigerde medewerking. Daarop werd hij vervolgd voor het strafbare feit die gegevens niet te geven, en dat kwam bij het Hof met de vraag of dat geen schending van het nemo tenetur beginsel oplevert: het recht om niet aan zijn eigen veroordeling mee te werken.

Al langer weten we dat een biometrisch kenmerk gedwongen gebruikt mag worden. Dat is geen schending van dat beginsel, omdat je vingerafdruk, iris en dergelijke gewoon dingen zijn. Die bestaan los van jouw wil, net als het slot van je voordeur. Daar mag Justitie dus mee aan de slag.

Een bekentenis afdwingen mag niet, want bekentenissen geef je omdat je dat wilt. Je mag wel uit het weigeren te verklaren dingen afleiden, zoals dat iemand het met opzet deed en dat geheim wil houden.

Van pincodes en wachtwoorden wordt vaak gezegd dat ze op één lijn staan met bekentenissen. Het mensenrechtenhof denkt daar nu anders over in deze context:

[D]e bepalingen van artikel 434-15-2 van het Wetboek van Strafrecht [zijn] niet bedoeld om een ??bekentenis van de verdachte te verkrijgen en geen vermoeden van schuld inhouden. Ze zijn uitsluitend bedoeld om de gegevens te ontcijferen en zo het plegen van strafbare feiten te voorkomen en de daders te identificeren. Het Hof voegt hieraan toe, zoals hieronder zal worden aangetoond (paragraaf 58), dat de gegevens op een telefoon onafhankelijk van de wil van de gebruiker bestaan.
Het argument is dus: de gegevens op je telefoon zijn er gewoon, en die mag je dus niet vergelijken met een bekentenis die er alleen is als jij dat wil. Omdat het zwijgrecht gaat over getuigen tegen jezelf, is dat recht dus niet van toepassing als je iets moet zeggen dat geen getuigenis is.

De achterliggende gedachte hierbij is dat mensen dwingen tot verklaringen zoals bekentenissen leidt tot valse verklaringen. “Het slaan stopt als je bekent” is een recept voor vele bekentenissen, maar niet voor kwaliteit. Maar dat risico bestaat niet bij pincodes: die werkt, of niet, en dat weet je drie seconden later. En dan vraag je het opnieuw.

Het helpt dat de Franse wet diverse waarborgen kent, namelijk:

de tussenkomst van een rechterlijke autoriteit, het informeren van de verdachte dat zijn weigering waarschijnlijk tot een strafvervolging zal leiden, het aantonen van het gebruik van het apparaat in het kader van het plegen van het misdrijf en de kennis bij de verdachte van zijn decryptiemiddelen.
Met name dat “dit apparaat is gebruikt bij het misdrijf waar we voor vervolgen” is hier belangrijk: dat voorkomt fishing expeditions waarbij allerlei apparaten open moeten in de hoop dat er iets strafbaars wordt gevonden. Het begint dus bij een redelijk vermoeden van schuld én bewijs dat de telefoon meer bewijs daarvan gaat geven.

Arnoud

 

 

Hof van Justitie: Algoritmische invloed op contentpresentatie maakt dat je er aansprakelijk voor wordt

Geplaatst op in Ondernemingsvrijheid, Regulering, 9 reacties
Photo by ?????? ????? on Unsplash

Wie met een algoritme bepaalt onder welke voorwaarden, op welke wijze en in welke volgorde van prioriteit andermans content wordt verspreid, kan zich niet achter de bescherming van hosters verschuilen. Dat bepaalde het Hof van Justitie afgelopen dinsdag (zaak C-188/24). Een aardverschuiving in het aansprakelijkheidsrecht?

Het Hof kwam tot deze uitspraak in twee gevoegde zaken uit Frankrijk. De een ging over een pornosite die te weinig deed om minderjarigen te weren, de ander over een radarcontrole-waarschuwingsdienst. Dat lijkt weinig met elkaar gemeen te hebben, behalve dat beiden platforms waren waar gebruikers content plaatsten, en beiden stelden dat de Franse overheid ze dwong tot een algemene controleplicht. Dat is in strijd met artikel 15 van de E-commercerichtlijn (en nu artikel 8 DSA).

Uit de vraag maakt het Hof op dat de Franse rechter mede wil weten of deze partijen onder de beperking van aansprakelijkheid voor hosters valt (artikel 14 richtlijn). Daarvoor geldt namelijk dat je geen controle of invloed over de content moet uitoefenen. Het klassieke voorbeeld is voorafgaande moderatie – dan kies je wat er op je site mag komen. Idem voor de foto van de dag die je op de homepage zet.

Zo handmatig gebeurt het al lang niet meer. De meeste platforms werken met een omgekeerd-chronologische feed en/of thematische categorieën. Dat is volgens de standaardjurisprudentie geen probleem (Google/Vuitton), zolang je maar geen dingen doet waarmee je inhoudelijke kennis of controle over de content krijgt (Youtube/Cyando).

In die zaken ging dat goed (voor het platform), omdat die alleen keken naar metadata van de content. Bij deze platforms was er meer inhoudelijke bemoeienis, hoewel puur algoritmisch. Maar door dat algoritme kon de aanbieder zelf bepalen

onder welke voorwaarden, op welke wijze en in welke prioriteitsvolgorde deze informatie wel of niet wordt verspreid, [zodat] de exploitant zeggenschap over die informatie uitoefent (…).
Met name woog daarin zwaar dat de exploitant in haar eigen belang handelde. Dit in tegenstelling tot enkel het belang van de uploader, denk aan een virusscan.

Voor mij is dat “prioriteitsvolgorde” de kern: je bepaalt dan niet alleen waar de content moet staan, maar ook of de content überhaupt in beeld komt. Bij een omgekeerd-chronologische feed kom je alles tegen als je lang genoeg scrollt, maar dat is zeker niet zo bij een “Relevant voor jou”-feed.

Dan is die feed dus een “foto van de dag” (de seconde?) selectie van de redactie. Dat je dat uitbesteedt aan een algoritme, is daarbij irrelevant.

Het Hof formuleert alleen de regels, het is aan de nationale (hier dus Franse) rechter om te bepalen of die platforms er aan voldoen. Maar dit is wel een sterke voorzet dát dit het geval gaat zijn.

Betekent dit nu dat íeder platform met een recommender zijn beperking van aansprakelijkheid kwijtraakt? Een strakke lezing zegt van wel: je gebruikt een algoritme, en dat zegt hoe en in welke prioriteit content wordt getoond. En intuïtief is dat ook passend: je bént geen neutraal doorgeefluik als je zelf rangschikt wat het beste/mooiste/interessantste is.

Dat wil tegelijkertijd niet zeggen dat je automatisch mag betalen als er iets onrechtmatigs op je site staat. Een platform met duidelijke regels en actieve moderatie handelt niet onrechtmatig door af en toe per abuis iets door te laten dat tegen de wet is.

Arnoud

 

Politie haalt criminele vpn-dienst offline en identificeert duizenden gebruikers

Geplaatst op in Regulering, Security, nog geen reacties
Photo by Daniel Jerez on Unsplash

De Nederlandse en Franse politie hebben de vpn-dienst First VPN offline gehaald, las ik bij Tweakers. Deze dienst was populair onder cybercriminelen, maar velen zetten vraagtekens bij de ingreep “want de Gamma verkoopt ook koevoeten”. Mag ik daar even hard bij ingrijpen?

Samenwerkingsverband Europol legt in een persbericht uit wat de reden voor de actie was:

For years, the service, known as ‘First VPN’, was promoted on Russian-speaking cybercrime forums as a trusted tool for remaining beyond the reach of law enforcement. It offered users anonymous payments, hidden infrastructure, and services designed specifically for criminal use.
Het is dat stukje “designed specifically for criminal use” dat hier essentieel is, en dat altijd gemakshalve wegvalt in de vergelijkingen met de Gamma, Audi-dealers en de Hema-keukenmessencollectie.

Nee, dat mag niet, dingen specifiek ontwerpen en aanprijzen voor crimineel gebruik; je komt dan al snel bij medeplichtigheid uit, of bij speciale wetsartikelen die vervaardigen of aanprijzen van hulpmiddelen strafbaar stellen.

Bij TechCruch lees ik dat men vervolgens ook nog duizenden criminele gebruikers wist aan te wijzen:

Europol, however, said that First VPN users were notified of the shutdown and “informed that they have been identified.” Investigators said they did this by obtaining the service’s user database and identifying VPN connections, which “exposed thousands of users linked to the cybercrime ecosystem.”
Uiteraard gaat het hier om een inval en hebben we alleen de kant van de politie. De rechter moet zich er nog over buigen. Maar alleen kijken naar de techniek en dan zeggen “het is maar een tool” is écht te kort door de bocht bij deze zaak.

Arnoud

‘Microsoft deelt namen van Nederlandse ambtenaren die werken aan DSA met VS’

Geplaatst op in Ondernemingsvrijheid, Regulering, 16 reacties
Photo by CHUTTERSNAP on Unsplash

Namen van Nederlandse ambtenaren zijn door Microsoft doorgespeeld aan de Amerikaanse overheid, aldus Vrij Nederland onlangs. Deze personen werken aan handhaving en beleid van de Digital Services Act. Veel ophef en ik hoor veel CLOUD Act verwijzingen. Maar dat klopt niet.

Het bericht sluit aan op eerdere berichten dat de VS sancties overwegen tegen personen die de VS onwelgevallige wetgeving maken of ondersteunen. Logisch dat je dan wil weten wie het zijn: zo kun je hen inreisvisa naar de VS weigeren bijvoorbeeld. Of hun bankrekening/creditcard blokkeren.

Maar hoe komt Microsoft aan de gegevens? De wuifverwijzingen naar de CLOUD Act wekken de indruk dat Microsoft in de accounts van allerlei partijen heeft zitten grasduinen en daar NAW-gegevens uit kon vissen. Maar nergens lees ik dat dat echt is gebeurd. “Dit specifieke verzoek betrof gegevens van Microsoft, geen klantgegevens“, claimt het bedrijf bijvoorbeeld in een reactie tegen Tweakers dat eerst ook het over CLOUD Act verzoeken had.

Wat er precies is gedeeld, is eigen data van Microsoft. Het bedrijf verleent medewerking aan een onderzoek van het Huis van Afgevaardigden over buitenlandse inmenging in Amerikaanse media zoals X. Daarbij geeft men zaken af zoals brieven met Europese instanties over de DSA, en dáár staan dan namen van ambtenaren in. (Waarom die niet zijn weggelakt, weet ik niet.)

Arnoud

 

Banken eisen meer actie van sociale media tegen internetcriminelen

Geplaatst op in Ondernemingsvrijheid, Regulering, 11 reacties
GDJ / Pixabay

Nederlandse grootbanken eisen actie van Meta, TikTok en Google tegen de explosieve toename van fraude via sociale media. Dat meldde het FD onlangs (€). Meer dan 70% van alle fraudepogingen kent zijn oorsprong op deze kanalen, zo blijkt uit onderzoek. En ik zie inderdaad vrij weinig gebeuren bij de grote sociale media-diensten.

De aanleiding klinkt nogal dringend:

Banken doen de oproep naar aanleiding van de jaarlijkse publicatie van de fraudecijfers, waaruit blijkt dat de schade als gevolg van bankhelpdeskfraude steeg met ruim 3 miljoen euro en in 2025 uitkwam op 25,8 miljoen euro. Ook de schade als gevolg van phishing steeg met 1,8 miljoen euro, naar bijna 2,6 miljoen euro. Ondanks de stijging van de schade nam het aantal slachtoffers van bankhelpdeskfraude wel af: met 14% naar iets minder dan 5.900 personen.
Het onderzoek waarnaar men verwijst is een rapport uit 2025 van UK Finance, de Britse brancheorganisatie voor de financiële sector. Zij onderzochten data van hun leden over gemelde fraudezaken en hun oorzaken, en concluderen daarbij inderdaad dat in 2024 70% van de fraudezaken ‘online sources’ kennen. Het gaat dan meestal om “lower-value scams” zoals aankoopfraude (ik denk dan aan Marktplaatsoplichting-achtige zaken)

Het rapport spreekt van “online fraud” en denkt daarbij aan zaken als Authorised Push Payment (APP)-fraude, waarbij oplichters via social engineering slachtoffers manipuleren om real-time betalingen te autoriseren. Dit kunnen investeringsscams zijn, malafide advertenties (hoi Jort) of de nog steeds werkende romance scams.

Moeten social media hier wat mee? Zeker. Artikel 34 en 35 Digital Services Act verplichten grote platforms (VLOPs) tot een algemene mitigatie op “systeemrisico’s”, dingen die de maatschappij raken door hun omvang en impact. In september deed de Europese Commissie een informatieverzoek aan platforms zoals Apple, Booking, Bing en Google over hoe zij omgaan met oplichters die hun platform misbruiken. Ik heb nog geen resultaten daarover gelezen.

Vermoedelijk zullen de oplossingen uitkomen bij betere know-your-customer analyse van zakelijke accounts, trusted flaggers uit de financiële sector die direct takedowns kunnen bevelen en het beter publiceren van advertenties in een repository zodat onderzoekers er patronen in kunnen vinden om detectie te automatiseren. Maar ik gok zomaar dat men dit niet vrijwillig gaat doen.

Arnoud

Moet het delen van beelden van slachtoffers strafbaar worden?

Geplaatst op in Privacy, Regulering, 17 reacties
Photo by Igor Omilaev on Unsplash

Ik wil graag een nieuwe regel introduceren. Steeds vaker maken jongeren bij ongelukken en geweld foto’s of filmpjes die ze daarna delen via sociale media. Dat meldde NRC onlangs. Gevaarlijk en schadelijk, het zou verboden moeten worden. Nee: dan moet er meer geld naar handhavers.

Recent verzuchtte ik dit elders al, maar ik vind het zó zó vermoeiend die reflex “er is iets vervelends, laten we het verbieden”. Online is alles al strafbaar, niets mag van de AVG en anders had dit allang onder artikel 34 Digital Services Act aangepakt moeten zijn. En anders is het gewoon maatschappelijk onaanvaardbaar.

Maar serieus. Het probleem is eigenlijk nooit dat het niet mag. Hooguit dat de bestaande regels wat algemener zijn dan wat hier misgaat, zodat niet meteen 100% duidelijk is welke regel je nodig hebt en er dan altijd iemand jamaar-hangt-er-van-af kan roepen.

Het probleem is eigenlijk heel simpel: er is te weinig geld voor toezicht. Politie en OM of toezichthouders – ze moeten er tegen optreden, handhaven en duidelijk aangeven hoe de regels geïnterpreteerd worden. En dat kan niet. Ook niet als er een nieuwe strafbaarheidstelling komt voor delen van foto’s van “een afbeelding van iemand die dringend hulp behoeft” (wetsvoorstel).

Natuurlijk, dan komen er vanzelf ook gaten aan het licht. Was het toch een keer niet strafbaar. Maar dán is er het moment om gericht een nieuwe wet hierop aan te nemen.

Arnoud

Mag je nog zeuren als je in de algemene voorwaarden akkoord ging met gebruik van je data?

Geplaatst op in Ondernemingsvrijheid, Privacy, Regulering, 2 reacties
Photo by Markus Winkler on Unsplash

Een lezer vroeg me:

In discussies over hoeveel informatie sociale media van je mogen gebruiken, wordt er vaak gezegd dat je niet moet zeuren dat ze je gegevens gebruiken en doorspelen naar derden, omdat je daarmee akkoord bent gegaan op het moment dat je op ‘agree’ klikte toen de gebruikersvoorwaarden werden gepresenteerd.

Zitten er aan die gebruikersvoorwaarden nog grenzen over wat redelijk is, vooral op het gebied van privacy en bescherming van persoonsgegevens, of mag een bedrijf min of meer alles van je verkopen omdat je nou eenmaal in hebt gestemd met hun voorwaarden?

Voor deze vraag moeten we het concept ‘gegevens’ in twee splitsen, omdat het Europese juridische kader onderscheid maakt tussen persoonsgegevens (gegevens over mensen) en niet-persoonsgegevens (alle andere).

Voor niet-persoonsgegevens zijn er vrij weinig regels, afgezien van de recente Datawet (Data Act), een Europese verordening uit 2025 over toegang tot data. Dit raakt aan data uit slimme apparaten, maar ook voor data opgeslagen in clouddiensten. De Datawet zegt echter niets over wat de dienstverlener met je data mag, behalve enkele specifieke verboden:

  • Alleen doen wat je in de voorwaarden hebt gezegd (en ‘alles dat ik wil’ zeggen is niet toegestaan)
  • Geen gebruik om de commerciële positie van de gebruiker te ondermijnen (het Amazon-jat-je-product probleem)
  • Geen doorverkoop of verstrekking aan derden behalve voor zover nodig voor de dienst zelf
Hier zijn dus de voorwaarden inderdaad leidend, en bestaat er een redelijkheidstoets bij wat die voorwaarden mogen zeggen. Jurisprudentie daarover is er (nog) niet.

Voor persoonsgegevens is het hard en simpel: het is juridisch niet mogelijk om in gebruiksvoorwaarden, terms of service of hoe je wilt noemen toestemming te bedingen voor welk gebruik van persoonsgegevens dan ook. Volgens de AVG moet een dergelijke toestemming ‘specifiek’ worden gegeven, en een toestemmingsbeding in voorwaarden is dat haast per definitie niet. Daarnaast eist artikel 7 lid 2 dat

het verzoek om toestemming in een begrijpelijke en gemakkelijk toegankelijke vorm en in duidelijke en eenvoudige taal zodanig gepresenteerd dat een duidelijk onderscheid kan worden gemaakt met de andere aangelegenheden.
Een juridisch artikel in voorwaarden haalt deze lat eigenlijk nooit. Je ontkomt dus niet aan een apart vinkje. En dat moet specifiek zijn ook “Wij mogen je gegevens verkopen” is dat niet – er moet bij staan aan wie.

De vervolgreactie in discussies als deze is dan “je moet sowieso de voorwaarden lezen, en als je dan zulke rare -of zelfs verboden- dingen toch leest, dan moet je de dienst niet gebruiken”. Begrijpelijk, maar ik heb daar structureel moeite mee: we zijn compleet doodgegooid als maatschappij met zulke voorwaarden, het is irreëel te verwachten dat mensen dat allemaal lezen. En dat zeg ik als jurist.

Belangrijker: het wettelijk systeem in Europa is dat je het  niet hoeft te lezen. Voorwaarden gelden ook als je ze niet leest, maar daar tegenover staat dat ze makkelijk van tafel te vegen zijn (“vernietigbaar”) wanneer ze rare dingen bevatten (“onredelijk bezwarend”). De regel is dus niet “je moet ze lezen en dan gewoon niet gebruiken” maar “rare dingen in de voorwaarden mag je negeren, zijn niet bindend”.

Natuurlijk zal zo’n bedrijf zich daar niets van aantrekken, ook niet na een formele brief van een advocaat die hierbij per direct de vernietiging uitspreekt van het onredelijk bezwarend beding krachtens relevante Europese richtlijnen en artikel 6:233 Burgerlijk Wetboek. Maar dat is een algemener probleem: het uitoefenen van je juridische rechten, zeker als consument, is duur en tijdrovend, en toezichthouders zitten hier niet altijd bovenop. Dat kan ook niet altijd, zeker niet bij niet-Europese bedrijven.

Nederlandse rechtbank verbiedt uitkleedfuncties van X-tool Grok

Geplaatst op in Ondernemingsvrijheid, Regulering, 7 reacties

[De] Nederlandse rechter verbiedt X om uitkleedbeelden en beelden van kindermisbruik te genereren met Grok. Dat meldde Tweakers vorige week. Zolang het bedrijf zich hier niet aan houdt, mag het Grok ook niet meer aanbieden in Nederland, op straffe van stevige dwangsommen.

Zoals ik een tijdje geleden al uitlegde, de AI-bot maakt zonder enige guardrail seksualiserende deepfakes van geplaatste foto’s, ook van duidelijk minderjarigen. Niet direct harde porno – daar zit een blurfilter op – maar iemand in een bikini zetten tegen haar wil is natuurlijk ook niet de bedoeling.

Stichting Offlimits en Fonds Slachtofferhulp stapten naar de rechter, nadat uit overleg bleek dat X niet aan hun eisen tegemoet zou komen.

De stichtingen zeggen dat Grok op grote schaal illegaal beeldmateriaal genereert en verspreidt. X zei dat dit niet mocht volgens de gebruiksvoorwaarden. Daarnaast zei het platform op 4 januari maatregelen te hebben genomen waardoor het ‘onmogelijk’ zou zijn om kindermisbruikmateriaal te maken. Twee weken later voerde het platform maatregelen in om het genereren van uitkleedbeelden verder tegen te gaan.
De rechter had grote moeite met de proceshouding van X, als ik het zo lees. Als je eerst zegt dat het ‘onmogelijk’ is en in de rechtszaal dat “het onmogelijk is om honderd procent te garanderen”, wordt het ongezellig.

Sowieso was het een opmerkelijke zitting als ik het zo lees:

Om aan te tonen hoe doodeenvoudig het is om met Grok een blootfoto te genereren, voerde advocaat Otto Volgenant, die optrad namens Offlimits, een portret van [X-advocaat Albert] Knigge in op Grok. … Hij gaf een paar prompts en niet veel later was de topadvocaat dansend te zien in zijn onderbroek, met op zijn rug een tattoo, zo vertelde Volgenant in de rechtszaal.
Opmerkelijk daarbij is ook dat nonconsensual naakt erger is als het de betrokken mannen zélf raakt, maar dat terzijde.

Als vaststaat dat de maatregelen niet werken zoals verwacht, dan is de vervolgvraag of je X daarvoor aansprakelijk kunt houden. Het standaardverweer is dan natuurlijk dat niet X maar de gebruikers die beelden genereren. Dat accepteert de rechter niet:

Als internet tussenpersoon die controle heeft over de functionaliteiten van Grok als beeldgenerator, is X.AI de aangewezen partij om het genereren en verspreiden van onrechtmatige afbeeldingen te voorkomen. Daardoor bestaat voldoende grond voor toewijzing van de gevorderde verboden, los van de vraag of gedaagden zelfstandig aansprakelijk zijn voor die afbeeldingen, naast de gebruikers die die content genereren / verspreiden.
Ophouden hiermee dus. En totdat dit adequaat gefixt is, mag de dienst Grok niet in Nederland worden aangeboden.  Met een voor Nederlandse begrippen stevige dwangsom van een ton per dag, gemaximeerd op tien miljoen euro.

In het perspectief van de geschatte 2.9 miljard jaaromzet is dat natuurlijk geen enorm getal. Maar allereerst moet je dit zien in het licht van de scope Nederland voor het verbod. En ten tweede kan Offlimits altijd naar de rechter als het plafond wordt aangetikt, om een verhoging te vorderen.

Arnoud

Moet ik wat doen als mijn gebruikers mijn ERP-tool voor planning van misdrijven gebruiken?

Geplaatst op in Ondernemingsvrijheid, Regulering, 11 reacties
Photo by 1981 Digital on Unsplash

Via Reddit:

Eén van de gebruikers van mijn SaaS voorraadbeheersoftware (ERP) heeft voorraadartikelen gelabeld met termen als wit, blauw, groen en hemelsblauw en hoeveelheden in grammen en kilogrammen. Hun herbevoorradingsmeldingen zijn ingesteld om 3 uur ’s nachts en per locatie is een “heat level” van 1 tot 5. Ze hebben meer dan $2 miljoen aan omzet gegenereerd via mijn SaaS-oplossing van $29 per maand. Dit riekt naar drugshandel. Ben ik wettelijk verplicht hier iets mee te doen?
De hoogst gepluste reactie suggereert dat dit bedrijf kleurpotloden verkoopt, al is onduidelijk wat dan het “heat level” zou zijn. Anderen denken aan het peperniveau van hot sauce. Bij drugshandel zou dat verwijzen naar het risico van politie-aandacht voor je verkooplocatie, en ook daar wordt in grammen verkocht.

In Europa worden SaaS-dienstverleners beschermd door de Digital Services Act (DSA). Deze bepaalt dat hosting providers niet aansprakelijk zijn voor illegale inhoud van klanten. Meestal denken we dan aan uitingsdelicten, maar de wet is zeer algemeen:

“illegale inhoud”: alle informatie die op zichzelf of in verband met een activiteit, waaronder de verkoop van producten of het aanbieden van diensten, indruist tegen het Unierecht of tegen het met het Unierecht in overeenstemming zijnde recht van een lidstaat, ongeacht het precieze voorwerp of de precieze aard van dat recht;
ERP-informatie over drugshandel voldoet aan deze beschrijving, want betreft informatie in verband met verkoop van producten in strijd met nationaal (straf-)recht in de EU.

Artikel 6 DSA zegt dan dat de hosting provider niet aansprakelijk is, mits hij:

  1. niet daadwerkelijk kennis heeft van de illegale activiteit of illegale inhoud (…) en
  2. zodra hij dergelijke kennis of dergelijk besef krijgt, prompt handelt om de illegale inhoud te verwijderen of de toegang daartoe onmogelijk te maken.
De uitdaging hier dus is: heeft deze SaaS-aanbieder door zijn gesnuffel in de klantdata “daadwerkelijk kennis” gekregen?

Die kennis moet in ieder geval (overweging 22) specifiek zijn; algemeen weten dat er illegale inhoud tussen kan zitten is niet genoeg. Bij meldingen wordt als criterium gehanteerd (overweging 53) dat er voldoende informatie is

om een zorgvuldige aanbieder van hostingdiensten in staat te stellen zonder een gedetailleerd juridisch onderzoek vast te stellen dat het duidelijk is dat de inhoud illegaal is (…).
Het moet dus ‘duidelijk’ zijn en je moet er geen advocaat of jurist bij hoeven halen om een juridische kwalificatie te doen. De rechtspraak rond de ecommerce richtlijn (voorloper van de DSA) gaat hier niet direct op in, en focust vooral op de vraag of geautomatiseerd scannen leidt tot ‘kennis’ (nee).

Ik zie hoe je met bovenstaande feiten redelijkerwijs zou kunnen denken dat de klant illegale zaken (drugs) aan het verkopen is. Een twijfelgeval daarbij vind ik wel de “heat level” factor. Inderdaad is “heat” een slang term voor “politieaandacht” maar dat is dan net té direct als je verder je productnamen camoufleert met kleuren.

Mijn advies bij deze vraag zou wel zijn om het account tijdelijk te sluiten (suspension) en de klant te verzoeken duidelijkheid te geven over wat ze verkopen. Aanleiding daarvoor zou dan het ongebruikelijk grote data- of opslagverkeer zijn. Het is toegestaan om dan te kijken wat er gebeurt, en als je dan zoiets opvalt dan mag je verduidelijking vragen.

Arnoud