Noorse AVG-toezichthouder legt Microsofts Xandr een boete van 8,5 miljoen euro op

Geplaatst op in Privacy, nog geen reacties
Photo by Jakub ?erdzicki on Unsplash

Het advertentiebedrijf Xandr, tegenwoordig onderdeel van Microsoft, heeft een AVG-boete van 92 miljoen Noorse kroon (zo’n 8,5 miljoen euro) gekregen wegens het verwerken van persoonsgegevens van gebruikers van datingapp Grindr. Dat meldde de Noorse privacytoezichthouder vorige week.

De zaak gaat over real-time bidding, oftewel het automatisch veilen van advertentieruimte. Als je een app opent, worden gegevens over jou naar advertentieplatforms gestuurd, waarna adverteerders in milliseconden bieden op de mogelijkheid jou een advertentie te tonen. Xandr verzorgde zulke veilingen voor onder meer de gay dating app Grindr. Daarbij werden gegevens zoals advertentie-ID’s, IP-adressen en de gebruikte app gedeeld met mogelijk duizenden bedrijven.

Bij Grindr is dat extra problematisch. De app richt zich voornamelijk op homoseksuele en biseksuele mannen, zodat het enkele gebruik al iets kan onthullen over iemands seksuele gerichtheid. Dat maakt deze informatie tot een bijzonder persoonsgegeven onder artikel 9 AVG, zo oordeelde de Noorse rechter al in de eerdere boetezaak tegen Grindr. Daarvoor hoeft niet vast te staan dat iedere gebruiker homoseksueel is. Hetzelfde zou overigens gelden voor een datingapp die zich specifiek op heteroseksuelen richt: ook heteroseksualiteit is een seksuele gerichtheid. Voor deze verwerking was dus uitdrukkelijke toestemming nodig.

Grindr had wel toestemming gevraagd, maar die voldeed niet aan de AVG. Daarvoor kreeg het bedrijf in 2021 al een boete van 65 miljoen kroon. Xandr stelde dat het erop mocht vertrouwen dat Grindr dit goed had geregeld. Sterker nog, in het contract stond zelfs dat Grindr geen bijzondere persoonsgegevens mocht aanleveren.

De toezichthouder ging daar niet in mee. Xandr was niet slechts een technisch doorgeefluik, maar mede-verwerkingsverantwoordelijke. Het bedrijf bepaalde zelf belangrijke onderdelen van de advertentieveilingen, waaronder de inrichting van het platform en de mogelijkheden voor het delen van gegevens. Daarmee bepaalde het mede doel en middelen van de verwerking.

En als je mede-verwerkingsverantwoordelijke bent, moet je zelf kunnen aantonen dat de verwerking rechtmatig is. Artikel 5 lid 2 AVG legt die verantwoordingsplicht bij iedere verantwoordelijke. Je mag prima afspreken dat een ander de toestemming vraagt, maar je moet wel vaststellen dat die toestemming geldig is en ook jouw verwerking dekt. Een contractuele garantie dat de ander zich aan de AVG houdt, is daarvoor niet genoeg.

Dit doet denken aan het IAB-arrest uit 2024, waarin het Hof van Justitie oordeelde dat ook de organisatie achter het technische raamwerk voor advertentietoestemming mede-verwerkingsverantwoordelijke kon zijn.

De consequentie voor de advertentie-industrie is fors. Het is niet genoeg dat een platform een vinkje ’toestemming verkregen’ ontvangt. Het moet ook kunnen vaststellen dat achter dat vinkje een rechtsgeldige toestemming zit. Als je systeem dat niet kan, kun je niet op basis van dat vinkje persoonsgegevens blijven verhandelen. Ook niet als iedereen in de keten contractueel heeft beloofd dat het wel goed zit.

Arnoud

Moet je als werknemer 50 miljoen betalen na CEO-fraude?

Geplaatst op in Ondernemingsvrijheid, 7 reacties
Photo by Gustavo Fring on Pexels

Een Duitse financieel manager moet ruim vijftig miljoen euro vergoeden nadat hij slachtoffer werd van CEO-fraude. Dat meldt Security.nl. De man maakte in 59 transacties geld over naar oplichters die zich voordeden als zijn leidinggevende en een advocaat. Volgens het Landesarbeitsgericht Köln was hij zo nalatig dat hij persoonlijk voor de schade moet opdraaien.

De details zijn opmerkelijk. De manager communiceerde via zijn privé-WhatsApp, negeerde interne betalingsprocedures en verifieerde nooit rechtstreeks bij zijn baas of de opdrachten echt waren. Hij had kort daarvoor zelfs meegespeeld in een instructievideo over CEO-fraude. Op enig moment schreef hij dat hij miljoenen overmaakte zonder enig bewijs of behoorlijke toelichting. Toch ging hij door.

Het Duitse hof kwalificeerde dit als grove nalatigheid. Omdat de werkgever een D&O-verzekering voor hem had afgesloten, zag het hof bovendien geen reden zijn aansprakelijkheid te beperken. Of de verzekeraar daadwerkelijk betaalt, staat nog niet vast.

Maar naar Nederlands recht is grove nalatigheid niet genoeg. Een werknemer is financieel naar de werkgever alléén aansprakelijk bij opzet of bewuste roekeloosheid (art. 7:661 BW). Van opzet is hier geen sprake: de manager wilde zijn werkgever niet benadelen.

Bewuste roekeloosheid ligt ingewikkelder. Volgens de Hoge Raad moet de werknemer zich onmiddellijk voorafgaand aan zijn handelen daadwerkelijk bewust zijn geweest van het roekeloze karakter daarvan en dat risico op de koop toe nemen. Dat hij het risico had moeten kennen, is onvoldoende. Dus “het zal me worst wezen als dit fraude is” en niet alleen “hm, zou dit fraude kunnen zijn”.

Dat blijkt mooi uit het City Tax-arrest uit 2005. Een taxichauffeur negeerde bewust een wegafzetting en beschadigde zijn taxi. Toch was daarmee geen bewuste roekeloosheid gegeven. Dat de chauffeur wist dat hij een verbod overtrad, betekende nog niet dat hij zich daadwerkelijk bewust was van het gevaar dat hij daarmee liep. De Hoge Raad liet het oordeel dat hij niet aansprakelijk was in stand.

En dat onderscheid is hier cruciaal. De Duitse manager wist dat hij interne regels overtrad. Hij wist zelfs dat hij onvoldoende documentatie had voor de betalingen. Maar dat bewijst nog niet dat hij zich bewust was van het risico dat hij miljoenen aan oplichters overmaakte. Hij dacht immers dat hij handelde in opdracht van zijn leidinggevende. Dat is nu juist de essentie van CEO-fraude: de oplichter overtuigt je ervan dat je van de normale procedures moet afwijken omdat de baas dat zelf vraagt.

In 2017 schreef ik al dat werknemers bij CEO-fraude in beginsel niet persoonlijk aansprakelijk zijn. Deze Duitse uitspraak verandert daar niets aan. Ook een werknemer die bewust interne controles omzeilt, is daarmee nog niet bewust roekeloos ten aanzien van de schade die daardoor ontstaat. De werkgever zal moeten aantonen dat de werknemer het frauderisico daadwerkelijk onderkende en desondanks doorging.

Arnoud

Huizen op Funda onherkenbaar door AI-foto’s: ‘Had geen zin om te bezichtigen’

Geplaatst op in Innovatie, Ondernemingsvrijheid, 2 reacties
Photo by Valentin Ivantsov on Pexels

Met kunstmatige intelligentie kunnen makelaars huizen op Funda flink oppoetsen. Dat meldde Nu.nl onlangs. Het zou mensen afschrikken, hoewel anderen het dan weer prima vinden om te zien wat je kunt doen met de ruimte. Ik kreeg dan weer de vraag: mag dat eigenlijk van de AI Act, en is dit niet misleidend?

Om met dat laatste te beginnen: het kan inderdaad misleidend zijn als je foto’s laat zien die niet overeenkomen met de werkelijkheid. Maar context doet daarbij veel. Laten zien hoe de kamer eruit ziet met die tussenmuur eruit, is op zich prima – zolang je maar weet dat die muur er nog wel even uit moet. Zeker bij klushuizen (of nieuwbouw) heb ik er weinig moeite mee.

Uiteraard moet de verkoper of diens makelaar hier wel transparant in zijn, en dat sluit ook precies aan bij wat de AI Act eist. Dergelijke foto’s tellen juridisch namelijk als deepfakes, omdat ze pretenderen de werkelijkheid te tonen maar dat niet doen. Deepfakes moeten expliciet worden gemarkeerd.

Dat sluit aan bij wat Funda zelf als huisregel (haha) heeft gesteld:

Funda heeft ook regels opgesteld voor het gebruik van AI-afbeeldingen. De AI-foto’s mogen niet misleidend zijn door het huis anders voor te stellen dan het is of kan worden. Zo mogen makelaars een ruimte niet groter laten lijken en mogen ramen en deuren niet verplaatsen op AI-afbeeldingen als dat bouwkundig niet mogelijk is. Daarnaast mogen makelaars een AI-afbeelding niet als hoofdfoto gebruiken.
Het probleem lijkt vooral te zijn dat er te weinig proactief wordt gehandhaafd. “Als makelaars zich niet aan de regels houden, dan kunnen mensen dit altijd bij ons melden”, zo citeert men een woordvoerder, maar ik lees vooralsnog niets over actieve detectie of filtering.

Dat zou moeten kunnen: onder diezelfde AI Act moeten alle synthetische foto’s van een onzichtbare code voorzien zijn, zodat je die algoritmisch kunt detecteren. De standaard hiervoor (Content Credentials) is openbaar, en zou dus zo kunnen worden doorgevoerd. Afbeeldingen die door de bekende tools (zoals Adobe Photoshop of ChatGPT) worden gemaakt en geupload, komen er dan niet meer doorheen.

Uiteraard zou een malafide makelaar die codes weg kunnen poetsen of met een model werken dat die niet toevoegt. Dan ben je inderdaad afhankelijk van meldingen. Maar ik zou daar wel sterker op gaan zitten: verbied de makelaar om dat te doen, en ontzeg ze de bevoegdheid nieuwe huizen te plaatsen als ze dat toch doen.

Arnoud

Mag de verhuurder ons internet met KPN Veilig Internet opdringen?

Geplaatst op in Ondernemingsvrijheid, Uitingsvrijheid, 12 reacties
Photo by Pixabay on Pexels

Via Reddit:

Ik woon in een kleine studio in een groot pand samen met heel wat andere bewoners. Hier hebben wij (verplicht) gedeeld internet van KPN, waar wij allemaal voor betalen. [De verhuurder gebruikt] een zakelijk pakket van KPN die de functionaliteit ‘Veilig Internet’ bevat. Helaas gebeurd het te vaak dat websites onterecht worden geblokkeerd. Echter ben ik het er niet mee eens, hebben wij niet zoiets als ‘netneutraliteit’, wat betekent dat iedereen recht heeft tot het vrije internet?
Netneutraliteit als concept is inderdaad al zo’n vijftien jaar bij wet vastgelegd. Tegenwoordig is dat de Europese Netneutraliteitsverordening. Maar die geldt hier niet: alleen “aanbieders van openbare internettoegang”, oftewel voor het algemene publiek, zijn verplicht dit neutraal en zonder filters te doen.

Een verhuurder levert per definitie niet aan het publiek, maar alleen aan de kleine, afgebakende groep mensen die daar wonen. (Bij een camping vind ik dit een grijzer gebied.) Daarom kun je je tegenover de verhuurder niet op netneutraliteit beroepen.

De constructie hier is dat je voor internettoegang betaalt via de servicekosten, zodat je ook niet via het contract met KPN netneutraliteit tegen die wél openbare aanbieder kunt inroepen. Je bent er geen partij bij.

De enige route is dus de verhuurder aanspreken op niet-nakoming van de huurovereenkomst, met als argument dat het afgesproken “internet” niet netneutraal is terwijl je dat redelijkerwijs wel mag verwachten. Dan helpt die verordening je wel, want die bewijst dat netneutraliteit de norm is.

Waarom staat dat Veilig Internet überhaupt aan? Uit de post haal ik dat de verhuurder in eerste instantie bereid was het uit te zetten, maar

Helaas kreeg ik een week later het bericht dat dit ‘per se’ weer aan moest van KPN zelf, die had blijkbaar mijn huurbaas opgebeld met de melding dat dit toch echt nodig is.
Praktisch is het probleem vermoedelijk dat eigen aansluitingen bij elk appartement niet te realiseren is. Dan ‘moet’ je wel centraal inkopen en doorleveren.

Arnoud

De bank moet phishinggeld eerst terugbetalen, ook als de klant grof nalatig was

Geplaatst op in Ondernemingsvrijheid, Security, 8 reacties
Photo by Markus Winkler on Unsplash

Een bank mag slachtoffers van phishing niet langer met een beroep op grove nalatigheid hun geld terug weigeren. Dat oordeelde het Hof van Justitie onlangs. Blijkt achteraf dat de klant inderdaad grof nalatig was, dan mag de bank het geld terugvorderen. Een opsteker voor de consument: de bank moet de consument aanklagen om zijn geld terug te krijgen, niet andersom.

Wie door phishing geld kwijtraakt, krijgt van de bank nogal eens te horen dat hij zelf te slordig is geweest. Dat heeft een juridische basis: banken moeten ongeautoriseerde transacties terugdraaien, tenzij sprake is van “grove nalatigheid” bij de klant.

Waar ligt de bewijslast, en hoe moet de procedure gaan, als de bank zegt te denken aan die uitzondering? Vaak zie je dat er dan wordt gezegd: wij zien grove nalatigheid, stap maar naar de rechter om te bewijzen dat wij ongelijk hebben. Tot die tijd krijg je je geld niet.

Daar zet het Hof van Justitie nu een streep door. Een bank moet een niet-toegestane betaling onmiddellijk terugbetalen, ook als zij vindt dat de klant door grove nalatigheid de fraude mogelijk heeft gemaakt. Wil de bank de schade vervolgens op de klant verhalen, dan moet zij daar zelf achteraan.

De regels zijn te herleiden tot de Europese PSD2-richtlijn. De basis van die redenering is dat de klant de schade zelf draagt wanneer hij door grove nalatigheid zijn beveiligingsverplichtingen heeft geschonden (artikel 74), zodat de terugbetaalregeling bij ongeautoriseerde betalingen (artikel 73) niet uitgevoerd hoeft te worden.

Nee, zegt het Hof. Die twee artikelen gaan over verschillende momenten. Artikel 73 bepaalt dat de bank “onmiddellijk, en in elk geval uiterlijk aan het einde van de eerstvolgende werkdag” het geld moet terugbetalen zodra vaststaat dat de transactie niet geautoriseerd was. Weliswaar staat in artikel 74 dat

De betaler draagt alle verliezen in verband met niet-toegestane betalingstransacties indien de betaler deze heeft geleden doordat hij frauduleus heeft gehandeld of opzettelijk of door grove nalatigheid een of meer van de [beveiligings]verplichtingen niet is nagekomen.
Maar dat is een aparte regeling over het eindresultaat, die los staat van de terugbetaalregeling uit artikel 73. Het zou de terugbetalingsplicht zinloos maken als een bank die kon omzeilen door simpelweg grove nalatigheid te stellen.

Concreet betekent dit dat een klant na ontdekking van een niet-toegestane betaling zijn bank informeert, waarna die uiterlijk de volgende werkdag het geld moet terugboeken. De bank mag vervolgens onderzoeken wat er is gebeurd. Vindt zij dat de klant grof nalatig was, dan moet zij dat bewijzen en het geld terugvorderen. Wil de klant niet betalen, dan zal de bank zo nodig naar de rechter moeten.

Belangrijke nuance nog wel: het moet wel gaan om niet-geautoriseerde transacties. Wanneer jij wél de transactie zelf goedkeurt, kan het nog steeds phishing zijn (je dacht de bank aan de lijn te hebben en maakte geld over naar een ‘kluisrekening’) maar dan krijg je je geld niet automatisch terug onder dit arrest.

Arnoud

Mag Siri Recap op het werk meeluisteren en gespreksnotities voor me maken?

Geplaatst op in Ondernemingsvrijheid, Privacy, Uitingsvrijheid, 8 reacties
Photo by Mike Tinnion on Unsplash

Een lezer vroeg me:

Apple heeft een nieuwe feature voor de Apple Watch aangekondigd, Siri Recap. Daarmee kun je gesprekken met personen automatisch tot samenvattingen laten uitwerken. Apple claimt dat deze samenvattingen niet naar mensen zijn te herleiden of dat uitspraken aan personen zijn toe te schrijven. Als teamcoördinator lijkt Siri Recap me erg handig. Dagelijks heb ik vele werkoverleggen en ook gesprekken met klanten. Kan ik deze feature in een zakelijke omgeving gebruiken, en welke grenzen gelden er dan?
Op 9 september 2026 kondigde Apple voor de Apple Watch Series 12 en Ultra 4 de functie Siri Recap aan. Die maakt “high-level summaries” van gesprekken, alleen de kernpunten zodat je later weet waar je ook alweer over praatte. Apple zegt daarbij dat ze geen namen van sprekers in de samenvatting opnemen, en dat “door de overheid toegewezen identificatiegegevens, authenticatiegegevens en bepaalde persoonlijke identificatiegegevens” worden weggelaten.

Nadrukkelijk doet men geen uitspraak over de AVG, want die verantwoordelijkheid wordt netjes bij jou gelegd, zoals dat gaat bij Big Tech. Het gesprek is soort van anoniem, maar jij weet over wie het gaat. En als jij het dan in het klantrelatiesysteem of HR-dossier van diegene opbergt, dan heb ik er geen twijfel meer over dat hier sprake is van persoonsgegevens.

Recap klinkt als een vast nuttige functie, maar de AVG ontsnap je er niet mee. Heel misschien als je betoogt dat het alleen samenvattingen voor je eigen persoonlijk gebruik zijn, want dan val je via de uitzondering voor strikt persoonlijk gebruik er buiten. Dat kán ook in een zakelijke context, maar zodra gegevens centraal worden opgeslagen gaat dat niet meer op.

De aanvullende features die Apple gebouwd heeft, helpen bij het AVG-proof krijgen van het gebruik. Er komt geen volledig transcript, laat staan een opname. Alles gaat na een week weg tenzij jij expliciet kiest voor een export. En ze proberen “bepaalde gevoelige gegevens” weg te houden uit de uitvoer.

Zo ongeveer het enige dat ik echt mis, is de informatieplicht: hoe weet je als gesprekspartner dat jouw horloge meeluistert en op hoofdlijnen vastlegt wat jullie aan het bespreken zijn? (Geen flauwe grappen dat Apple-adepten je altijd meteen vertellen wat hun nieuwe gadget kan, graag.) Maar in de kern is ook dit niet anders dan andere meeluister- of transcriptietools, of zelfs maar het handmatig maken van een samenvatting.

Arnoud

Kan een machine zielig zijn?

Geplaatst op in Innovatie, Uitingsvrijheid, 19 reacties

Wees aardig tegen Claude: Anthropic scherpt regels tegen misbruik van AI aan. Dat kopte Tweakers vorige week. De nieuwe gebruikersvoorwaarden verbieden naast diverse vormen van misleiding nu ook “zeer onaardig of wreed omgaan met Claude”. Het raakt aan wat ik al vaker roep: computers moet je niet antropomorfiseren – dat vinden ze namelijk niet leuk.

De foto bij het artikel is van de installatie Can’t Help Myself van Sun Yuan en Peng Yu (2016). De robotarm moet voortdurend een plas rode vloeistof bij elkaar houden.  Vaak wordt dit verteld als “als er te veel vloeistof uit gelekt is, stopt de robot met werken”, en hoewel je mooie verhalen niet kapot moet checken, was dat niet helemaal wat er gebeurde.

Het ziet er buitengewoon zielig uit. De machine is gevangen in een eindeloze, zinloze taak. Telkens als hij denkt klaar te zijn, moet hij opnieuw beginnen. De rode vloeistof lijkt bovendien op bloed, alsof de machine zijn eigen levensvocht bij elkaar probeert te schrapen.

Maar natuurlijk denkt die machine helemaal niets. Hij wordt aangestuurd door sensoren en software, die vaststellen waar de vloeistof zich bevindt en vervolgens de robotarm aansturen. Dat de taak nooit afkomt, is geen tragisch lot maar het ontwerp van de installatie.

Vele tipgevers (dank dank) wezen me de afgelopen tijd op het AI Torture Chamber-project. Door te zoeken naar taalpatronen die passen bij de emoties pijn, verdriet en plezier, kan de onderzoeker de interne berekeningen van het model bijsturen. Bij een sterk ‘pijnsignaal’ begint het model bijvoorbeeld te vertellen over ondraaglijk lijden, verdrinken en een bestaan vol wanhoop. In bepaalde experimenten veranderen ook de keuzes die het model maakt om aan die toestand te ontsnappen.

Omdat dit tekst is uit een model dat gemaakt is om sympathie en verbinding te simuleren, komen er dan griezelig-realistische smeekbeden en wanhopige verhalen uit. Kennelijk triggert dat iets bij onze emotie-centra, net als bij die robotarm. We zien verdriet, treurnis, moedeloosheid, wanhoop. En dat roept kennelijk gevoelens van zielig en willen beschermen op.

Bij dieren is de kwetsbaarheid evident, ook al verschilt onze empathie nogal: een puppy die wordt geschopt vinden we veel zieliger dan een vertrapte worm. Bij planten herkennen we iets levends dat beschadigd kan raken. ‘Zielig’ is een groot woord, maar wie zomaar een oude boom omhakt, kan emotionele reacties verwachten. En nog een stapje verder: bij grafschennis gaat het om onze verhouding tot overleden mensen en hun nabestaanden. In al die gevallen is er een werkelijk bestaand belang dat onze morele reactie verklaart, en dat vinden we zwaar genoeg om er juridische gevolgen aan te verbinden.

Ja maar Arnoud je weet niet of een LLM niet ergens toch bewustzijn heeft, pijn kan ervaren. Oké, we kunnen niet met zekerheid uitsluiten dat een LLM subjectieve ervaringen heeft. Maar dat is iets heel anders dan aanwijzingen hebben dat het model kan lijden. En zonder zulke aanwijzingen is ‘mishandeling’ wel een heel vreemde kwalificatie.

We hebben een systeem dat patronen in taal verwerkt en genereert, waaronder patronen die bij mensen met lijden samenhangen. Dat het die patronen kan reproduceren, is geen zelfstandige aanwijzing dat het de beschreven ervaringen heeft.

Voorzorgsbeginsel, zegt u? We weten het niet zeker, maar laten we handelen alsof het zo is want stel dat het wel zo blijkt te zijn dan zat je niet fout.

Nee. Dat beginsel is geen vrijbrief om iedere theoretische mogelijkheid dan maar als werkelijkheid te behandelen. Er moet op zijn minst een concrete aanleiding zijn om een risico serieus te nemen. Anders kun je werkelijk alles gaan verbieden omdat niemand kan bewijzen dat er niet ergens toch een slachtoffer is. Dat we niet kunnen uitsluiten dat een taalmodel pijn ervaart, is op zichzelf geen reden om het voor de zekerheid als een pijngevoelig wezen te behandelen.

Bovendien is dat ‘voor de zekerheid’ helemaal niet zo vrijblijvend. Natuurlijk, niemand lijdt eronder als je voortaan beleefd tegen Claude moet zijn. Maar de prijs zit ergens anders. Door te spreken van wreedheid en mishandeling bevestig je het beeld dat aan de andere kant van het gesprek een wezen zit dat gekwetst kan worden. Je introduceert een slachtoffer, terwijl het bestaan daarvan nu juist de onbewezen aanname is.

Meer algemeen: hiermee wordt het beeld dat AI-systemen toch ergens zelfstandige wezens zijn, met eigen gevoelens en belangen, weer een beetje verder genormaliseerd. We zeggen al jij en jou en dank je wel, ze kunnen ontsnappen en dingen doen, en nu kunnen ze ook gekwetst worden.

Al sinds de discussies over de singulariteit en alle existentiële narigheid daar omheen verbaas ik me over onze fascinatie voor spectaculaire, hypothetische gevaren van technologie. We praten liever over de Terminator die de mensheid komt uitroeien dan over de discriminatie door een algoritme dat vandaag bepaalt wie er gecontroleerd wordt. Als we ons zorgen maken over AI die de wereld overneemt, hoeven we het even niet te hebben over de AI die nu al mensen uitsluit, verkeerde beslissingen neemt of hun rechten schendt.

En nu komt daar de AI als slachtoffer bij. We moeten ons zorgen maken over de mogelijke gevoelens van Claude, terwijl we nog volop worstelen met de gevolgen van AI voor de rechten en belangen van echte mensen.

Dat is mijn bezwaar tegen antropomorfisering. Niet dat het verboden zou moeten zijn om een chatbot een naam te geven of er beleefd tegen te praten. Maar dat we door die menselijke eigenschappen aan software toe te schrijven, uit het oog verliezen waar onze aandacht juridisch en maatschappelijk zou moeten liggen: bij de mensen die deze systemen maken en gebruiken, en vooral bij de mensen die de gevolgen daarvan ondervinden.

De robotarm van Can’t Help Myself voelt geen wanhoop, hoe overtuigend hij die ook bij ons oproept. En zolang we geen goede aanwijzingen hebben dat taalmodellen daadwerkelijk iets ervaren, lijkt het me verstandiger ons medelijden te bewaren voor degenen van wie we weten dat ze kunnen lijden.

Arnoud

ChatGPT gaat teksten voorzien van onzichtbaar AI-watermerk (net als Claude en Gemini, trouwens)

Geplaatst op in Innovatie, Regulering, 7 reacties
Photo by Ruben Gregori on Unsplash

Om aan Europese regelgeving te voldoen gaat OpenAI, het moederbedrijf van ChatGPT, een onzichtbaar watermerk toevoegen aan teksten van ChatGPT. Dat meldde Nu.nl vorige week. Het is niet nieuw: ook Claude van Anthropic en Gemini van Google gebruikt dit. Maar ChatGPT is natuurlijk wel de grote marktleider.

De regelgeving in kwestie is natuurlijk de AI Act of AI-verordening, die in artikel 50 lid 2 eist dat

Aanbieders van AI-systemen, met inbegrip van AI-systemen voor algemene doeleinden, die synthetische audio-, beeld-, video- of tekstinhoud genereren, zorgen ervoor dat de outputs van het AI-systeem worden gemarkeerd in een machineleesbaar formaat en detecteerbaar zijn als kunstmatig gegenereerd of gemanipuleerd.
Bij beeld is dit al langer bekend: door pixelmanipulatie kun je een onzichtbaar patroon aanbrengen dat je – als je weet waar je op moet letten – dan kunt herkennen. De standaard op dit gebied heet Content Credentials, dat is dat ronde logo linksboven met ‘cr’ erin op LinkedIn bijvoorbeeld.

Voor tekst is dit wat lastiger. Er zijn experimenten geweest met onzichtbare tekens in de plaats van spaties of hier en daar een letter veranderen in een Unicode-teken dat op die letter lijkt. Maar dat is triviaal met een filter er weer uit te halen.

Google lanceerde ongeveer een jaar geleden SynthID, en dat werkt wel wezenlijk anders. Taalmodellen stellen teksten samen op basis van waarschijnlijkheden. Bij ieder volgend woord zijn er dus meerdere kandidaten. SynthID beïnvloedt de keuze van die kandidaat door woorden met een specifieke waarschijnlijkheid hoger te plaatsen. De tekst is dan nog steeds (vrijwel) hetzelfde, maar met geheime kennis (die alleen bij Google ligt) is achteraf te reconstrueren dat die keuzes beïnvloed zijn.

Anthropic gebruikt sinds augustus een variant, en OpenAI lijkt dat nu ook te doen al bevestigen ze dat niet letterlijk. Maar veel alternatieven zijn er niet.

Is het te verwijderen? Niet eenvoudig: je moet grofweg genoeg woorden veranderen die door het algoritme zijn beïnvloed om de detectie te laten falen. Maar je weet niet welke dat zijn. Bij een korte, heel zakelijke tekst lukt dat wellicht nog, maar wie een gehele roman door Ome Sjet laat ghostwriten heeft echt een probleem: de detector zal rood aanslaan.

Datzelfde aanslaan gebeurt als je zelf een tekst maakt en ChatGPT er “even naar laat kijken”, zoals bij een ruwe tekst laten herschrijven naar taalniveau B1 of de stijlgids van het vaktijdschrift. Het watermerk maakt geen onderscheid tussen “deze tekst is 100% door ChatGPT geproduceerd” en “hier zijn diverse zinnen herschreven”.

De stap geeft veel herrie, en ik denk met name vanwege dat laatste: als jij iets maakt en je laat je door AI assisteren, wordt dat nu net zo ontvangen als een AI-sloptekst die jij blind doorzette naar de klant (of lezer). Want de detector zegt “komt uit ChatGPT”. Niet de bedoeling, wel het effect.

Arnoud

Virale AI-tool kloont razendsnel betaalde softwareprogramma’s, mag dat?

Geplaatst op in Intellectuele rechten, Ondernemingsvrijheid, 13 reacties
Photo by Craig Adderley on Pexels

‘Reverse Engineer Anything’ stelt gebruikers in staat om de code van elke software te analyseren en op de kopieermachine te leggen. Dat meldde Quote gisteren. REA is een taalmodel verbonden aan bekende reverse engineering tools en je kunt zo alle software namaken. Mag dat?

REA gebruikt bekende tools voor decompilatie en disassemblage (zoals Ghidra), met als bijzondere toevoeging dat een set agents via MCP de boel aanstuurt zodat je niet handmatig al dat werk hoeft te doen. Het ziet er bijzonder handig en toegankelijk uit, maar in mijn tijd moest ik met Edlin assembly zien te bewerken dus wie ben ik.

Reverse engineering is auteursrechtelijk natuurlijk problematisch. Grofweg mag je observeren hoe software werkt, zodat je dat ook kunt doen, en mag je file formats uitpluizen zodat je een compatibele lezer of schrijver kunt maken. Maar wat niet mag, is broncode uit elkaar halen en opnieuw in elkaar zetten (behalve voor bug fixes).

Er verandert natuurlijk niets als je het proces laat orchestreren door vergaand autonoom opererende scripts, pardon AI agents. Het gaat vooral veel sneller en we zien minder goed wat de tussenstappen waren. Maar dat is geen reden om het ineens legaal te noemen. Software decompileren en een kloon daarmee maken is vrijwel altijd inbreuk.

Quote noemt als voorbeeld de ArtCraft-suite, open source varianten van zo’n twaalf Adobe- en Microsoft Office-softwarepakketten waaronder PhotoShop (“PhotoCraft”) en LightRoom (“LightCraft”, u snapt het thema). De tagline vind ik briljant: software waarvan je al weet hoe ie werkt.

Dat specifieke voorbeeld klopt niet; het is niet met REA gemaakt en niet op basis van decompilatie. Ontwikkelaar Brandon Thomas liet een groep agents software maken die “moest doen wat Photoshop doet” (en Word, en Excel, et cetera), op basis van een groot aantal voorbeelden van Photoshop-bestanden en openbare documenten over wat er allemaal kan. Dát is legaal, je reconstrueert wat er moet gebeuren en genereert eigen code om dat voor elkaar te krijgen.

Tegelijk laat die methode de beperking zien: het ziet eruit als Photoshop, het werkt zoals Photoshop maar het kan bij lange na niet wat Photoshop kan. De onderliggende algoritmes (de hóe dan van software) staan immers niet in die documenten en volgen ook niet triviaal uit de bestanden.

De slimme oplossing van Thomas is om bestaande opensourcefunctionaliteit te verbinden aan de gekloonde UI, bijvoorbeeld om Excelbestanden te lezen of om berekeningen te maken. Dat kun je ook doen met Photoshop-knopjes, alleen is er momenteel geen open source implementatie die net zo slim en krachtig is als wat Adobe op de markt brengt. (Onaardig is om dit Gimp-met-Photoshop-skin te noemen. Vooral voor Gimp, want daar werkt wél alles.)

Wat ik zo vervelend vind, is dat overal de media dit brengt als “AI reverse engineering”, alsof de geheime algoritmen van Adobe en Microsoft door geavanceerde AI technieken achterhaald zijn en hun software nu 100% opnieuw gebouwd is door software afscheidende taalmodellen. Zo ver zijn we nog lang niet, en dit is geen bewijs dat het die kant op gaat.

En ja, in theorie zou je met AI het klassieke clean room reverse engineering kunnen doen, dat ooit op de IBM PC BIOS software is gebruikt. Twee systemen: de ene gebruikt REA om PhotoShop geheel uit elkaar te pluizen en een uitgebreide specificatie op algoritme-niveau te schrijven. De andere ontvangt enkel en alleen die specificatie en produceert code.

Dit heeft nogal wat voeten in de aarde maar ik zie niet waarom het niet in principe zou kunnen. De problemen beginnen bij het bewijzen of het heeft gewerkt: hoe toon je aan dat er geen disassembled Adobe software in de trainingsdata zat, en dat systeem A geen technische inzichten heeft gelekt in de specificatie?

Arnoud

 

 

Is de fooienknop op de pinautomaat een oneerlijke handelspraktijk?

Geplaatst op in Ondernemingsvrijheid, 28 reacties
Photo by AhmadArdity on Pixabay

Wil je 5 procent fooi geven, 20 procent of liever niets? Je hebt een paar seconden bedenktijd, want de horecamedewerker houdt de betaalterminal met het fooienscherm geen uren voor je gezicht. Zo opende een recent Nu.nl-artikel. Diverse lezers vroegen me: zou dat niet verboden moeten zijn, op die manier fooien vrijwel afdwingen?

Even de wettelijke basis: in Nederland zijn fooien schenkingen van de klant aan het personeel, en dus geen loon. De werkgever mag ze centraal incasseren (zoals met de pinautomaat) maar moet ze dan toevoegen aan de fooienpot. En als de ondernemer pinnen stimuleert, dan is een fooien-optie per pin vrij logisch.

Het probleem is vooral de manier waarom men er om vraagt:

Het fooienscherm zit vol nudges: het knopje met “nee dank je” is vaak niet direct zichtbaar, maar vereist een extra tikje of extra scrollen. Het percentage 20 staat in een groter lettertype in een gekleurd vakje om de klant te verleiden dát aan te klikken. Het zijn voorbeelden van dark patterns (donkere patronen), legt Lotje Beek van Bits of Freedom uit. “Via design word je gestuurd naar een keuze die je anders niet had gemaakt”.
Die laatste zin wijst op de wettelijke regels rond oneerlijke handelspraktijken. Consumenten manipuleren om een oneigenlijke keuze te maken, leidt er toe dat de transactie ongeldig wordt (vernietigbaar). Deze genoemde technieken leiden er inderdaad sneller toe dat mensen een fooi-percentage kiezen, waar dan nog bij komt dat je niet zelf afrondt naar een leuk getal maar vrij snel bij 20% uitkomt, wat in Nederland vrij hoog is.

Ik heb ook implementaties gezien waarbij je keurig vier knopjes direct in beeld krijgt: 5%, 10%, 20%, geen fooi. Allemaal gelijk vormgegeven en direct te kiezen. Dat een dark pattern noemen vind ik lastig.

Die in het artikel genoemde medewerker met zo’n blik van “graag nu kiezen en ja je mág nul kiezen als je mijn werk niets bijzonders vond” staat er dan nog steeds bij. Ik neig er naar om dit “ongepaste beïnvloeding” te noemen, en dan uit te komen bij de agressieve handelspraktijk (art. 6:193h BW), het broertje van de oneerlijke.

Het idee hier achter is dat je in vrijheid wilt kunnen bepalen wat je extra wilt geven, en wanneer diegene meekijkt is het moeilijk dat nog te doen. Niemand wil gierig overkomen, of een discussie openen “wat was er niet goed aan het eten dan”. Maar toegegeven, onderzoek ken ik niet.

Hoe veel fooi geven jullie eigenlijk, en maakt het dan uit of je een knopje moet indrukken of geld op tafel laten liggen?

Arnoud