Categorie: Innovatie

Anthropic heeft Claude Mythos 5 en spin-off Fable 5 wereldwijd offline gehaald vanwege een blokkade door de Amerikaanse overheid. Dat meldde Tweakers zaterdag. Zo voelen we eens een keer met z’n allen wat dat nou is, afhankelijk zijn van de nukken van een buitenlandse regering.

In een verklaring legt het AI-bedrijf uit:

The letter did not provide specific details of its national security concern. Our understanding is that the government believes it has become aware of a method of bypassing, or “jailbreaking” Fable 5. We reviewed a demonstration of this specific technique being used to identify a small number of previously known, minor vulnerabilities. These vulnerabilities all appear relatively simple, and we have found that other publicly-available models are able to discover them as well without requiring a bypass.

Het eerder zwaar gehypete model Mythos zou zó krachtig zijn dat het iedereen de moeder kon hacken, en daarom werd het in afgezwakte versie op de markt gebracht als het model Fable. (Een fabel is dus een mythe met vangrails.) Slechts een zeer beperkt groepje organisaties mocht echt met Mythos werken.

De CEO van Amazon – investeerder in Anthropic – liet vrijdagavond echter de minister van financiën Scott Bessent zo hard schrikken dat er meteen een exportrestrictie op Mythos en Fable werd gezet. Of iets formeler: Amazon, als defensie-toeleverancier, handelde onder haar wettelijke plicht om mogelijke risico’s voor de nationale veiligheid te melden bij de autoriteiten.

Waarom precies is niet duidelijk, net zo min als waar die restrictie juridisch op gebaseerd is. Vermoedelijk gaat het om de U.S. Export Administration Regulations (EAR, 15 CFR § 772.1), omdat het van de Commerce Secretary Howard Lutnick afkomstig is en die daarover gaat. Deze wet biedt daarbij ook de mogelijkheid om te verbieden dat buitenlanders in de VS toegang krijgen tot de technologie. En ja, dat raakt dus ook de werknemers van Anthropic zelf.

Omdat uitsluiten van toegang op nationaliteit niet 100% effectief is, heeft Anthropic er voor gekozen om de modellen geheel offline te halen. Dat geeft toevalligerwijs ook de meeste reuring, want reken maar dat iedereen dit model wil hebben als het straks weer online komt.

Voor mij is het mooie aan dit incident vooral dat het nu brééd invoelbaar is, die afhankelijkheid van US Big Tech. Het bleef altijd zo abstract. Meneer Breton mag de VS niet in. Diverse ambtenaren hun mailadres ligt bij het Amerikaanse Congres. Iemand zijn Onedrive werd geblokkeerd zonder reden. De ICC aanklager kan niet meer in Office. Het is allemaal net te ver weg. Dus ik hoop dat het een accelerator is in de discussie.

Arnoud

De Europese Unie wil strengere regels invoeren voor grote digitale contracten van overheden, las ik bij Nu.nl. De aangekondigde Cloud and AI Development Act is het langverwachte antwoord op de hegemonie van US Big Tech, en deel van een breder pakket aan soevereiniteitsbevorderende maatregelen. Uitpakken maar.

De CADA, zoals het 129 pagina’s tellende ding afgekort moet worden, is een voorstel voor een Verordening (Europese wet) die primair adoptie en investeringen in AI moet versnellen en versterken. Het staat dan ook vol opdrachten om te investeren, te bouwen en te doen. En om hindernissen weg te spelen: vergunningen voor datacenters moeten binnen een jaar afgehandeld worden, bijvoorbeeld.

Het grote probleem is en blijft: US Big Tech is goedkoper en qua features ook een fors eind vooruit. Die zal dan ook snel winnen bij aanbestedingen, want je mag niet uitsluiten op vestigingsland. En omdat (op papier) de CLOUD Act geen gevaar is (want de VS is een AVG-adequaat land), is daar verder niets tegen te doen.

Het antwoord is nu een EU-breed assessment framework om de soevereiniteitsrisico’s van een dienst in te schatten. Er zijn vier niveaus, met oplopende eisen aan controle, datalokaliteit en operationele autonomie. Men lijkt inspiratie uit de niveaus 1-4 van het bestaande Cloud Sovereinty Framework te hebben gehaald, maar een aantal zaken is veranderd – zo is het vanaf niveau 2 verboden om klantdata te gebruiken voor training of fine-tuning van AI-systemen.

De soevereiniteitshaak zit in levels 3 en 4. Vanaf hier wordt hard vereist dat de dienstverlener niet onder “control” van een derde land of een in een derde land gevestigde entiteit staat (zoals gedefinieerd in de EDF-verordening 2021/697). Vanaf niveau 2 moet je een onafhankelijke auditverklaring overleggen om mee te mogen doen bij aanbestedingen van Unie-entiteiten of publieke-sectororganen. En bij bepaalde “openbare-orde” diensten is het verplicht dat je niveau 3 of 4 bent.

Naar de letter van de wet kan US Big Tech geen niveau 3 of 4-verklaring krijgen, omdat hun “control” uit een derde land komt. Ook als een in Europa gevestigde dochteronderneming de aanbieding doet. Maar er is een escape in artikel 18: de Commissie mag landen aanwijzen als “niveau 3 adequaat” als aan een aantal voorwaarden is voldaan:

• Het land is als adequaat aangewezen onder de AVG (en dat is de VS dus, totdat het DPF omvalt);
• Er bestaat geen wetgeving die in strijd is met de datatoegangsregels uit de Data Act (artikel 32), en hier zou de CLOUD Act dan tegenaan botsen;
• Er bestaat geen wetgeving, zoals sancties of embargos (OFAC/EAR), waarmee de provider gedwongen kan worden de dienst af te knijpen of te verstoren (wat mij de reden leek om de Solvinity-overname te verbieden);
• Er bestaat geen wetgeving die gebruik van de laatste technologie door de Europese klant te verbieden (herinnering aan de oude Amerikaanse crypto-exportregels waarbij “het buitenland” de zwakke versies kreeg);
• Europese clouddiensten mogen open en vrij in hún markt opereren, inclusief bij aanbestedingen.

 

Uiteraard is dit “maar een voorstel”, maar ik vind het een goede stap die overheden en grote organisaties zal dwingen tot een fundamentele verandering in hoe ze omgaan met ict-diensten. Cynisch als ik ben denk ik wel gelijk: niemand gaat iets doen tot deze wet er is, dan gaan ze klagen dat het zo moeilijk is, er komt twee jaar overgangsrecht en daarna gaan mensen wéér klagen dat ze meer tijd nodig hebben.

Arnoud

‘Mijn naam is Jess, en dit is de compleet nieuwe Kids Top 20’! Maar er is iets geks mee: presentatrice Jess bestaat helemaal niet! Aldus het Jeugdjournaal. Raar verhaal. Maar op dit moment inderdaad niet wettelijk verboden.

Voor wie het niet weet: de Kids Top 20 was een Nederlands muziekprogramma voor kinderen tussen 6 en 12 jaar, waarbij de hitlijst door stemmen van kinderen zelf tot stand kwam. Het programma was in Nederland van 2007 tot november 2025 op televisie, en werd toen wegbezuinigd.

Nu is er een doorstart via de website, en kennelijk was het alsnog te duur om dan iemand in te huren. Vandaar ‘Jess’, een inderdaad vrij snel als AI herkenbare simulatie. Het is toch maar voor de kinderen, die zien de hele dag al AI. Of zoiets. Ja, erger ik me aan.

Het werd nergens gemeld (het JJ zet er zelf keurig “Let op AI” bordjes overheen), en dat doet wel raar aan. Maar op dit moment is er geen wettelijke regel die dat verplicht. Dat komt pas in augustus, als artikel 50 van de AI-verordening (AI Act) van kracht wordt. (De recent aangenomen Omnibus AI Act verandert hier niets aan.)

Wie deepfakes maakt met een AI-systeem, moet bij die content bekend maken “dat de content kunstmatig is gegenereerd of gemanipuleerd”. Dat is dus meer dan een watermerk (zoals bij gewone synthetische content), het moet er echt expliciet bij staan. Vanaf augustus moet de Kids Top 20 dat label dus apart voeren.

Om de kunst te beschermen, is er een iets zwakkere formulering bij deepfakes in een “kennelijk artistiek, creatief, satirisch, fictief of analoog werk of programma”, en ik kan niet ontkennen dat de Kids Top 20 daar onder valt. Voor dergelijke programma’s

zijn de transparantieverplichtingen van dit lid beperkt tot de openbaarmaking van het bestaan van dergelijke gegenereerde of bewerkte content op een passende wijze die de weergave of het genot van het werk niet belemmert.

Een kadertje of symbool in een hoek van het programma zou in dit geval wel passend zijn, lijkt me.

Een juridisch-technisch probleem is nog of dit wel een deepfake is, omdat ‘Jess’ niet bestaat. Moet een deepfake van iemand zijn? De AI Act zelf is daar niet duidelijk over. De in mei voorgestelde richtsnoeren van de AI Office hanteren een brede interpretatie waardoor ‘Jess’ wél een deepfake is:

[I]t is sufficient for simulated persons, objects, places, entities or events to resemble someone or something that can exist or could have existed in reality to be considered a deep fake.

‘Jess’ wordt voorgesteld als een werkelijk bestaand persoon, ze hád gewoon een acteur kunnen zijn. Als ze, en ik citeer,

[would] defy the laws of nature or physics or depict lifeforms that are not commonly accepted in biology

dan was het géén deepfake geweest.

Dus: óf ze krijgt vleugels, óf een AI waarschuwingslabel.

Arnoud

 

Drie advocaten hebben tot nu toe een waarschuwing gekregen omdat zij verkeerd gebruik hebben gemaakt van kunstmatige intelligentie zoals ChatGPT. Dat meldde de NOS zondag. “”Wat AI produceert, leest vaak heel logisch. Ook als het eigenlijk onzin is” zo citeert men de Orde van Advocaten, iets waar ik me volmondig bij aansluit.

Het probleem is bekend: steeds meer juristen grijpen naar grote taalmodellen zoals ChatGPT, Claude of Perplexity en gaan er van uit dat hun uitvoer klopt. Alleen zitten er met hetzelfde gemak fictieve ECLI’s tussen, of wel-bestaande zaken die alleen over iets anders gaan. Wel jammer, want het klonk zeer overtuigend én bevestigde het gelijk van de cliënt.

Achteraf is het natuurlijk makkelijk kritiek leveren: dat had je moeten checken. Maar, zoals ik in mijn recente publicatie in juridisch vakblad NJB laat zien, dat is niet zo eenvoudig als het klinkt.

Generatieve AI-tools produceren vloeiende, coherente en zelfverzekerde teksten die de taal en vorm van juridisch gezag imiteren en uitnodigen tot direct hergebruik. Deze schijn van deskundigheid wordt versterkt door de ‘automatiseringsbias’: de menselijke neiging om een computer sneller te geloven dan een mens, zeker wanneer de uitleg vlot geformuleerd is. Daar komt een geraffineerde vorm van vleierij bij: AI-modellen optimaliseren hun antwoorden vaak op de gebruiker, die de uitvoer vervolgens ziet als een objectieve bevestiging van zijn eigen gelijk.

Oftewel, het klinkt zeer overtuigend binnen de context waarin je opereert, en appeleert aan alle signalen die je normaal gebruikt om een deskundig jurist te herkennen. Het is dan buitengewoon makkelijk om mee te gaan in diens betoog.

Hiermee om leren gaan vereist meer dan vanaf de zijlijn “haha je moet je bronnen ook checken” gaan roepen. Zeker omdat iedereen om je heen roept dat juridische AI het gaat worden, dat ChatGPT beter is dan menig collega en cliënten vragen waarom het vier uur kostte terwijl Gemini ook een mooie tekst maakt in 3 minuten. AI geletterheid is een ding, zeg maar.

(Terzijde: ik vind het echt onverantwoord om uitvoer van de publieke AI-tools te gebruiken in discussies over juridische AI. Kijk hoe goed deze ChatGPT-dagvaarding is, wat knap dat Gemini nu een foutloze pleitnota kan opstellen of een sommatiebrief kan beantwoorden. Je had mazzel dat de tekst geen al te obvious fouten bevatte, meer niet.)

Toch is het goed dat de Orde zo zichtbaar optreedt. Het dwingt kantoren tot processen implementeren om verantwoord AI-teksten tot juridische producten te maken. En dat is uiteindelijk wat we nodig hebben.

Tot sancties bij de rechter heeft het in Nederland nog niet geleid. Dat kan ook eigenlijk niet; boetes wegens contempt of court zijn bij ons niet mogelijk. In een paar zaken is artikel 21 Wetboek van Burgerlijke Rechtsvordering erbij gehaald:

Partijen zijn verplicht de voor de beslissing van belang zijnde feiten volledig en naar waarheid aan te voeren. Wordt deze verplichting niet nageleefd, dan kan de rechter daaruit de gevolgtrekking maken die hij geraden acht.

Indienen van een hallucinant stuk AI-tekst kun je zien als schending van deze verplichting. Alleen, wat moet de rechter doen in zo’n geval? Je kunt er voor kiezen dat document opzij te leggen, maar zoals de rechtbank Rotterdam daarover opmerkt:

De kantonrechter is voorshands van oordeel dat met de onjuiste verwijzingen weliswaar artikel 21 Rv is geschonden, maar dat het passeren van alle verweren uit de conclusie van antwoord een te zware sanctie voor [gedaagde 1] zou zijn.

Uiteindelijk raak je met zo’n actie vooral de cliënt. Het optreden van de Orde is dan ook eigenlijk de enige juiste route. Of je volgt onze cursus voor advocaten.

Oh ja, en voor wie zich afvraagt wat je dan wél met ChatGPT en collega’s kunt doen als jurist: ChatGPT is geen bron maar een methodologie, en daarmee basta.

Arnoud

 

Het punt met het bestaan van AI-muziek is dat je kunt gaan twijfelen aan muziek. Die mooie zin vond ik in een analyse van Tweakers over hoe streamingdiensten omgaan met AI-muziek. Ik leerde onder meer dat ik vorig jaar Zo Zomer gemist heb, en dat onduidelijk is wat we precies met “AI muziek” bedoelen.

Om maar met dat laatste te beginnen: de meeste aandacht gaat naar AI-muziek die zich voordoet als van echte artiesten, en AI-muziek die het systeem manipuleert. Zoals bij “liedjes” van 32 seconden, net lang genoeg om te tellen als een play en geld te krijgen. Maar niemand zit te wachten op dergelijke muziek.

Geheel nieuwe, als zodanig gepositioneerde AI muziek is vrij nieuw – al had ik in ons The Future is Legal-congres in 2019 al muzikaal behang uit AI-generatoren. Maar toegegeven, daarmee schoof ik wel menselijke artiesten geld uit de mond want ik hád iemand in kunnen huren.

Zoals Tweakers het enigszins aangezet formuleert:

Met de stappen van Deezer en Spotify is er in elk geval bescherming voor menselijke artiesten en menselijke muziek. Als AI-muziek een ‘doorgaande artistieke provocatie wil zijn, ontworpen om de grenzen te verkennen van auteurschap, identiteit en de toekomst van muziek in het tijdperk van kunstmatige intelligentie’, moeten ze dat vooral doen zonder schade toe te brengen aan muziek die mensen hebben gemaakt.

Die quote komt uit de biografie van AI-band The Velvet Sundown, die in een paar maanden miljoenen streams via Spotify verwierf. Niemand wist wie er achter zat en wat er uit een menselijke keel of mensbediend instrument kwam.

Vanuit juridisch perspectief lijkt hier weinig mis mee, zolang je niet misleidt over werkelijke artiesten die mee zouden werken. De AI Act vereist wel een digitale markering (zoals Content Credentials bij afbeeldingen) en daar zouden platforms als Spotify op kunnen sturen.

Arnoud

 

 

“Tijdens de mondelinge behandeling is vastgesteld dat alle verwijzingen in de conclusie van antwoord naar uitspraken van de Hoge Raad onjuist zijn.” Voor het eerst dat ik dat lees in een Nederlands vonnis, en zoals de rechtbank dan zegt roept het vele vragen op.

Het vonnis betreft een handelsnaaminbreuk, en de verwijzingenkwestie komt pas als laatste terzijde aan de orde, want de zaak kon ook zonder gewoon worden opgelost. Maar toch, ik zou knap balen als dit over mijn conclusie van antwoord werd gezegd:

In de conclusie van antwoord heeft [de gedaagde partij] verwezen naar (vermeende) uitspraken van de Hoge Raad ten aanzien van het handelsnaamrecht, met vermelding van een (vermeend) ECLI-nummer. Geen enkele van de aangehaalde (vermeende) arresten heeft betrekking op het handelsnaamrecht. Sommige ECLI-nummers horen bij strafrechtelijke uitspraken, andere bestaan in het geheel niet.

Ik denk dan meteen “ah, ChatGPT gebruikt”. Want die tool – en zijn vriendjes Claude en Copilot – heeft er een handje van de mooiste uitspraken op te lepelen die precies het betoog ondersteunen.

Mét een ECLI, want dat hoort er bij. Maar of die ook feitelijk bestaan en ondersteunen wat er wordt gezegd, dat is een heel ander verhaal. Het is meer Keyzer en de Boer: het klínkt goed, maar voor de feiten moet je elders wezen.

De rechtbank trekt geen conclusie, want je kunt immers niet zeker weten of iemand zo’n tool gebruikt tenzij die dat erkent. De verklaring hier doet voor mij als ict-er wat ongemakkelijk aan:

Desgevraagd heeft (de advocaat van) [de gedaagde partij] verklaard dat dit alles is veroorzaakt door een probleem bij het converteren van een word-bestand naar pdf. Deze verklaring roept vragen op.

Nou weet ik dat pdf-bestanden rare ondingen zijn, maar dat ze ECLI-nummers verbouwen heb ik nog niet gezien. Links die wegvallen, tekst die niet meer selecteerbaar is, tekst die na het plakken Unicode-prut wordt – zeker. Maar dit? Ik geloof het gewoon niet.

Arnoud

 

Het was me even ontgaan, maar in januari wees de HR een arrest over de vele no cure no pay claimbureaus. Deze zijn er rond diverse wetten, waarbij de Woz- en bpm-bezwaren denk ik de bekendste zijn. Ze drijven de proceskosten fors op, omdat ze daar een percentage van verdienen. Dat arrest was een forse aderlating, en ik ben een beetje bang dat de volgende stap een massale ChatGPT-inzet gaat zijn.

Per 1 januari 2024 zijn beperkingen in de proceskostenvergoedingen ingevoerd in zaken over de Wet waardering onroerende zaken (WOZ) en de belasting van personenauto’s en motorrijwielen (bpm). Dit ter bestrijding van no cure no pay kantoren die hier bezwaren tegen aandragen. De Hoge Raad definieert ze zo:

een beroepsmatig optredende gemachtigde, dan wel een kantoor, waarvan het bedrijfsmodel eruit bestaat dat

(i) wordt opgetreden op basis van no cure no pay,

(ii) daarbij zodanige afspraken met de cliënten worden gemaakt dat het bedrag van eventuele proceskostenvergoedingen aan de gemachtigde of aan het kantoor wordt afgedragen, en

(iii) de procedures op een zodanige wijze worden gevoerd dat de daarin toegekende proceskostenvergoedingen de in redelijkheid gemaakte kosten ver overtreffen.

Met name dat laatste steekt natuurlijk: dat gaat niet meer over het werkelijke geschil, maar is een manier om de inkomens van dat kantoor te vergroten. Zij krijgen immers die vergoeding, de cliënt krijgt enkel de hoofdsom (of een brief met een hogere dan wel lagere Woz).

Een ander bezwaar staat in de conclusie P-G:

Uit het onderzoek, dat gepubliceerd is op onze site, komt naar voren dat in 2022 (waardepeildatum 1 januari 2021) gemiddeld 27 % van de bezwaren tegen de WOZ-waarde van een woning op basis van no cure no pay zijn gehonoreerd. Van de overige bezwaren is in dat jaar 45 % gehonoreerd.

Oftewel, je krijgt meer kansloze zaken én ze drijven de proceskosten nodeloos op. Vandaar dat de vergoedingen bij Woz en bpm nu fors omlaag zijn gezet tot 0,25 of 0,1 keer de gewone.

Hoe herken je zo’n bureau? Deze vond ik een aardige:

Aanwijzingen dat dit laatste het geval is, kunnen bijvoorbeeld worden gevonden in de omstandigheid dat vaak geheel of ten dele gebruik wordt gemaakt van gestandaardiseerde tekstblokken die niet zijn toegespitst op de desbetreffende zaak.

Het moet immers zo goedkoop mogelijk, dus één bezwaarschrifttekst met wat puntjepuntje tekstvlakken en hier en daar een “weghalen tenzij” aanwijzing is dan een simpele invulling. Naar zijn aard zijn die teksten generiek.

Dit is belangrijk, want de HR merkt ook op dat als je niét met zo’n bureau werkt, je wél gewoon recht hebt op de normale proceskostenvergoeding. Ik geloof dus onmiddellijk dat die bureaus hard aan het nadenken zijn hoe ze zichzelf kunnen verstoppen.

Hoe krijg je met minimale meerkosten een bezwaarbrief die op de zaak is toegespitst én niet leest als een standaardtekst waar hier en daar een puntjepuntje is ingevuld? Precies, met zo’n groot taalmodel en een leuke prompt. En dat is lastig, want er zullen ook genoeg burgers handig genoeg zijn om dit zelf uit te vogelen, dus hoe maak je dan nog het onderscheid?

Arnoud