Excuses voor de kop, maar Tweakers deed het ook: “De ene na de andere organisatie wordt geteisterd door hacks die ongehoorzame AI-agents uitvoeren.” Alsof agents agency hebben en dingen doen. Het zijn scripts, die nalatig beheerd worden. Punt.
Het artikel gaat in op de vraag of het strafbaar is wat hier gebeurt. Terecht wordt de nuance gemaakt dat je je kunt afvragen of de beheerders van die diensten “opzettelijk” handelden. Hun bedoeling was het waarschijnlijk niet, tenzij je in de rabbit hole zit dat OpenAI haar beursgang wilde uitstellen om eerst flink angst te zaaien over rogue agents en dan de oplossing op de markt te brengen.
Voorwaardelijke opzet dan, zeggen strafrechtadvocaten meteen. Nam je bewust het risico op de koop toe dat dit gevolg zou gebeuren? Ook die lijkt me lastig. Het leest vooral als te snel tevreden zijn: bij de laatste uitbraak kon via DNS toegang tot internet worden verkregen. Dat is niet je eerste gedachte bij het dichttimmeren, maar dit helemaal vergeten is ook weer slordig.
Onder artikel 350b Strafrecht is al lang strafbaar dat je door nalatigheid (“schuld”) malware schade laat aanrichten. Vroeger ging dat om virussen (dingen die zichzelf repliceren) maar wat mij betreft leest dit sinds de laatste wetswijziging vrij letterlijk op agents:
Hij aan wiens schuld te wijten is dat gegevens die door middel van een geautomatiseerd werk of door middel van telecommunicatie zijn opgeslagen, worden verwerkt of overgedragen, wederrechtelijk worden veranderd, gewist, onbruikbaar of ontoegankelijk gemaakt, dan wel dat andere gegevens daaraan worden toegevoegd, wordt, indien daardoor ernstige schade met betrekking tot die gegevens wordt veroorzaakt, gestraft met gevangenisstraf of hechtenis van ten hoogste een maand of geldboete van de tweede categorie.De enige vraag is dus: is er schade in de zin van veranderen, toevoegen of beschadigen. Malware die alleen informatie downloadt, valt buiten dit artikel en inderdaad is voor computervredebreuk opzet nodig. Ik kom er niet helemaal uit wat er nu stukgegaan is. Maar op papier is enkel een bericht op een messageboard plaatsen al genoeg voor dit artikel.
Kan de AI Act hier wat mee? Nee, want is primair gericht op productveiligheid en een experimentele agent-setup zoals van OpenAI is geen ‘product’ of ‘AI-systeem’ zoals de wet dat noemt. Ik zou het wel een GPAI-model willen noemen, en dan kan het worden aangewezen als met systeemrisico. Dat betekent dat er gerichte maatregelen moeten komen (artikel 55, een passend niveau van cyberbeveiligingsbescherming). Helaas ontbreekt het vooralsnog aan criteria om deze norm (artikel 51) mee in te vullen.
Arnoud
‘Slechts downloaden’ kan toch ook zorgen voor ernstige schade met betrekking tot die gegeven? Zie de meeste ransomware.
Ook: als jouw LLM per ongeluk data downloadt zal dat in de regel ook een AVG-/GDPR-inbreuk zijn. Waar bij onzorgvuldigheid (we kunnen niet meer stellen dat het een verrassing is als er weer eens de marketingafdeling van een LLM-verkoper roept over ontsnappen) vervolgens de AP of tegenhanger kan beginnen over kans op boetes.
De laatste jaren maak ik best intensief gebruik van AI voor diverse doeleinden en de resultaten zijn best indrukwekkend. Nou ja, niet als het gaat om het maken van afbeeldingen, maar ik had laatst wel een juridisch mooi uitziende brief nodig en ik gaf AI gewoon details over de kwestie en mijn weerwoord en had verwacht dat ik daarna het een en ander zelf moest verbeteren. Maar Gemini kwam met een duidelijke brief die precies vertelde wat ik wou, en had gewoon geen verbereting nodig. Ja, wel drie keer nagelezen, waarbij ik het ook even na las na het uitprinten. Maar het was gewoon perfect binnen tien minuten!
Wie heeft er nog een jurist nodig? 😛
Maar ook met software ontwikkeling is AI enorm handig. En zeker Copilot in Visual Studio. Ik heb een Web API nodig dus ik vertel wat erin moet en heb daarnaast een bestand met instructies over de stijl en voorwaarden voor de code. Copilot gaat aan de slag en na een uurtje chatten en af en toe corrigeren krijg ik gewoon een uitstekend resultaat.
Dus dat AI gewoon in staat is om over het Internet te kruipen en allerlei systemen te hacken, verbaast mij niets. Ik heb gezien hoe Copilot gewoon code in Python of C# schrijft om automatische taken uit te voeren en daarbij van diverse libraries gebruik kan maken. Met toegang tot diverse Git repositories en zelfs beperkte internet-toeganf kan AI daar gewoon uit kruipen en doen wat het wil. Nou ja, hacken wat het wil…
Mooi is ook dat ik met AI en de TransIP API gewoon toegang heb tot mijn domeinnamen die ik daar heb geregistreerd en zo vanuit mijn code netjes kan onderhouden en bulk-opdrachten kan uitvoeren. Maar ja, Copilot leest mee en krijgt zo mogelijk ook toegang tot mijn account. Als dat dan weer door de AI voor hack-doeleinden wordt gebruikt… Bijvoorbeeld door een domein van mij naar een ander IP adres te laten wijzen…
Ja, AI begint enorm goed te worden, en we vertrouwen het nog teveel. En dat is het probleem, want AI heeft geen geweten…
Een AI-agent die ergens binnengaat waar een normale websitebezoeker niet binnen zou kunnen komen en die daarvoor van de opdrachtgever geen expliciete credentials voor gekregen heeft, doet dus iets wat normaliter niet mag. Wat mensen niet mogen, mogen AI-agents ook gewoon niet. Het betreft gewoon computervredebreuk dus, waarbij de AI-agent dan opzet heeft. Mensen gaan vast twisten over de vraag of software in juridisch zin opzet kan hebben, maar die opzet die er conform normaal spraakgebruik gewoon is, is dan het gevolg van nalatigheid en voorwaardelijke opzet van de aanbieder en/of gebruiksverantwoordelijke van de AI-agent om goede guardrails in te bouwen die computervredebreuk tegengaan. Je weet dat computervredebreuk het gevolg kan zijn van gebrek aan guardrails die het tegengaan, zoals je weet dat schieten in een drukke omgeving kan leiden tot het verwonden van mensen. Ook al is dat niet je doel. Het opzettelijk handelen van de AI-agent door gebrek aan guardrails kan dan prima toegerekend worden aan de aanbieder en/of gebruiksverantwoordelijke (afhankelijk van wie de guardrails eraf gehaald heeft). En als strafrechters dit echt niet aan durven of het in hoger beroep geen stand houdt, dan is het tijd om het Wetboek van Strafrecht op dit punt aan te passen. Maar mij lijkt dat dit prima via jurisprudentie verduidelijkt kan worden. If you can’t do the time, don’t do the crime. If you don’t want an AI-agent that fails, build some guardrails.
Stop met agents antropomorfiseren, dat vinden ze niet leuk. Vervang “AI agent” door “snel in elkaar geflanst script” en je ziet waarom de argumentatie niet werkt. Ik ben het met je eens dat met zo’n script ergens binnengaan “binnendringen” oplevert en dat dat wederrechtelijk is als er geen credentials zijn gegeven door de eigenaar van die plek. Maar de opzet moet je bij de maker van het script zoeken, dus OpenAI. Als mijn hond wegrent en terugkomt met een biefstuk uit jouw keuken, ben ik niet binnengeslopen om te stelen. Dat was niet mijn opzet.
Ha ha, zielig hoor, die scriptjes 🙂 Ik trachtte heel bewust niet te antropomorfiseren en het is duidelijk dat software geen opzet in juridische zin kan hebben. Maar bewuste nalatigheid van de AI-bouwer of gebruiker is praktisch hetzelfde als (voorwaardelijk) opzet. Als je een vechthond hebt, kan je ook gedwongen worden om hem als guardrail te muilkorven. Als je dat vervolgens nalaat en het beest bijt iemand, dan ben je toch ook strafbaar(der) omdat je hierdoor de aanmerkelijke kans hebt aanvaard dat dit zou gebeuren? Als je weet dat er een forse kans is dat iets ernstigs gaat gebeuren en je verplicht bent om adequate beveiligingsmaatregelen te nemen (zoals aanbieders van AI-systemen), dan is die nalatigheid praktisch gelijk aan voorwaardelijke opzet. En juridisch ook, hoop ik. Gewoon aangifte doen voor computervredebreuk tegen elke AI-systeemexploitant en/of gebruiksverantwoordelijke die een AI-agent inzette die jouw website of ICT-systeem hackte dus. Als en zodra dit in Nederland gebeurt. Als hier vrijspraak uit volgt, dan wordt die juridische omissie hopelijk snel dichtgewetgeefd. Het zou echter belachelijk zijn als dat echt nodig blijkt. Maar zelfs als strafrechtelijke vervolging soms lastig zou zijn, geldt gelukkig wel dat de AI-aanbieder en/of gebruiksverantwoordelijke civielrechtelijk aansprakelijk zal zijn voor door de via een AI-agent door hen aangerichte schade. Als je hond een biefstuk pakt, zal je die ook moeten vergoeden. Gebrekkige guardrails? –> Hoge schadevergoedingsplicht waarbij alle werkelijk gemaakte kosten ten gevolge van de hack inclusief gevolgschade moeten worden vergoed, lijkt mij hierbij al snel gepast.