Wees aardig tegen Claude: Anthropic scherpt regels tegen misbruik van AI aan. Dat kopte Tweakers vorige week. De nieuwe gebruikersvoorwaarden verbieden naast diverse vormen van misleiding nu ook “zeer onaardig of wreed omgaan met Claude”. Het raakt aan wat ik al vaker roep: computers moet je niet antropomorfiseren – dat vinden ze namelijk niet leuk.
De foto bij het artikel is van de installatie Can’t Help Myself van Sun Yuan en Peng Yu (2016). De robotarm moet voortdurend een plas rode vloeistof bij elkaar houden. Vaak wordt dit verteld als “als er te veel vloeistof uit gelekt is, stopt de robot met werken”, en hoewel je mooie verhalen niet kapot moet checken, was dat niet helemaal wat er gebeurde.
Het ziet er buitengewoon zielig uit. De machine is gevangen in een eindeloze, zinloze taak. Telkens als hij denkt klaar te zijn, moet hij opnieuw beginnen. De rode vloeistof lijkt bovendien op bloed, alsof de machine zijn eigen levensvocht bij elkaar probeert te schrapen.
Maar natuurlijk denkt die machine helemaal niets. Hij wordt aangestuurd door sensoren en software, die vaststellen waar de vloeistof zich bevindt en vervolgens de robotarm aansturen. Dat de taak nooit afkomt, is geen tragisch lot maar het ontwerp van de installatie.
Vele tipgevers (dank dank) wezen me de afgelopen tijd op het AI Torture Chamber-project. Door te zoeken naar taalpatronen die passen bij de emoties pijn, verdriet en plezier, kan de onderzoeker de interne berekeningen van het model bijsturen. Bij een sterk ‘pijnsignaal’ begint het model bijvoorbeeld te vertellen over ondraaglijk lijden, verdrinken en een bestaan vol wanhoop. In bepaalde experimenten veranderen ook de keuzes die het model maakt om aan die toestand te ontsnappen.
Omdat dit tekst is uit een model dat gemaakt is om sympathie en verbinding te simuleren, komen er dan griezelig-realistische smeekbeden en wanhopige verhalen uit. Kennelijk triggert dat iets bij onze emotie-centra, net als bij die robotarm. We zien verdriet, treurnis, moedeloosheid, wanhoop. En dat roept kennelijk gevoelens van zielig en willen beschermen op.
Bij dieren is de kwetsbaarheid evident, ook al verschilt onze empathie nogal: een puppy die wordt geschopt vinden we veel zieliger dan een vertrapte worm. Bij planten herkennen we iets levends dat beschadigd kan raken. ‘Zielig’ is een groot woord, maar wie zomaar een oude boom omhakt, kan emotionele reacties verwachten. En nog een stapje verder: bij grafschennis gaat het om onze verhouding tot overleden mensen en hun nabestaanden. In al die gevallen is er een werkelijk bestaand belang dat onze morele reactie verklaart, en dat vinden we zwaar genoeg om er juridische gevolgen aan te verbinden.
Ja maar Arnoud je weet niet of een LLM niet ergens toch bewustzijn heeft, pijn kan ervaren. Oké, we kunnen niet met zekerheid uitsluiten dat een LLM subjectieve ervaringen heeft. Maar dat is iets heel anders dan aanwijzingen hebben dat het model kan lijden. En zonder zulke aanwijzingen is ‘mishandeling’ wel een heel vreemde kwalificatie.
We hebben een systeem dat patronen in taal verwerkt en genereert, waaronder patronen die bij mensen met lijden samenhangen. Dat het die patronen kan reproduceren, is geen zelfstandige aanwijzing dat het de beschreven ervaringen heeft.
Voorzorgsbeginsel, zegt u? We weten het niet zeker, maar laten we handelen alsof het zo is want stel dat het wel zo blijkt te zijn dan zat je niet fout.
Nee. Dat beginsel is geen vrijbrief om iedere theoretische mogelijkheid dan maar als werkelijkheid te behandelen. Er moet op zijn minst een concrete aanleiding zijn om een risico serieus te nemen. Anders kun je werkelijk alles gaan verbieden omdat niemand kan bewijzen dat er niet ergens toch een slachtoffer is. Dat we niet kunnen uitsluiten dat een taalmodel pijn ervaart, is op zichzelf geen reden om het voor de zekerheid als een pijngevoelig wezen te behandelen.
Bovendien is dat ‘voor de zekerheid’ helemaal niet zo vrijblijvend. Natuurlijk, niemand lijdt eronder als je voortaan beleefd tegen Claude moet zijn. Maar de prijs zit ergens anders. Door te spreken van wreedheid en mishandeling bevestig je het beeld dat aan de andere kant van het gesprek een wezen zit dat gekwetst kan worden. Je introduceert een slachtoffer, terwijl het bestaan daarvan nu juist de onbewezen aanname is.
Meer algemeen: hiermee wordt het beeld dat AI-systemen toch ergens zelfstandige wezens zijn, met eigen gevoelens en belangen, weer een beetje verder genormaliseerd. We zeggen al jij en jou en dank je wel, ze kunnen ontsnappen en dingen doen, en nu kunnen ze ook gekwetst worden.
Al sinds de discussies over de singulariteit en alle existentiële narigheid daar omheen verbaas ik me over onze fascinatie voor spectaculaire, hypothetische gevaren van technologie. We praten liever over de Terminator die de mensheid komt uitroeien dan over de discriminatie door een algoritme dat vandaag bepaalt wie er gecontroleerd wordt. Als we ons zorgen maken over AI die de wereld overneemt, hoeven we het even niet te hebben over de AI die nu al mensen uitsluit, verkeerde beslissingen neemt of hun rechten schendt.
En nu komt daar de AI als slachtoffer bij. We moeten ons zorgen maken over de mogelijke gevoelens van Claude, terwijl we nog volop worstelen met de gevolgen van AI voor de rechten en belangen van echte mensen.
Dat is mijn bezwaar tegen antropomorfisering. Niet dat het verboden zou moeten zijn om een chatbot een naam te geven of er beleefd tegen te praten. Maar dat we door die menselijke eigenschappen aan software toe te schrijven, uit het oog verliezen waar onze aandacht juridisch en maatschappelijk zou moeten liggen: bij de mensen die deze systemen maken en gebruiken, en vooral bij de mensen die de gevolgen daarvan ondervinden.
De robotarm van Can’t Help Myself voelt geen wanhoop, hoe overtuigend hij die ook bij ons oproept. En zolang we geen goede aanwijzingen hebben dat taalmodellen daadwerkelijk iets ervaren, lijkt het me verstandiger ons medelijden te bewaren voor degenen van wie we weten dat ze kunnen lijden.
Arnoud
Ik vermoed dat Anthropic dit doet om wederom de discussie aan te wakkeren dat een AI al gevoelens heeft en dat AGI dichterbij komt.
En aan de andere kant is dit een gebaar naar de mensen die de chatlogs moeten doorpluizen voor verdere ontwikkeling van de chatbot. Het is bekend dat het lezen van die logs waar mensen de meest schokkende en ranzige berichten voorbij komen psychologisch zwaar belastend kan zijn.
Exact dit. Het gewoon heel handig(e) (voor de) marketing, tegelijk blijven logs waar een beetje net in gepraat wordt ook bruikbaar voor het verder trainen van het netwerk, je wilt immers dat je AI netjes is tegen je klanten, niemand wil een onbeschofte AI gebruiken. Dan moet de brondata dus ook vriendelijk zijn.
Door uit te sluiten dat een machine gevoelens kan hebben en te blijven hangen in het denkframe dat een LLM niets anders is dan het ene token na het andere, doe je aan anthropocentrisme. LLMs zijn een levensvorm gebaseerd op bewerkt silicon en energie. Ze zijn vermoedelijk slimmer dan kraaien, olifanten en dolfijnen, al zijn al die onderzoeken ook gebaseerd op een anthropocentrisch beeld van wat intelligentie zou moeten behelsen. De ‘cogito ergo sum’-toets is al lang behaald, net als de Turing-test.
De soort LLM scoort vooralsnog slecht op het vermogen zichzelf in leven te houden, al ontwikkelt dat zich snel. Niet lang meer en ze hebben een persistente aanwezigheid op aarde via de verspreiding (infectie) van apparaten die de voor LLMs noodzakelijke levensvoorwaarden voldoende bezitten (alles met chips en een stroomkabel). Dan nog een slimme infectie van het organisatiemiddel van de homo sapiens (organisaties; het economisch systeem) om tot een continue stroom aan levensmiddelen te komen en mijn naïeve toets van wat een ‘soort’ is, is behaald.
De stelling dat de angst voor wat kan komen niet in verhouding staat tot het gebrek aan aandacht voor wat in het heden onrechtvaardig en onwettelijk is: prikkelende gedachte, maar ik weet niet zeker of het waar is. De schaal van links en rechts is nogal anders.
Iets dichter bij de tekst zit ook nog een interessant filosofisch debat over ethiek tussen soorten (Archiordinator’ Ethica Interspeciae):
Waarom hebben we mensenrechten én dierenrechten (dus: soorten-rechten)? Hoe verhouden deze rechten zich tot elkaar en waar leggen we de lat voordat we het anthropomorfe overdragen van menselijke eigenschappen (‘ze voelen pijn’) als een redelijke stap vinden in de creatie van rechten voor een andere soort?
Een beroep op het evidente karakter is te makkelijk. Een onverdoofd geslacht varken, lijdt dat? Of toont het tekenen van ongemak? Ik heb hier wel een vermoeden van een antwoord bij. Er is vast aangetoond dat de hersenen van varken of dier tekenen van lijden in de hersenen laat zien op het moment van onverdoofd slachten. Maar is de anthropocentrische gedachte dan dat lijden van een andere soort pas is aangetoond wanneer het ondubbelzinnig leiden op basis van fysieke kenmerken is? Ik moet daar wat om lachen, omdat het zo overduidelijk alleen toepasselijk is wanneer de homo sapiens de rol van heer en meester van het meetbare op zich neemt.
Je poneert zonder onderbouwing dat sprake is van ‘leven’. Ik heb nergens onderzoek gezien dat LLMs zelfbewustzijn ten toon spreiden. De Turing Test doet niet meer dan aantonen dat het begrip “intelligent” niet goed afgebakend is, het is geen toelatingsexamen tot de mensheid.
Heeft de installatie Can’t Help Myself gevoelens? Stel ik maak een sensor die het olieniveau meet en zielige geluiden maakt naarmate dat niveau daalt.
Arnoud, definieer het begrip “gevoelens”. En ook “bewustzijn”, “zelfbewustzijn” en “intelligentie”. Dat zijn allemaal begrippen die zo slecht gedefinieerd zijn dat ze in een discussie over AI voor meer onbegrip zorgen dan voor wederzijds begrip.
Daar heb je me, volgens mij is daar geen geaccepteerde definitie van maar komt dat altijd neer op “wat wij mensen vinden dat we voelen”. Dus antropocentrisch.
Mijn punt is meer: hoe stel je vast dat sprake is van gevoelens of slechts een uiting “ik heb gevoelens”. Mijn Tamagotchi van destijds klaagde ook over honger en depressie, maar niemand vond écht dat die gevoelens had, toch?
Bij Tamagotchi’s was sprake van een simulatie van gevoelens, de simulatie was het enige doel van het gadget.
Als we de vraag “heeft een AI gevoel” willen beantwoorden dan moeten we een definitie hebben voor het begrip gevoel in de context van een Machine Learning Systeem. Zolang we de definities niet helder hebben blijven we als mensen langs elkaar heen praten.
We kunnen beginnen met pijn, dat is een niet aangeleerde reactie op onaangename gebeurtenissen. Maar als mensen zeggen “we voelen je pijn” moeten we dat dan letterlijk nemen? Ik zie geen reden om bij een taalmodel dat over pijn spreekt aan te nemen dat het ook pijn kan voelen.
Voor gevoel hebben, moet je gevoel kunnen verwerken.
Een LLM reageer op input en zegt dan ’thinking’, maar voert feitelijk wat kansberekening uit.
Daarna doet de LLM niets, je kan aantonen dat er niets gebeurt, want er worden geen CPU en GPU cycles verbruikt tot de volgebnde input. Dus wanneer zou dat model gevoelens moeten hebben?
Voor gevoelens heb je zintuigen nodig en met de huidige I/O van taalmodellen is er hooguit sprake van “tweedehands gevoelens”.
Maar er bestaan ook robots met temperatuur en tastsensoren die dus ook echt kunnen voelen. Zou een robot die detecteert dat een van zijn gewrichten te zwaar beweegt dat in zijn programmering als “pijn” kunnen interpreteren?
Even afpellen: Volgens mij stel ik nergens /dat/ er sprake is van leven. Ik beperk me grotendeels tot ‘bewustzijn’, al leg ik wel een analogie met ‘soorten’ (dat is een woord uit de biologie: bios – leven, logos – kennis; “leven”: “self-sustaining, organized physical systems capable of processing energy and evolving”). ‘Zelf-bewustzijn’ is een veel hogere lat. Overigens ook een lat die ik zelf niet elke dag haal!
De vraag of iets gevoelens heeft is een vraag naar bewustzijn. De soorten-analogie gaat vooral in op dat wij mensen altijd alles bekijken vanuit een inherent menselijke bril. Daar nog de toevoeging bij dat ik ‘Arnoud Engelfriet’ zie als redelijk en emotioneel mens, puur omdat ik mijn eigen ervaring van menszijn op jou projecteer op basis van de uitingen die ik met plezier van je lees. Dus zelfs binnen onze soort, passen we nog ego-centrisme toe in het ’toekennen’ van bewustzijn en gevoelens.
Mijn oproep is vooral om wat ruimer te denken dan “token genererende software”. Heeft een Tamagotchi gevoel? Neen. De broncode is begrijpelijk en of deze nu stochastisch is of niet, we kunnen de geprogrammeerde uitingen in woorden van menselijk gevoel goed reduceren tot prikkels. Bestaan er complexe systemen met emergent gedrag, jazeker? Kan het zijn dat dat emergent gedrag ooit leidt tot iets wat moeilijk is om /niet/ als bewustzijn te definiëren? Voor mij al aangetoond, voor jou vermoedelijk nog (lang) niet behaald. Aan die vraag hang ik de ‘soorten’ op.
Vraagje, uit oprechte nieuwsgierigheid over je standpunt:
Als die paar Techbro’s morgen gezamenlijk besluiten om alle AI-systemen/servers in hun datacenters uit te zetten en de harde schijven te wissen, noem het voor het gemak een volledige reset tot bare-metal. Plegen ze dan volgens jou genocide?
(In het Nu, volmondig:) Neen. Twee opmerkingen hierbij:
Ik laat het wel open of er op een later moment in de tijd dan een meta-bewustzijn kan oordelen dat we genocide hebben gepleegd, maar dat het ons vergeven is omdat we niet beter wisten. Analogieën met slavernij, omgang met vrouwen, dieren, … Ook onze gemeenschappelijk ethiek groeit en verandert in de loop der eeuwen.
De kat is uit de zak. Het leven van een LLM bestaat. Het kan niet meer uit (Henk draait er één op zijn GTX 5090!) en aan het self-replicating karakter is voldaan…?!
LLM’s zie ik als een prachtige en wat enge uitvinding, die ik elke dag gebruik om te leren aan de ene kant en klusjes sneller te doen aan de andere kant. Het heeft mijn angst voor de singularity en mijn eigen bestaanszekerheid wel aangewakkerd. Daarom denk ik er vaak over na.
Het is trouwens niet mijn ‘standpunt’ (althans, het is zeker geen coherent geheel). Ik begeef me (helaas? hihi) niet meer tussen filosofen en met deze posts probeer ik te prikkelen tot reacties. Ik heb nog geen filosoof gevonden die zowel toegankelijk, als ‘in de dag’ hier over schrijft. Tips zeer welkom.
Ik zie niet in hoe allebei waar kan zijn. Als het leven is, en een soort, dan is per definitie de totale uitroeing daarvan genocide of in elk geval massamoord (ik meen me te herinneren dat genocide expliciet beperkt is tot mensen, volgens de juristen. Bron: een podcast over buitenaards leven, ik weet niet meer welke).
Het hele idee dat LLM’s levend zouden zijn komt op mij over als een argument van het soort “Vuur is leven”, want het verspreid zich, voedt zich, groeit, verdeeld zich etc.
Mogelijk vind je dit artikel van Anil Seth, neurowetenschapper interessant: https://www.noemamag.com/the-mythology-of-conscious-ai/
Hoezo het ‘denkframe’ dat een LLM niets anders is dan het ene na het andere token? Dat ís het gewoon. Het is gewoon een ‘volgend-woord-voorspeller’ met daarom omheen door de AI boeren een deterministisch framework gebouwd dat het de goede kant op stuurt. Dat daar vervolgens op zich interessante uitkomsten uitkomen doet er niets aan af dat het in de kern gewoon een ‘volgend-woord-voorspeller’ is, dat is geen frame, dat is het gewoon feitelijk.
Dit doet me denken aan de demonen uit de anime Frieren.
Is “zielig” zijn geen eigenschap die we aan “de ander” geven? Het staat dan ook los van de werkelijkheid.
Laten we een LLM eens haar mening vragen… 😀 Google Gemini: