Via Reddit (vertaald & ingekort):
Op 1 juli heb ik een camper geboekt bij Indie Campers voor een reis van 12 tot en met 18 juli. Voordat ik betaalde, vroeg ik de AI-chatbot op hun officiële website of ik naar Montenegro kon reizen. De bot garandeerde expliciet dat dit mogelijk was. Vertrouwend hierop heb ik het volledige bedrag betaald. [Ik deed navraag bij de klantenservice, dat duurde meer dan 48 uur. Toen] gaven ze aan dat hun algemene voorwaarden reizen naar Montenegro strikt verbieden. Ik heb onmiddellijk om annulering en volledige terugbetaling gevraagd, omdat ik door hun platform misleid was.Het juridische antwoord is vrij simpel. Een uitvoer van een AI-chatbot is hetzelfde als een tekst in je veelgestelde vragen of folder. Als daar duidelijk staat dat je naar Montenegro mag reizen, dan is dat een toezegging waar ze aan gebonden zijn.De boete: Het bedrijf verklaarde dat ze “geen verantwoordelijkheid nemen voor AI-antwoorden”. Uiteindelijk verwerkten ze de annulering, maar pasten ze hun standaard boete voor late annulering toe, waardoor ik slechts 5% terugbetaald kreeg en 95% van mijn geld zelf hield.
Het kan dat ergens in de algemene voorwaarden staat dat je met de camper in de EU moet blijven (Montenegro is er bijna, maar nog niet helemaal). Grote letters winnen van kleine, dus dat heeft juridisch dan geen betekenis. Maar let op: de grotelettertekst moet wel expliciet “ja, je mag naar Montenegro” bevatten en niet “je mag in heel Europa er mee reizen” of iets dergelijks.
De opmerking dat het bedrijf “geen verantwoordelijkheid [neemt] voor AI-antwoorden” is natuurlijk volkomen van de gekke. Er is Zweedse jurisprudentie dat chatbots niet mogen misleiden, en we hebben de Canadese analogie als lichtend voorbeeld.
Het probleem is dus vooral dat het bedrijf “nietes” zegt na de klacht, en dan weigert iets te doen om het goed te maken. Dat is een bekende in het consumentenrecht, en het maakt eigenlijk niet uit of dit “onze chatbot kletst maar wat” of “onze medewerker mocht dat niet zeggen” is. Hoe haal je je recht?
De vraagsteller woont in Spanje (staat in de comments) en Indie Campers is zo te zien een Nederlands bedrijf. Bij grensoverschrijdende consumentengeschillen (binnen de EU, plus Noorwegen, IJsland en het VK) kun je laagdrempelig en goedkoop via het European Consumer Centre (ECC) bemiddeling aanvragen.
Ook heeft de vraagsteller met creditcard betaald. Daar een geschil aanmaken of een terugboeking vragen is mogelijk, en vaak minstens zo effectief als een gerechtelijke procedure.
Arnoud
Ik heb die website even bekeken, en de look en feel was dusdanig dat ik daar met een grote boog omheen zou lopen. Maar dat is natuurlijk niet relevant. Toen ik de bot vroeg naar de toegestane landen kreeg ik een opsomming van alle landen waar je heen mocht, zonder Montenegro. Kennelijk heeft die bot een standje gekregen of zo.
Dat lijstje zal vast ergens zo staan. Dan is dat gewoon te herhalen.
Maar afhankelijk van de AI blijft het een ‘automatische tekstschrijver op basis van statistieken’. Aangezien je naar heel veel landen wel mag, is het aannemelijk dat er bij een vraag daarover een bevestigend antwoord krijgt.
Ja, dat is simplistisch. En ja, misschien is dat nu expliciet een opdracht geworden.
Nou, als ik direct aan de bot vraag: ‘Can I drive the camper in Montenegro?’ dan is die toch vrij expliciet in het antwoord: ‘Yes—your rental insurance is valid across all Indie Campers locations, so traveling in Europe (including Montenegro) is covered. Just make sure you stick to paved roads and well-maintained gravel paths (off-roading isn’t allowed and may void insurance).’
Ik vroeg in welke landen in mocht rijden. Toen kwam die lijst. Kennelijk bepaalt de formulering van de vraag ook de correctheid. En in tegenstelling tot wat ik zou verwachten geeft de ruim gestelde vraag het correcte antwoord.
Dit komt vanwege de manier waarop LLMs werken. Er is géén onderliggende conceptuele kennis. Er is slechts een (gecomprimeerde) waarschijnlijkheidstabel met het meest waarschijnlijke token gegeven de context van de voorliggende tokens. Een open vraag naar algemene kennis is minder beperkend en dus meer binnen het goed getrainde accurate gebied van de voorspeller. Een specifieke vraag (Montenegro) is daarentegen een strikte beperking op de zoekruimte van het model dus minder accuraat. Waarschijnlijk is er nergens in de trainingset specifieke informatie die zegt dat Montenegro niet mag, dus ziet het dat Montenegro heel erg lijkt op de andere landen die mogen, dus is het meest waarschijnlijke dat Montenegro ook mag.
Het systeem begrijpt niets en kan dus ook niet redeneren dat een land niet in de lijst van toegestane landen niet mag. Agentic AI is anders in dat het eerst een redeneerplan opstelt (aan de hand van waarschijnlijkheid) en dat dan uitvoert. Wellicht hat zo’n redeneerplan een beter antwoord gevonden (wellicht als stappen: laad alle toegestane landen; vergelijk het gevraagde land met de lijst; geef corresponderend antwoord).
Al met al weer een voorbeeld van RHS (Real Human Stupidity) – mensen die de beperkingen van hun AI gereedschappen niet begrijpen (en meestal niet eens proberen te begrijpen).
Wij roepen Rob als getuige!!
Hoe zit het eigenlijk met de bewijslast als het tot een dergelijke zaak komt?
Gezien de werking van generatieve AI, is het goed mogelijk dat deze op verschillende momenten verschillende antwoorden geeft op dezelfde prompt, of met hele verschillende antwoorden komt op vrijwel effectief dezelfde vraag wanneer die net even anders geformuleerd is.
En hoe kun je als consument bewijzen dat een chatbot iets heeft toegezegd? Moet je elke keer als je een chatbot iets vraagt screenshots maken en bewaren van de antwoorden? Anderzijds, voor een bedrijf, hoe kun je voorkomen dat consumenten met de meest absurde eisen komen “want de chatbot op je website heeft het eerlijk heus driedubbeldik echt waar gezegd”?
Dit probleem is niet anders dan wanneer je de helpdesk belt en het een mens vraagt. Vastleggen, indien mogelijk bevestiging verkrijgen (“telefonisch zei uw collega X vanochtend”).
In zoverre is het natuurlijk wel anders in dat je bij telefonisch contact met een medewerker nog kunt navragen wie je gesproken hebt, en direct kunt vragen of deze e.e.a. per email wil bevestigen. Bovendien kan de medewerker na afloop eventueel ook nog verklaren of deze bepaalde dingen wel of niet heeft toegezegd.
Bij een chatbot heb je die mogelijkheden allemaal niet. Vaak worden dat soort systemen ook nog eens ingezet als vrijwel enige contactmethode (“we hebben geen telefoonnummer, maar voor vragen kun je terecht in onze FAQ of bij onze digitale assistente Klaartje!”), wat het extra moeilijk maakt om een bevestiging te krijgen.
Zowel aan de consumenten- als aan de bedrijfskant is de drempel om te zeggen “Dat heeft Klaartje (niet) gezegd” natuurlijk wel erg laag.
Je kan als bedrijf aan de achterkant op zich prima alle conversaties van die chatbot centraal registreren. Daarmee zou je kunnen bewijzen dat een gesprek anders liep dan de consument beweert.
Is dit ’transcriptie’ dan een persoonsgegeven die valt onder het inzagerecht van de AVG?
Ik snap deze niet zo goed. Als je – kennelijk – zo weinig vertrouwen in je eigen chatbot hebt, waarom zou je die dan op de website zetten? “We hebben iets op de site staan dat allemaal onzin uitspuwt en waar je niet op kan vertrouwen” is op zich een reden om het niet op je website te zetten, lijkt me.
Ze hebben er vertrouwen in dat de chatbot 95% van de vragen correct beantwoordt, voor de overige 5% nemen ze geen verantwoordelijkheid.
Een rechtszaak waarbij nogmaals wordt vastgesteld dat een AI chatbot die door een bedrijf als agent wordt ingezet uitspraken doet die het bedrijf binden lijkt mij de oplossing voor deze verhuurder.
Beste Arnoud,
Ik reageer namens het Europees Consumenten Centrum (ECC). De vraagsteller woont in Spanje en kan daarom terecht bij <a href=https://portal-cec.consumo.gob.es/en” target=”_blank”>ECC Spanje. Consumenten die in Nederland wonen, kunnen bij ECC Nederland terecht bij een probleem met een bedrijf in een ander EU-land, Noorwegen, IJsland of het Verenigd Koninkrijk. Consumenten kunnen helaas niet bij het ECC terecht voor nationale geschillen. Wilt u dit verduidelijken in uw post? Daarnaast raden we aan om eerst een terugboeking (chargeback) aan te vragen bij de creditcardmaatschappij, omdat die mogelijkheid meestal beperkt is tot een bepaalde termijn na de betaling.
Merci, ik heb “binnen de EU, plus Noorwegen, IJsland en het VK” toegevoegd.