Chatbots voor virtuele vriendschappen en therapie bij mentale problemen geven onbetrouwbare informatie en zijn soms schadelijk. Dat meldde Nu.nl onlangs. Uit een onderzoek van de Autoriteit Persoonsgegevens (AP) naar 9 populaire chatbotapps blijkt dat deze ongenuanceerde, ongepaste en soms zelfs schadelijke reacties geven op gebruikers die mentale problemen ter sprake brengen.
Het onderzoek is de halfjaarlijkse Rapportage AI- & Algoritmerisico’s Nederland (RAN). De risico’s van deze chatbots worden inderdaad geschetst, zij het als verwijzing naar externe media:
Daarbij is er de kans dat een chatbot de gebruiker aanraadt om contraproductief te handelen. Bijvoorbeeld door eenzame gebruikers aan te raden vooral de chatbot te gebruiken als sociale uitlaatklep. In de ergste gevallen kan de chatbot de gebruiker aanraden, of bevestiging geven aan iemands overtuiging, om zichzelf iets aan te doen. In het nieuws zijn meerdere beschuldigingen verschenen over chatbots die gebruikers aanspoorden tot zelfdoding.Het bekendste voorbeeld van dat laatste komt uit Florida een paar maanden terug. Deze incidenten waren voor de Europese Commissie reden om in hun Richtsnoeren voor verboden praktijken onder de AI Act “promotes self-harm to users or incentivises them to commit suicide or harm other persons or groups of persons” aan te merken als schadelijk. Een chatbot die “doelbewust manipuleert” of “misleidende technieken” gebruikt en daarbij deze schade veroorzaakt, is in de EU dan verboden.
Je kunt natuurlijk zeggen dat chatbots nooit expliciet geprogrammeerd worden met deze doelstelling, zodat je het element “doelbewust” simpelweg niet rond krijgt. Maar de Commissie stelt in de richtsnoeren dat “doelbewust” gaat om een door de AI herkend doel, niet perse een door mensen ingeprogrammeerd doel.
Ietwat vreemd aan de AI Act is dat de verboden al wel in werking zijn (per 2 februari jl.) maar dat de AI Act toezichthouders pas 2 augustus aangewezen worden. Maar er is een oplossing: vrijwel alle verboden uit de AI Act vereisen gebruik van persoonsgegevens, zodat de AP als AVG-toezichthouder kan optreden bij de handhaving hiervan. Het argument is dan dat de praktijk niet ‘wettig’ is (artikel 5.1 AVG) omdat deze wettelijk verboden is (artikel 5 AI Act).
Arnoud