Fitnessketen Basic-Fit zet AI-gestuurde ‘slimme camera’s’ en sensoren in om agressie, ongeautoriseerde toegang, gezondheidsproblemen, zoals flauwvallen, en andere incidenten te herkennen. Dat meldde Security.nl onlangs. Technologieleverancier Axis spreekt van een “revolutionaire oplossing”, ik spreek van een interessant AI Act-vraagstuk.
Het is moeilijk op de Axis-site een uitleg te geven die niet leest als een ChatGPT tekst, maar bij deze:
Smart cameras that are used for their sensory-like functions and remote control mechanisms are deployed in each gym. The various Axis products work together with a specifically designed AI algorithm to quickly detect and address issues on site, while also enabling gyms to operate 24 hours a day. Gym members can therefore feel safe, even when there is no staff around. In case of need or an emergency, a specially designed remote control room can be contacted from the Basic-Fit location. From there health concerns, aggression, fraud, and even foot traffic is monitored.De kern is dus “slimme camera’s” die aan emotieherkenning doen, en op basis daarvan alarmpjes geven aan een menselijk toezichthouder. En dat gaf mij dan weer een alarmpje, want ‘emotieherkenning’ is zeg maar een dingetje onder de AI Act die binnenkort van kracht wordt.
Emotieherkenning is een van de controversieelste toepassingen van AI/ML. Het idee is dat je door analyse van uiterlijke kenmerken kunt vaststellen hoe iemand zich voelt – plus dat je dat kunt terugbrengen tot een serie labels zoals vreugde, woede, angst, walging, minachting, verdriet en verrassing. Voor geen van deze twee dingen is wetenschappelijke consensus, maar door het in een computer te stoppen en die “AI” te noemen creëert men een sfeer dat dit een opgelost probleem is. Dus als de AI zegt dat persoon A “woedend” is, dan gaat er een bewaker naar de locatie om persoon A de-escalerend aan te spreken en te verwijderen.
Mag het? Op dit moment wel. De AVG regelt het een en ander over cameratoezicht (zie het reglement), en bevat daarnaast regels over profileren en automatische besluitvorming. Maar wat hier gebeurt, is nog geen besluitvorming. De AI stuurt er een mens op af, waarna de mens op locatie het besluit neemt (“oh nee, hij was stoom aan het afblazen omdat hij leg day niet ziet zitten”). De analyse wordt verder niet aan je klantprofiel gekoppeld en er wordt verder ook niets mee gedaan. AVG-technisch lijkt dit dus wel in orde.
De AI Act kijkt er wat anders tegenaan. Het is niet verboden – het verbod op emotieherkenning geldt alleen bij gebruik op het werk of in het onderwijs. Bij vrij sporten zoals hier, is dat niet aan de orde (de trainers/werknemers worden hier niet mee gemonitord). Het is wel een hoog-risico AI (artikel 1(ab) van Annex III), dus het triggert een berg eisen zoals een risicomanagementsysteem, uitgebreide logging, adequaat menselijk toezicht en marktmonitoring op incidenten.
De AI Act is nog niet formeel aangenomen (verwachting: april) dus het is niet raar dat Axis nog niets zegt over hoe ze aan de wet voldoet. Daar hebben ze net als iedereen nog (slechts) twee jaar voor, want op dat moment moeten alle aspecten opgezet zijn. En dat is minder tijd dan je denkt.
Een bijkomstigheid: op de Axis-pagina zie ik diverse producten zoals een domecamera of een intercom. Ik weet zeker dat daar het bekende CE-logo op zit. Vanaf het moment dat de AI Act van kracht is, gaat dat logo óók betekenen dat het product aan die wet voldoet.
Arnoud
Die losse units (domecamera, intercom) zullen geen schending van de AI Act opleveren, dus het CE logo daarop zal niet door de AI Act in gevaar komen.
Goed punt, het zal er vanaf hangen hoe het logo wordt gepresenteerd: enkel een cameraatje of een onderdeel van een als zodanig verkocht AI-gedreven systeem. Want zo’n high-risk AI systeem moet voorzien zijn van een CE markering, en een CE markering op zo’n systeem moet worden gezien als een conformiteitsverklaring óók op de AI.
AVG technisch in orde?
Toestemming zal het niet zijn (want “nee” kan ik niet zeggen als die dingen er hangen), dus gerechtvaardigd belang voor emotieherkenning in de fitness? Die LIA wil ik wel eens zien…
Waar precies in de AVG is “emotieherkenning” een probleem? Dat zijn geen bijzondere persoonsgegevens.
De kern van de DPIA zal neerkomen op beveiliging/bewaken/beschermen van anderen, het gaat immers primair om overlastgevend gedrag of dingen waardoor mensen zelf in gevaar komen (flauwvallen bijvoorbeeld). Ik vind die belangenafweging een stuk minder spannend dan “we monitoren emoties en gooien de prijs van de snoepautomaat omhoog als iedereen hangry is”.
Het probleem is: die AI gaat natuurlijk gezichtsherkenning gebruiken, anders kan die niet werken.
Je noemt zelf al ‘gezondheidsproblemen’ in je blog. Als dat geen bijzonder persoonsgegeven is. Ik zie niet in hoe ze die belangenafweging rondkrijgen.
Verder is er natuurlijk zoiets als proportionaliteit. Ongeautoriseerde toegang kun je ook op veel minder ingrijpende wijzen beperken/in de gaten houden.
En die andere dingen: ‘agressie en andere incidenten’. Komen die nu zo vaak voor dat je daarvoor privacy aan de kant moet schuiven? Daar zal momenteel ook een meldingsmogelijkheid voor zijn bij Basic Fit (ik kom er nooit, maar er zullen vast wel een soort alarmknoppen zijn). Is die nieuwe methode nu echt zoveel beter dan de oude methode dat de privacy daarvoor moet wijken?
En als agressie en andere incidenten zo vaak voorkomen dat je ervoor moet monitoren met een AI, dan klopt er iets niet aan je businessmodel, met name aan je klantenselectie of het aantal klanten dat je tegelijkertijd toelaat. Dan moet je de oorzaak aanpakken, niet aan symptoombestrijding doen.
Al je ‘beveiliging/bewaken/beschermen van anderen’ inroept als belang, dan moet je wel aannemelijk maken dat er 1) een probleem is en 2) dat je systeem dat oplost of vermindert, en 3) dat dat niet op een minder ingrijpende manier kan.
Naast de verwerking van gegevens over gezondheid zijn ook de gegevens over ras of etnische afkomst bijzondere persoonsgegevens.
Op zich is het afhankelijk van het doeleinde of er gezichtsherkenning gebruikt dient te worden, evenals of er verwerking van medische gegevens plaatsvindt.
Als je de AI in wilt zetten om ongeautoriseerde toegang te voorkomen, dan ligt dat inderdaad wel voor de hand. Maar om te herkennen dat er iemand in elkaar zakt, of er sprake is van agressief gedrag, hoef je geen koppeling te maken met andere persoonsgegevens; er hoeft dan alleen sprake te zijn van herkenning van een situatie waar een medewerker naar toe moet voor menselijke beoordeling en verdere afhandeling. Je vermijdt dan vermoedelijk ook het probleem dat je medische gegevens zou verwerken.
Het probleem is natuurlijk een beetje dat dit soort sportgelegenheden vaak hele ruime openingstijden bieden (als het niet gewoon 24/7 open is) en het vrij kostbaar gaat zijn om daar permanent medewerkers aanwezig te laten zijn. Dan moet óf de prijs van een abonnement omhoog, óf de openingstijden moeten gereduceerd worden, wat voor de klanten waarschijnlijk beiden ook geen wenselijke opties zijn. Geautomatiseerd toezicht kan dan een uitkomst zijn voor beiden.
Je kunt ook een mens op afstand (desnoods in een goedkoop land) 10 of 20 zalen in de gaten laten houden, desnoods nog met een AI die de aandacht van de medewerker vestigt op die ene zaal als er tekenen van een conflict te zien zijn op de camera’s.
Als je geen personeel wilt voorzien bij je zalen (en ik kan me dat voorstellen wegens kostenoverwegingen) dan kun je er ook geen medewerker op af sturen (tenminste niet snel genoeg) als er een incident is. Die moet dan wakker gebeld worden en van zijn huis naar de zaal gaan. Kortom: ik zie nog niet direct in hoe dat fatsoenlijk zou moeten werken.
Maar is gezichtsherkenning nodig voor emotieherkenning?
Er zal bepaald moeten worden welk deel van het beeld mijn gezicht is maar daarna hoeft enkel te worden bepaald hoe mijn gezichtsuitdrukking is.
Maar er hoeft niet bepaald te worden of het míjn gezicht is. En als het beeld als de emotie eenmaal herkend is niet langer bewaard wordt kan het ook later niet naar mij herleid worden.
Als je personeel een degelijke opleiding geeft en ehbo dan is een ia niet nodig. Maar nu lopen er voornamelijk ongeschoold personeel die met een plumeau aan het stoffen zijn.
Mijn sportschool is 24h/dag open, maar ’s avonds en ’s nachts is er geen personeel meer en soms ben ik er helemaal alleen. Ik zeg niet dat ik het een goed idee vind, maar wel dat ik de redenering van zo’n sportschool kan begrijpen als ze zo’n soort systeem in willen zetten.