Een lezer vroeg me:
Sommige winkels gebruiken beveiligingscamera’s met AI om gemaakte beelden te analyseren. Dit zou winkeldiefstal moeten tegengaan. Hoewel vrijwel iedereen keurig waarschuwt voor cameratoezicht, heb ik nog nergens bordjes gezien dat er ook een AI-analyse plaatsvindt. Is dat eigenlijk niet verplicht onder de AI Act?Per 2 augustus jongstleden is de zogeheten transparantieplicht uit de AI Act (artikel 50 lid 1) van kracht geworden. “AI-systemen die voor directe interactie met natuurlijke personen zijn bedoeld” moeten die personen duidelijk maken “dat zij interageren met een AI-systeem”. Primair is dit bedoeld tegen misleidende chatbots die zich voordoen als mensen.
De AI Act definieert niet wat “directe interactie” betekent. De Richtsnoeren van de Commissie, die in juli verschenen (sectie 3.1.1), vullen de term nader in: het moet gaan om realtime of near realtime interactie, waarbij de AI-uitvoer direct bij de betrokken persoon terecht komt. “Interactie” is dan een bidirectionele uitwisseling van informatie, waarbij iedere partij ten minste één bericht naar de ander stuurt.
Dit is waar het op misgaat met een antidiefstal-AI: die communiceert niet met shoppers, dus de shoppers hoeven niet te weten dat die AI wordt ingezet. Hooguit moet het personeel dat weten, als we “het scherm geeft een waarschuwing en jij moet op Ok klikken” lezen als een interactie. Maar als professioneel gebruiker zal dat wel duidelijk voor ze zijn, en dan hoeft een aparte melding niet.
Dat is alleen niet het hele verhaal. Zo’n AI-signalering is onder de AVG een vorm van geautomatiseerde besluitvorming. Ik ben er nog niet uit of dit onder het verbod van artikel 22 valt, want is dit “in aanmerkelijke mate treffen”? De AVG noemt zaken als automatisch een kredietaanvraag weigeren of een sollicitatie afwijzen, en de Richtsnoeren (WP251) geven als aanvullend criterium of het “de omstandigheden, het gedrag of de keuzen van de betrokken personen in aanmerkelijke mate [treft]”. Zeg het maar.
Maar los van die discussie, als er persoonsgegevens worden verwerkt met als doel te komen tot een signalering “mogelijk winkeldief” dan moet dat duidelijk worden gemeld (artikel 12 en 14). Op zijn minst vereist dat een toelichting in de privacyverklaring, maar ik denk dat je niet ontkomt aan een bordje gezien het nieuwe en bijzondere karakter van deze verwerking. Wie er eentje ziet: ik ontvang graag de foto!
Arnoud
Als dit systeem iets flagt en dat er toe leidt dat jij bij de uitgang door een beveiliger geconfronteerd wordt met een beschuldiging van diefstal, lijkt me wel duidelijk sprake van een beslissing die je in belangrijke mate treft.
De escape zal wel zijn dat de AI ‘slechts’ een indicatie/alarm geeft, een medewerker de beelden dan bekijkt en de beveiliger inroept. Waardoor de AI alleen een assistent zou zijn en niet het besluit neemt.
Als die beveiliger je dan vervolgens stopt en vraagt om in je tas te mogen kijken (vooropgesteld dat dit vooraf netjes volgens de geldende regels is gemeld) dan is dat dus niet alleen een alarm – het alarm wordt dan gewoon blindelings opgevolgd (wat het een besluit maakt) en op tegenargumentatie zal dan altijd gezegd kunnen worden ‘ik had ook kunnen besluiten om u door te laten lopen’ Volgens mij komt dat niet door de giecheltoets.
Scenario van Thijs is AI vlag iemand. Persoon in centrale meldkamer oid bekijkt de door AI gevlagde beelden en die persoon meld dat dan bij de beveiliger of drukt op knopje valse vlag zodat de AI bijgestuurd kan worden.
Realistisch scenario: AI vlagt iemand. Persoon in centrale meldkamer kijkt even op van zijn krant en drukt zonder nadenken op het knopje om het door te zetten naar de beveiliger.
Dan is er wellicht geen sprake van betekenisvolle menselijke tussenkomst.
Maar ligt dat dan aan het proces of aan de medewerker?
Aan het proces. Evident. In zulke processen zit een mens er alleen maar als “accountability sink”, een smerige truc om onder verantwoordelijkheid uit te komen.
Mijn vuistregel is dat het altijd aan het proces ligt. Als het de medewerker is, dan miste je een stap in het proces om dat gedrag van de medewerker te ondervangen.
Als je er een mens tussen zet als stempelmachine om 100% van de geflagte situaties handmatig door te drukken, ligt dat aan het proces.
Maar is dat “belangrijk”, op dezelfde lijn als geen baan krijgen of afgewezen worden voor een hypotheek? Zonder in je tas te kijken kunnen ze je niet aanhouden (burgerarrest heterdaad).
Dus we mogen de beveiliger ook aanhouden bij geautomatiseerde besluitvorming (burgerarrest heterdaad overtreden AVG)?
Beetje als grap maar hoe ver gaat het burger arrest eigenlijk? Als we burgerarrest voor privacy schendingen toestaan dan heb ik nog wel wat te doen de komende tijd 😉
AVG schendingen zijn niet strafbaar, dat is bestuursrecht. Arrestatie wegens AVG schending is dus juridisch onmogelijk.
Blijft subjectief, maar in het openbaar aangesproken worden op diefstal in een buurtwinkel waar ook al je bekenden komen, kan mogelijk zelfs een grotere impact hebben dan afgewezen voor een enkele sollicitatie.
Goed, maar doen supermarkten dat echt zo, zeker in dorpen? Het is toch altijd “meneer wilt u de spullen in een mandje doen” of “mevrouw, volgens ons heeft u iets in uw zakken gestopt”? Openlijk de confrontatie zoeken met een shopper is zelden een goed recept.
(Er is ook die hardnekkige theorie dat iemand pas winkeldief is bij het naar buiten lopen.)
Gelukkig gaan onze eu wetgevers dit probleem voor eens en altijd verhelpen
Aan de zelfscankassa’s bij de lokale (Boons) supermarkt hangt tegenwoordig een klein kastje met een blauw/rood/groen lampje. Er staat geen uitleg bij. Ik heb het ding gegoogled en het blijkt een leeftijds-schatter te zijn die aangeeft of ik een fles drank mag afrekenen.
https://www.moneytronic.nl/mycheckr-mini
(Terzijde: wanneer wordt deze club aangeklaagd door Alphabet vanwege het zwaar op Chrome gelijkende logo)
Zodra het ding mijn leeftijd heeft geschat gaat hij op rood of groen.
Mag ik aannemen dat de kleur van het lampje geldt als een interactie van het apparaat naar mij toe?
De definitie van “interactie” impliceert dat beide partijen elk ten minste één boodschap naar de ander sturen. Jij communiceert niet met een rood lampje. Hooguit met de medewerker die zhaar gedrag daarop afstemt, maar dat is geen interactie met de AI.
De interactie kan ook automatisch gebeuren, zonder dat er fysieke actie nodig is. Hier is jouw ‘boodschap’ jouw afbeelding (gezicht?) die dus als input gebruikt wordt voor de boodschap ‘OK’ of ‘Te jong’ van de andere partij.
De definitie van ‘interactie’ is ‘op elkaar reageren’. Dat is dus wat er gebeurt.
De Richtsnoeren van de Europese Commissie over transparantie bij AI vullen het nauwer in: beide partners in de interactie moeten een bericht naar de ander hebben gestuurd. Dat kan prima virtueel en moet niet real-time, zoals jij en ik nu interacteren via deze blog.
In de camera kijken en een rood lampje krijgen voldoet volgens mij niet aan díe definitie van interactie.
Dan ga ik voortaan kiekeboe spelen met zo’n systeem. Actief mijn gezicht verbergen en tonen; dat lijkt mij toch wel een bericht sturen. Want wat vinden kleine kinderen dat, soms, grappig!