Interessante zijstap in de discussie van vorige week:
Aan de zelfscankassa’s bij de lokale supermarkt hangt tegenwoordig een klein kastje met een blauw/rood/groen lampje. Er staat geen uitleg bij. Ik heb het ding gegoogled en het blijkt een leeftijds-schatter te zijn die aangeeft of ik een fles drank mag afrekenen. Zodra het ding mijn leeftijd heeft geschat gaat hij op rood of groen. Mag ik aannemen dat de kleur van het lampje geldt als een interactie van het apparaat naar mij toe?Dit haakt in op het recent van kracht geworden stuk uit de AI Act dat interactieve AI zichzelf bekend moet maken, zodat je weet dat je met een AI praat en niet met een mens.
De AI Act zelf definieert niet wat “interactie” is. De recent uitgekomen Richtsnoeren hierover doen wel een poging:
Interaction entails the capability of a bidirectional exchange of information or actions between natural persons and the AI system with a genuine conversational or responsive character. It can occur in various forms (e.g. auditory, visual and physical). Natural persons should be able to provide input (e.g., written text or other forms of content, voice, or physical actions) to the AI system (e.g. via technical communication means including online interfaces, phone or e-mail, or directly), while the AI system should be capable of responding with contextual output (including any type of content or actions) and vice-versa.Ik haal hier uit dat de ene partij input levert waar de ander een afgestemde reactie op geeft (de AI mag ook beginnen, staat verderop). Dat past prima bij een chat, maar het kan ook een “one-time exchange” zijn. En dat zou ook passen bij zo’n blieplampje waar jij je gezicht als invoer geeft en een groen kleurtje terugkrijgt.
Daarnaast moet de interactie “direct” zijn, oftewel real-time of daar dicht bij, en zonder menselijke tussenkomst. Een medewerker die AI gebruikt om reacties te componeren is dus genoeg om aan deze plicht te ontsnappen, zolang deze meer doet dan een copypastevogeltje zijn.
Als uitzondering worden wel “automated facial-recognition access controls” genoemd, maar ook “one-time feedback (e.g. spam filters)”. Die laatste is interessant: de AI stopte een mail in mijn folder “Junk mail”, ik klik op “Not junk” en de AI neemt actie. Dat is dus géén interactie zoals hier bedoeld.
Waar hoort dan “<houdt gezicht voor camera>” / “<groen>”? Ik neig naar: geen interactie, vanwege de sterke gelijkenis met het spamfilter. Ook is voor mij belangrijk dat de uitvoer niet contextueel is, iedereen krijgt ja of nee, en er is geen persoonsgebonden variatie.
Een AI systeem als dit maakt wel beslissingen in de zin van artikel 22 AVG. (Dat mag, want het is vrijwillig te gebruiken.) Volgens de AVG moet er dan uitleg bij komen over hoe dat werkt en dergelijke (artikel 13 en 15). Een sticker dat het AI is en waar je de privacyverklaring kunt vinden, is denk ik voor deze situatie een heel eind adequaat.
Arnoud
Wat is hier (mede)bepalend voor de vraag of het vrijwillig is? De keuze om boodschappen zelf te doen is natuurlijk vrijwillig. De keuze voor de keten ook. De keuze voor welk filiaal ook. Maar er zijn supermarkten waar geen bemande kassa is en alleen zelfscan mogelijk is (bijvoorbeeld de blauwe To Go-winkels op stations). Is het dan nog altijd logisch om de geautomatiseerde besluitvorming vrijwillig te noemen? Het is niet dat je daar voor een kassa zonder die feature kunt kiezen.
De vraag is, wat is het nadeel? Bij weigeren, of een AI die zegt dat je wellicht te jong bent is er alsnog een medewerker die op basis van menselijk oordeel (inschatting of controle van identificatie) de kassa vertelt dat je oud genoeg bent.
Je kunt vragen of leeftijdscontrole wenselijk is, maar uiteindelijk is de leeftijdscontrole het gevolg van wettelijke betalingen dat bepaalde producten niet aan iedereen verkocht mogen worden.
Ook een goed punt. Ik kom niet verder dan “als het systeem jou valspositief als te jong aan merkt, moet jij extra gedoe ondergaan dat je ouder uitziende leeftijdsgenoot niet heeft”. Net zoals iemand in een rolstoel niet even snel de trein kan nemen maar dat altijd moet plannen. Maar specifiek hier vind ik dat niet heel wezenlijk.
Hoe zit het hier eigenlijk met ‘geautomatiseerde beslissingen zonder menselijke tussenkomst’? Ik lees hier vaak dat bijvoobeeld bekeuringen bij flitspalen niet mogen worden uitgegeven zonder dat een mens een beoordeling van de foto heeft gegeven. De situatie ligt hier natuurlijk wel wat anders, maar bij vals positieven wordt een klant hier natuurlijk wel ‘benadeeld’. Ik geef toe, als dit voorkomt dat ik (duidelijk 18+) gecontroleerd wordt op leeftijd, dan is dat plezierig, maar veel winkels doen die controle al op afstand, bij die grote blauwe winkelketen kunnen ze op hun terminal de controle afronden bijvoorbeeld, dan heb je dus eigenlijk geen automatisering nodig, tenzij je natuurlijk op (personeels)kosten wilt besparen, maar dat is een hele andere discussie)
Dat klopt, bij bekeuringen zitten er zelfs twee agenten tussen die onafhankelijk van elkaar de foto beoordelen. Los van zorgen over automatiseringsbias is dat een vorm van menselijke tussenkomst die het verbod opheft.
Maar artikel 22.3 vereist toch “uitdrukkelijke toestemming van de betrokkene”? Als ik voor dat kastje sta heb ik alleen maar een keuze om weg te lopen of niet (los van het feit dat hij dan al is getriggered). Blijven staan lijkt me geen toestemming zoals vereist in de AVG.
Het kastje gebruiken lijkt me een vorm van toestemming? Dat is meer dan blijven staan.
Ik dacht dat de AVG een uitdrukkelijke toestemming vereiste en dat een impliciete gedraging onvoldoende was?
Er is geen optie om het kastje niet te gebruiken: als je er voor staat dan schat hij meteen binnen enkele seconden je leeftijd. Zeg maar zo rond het moment dat ik de privacy sticker nog zou staan te lezen als die er zou zijn.