Amnesty: Europese landen gebruiken dubieuze AI-technologieën bij grensbewaking

Europese landen gebruiken in toenemende mate digitale technologieën om migratie in te perken, waardoor de kans op „discriminatie, racisme en disproportionele en onwettige surveillance” wordt vergroot. Dat las ik bij NRC vorige week. Men zet daar namelijk een AI-leugendetector in, en omdat ik dus de hele AI Act aan het doorakkeren ben wilde ik me hier even boos over maken.

Uit het artikel:

Sinds 2018 wordt het systeem in ieder geval gebruikt door Hongarije, Griekenland en Letland. Het systeem analyseert „details van gelaatsuitdrukkingen met behulp van gezichts- en emotieherkenningstechnologieën”. Het systeem „toetst” of migranten antwoorden over bijvoorbeeld hun herkomst naar waarheid beantwoorden. Er is geen wetenschappelijke consensus dat leugendetectors, ook die gerund worden door AI, betrouwbare resultaten afleveren.

Het betreffende systeem heet iBorderCtrl en komt uit een Europees researchproject dat al een paar jaar loopt. De kern is dat men een machine learning model heeft getraind om emotieherkenning te doen om zo de mate van eerlijkheid van antwoorden van migranten in te schatten.

Er is een zeer hardnekkige overtuiging dat als we maar goed genoeg ons best doen, het ons moet lukken om mensen eerlijk te beoordelen met een computersysteem. Waar dat vandaan komt weet ik niet (“techno-optimisme”) maar elke keer als je dan even verder kijkt wat erachter zit, dan schrik je je wezenloos.

Het model van iBorderCtrl kent bijvoorbeeld diverse factoren zoals “knippert met linkeroog” of “beweegt hoofd”, en als je genoeg van die factoren zou hebben dan zou je met hoge betrouwbaarheid de leugenaars van de eerlijkerds kunnen scheiden. Dat vereist “alleen maar” een dataset met leugenaars en eerlijkerds met een hoop van die factoren. Dit is een beetje lastig om in het wild voor elkaar te krijgen, al is het maar omdat het niet eenvoudig is leugenaars te betrappen.

Hoe loste men dat op? Ga even op de grond zitten want anders val je van je stoel:

To create the dataset, 32 participants (actors) were assigned a “truthful” or “deceptive” role to perform during the interview. Each participant had to answer 13 questions (see Table 1) with each answer segmented in many vectors. According to the authors, this procedure generated 86,586 vectors. The dataset consisted of 10 participants classified as having Asian/Arabic ethnic background and 22 as White European background, and 22 classified as male and 10 as female.

Inderdaad, we doen grenscontroles op basis van een ML-model dat met n=32 is opgebouwd waarbij de antwoorden geacteerd zijn. Was er iemand bij die zei dat dit een leuk idee was maar zeker niet in de praktijk ingezet kon worden?

De AI Act bepaalt dat systemen voor grenscontrole hoogrisico kunnen zijn, wanneer ze specifiek een van deze usecases betreffen:

1. Leugendetectors gebruikt door publieke autoriteiten
2. Risico-assessments bij grenscontroles
3. Onderzoek van visum- en asielaanvragen
4. Het detecteren, herkennen en identificeren van personen (behalve bij verificatie van reisdocumenten)

Een hoogrisico-AI moet aan strenge eisen voldoen, waaronder de eis van een kwalitatief goede dataset (artikel 10, lid 2-5). In de woorden van artikel 3:

Training, validation and testing datasets shall be relevant, sufficiently representative, and to the best extent possible, free of errors and complete in view of the intended purpose. They shall have the appropriate statistical properties, including, where applicable, as regards the persons or groups of persons in relation to whom the high-risk AI system is intended to be used.

Hoe je dat precies voor elkaar krijgt, leer je op mijn opleiding AI Compliance Officer, maar het moge duidelijk zijn dat dit systeem niet zal voldoen. Toch blijft het gewoon doorhobbelen, want de Europese IT-systemen voor grenscontroles zijn tot 2030(!) vrijgesteld van de plicht aan de AI Act te voldoen (artikel 83).

Arnoud