De AI Act komt er definitief, al is het nog spannend wanneer precies. In een marathonsessie (22uur, pauze, 14uur) is de Europese wetgever eruit gekomen op alle belangrijke punten. De definitieve tekst moet nog afgerond, maar dit is wat we nu weten.
Het grootste deel van de discussie ging op aan de vraag hoe biometrie op afstand te reguleren, met name omdat politie en veiligheidsdiensten daar graag gebruik van willen maken maar dat op gespannen voet staat met mensenrechten. Uiteindelijk is gekozen voor een verbod met enkele uitzonderingen: bestrijding terrorisme, gericht volgen van een verdachte en opsporing van ernstige misdrijven. Of daarmee de risico’s van predictive policing zijn weggenomen, betwijfel ik zeer.
De definitie van een AI is overgenomen van de OECD, en komt neer op “alle autonoom opererende systemen waarvan de uitvoer direct van invloed is op de omgeving”. Welke technologie er achter zit, is dus niet relevant, net als of de AI standaard is of zeer vernieuwend. Het gaat erom of het ding zelfstandig in de rondte mag slaan.
Als iets aan die definitie voldoet, is de volgende vraag of dat fysiek in de EU gebeurt of dat de uitvoer bedoeld is om in de EU te gebruiken. Zo ja, dan is de AI Act van toepassing. En dan komen we gelijk bij de vraag hoe erg de risico’s van deze AI zijn.
De strengste regel is voor de engste vormen van AI. “Verboden praktijken” moeten binnen zes maanden na inwerkingtreding van de AI Act (beoogd is januari) volledig stoppen. Hieronder vallen onder meer onbewuste manipulatie, social credit scoring en realtime biometrie op afstand. Nieuw is een verbod op emotieherkenning op het werk, zoals bij assessments van sollicitanten of het monitoren van personeel (tenzij het gaat om veiligheidsscans zoals bij slapende machinisten).
De ‘lichtste’ vormen van AI kennen geen bijzondere risico’s en krijgen alleen transparantieplichten opgelegd. Kort gezegd moeten deze duidelijk aangeven dat ze AI zijn (“Dag, ik ben een chatbot, hoe kan ik u helpen?”). Ook hun uitvoer moet gemarkeerd zijn als van AI afkomstig, maar het is nog niet duidelijk of dit zou betekenen dat alle AI-gegenereerde tekst of beeld een watermerk moet krijgen.
De meeste aandacht gaat uit naar de “hoog risico” AI, AI systemen die bijzondere risico’s voor mens of maatschappij opleveren. Dat kan variëren van discriminatie van personen tot fysiek letsel, fouten bij het bereiden van voedsel of het vervuilen van het milieu door een verkeerde inschatting. Allereerst moet hierbij een fundamental rights impact assessment of FRIA worden uitgevoerd. En als dat gedaan is, dan kan het echte werk beginnen: kwaliteitsborging, verantwoordingsprocessen, documentatie, logging en menselijk toezicht op hun inzet. De inzet van een aparte AI Compliance Officer is dan ook zeer aan te raden.
Ook is veel aandacht gegaan naar de zogeheten foundation modellen, de algemene modellen zoals Google’s Bard of ChatGPT. Deze kunnen alles, en zijn dus niet aan een specifiek risico te koppelen. Aanbieders hiervan krijgen basisverplichtingen over transparantie en het aanpakken van generieke risico’s op zich, maar een aanbieder die zo’n foundation model inzet voor een specifieke toepassing moet zélf de uiteindelijke verantwoording dragen. Een aanbieder van bijvoorbeeld een contractenscanner die met ChatGPT teksten analyseert, moet zelf de kwaliteit van de contractenscanning borgen en mag niet simpelweg vertrouwen op wat ChatGPT kan.
Open source modellen zijn in principe uitgesloten van de AI Act. Dit betreft modellen die onder een open of vrije licentie gedeeld worden en waarvan de broncode en de parameters openbaar zijn voor een ieder. Veel innovatie drijft op dergelijke modellen, en hiermee blijft bijvoorbeeld wetenschappelijk onderzoek mogelijk. Wanneer een open source model specifiek ingezet wordt voor een hoog risico toepassing, gaat echter wél de AI Act gewoon gelden.
De boetes zijn niet mals: tot 35 miljoen euro per overtreding of 7% van de wereldwijde omzet van het concern waarbinnen de overtreding wordt gemaakt. Voor ‘kleine’, administratieve overtredingen is dit 7,5 miljoen of 1.5%. Naast deze boetes kunnen de toezichthouders ook bevelen dat een specifieke AI-toepassing wordt bijgesteld of van de markt gehaald.
De beoogde datum van inwerkingtreding was 1 januari 2024, maar omdat er nog flink aan de tekst gesleuteld moet worden om alle compromissen te verwerken én omdat alles in 24 talen vertaald moet worden, is het zeer de vraag of dit gehaald wordt. De bedoeling is dan wel zo snel mogelijk daarna de wet te publiceren.
Er is beperkt overgangsrecht: de verboden praktijken moeten dus binnen 6 maanden stoppen, maar voor de hoog risico AI’s geldt een (sommige bronnen: twee) jaar overgangsrecht waarbinnen alle compliance vereisten moeten zijn verwerkt. Dat is korter dan je denkt: tuig maar eens een data-kwaliteitssysteem op als dat er nog geheel niet is.
Er is van vele kanten kritiek geuit op de AI Act. Enerzijds dat er niet streng genoeg wordt opgetreden tegen de grote risico’s van deze nieuwe technologie, en anderzijds dat regulering juist de innovatie geheel de nek om zal draaien.
Wat dat laatste betreft: ik geloof er niet in dat innovatie alleen goed mogelijk is als er nul regulering is. Ja, je krijgt méér experimenten, maar veel daarvan geven eerder gevaar dan voordeel voor de maatschappij. Het gaat immers niet om hoe geavanceerd de technologie is, maar om autonome inzet – een zelfrijdende auto kan mensen aanrijden, en of dat nou komt door een pulsed neural netwerk dat verkeerde conclusies trok of een beslisboom die niet voorzag in het concept “bakfiets” is volstrekt irrelevant.
Het voor mij grootste probleem zit hem in die hoogrisicotoepassingen, met name omdat dit vaak zwakkere groepen raakt. Werknemers die worden gescreend en beoordeeld door AI, zonder daar weerwoord tegen te kunnen geven. Burgers die geen ambtenaar maar een AI tegenover zich zien en dan hun bijzondere omstandigheden niet kwijt kunnen. Mensen die door een politie-AI worden ‘herkend’ en gevolgd, zonder dat zij dit weten of kunnen klagen dat die herkenning ten onrechte is. Dát is het probleem dat de AI Act probeert op te lossen.
Arnoud PS, jaja, 0x31 alweer vandaag, dank u dank u.
Proficiat!
Gefeliciteerd met je 0o61-e verjaardag, Arnoud!
On topic: mijn robot-stofzuiger gaat dus ook onder deze wetgeving vallen? Ding opereert autonoom en mept om zich heen. Ik ben wel voor wat transparantie: waar gaan die beelden van de camera’s zoal naar toe, hoe zijn die afgeschermd en hoe weet ik wat het AI model doet met die beelden? Akkoord als daarmee een kaart van mijn kamer wordt gemaakt, niet akkoord als daarmee een profiel wordt opgesteld van mijn woninginrichting en leefstijl die vervolgens wordt verkocht aan de hoogste bieder, uiteraard ‘zonder mijn contactgegevens’.
Het klopt helemaal dat ook je robotstofzuiger onder de AI Act gaat vallen. Ik twijfel of hij hoogrisico is, want volgens mij is het ding niet snel in staat om mensen schade te bezorgen. Bescherming van eigendom (het kapotte tapijt, of bij de robotgrasmaaier het rozenperk) is echter ook een fundamenteel recht.
Huh, sinds wanneer zijn de erg basale algoritmes in een robotstofzuiger ook AI?
“Basaal” is geen criterium. De vraag is of het ding autonoom opereert en daarbij zijn omgeving beïnvloedt. Dat lijkt me het geval, hij bepaalt zelf de route en waar gezogen wordt.
Dat wil niet zeggen dat dus de hele berg van de AI Act gaat gelden. Daarvoor is vereist dat de toepassing hoog risico is, en dat zie ik niet.
De zorg die ik heb, is dat de regel
in de praktijk vaak neerkomt op, voor nu is het verboden, maar morgen gaan wij testend de grens over en sluipenderwijs verwateren wij de regels wel. Zie hoe het is gegaan met het internet/mail ‘sleepnet’.@Arnoud Wat jouw PS en de reactie betreft; ik neem aan dat het gaat om jouw verjaardag. Dus een “0x32”-e proficiat.