Categorie: Innovatie

Fitnessketen Basic-Fit zet AI-gestuurde ‘slimme camera’s’ en sensoren in om agressie, ongeautoriseerde toegang, gezondheidsproblemen, zoals flauwvallen, en andere incidenten te herkennen. Dat meldde Security.nl onlangs. Technologieleverancier Axis spreekt van een “revolutionaire oplossing”, ik spreek van een interessant AI Act-vraagstuk.

Het is moeilijk op de Axis-site een uitleg te geven die niet leest als een ChatGPT tekst, maar bij deze:

Smart cameras that are used for their sensory-like functions and remote control mechanisms are deployed in each gym. The various Axis products work together with a specifically designed AI algorithm to quickly detect and address issues on site, while also enabling gyms to operate 24 hours a day. Gym members can therefore feel safe, even when there is no staff around. In case of need or an emergency, a specially designed remote control room can be contacted from the Basic-Fit location. From there health concerns, aggression, fraud, and even foot traffic is monitored.

Emotieherkenning is een van de controversieelste toepassingen van AI/ML. Het idee is dat je door analyse van uiterlijke kenmerken kunt vaststellen hoe iemand zich voelt – plus dat je dat kunt terugbrengen tot een serie labels zoals vreugde, woede, angst, walging, minachting, verdriet en verrassing. Voor geen van deze twee dingen is wetenschappelijke consensus, maar door het in een computer te stoppen en die “AI” te noemen creëert men een sfeer dat dit een opgelost probleem is. Dus als de AI zegt dat persoon A “woedend” is, dan gaat er een bewaker naar de locatie om persoon A de-escalerend aan te spreken en te verwijderen.

Mag het? Op dit moment wel. De AVG regelt het een en ander over cameratoezicht (zie het reglement), en bevat daarnaast regels over profileren en automatische besluitvorming. Maar wat hier gebeurt, is nog geen besluitvorming. De AI stuurt er een mens op af, waarna de mens op locatie het besluit neemt (“oh nee, hij was stoom aan het afblazen omdat hij leg day niet ziet zitten”). De analyse wordt verder niet aan je klantprofiel gekoppeld en er wordt verder ook niets mee gedaan. AVG-technisch lijkt dit dus wel in orde.

De AI Act kijkt er wat anders tegenaan. Het is niet verboden – het verbod op emotieherkenning geldt alleen bij gebruik op het werk of in het onderwijs. Bij vrij sporten zoals hier, is dat niet aan de orde (de trainers/werknemers worden hier niet mee gemonitord). Het is wel een hoog-risico AI (artikel 1(ab) van Annex III), dus het triggert een berg eisen zoals een risicomanagementsysteem, uitgebreide logging, adequaat menselijk toezicht en marktmonitoring op incidenten.

De AI Act is nog niet formeel aangenomen (verwachting: april) dus het is niet raar dat Axis nog niets zegt over hoe ze aan de wet voldoet. Daar hebben ze net als iedereen nog (slechts) twee jaar voor, want op dat moment moeten alle aspecten opgezet zijn. En dat is minder tijd dan je denkt.

Een bijkomstigheid: op de Axis-pagina zie ik diverse producten zoals een domecamera of een intercom. Ik weet zeker dat daar het bekende CE-logo op zit. Vanaf het moment dat de AI Act van kracht is, gaat dat logo óók betekenen dat het product aan die wet voldoet.

Arnoud

Het Japanse ministerie van Economie, Handel en Industrie heeft allerlei regelgeving aangepast die het gebruik van diskettes en cd-roms verplicht. Dat las ik bij Security.nl. De aangepaste verordeningen gebruiken nu techniekneutrale benamingen.

Waarom is mij niet duidelijk, maar Japan bleek bijna 2000 wetten en regels te hebben waarin expliciet naar floppydisks werd verwezen. De BBC legt uit:

This is not the first time Japan has hit the headlines for its old-fashioned habits – which remain a paradox given the country’s proficiency at developing exciting new products. Various explanations have been offered, including poor digital literacy and a bureaucratic culture with conservative attitudes.

Veel mensen linktipten me dit bericht vanuit een motivatie van “haha gekke juristen zijn zo ouderwets”. Dat zal zeker ook mee hebben gespeeld – maar de reden om zo ouderwets te doen is vaak simpel: (a) het werkt, (b) we weten dat het rechtsgeldig is. Dat moeten we met jouw flitsende app nog maar zien, en die floppy disk heeft géén ellenlange uitsluiting van aansprakelijkheid.

In Nederland hebben we nooit expliciete regels over floppy’s als verplicht medium gehad. Ja, er was de Aangiftediskette die in 2008 ‘abrupt’ werd afgeschaft, maar dat was een optie en geen plicht. De beste analogie is volgens mij de fax, die in 2021 bij de Rechtspraak als laatste werd afgeschaft. Ik schreef toen:

De overstap van post naar fax was destijds al een grote stap. Ik kon niet precies achterhalen wat de eerste uitspraak was waarin faxverkeer als rechtsgeldig werd erkend, de strafzaak HR 13 september 1988, NJ1989,12 lijkt de eerste uitspraak te zijn geweest. Hierin stond ter discussie of een gefaxte pleitnota wel rechtsgeldig ondertekend was door de advocaat. Immers, hoe controleer je de echtheid van een korrelig plaatje? Gelukkig was de advocaat-generaal van de HR behulpzaam:

Nodig is dat de advocaat telefonisch of schriftelijk aan de griffie van de HR laat weten dat de gefotocopieerde handtekening zijn handtekening is. Waar zo een nadere mededeling ontbreekt zal slechts een toevallige omstandigheid, zoals de aanwezigheid in het dossier van een brief van de indienende advocaat met diens originele handtekening en de mogelijkheid om de overeenkomst van die handtekeningen zonder moeite vast te stellen, de schriftuur met de gefotocopieerde of ‘gefaxte’ handtekening kunnen redden.

In andere zaken werd vergelijkbaar geoordeeld, waarbij ook wel als argument werd geaccepteerd dat je het origineel naleverde en dat men achteraf kon zien dat dit identiek was aan de fax. Dan heb je je origineel maar kan het allemaal net wat sneller. Daar kon niemand op tegen zijn, maar zeker woog ook mee dat professionele procespartijen zoals advocaten of rechters er geen belang bij zouden hebben om vervalste faxen te sturen. De kans op vervalsingen zou dus klein genoeg zijn.

Arnoud

Chatbots van OpenAI, Google en Meta zijn zeer gevoelig voor ‘hallucinaties’ bij het beantwoorden van juridische vragen, zo las ik bij Advocatie. Men baseert zich op onderzoek van Stanford University, dat bij juridische vragen in driekwart van de antwoorden fouten vond. Fascinerend, maar het betekent hooguit dat je geen generieke chatbot voor een specifieke taak moet gebruiken.

Op voorhand ben ik altijd erg kritisch op onderzoeken die zich baseren op GPT-3.5, zeg maar de gratis versie van ChatGPT. De verschillen tussen 3.5 en 4 zijn echt enorm. Maar hier gaat het specifiek om de kwestie van juridische vragen in een algemeen taalmodel. En dan is het natuurlijk redelijk logisch dat daar rare, algemene antwoorden uit komen: al die juridische kennis zit niet in de dataset.

Maar belangrijker: generatieve AI is geen orakel dat antwoorden genereert op basis van een analyse van de vraag. Het zijn stochastische papegaaien, patroonzoekers die een leuk klinkende tekst produceren die redelijk aansluit op de invoerprompt. Of die vraag enige relatie heeft tot de werkelijkheid, is daarbij volkomen irrelevant.

Dit krijg je pas anders als je zo’n systeem voedt met specifieke juridische kennis, want dan kan het systeem in ieder geval de benodigde kennis reproduceren om het antwoord mee aan te kleden. Maar strak afstellen blijft noodzakelijk, zoals het DPD chatbot-incident laat zien.

Het probleem is dus eigenlijk fundamenteler: we gebruiken een tekstgenerator om antwoorden te zoeken. Dat is natuurlijk omdat die generatoren nu de hypewind mee hebben, maar eigenlijk is het raar. Er zijn genoeg juridische kennissystemen die wél gericht encorrect antwoorden op juridische vragen kunnen oplepelen. Koppel die dan aan zo’n tekstgenerator om het mooi te maken, zou je zeggen. Maar dat laat nog even op zich wachten.

Arnoud

De AI Act komt er definitief, al is het nog spannend wanneer precies. In een marathonsessie (22uur, pauze, 14uur) is de Europese wetgever eruit gekomen op alle belangrijke punten. De definitieve tekst moet nog afgerond, maar dit is wat we nu weten.

Het grootste deel van de discussie ging op aan de vraag hoe biometrie op afstand te reguleren, met name omdat politie en veiligheidsdiensten daar graag gebruik van willen maken maar dat op gespannen voet staat met mensenrechten. Uiteindelijk is gekozen voor een verbod met enkele uitzonderingen: bestrijding terrorisme, gericht volgen van een verdachte en opsporing van ernstige misdrijven. Of daarmee de risico’s van predictive policing zijn weggenomen, betwijfel ik zeer.

De definitie van een AI is overgenomen van de OECD, en komt neer op “alle autonoom opererende systemen waarvan de uitvoer direct van invloed is op de omgeving”. Welke technologie er achter zit, is dus niet relevant, net als of de AI standaard is of zeer vernieuwend. Het gaat erom of het ding zelfstandig in de rondte mag slaan.

Als iets aan die definitie voldoet, is de volgende vraag of dat fysiek in de EU gebeurt of dat de uitvoer bedoeld is om in de EU te gebruiken. Zo ja, dan is de AI Act van toepassing. En dan komen we gelijk bij de vraag hoe erg de risico’s van deze AI zijn.

De strengste regel is voor de engste vormen van AI. “Verboden praktijken” moeten binnen zes maanden na inwerkingtreding van de AI Act (beoogd is januari) volledig stoppen. Hieronder vallen onder meer onbewuste manipulatie, social credit scoring en realtime biometrie op afstand. Nieuw is een verbod op emotieherkenning op het werk, zoals bij assessments van sollicitanten of het monitoren van personeel (tenzij het gaat om veiligheidsscans zoals bij slapende machinisten).

De ‘lichtste’ vormen van AI kennen geen bijzondere risico’s en krijgen alleen transparantieplichten opgelegd. Kort gezegd moeten deze duidelijk aangeven dat ze AI zijn (“Dag, ik ben een chatbot, hoe kan ik u helpen?”). Ook hun uitvoer moet gemarkeerd zijn als van AI afkomstig, maar het is nog niet duidelijk of dit zou betekenen dat alle AI-gegenereerde tekst of beeld een watermerk moet krijgen.

De meeste aandacht gaat uit naar de “hoog risico” AI, AI systemen die bijzondere risico’s voor mens of maatschappij opleveren. Dat kan variëren van discriminatie van personen tot fysiek letsel, fouten bij het bereiden van voedsel of het vervuilen van het milieu door een verkeerde inschatting. Allereerst moet hierbij een fundamental rights impact assessment of FRIA worden uitgevoerd. En als dat gedaan is, dan kan het echte werk beginnen: kwaliteitsborging, verantwoordingsprocessen, documentatie, logging en menselijk toezicht op hun inzet. De inzet van een aparte AI Compliance Officer is dan ook zeer aan te raden.

Ook is veel aandacht gegaan naar de zogeheten foundation modellen, de algemene modellen zoals Google’s Bard of ChatGPT. Deze kunnen alles, en zijn dus niet aan een specifiek risico te koppelen. Aanbieders hiervan krijgen basisverplichtingen over transparantie en het aanpakken van generieke risico’s op zich, maar een aanbieder die zo’n foundation model inzet voor een specifieke toepassing moet zélf de uiteindelijke verantwoording dragen. Een aanbieder van bijvoorbeeld een contractenscanner die met ChatGPT teksten analyseert, moet zelf de kwaliteit van de contractenscanning borgen en mag niet simpelweg vertrouwen op wat ChatGPT kan.

Open source modellen zijn in principe uitgesloten van de AI Act. Dit betreft modellen die onder een open of vrije licentie gedeeld worden en waarvan de broncode en de parameters openbaar zijn voor een ieder. Veel innovatie drijft op dergelijke modellen, en hiermee blijft bijvoorbeeld wetenschappelijk onderzoek mogelijk. Wanneer een open source model specifiek ingezet wordt voor een hoog risico toepassing, gaat echter wél de AI Act gewoon gelden.

De boetes zijn niet mals: tot 35 miljoen euro per overtreding of 7% van de wereldwijde omzet van het concern waarbinnen de overtreding wordt gemaakt. Voor ‘kleine’, administratieve overtredingen is dit 7,5 miljoen of 1.5%. Naast deze boetes kunnen de toezichthouders ook bevelen dat een specifieke AI-toepassing wordt bijgesteld of van de markt gehaald.

De beoogde datum van inwerkingtreding was 1 januari 2024, maar omdat er nog flink aan de tekst gesleuteld moet worden om alle compromissen te verwerken én omdat alles in 24 talen vertaald moet worden, is het zeer de vraag of dit gehaald wordt. De bedoeling is dan wel zo snel mogelijk daarna de wet te publiceren.

Er is beperkt overgangsrecht: de verboden praktijken moeten dus binnen 6 maanden stoppen, maar voor de hoog risico AI’s geldt een (sommige bronnen: twee) jaar overgangsrecht waarbinnen alle compliance vereisten moeten zijn verwerkt. Dat is korter dan je denkt: tuig maar eens een data-kwaliteitssysteem op als dat er nog geheel niet is.

Er is van vele kanten kritiek geuit op de AI Act. Enerzijds dat er niet streng genoeg wordt opgetreden tegen de grote risico’s van deze nieuwe technologie, en anderzijds dat regulering juist de innovatie geheel de nek om zal draaien.

Wat dat laatste betreft: ik geloof er niet in dat innovatie alleen goed mogelijk is als er nul regulering is. Ja, je krijgt méér experimenten, maar veel daarvan geven eerder gevaar dan voordeel voor de maatschappij. Het gaat immers niet om hoe geavanceerd de technologie is, maar om autonome inzet – een zelfrijdende auto kan mensen aanrijden, en of dat nou komt door een pulsed neural netwerk dat verkeerde conclusies trok of een beslisboom die niet voorzag in het concept “bakfiets” is volstrekt irrelevant.

Het voor mij grootste probleem zit hem in die hoogrisicotoepassingen, met name omdat dit vaak zwakkere groepen raakt. Werknemers die worden gescreend en beoordeeld door AI, zonder daar weerwoord tegen te kunnen geven. Burgers die geen ambtenaar maar een AI tegenover zich zien en dan hun bijzondere omstandigheden niet kwijt kunnen. Mensen die door een politie-AI worden ‘herkend’ en gevolgd, zonder dat zij dit weten of kunnen klagen dat die herkenning ten onrechte is. Dát is het probleem dat de AI Act probeert op te lossen.

Arnoud PS, jaja, 0x31 alweer vandaag, dank u dank u.

Met een presidentieel decreet wil de Amerikaanse president Joe Biden toekomstige AI-modellen van vangrails voorzien. Dat las ik bij De Tijd dinsdag. Het nieuws komt een week nadat de Europese wetgever er nog niet uit is met de AI Act, dus het is nogal een verrassing: krijgt de VS nu ineens méér regulering dan Europa?

De Wall Street Journal noemt de Executive Order van Biden (want dat is het) een “emergency federal power”. Want Biden kan als president geen wetten invoeren. Met een executive order of decreet kan hij de federale overheidsorganen aansturen, wat indirect behoorlijk wat impact op de maatschappij kan hebben.

Eerder had het Witte Huis al een “Blueprint for an AI Bill of Rights” uitgegeven, een streven met vijf beginselen voor wat wij trustworthy AI zouden noemen. Biden maakt in zijn XO daar nu acht uitgangspunten van. Ik citeer de belangrijkste passage van iedere, namelijk het punt waar hij ingaat op wat zijn overheidsorganen gaan doen:

1. My Administration will help develop effective labeling and content provenance mechanisms, so that Americans are able to determine when content is generated using AI and when it is not.
2. The Federal Government will promote a fair, open, and competitive ecosystem and marketplace for AI and related technologies so that small developers and entrepreneurs can continue to drive innovation.
3. My Administration will seek to adapt job training and education to support a diverse workforce and help provide access to opportunities that AI creates.
4. Ty Administration will build on the important steps that have already been taken […] in seeking to ensure that AI complies with all Federal laws and to promote robust technical evaluations, careful oversight, engagement with affected communities, and rigorous regulation.
5. The Federal Government will enforce existing consumer protection laws and principles and enact appropriate safeguards against fraud, unintended bias, discrimination, infringements on privacy, and other harms from AI.
6. The Federal Government will ensure that the collection, use, and retention of data is lawful, is secure, and mitigates privacy and confidentiality risks.
7. My Administration will take steps to attract, retain, and develop public service-oriented AI professionals (…)   The Federal Government will work to ensure that all members of its workforce receive adequate training (…).
8. My Administration will engage with international allies and partners in developing a framework to manage AI’s risks, unlock AI’s potential for good, and promote common approaches to shared challenges.

Wél spannend wordt het wanneer Biden de Defense Production Act uit 1950 inroept. Deze wet is aangenomen aan het begin van de Korea-oorlog en geeft de president de bevoegdheid om producten onder de DPA te scharen wanneer dat noodzakelijk is voor de nationale veiligheid.

Biden rekent daar nu de enorme foundation models onder die het leeuwendeel van de nieuwe AI uitmaken, zoals GPT4 en Google’s modellen. De insteek is dat deze ook voor kwaadaardige cyberactiviteit ingezet kunnen worden, waarmee de VS kwetsbaarder wordt jegens buitenlandse actoren. Wederverkoop of IaaS-levering van zulke modellen aan buitenlanders wordt hiermee gereguleerd, de minister van Handel mag ingrijpen als zo’n transactie onwenselijk is vanuit de staatsveiligheid en inzet van AI in kritieke sectoren wordt aan overheidstoezicht onderworpen en zo nog het een en ander.

Opmerkelijk is vooral de eis aan generative AI: veel media melden dat generatoren hun content moeten gaan watermerken. Dat staat er niet: er komt onderzoek naar effectieve technieken om ‘synthetische’ content te kunnen onderscheiden van echte, en daaruit wordt dan een standaard afgeleid. Maar buiten de bovengenoemde scope kan de president private partijen niet bevelen uitvoer van hun tooling te watermerken.

De XO is natuurlijk wel een enorm sterk signaal dat er regulering aan zit te komen, en omdat alle grote AI providers ook willen leveren aan de overheid is de kans groot dat men deze standaarden gaat ondersteunen in ál hun producten en diensten. In combinatie met de AI Act die we in januari verwachten, levert dat in 2024 ineens een enorme regulering op van de wildwestsector die we nu hebben.

Arnoud