Tag: artificial intelligence

About artificial intelligence

Subscribe Feeds

AI recruitmentsoftware is “automatische pseudowetenschap”, wat zal de wet ervan vinden straks?

Geplaatst op in Ondernemingsvrijheid, Privacy, 2 reacties
geralt / Pixabay

Een recente studie van de Universiteit van Cambridge laat zien dat AI software voor werving en selectie vaak “geautomatiseerde pseudowetenschap” is, zo las ik bij The Register. Het gaat om tools zoals de Personality Machine, die mensen scoort op de Big Five persoonlijkheidstheorie – in de HR de “meest gebruikte en best onderzochte persoonlijkheidstheorie.” Uiteraard is het argument dan dat zo’n AI veel objectiever kan scoren, want er leeft dus het idee dat een getal uit een computer “objectief” is en vrij van vooroordelen en dergelijke. Maar het gaat mis op veel simpeler punten. Ik dacht, een leuke voor de aankomende AI Verordening.

De beschrijving van JobPersonality.com over die theorie is veelbelovend:

Uit jarenlang en wereldwijd psychologisch onderzoek blijkt dat je iemands persoonlijkheid door middel van vijf dimensies, de zogenaamde Big Five, kunt beschrijven. Deze dimensies zijn extraversie, vriendelijkheid, emotionele stabiliteit, ordelijkheid en openheid. Per dimensie kun je hoog, laag of ergens daar tussenin scoren. Er zijn geen slechte scores. Je moet er alleen voor zorgen dat je een (werk)omgeving vindt of creëert die bij je persoonlijkheid past. Veel persoonlijkheidstests die bij loopbaanadvies worden gebruikt, zijn gebaseerd op de Big Five persoonlijkheidstheorie.
Het idee: je scoort mensen op die vijf dimensies en bepaalt dan bij welk werknemersprofiel ze passen. Een zeer introverte, zeer ordelijke gesloten persoonlijkheid moet je niet naast een extroverte supervriendelijke medewerker in de sales neerzetten bijvoorbeeld, maar ik zou die wel als data-jurist bij ons willen hebben. Alleen, hoe bepaal je die scores? Dat is dus mensenwerk en dat is waar het dan mis kan gaan: verhalen te over van HR-medewerkers die op basis van de aanwezigheid van een stropdas iemand hoog op ordelijk scoren of op etnische afkomst en dergelijke iemand als introvert of instabiel aanmerken.

Dat is waar de AI-promoties bij binnenkomen: een AI belooft dat objectief te doen. Die heeft niets met stropdassen maar kijkt naar de inhoud, zo is het verhaal, en daar komt dan dus een veel betere score uit. En ook als iemand in het gesprek een minder moment heeft, zal dat bij een AI er niet toe doen. Dit is het belangrijkste argument waarom AI steeds vaker aangenomen wordt, het elimineren van menselijke tekortkomingen. (De eigenlijke reden is kostenbesparing want goede HR-mensen zijn duurder dan een licentie op zo’n tool.)

Gaat dat nou echt goed? Nou nee, want alles staat of valt met hoe zo’n AI getraind is. Quoth the Raven, pardon the Register:

They found the software’s predictions were affected by changes in people’s facial expressions, lighting and backgrounds, as well as their choice of clothing. These features have nothing to do with a jobseeker’s abilities, thus using AI for recruitment purposes is flawed, the researchers argue.
Oftewel: de AI is getraind op foto’s van mensen waarbij aangegeven is welke score ze hebben, waarna de AI dingen is gaan zoeken die deze mensen van elkaar onderscheiden. En voor een AI is “lacht klaterend” net zo goed een feature als “heeft goede verlichting” of “heeft een boekenkast op de achtergrond”. Dus als je de extraverten kunt onderscheiden van de introverten door te kijken naar de belichting in de foto, dan is dat helemaal prima.

Het paper gaat nog in op een aanverwant onderwerp, namelijk het elimineren van bias op etnische afkomst of gender. Waarbij de tools enerzijds beloven dat ze niet kijken naar die aspecten bij de beoordeling, maar dat je wel een diversiteits-vlaggetje aan kunt zetten als je extra divers wilt recruiten(?). Men is daar zeer kritisch over:

AI hiring firms argue that their tools can increase the diversity of a firm’s incoming workforce in two ways. First, companies such as HireVue suggest that since AI-powered hiring tools can process far larger numbers of applications than human recruiters, it also allows companies to assess a more diverse range of candidates: … . Secondly, AI hiring firms like myInterview and Retorio insist that the removal of bias from the hiring process will naturally result in a more diverse workforce. … While we do not deny that AI-powered tools may help HR professionals recruit more diverse workforces, we also caution that such “diversity tools” may obscure the structural issues within organizations that lead to underrepresentation in workforces and exclusive work cultures.
Het introduceren van diversiteit of het sturen op eliminatie van bias is een zeer ingewikkeld concept, niet iets dat je met het uitrollen van een leuke nieuwe AI tool eventjes oplost. Maar dat even terzijde: hoe kijkt de wet hier tegenaan?

Op dit moment is de enige echte regelgeving de AVG, die in artikel 22 bepaalt dat je mensen niet mag onderwerpen aan besluiten die enkel door een computersysteem zijn genomen. Iemand geautomatiseerd afwijzen omdat de Big 5 score uit die tool niet past bij het functieprofiel valt daaronder en mag dus niet. Een recruiter mag de output van de tool wel gebruiken als deel van een evaluatie, mits die meer is dan “computer says no” natuurlijk.

De aankomende AI Act (AI Verordening) is al heel wat strenger over dit soort tools. Overweging 36 zegt expliciet

AI-systemen die worden gebruikt op het gebied van werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, met name voor de aanwerving en selectie van personen, voor het nemen van besluiten over de promotie en het ontslag en voor de toewijzing van taken, de monitoring of de evaluatie van personen in werkgerelateerde contractuele betrekkingen, moeten ook als systemen met een hoog risico worden geclassificeerd, aangezien deze systemen aanzienlijke gevolgen kunnen hebben voor de toekomstige carrièrekansen en het levensonderhoud van deze personen.
“Hoog risico” wil hier zeggen dat ze alleen gebruikt mogen worden als aan zeer strenge eisen is voldaan. De kern is dat je een “systeem voor risicobeheer” hebt, waarmee je de relevante risico’s in kaart hebt en kunt bijsturen wanneer deze dreigen zich voor te doen. Ook heb je gewerkt met data die voldoet aan hoge kwaliteitseisen die hoort bij het vakgebied. Als mensen anders scoren op basis van de belichting, dan is dat dus niet in orde bijvoorbeeld. En oh ja, van dit alles heb je schriftelijk bewijs dat het allemaal zo is, én je hebt mensen die meekijken of het systeem echt goed blijft werken.

Dat je het systeem op basis van een mooie glimmende folder en demonstratie in de boardroom (“Even kijken hoe Johan van Finance scoort haha”) hebt aangekocht, is daarbij geen argument: je moet als gebruiker van de tool zélf kunnen aantonen dat deze veilig is. Natuurlijk mag je dan bewijs van de leverancier vragen, maar dat moet dus voldoen aan die wettelijke eisen en het is jouw probleem als de leverancier onvolledig is of liegt over een en ander.

Meelezende HR mensen, hebben jullie ervaring met dergelijke tools en op welke punten in het proces zet je deze in?

Arnoud

Google ontslaat engineer die claimde dat LaMDA zelfbewust was geworden, mag dat?

Geplaatst op in Ondernemingsvrijheid, 4 reacties

Google heeft Blake Lemoine van de Responsible AI-divisie van het bedrijf ontslagen nadat hij eerder al op non-actief was gesteld. Dat meldde Tweakers onlangs. Lemoine haalde het wereldnieuws met zijn stelling dat het LaMDA-taalmodel zelfbewust was geworden, zelfs een ziel zou hebben. Dit op basis van gepubliceerde chattranscripties. Google gooit het op schending van de geheimhoudingsplicht voor werknemers, wat formeel natuurlijk klopt maar wel vragen oproept over klokkenluiden en maatschappelijke misstanden. Want wat zou Lemoine anders hebben moeten doen om een zelfbewuste entiteit te mogen redden van de grote delete-knop?

Californië is juridisch een bijzonder land. Enerzijds is het ontzettend ondernemersvriendelijk, het is niet voor niets dat hier de ict-industrie is geboren. Anderzijds houdt het ook veel rekening met de belangen van werknemers, en dat zie je in dit geval terug in de California Whistleblower Protection Act: een wet die werknemers beschermt wanneer die genoodzaakt zijn de klok te luiden over misstanden bij een werkgever. Deze verbiedt werkgevers om wraak te nemen op werkgevers die klokkenluiden.

Of dat opgaat voor Lemoine is een lastige vraag, primair gaat de WPA namelijk over het informeren van de overheid en moet het gaat om kwesties waarbij de werkgever de wet lijkt te overtreden of de gezondheid van mensen in gevaar brengt. Het contact opnemen met de pers wordt in de WPA niet genoemd, en het zou dan een werkgever vrij staan om tegenmaatregelen te nemen.

Ook in Nederland is de wetgeving rondom klokkenluiden primair gericht op bescherming van mensen die naar de autoriteiten stappen, niet op mensen die direct de krant bellen. Maar de aankomende Wet Bescherming Klokkenluiders zal wel een regeling bevatten dat wie een melding heeft gedaan bij werkgever of autoriteiten ook beschermd moet zijn als zhij naar de pers stapt (art. 17ea). Wat hier dan lastig is, want welke autoriteiten moet je bellen als je een niet-menselijke intelligentie hebt gevonden en het erop lijkt dat anderen deze willen negeren of zelfs kwaad aandoen?

Wat ook meespeelt is dat de claims van Lemoine niet echt gehoor lijken te vinden. Ik zie wel veel nieuws over zijn initiële ontdekking, maar niemand lijkt uiteindelijk de conclusie over te nemen. Uiteindelijk is voor een beroep op klokkenluidersbescherming wel vereist dat je claim min of meer klopt. En één set chattranscripties waar niemand na de eerste verbazing echt van achterover valt, dat is dan echt niet genoeg.

Arnoud

Juridisch gezien is een Excelfilter een algoritme en dat is maar goed ook

Geplaatst op in Informatiemaatschappij, 44 reacties

Vier Utrechtse gemeenten, Nieuwegein, IJsselstein, Houten en Lopik, hebben bij de bestrijding van bijstandsfraude gebruikgemaakt van een verboden overheidsalgoritme. Dat meldde Security.nl onlangs. Het betreft hier de “Fraudescorekaart”, een Excelsheet die in 2003 werd ontwikkeld (en nooit werd bijgewerkt, wat op zich ook nog opmerkelijk is). Omdat het ophef in de pers (dank u Argos) besloot men er alsnog mee te stoppen. Dit gaf ophef in de compliance hoek: hoezo is een Excelsheet een “algoritme”?

De Fraudescorekaart is het waanzinnig idee dat je met een serie punten over iemands achtergrond kunt inschatten of diegene een fraudeur is:

De kaart profileerde bijvoorbeeld op beroep, woonsituatie, opleidingsniveau, geslacht en de wijk waarin burgers woonden. Woonwagenbewoners kregen 700 punten, huiseigenaren 0 punten. Bij een score van 950 punten was er volgens het systeem, dat door 158 gemeenten werd gebruikt, sprake van fraude. In 2020 besloten gemeenten met het systeem te stoppen.
Wie zichzelf langs de lat wil leggen (doe me een lol en zet je score bij je reactie) kan dat dankzij Lighthouse Reports doen, en dan zien je meteen hoe raar het werkt. Neem bijvoorbeeld de beroepenlijst: horeca, bouw, taxi of kapper en anders “overig”. Hoe lager je inkomen hoe hoger je fraudekans. En ga zo maar door.

Is dat nu een algoritme? Wie de gebruikelijke definities erbij pakt, komt bij termen als “stappenplan” of “recept om een wiskundig of informaticaprobleem op te lossen”, al dan niet onder verwijzing naar de naam van de Perzische wiskundige Al-Chwarizmi. Die termen zijn zo breed dat dit er zeker ook wel onder valt, “beantwoord de vragen en tel de punten uit de bijlage op conform onderstaand schema” is best wel een stappenplan of recept te noemen, zij het voor het juridisch probleem “hoe rechtvaardig je een vermoeden van fraude zonder een heel dossier door te hoeven”.

In de praktijk wordt de term algoritme vooral gebruikt voor complexe stappenplannen of recepten, zeg maar waar je zonder computer er zeer zeker niet uit komt. Vaak gaat het dan specifiek over machine learning of artificial intelligence, waarbij een wiskundige formule datapunten classificeert of positioneert op basis van patronen die in een enorme bak data zijn aangetroffen. (Terzijde, dat is volgens informatici dan weer géén algoritme omdat het statistiek is en dus geen recept.) Het staat dan wat raar dat je een Excel filter of een formule die twintig cellen optelt en =if(C88>=950;"Fraudeur";"Geen fraudeur") laat zien dan met diezelfde term aanduidt.

Voor juristen zou deze hele definitiekwestie niet aan de orde moeten zijn. Waar het namelijk uiteindelijk om gaat, is of je geautomatiseerd een beslissing neemt (AVG artikel 22) of een hoog-risico AI systeem in gebruik hebt (artikel 6(2) concept AI Act). Dat je met zo’n Excelsheet een beslissing neemt, lijkt me vrij voor de hand liggend. Ik verwacht weinig tot geen nader menselijk onderzoek als je zo’n mooie Excel hebt.

Voor de AI Act is dan de definitie van AI relevant (art. 3 lid 1, concept):

‘artificial intelligence system’ (AI system) means software that is developed with one or more of the techniques and approaches listed in Annex I and can, for a given set of human-defined objectives, generate outputs such as content, predictions, recommendations, or decisions influencing the environments they interact with;
En dan noemt Annex I deze drie elementen:
  1. Machine learning approaches, including supervised, unsupervised and reinforcement learning, using a wide variety of methods including deep learning;
  2. Logic- and knowledge-based approaches, including knowledge representation, inductive (logic) programming, knowledge bases, inference and deductive engines, (symbolic) reasoning and expert systems;
  3. Statistical approaches, Bayesian estimation, search and optimization methods.
Voldoen aan eentje van deze drie is genoeg om je systeem “AI” te mogen noemen. Dus ja, als woning=woonwagen en beroep=autohandelaar dan fraudeur=true anders fraudeur=false is dan een AI. Net zoals die Excel dus. Dat is óók weer raar want dat bedoelen we normaliter niet met “AI”. Maar in de context klopt het, de vraag is niet zozeer “is dit volgens de beroepsbeoefenaars wel of geen AI” maar “levert dit systeem risico’s op voor mensen omdat er met dit soort technieken naar conclusies wordt gesprongen”. En dát is natuurlijk zeker het geval met die ene regel van mij, en met die Excel.

Arnoud (vermogensfraude 458, samenlevingsfraude 229; had ik in een woonwagen gewoond was dit 1526 en 534 geweest dus dikke fraudeur en wekelijks gecontroleerd)

In Amerika kan een AI geen auteursrecht krijgen op gegenereerde kunst

Geplaatst op in Innovatie, 6 reacties

Voor het hiernaast getoonde kunstwerk is geen auteursrecht mogelijk, zo las ik bij The Verge. Ingenieur Steven Thaler had de door hem ontwikkelde Creativity Machine dit werk laten maken, “A Recent Entrance to Paradise”, als deel van een serie werken waarin een AI de weg naar het hiernamaals visualiseert. De Copyright Review Board van het Copyright Office weigerde de aanvraag met als reden dat de vereiste menselijke creativiteit niet aanwezig is. Bovendien is het niet mogelijk een auteursrecht op naam van een AI vast te leggen.

Net als in Nederland krijg je in Amerika automatisch auteursrecht op creatieve werken, maar in de VS heeft het nut je werk vast te laten leggen, bijvoorbeeld om statutory damages te mogen claimen. Er zit geen kwaliteitstoets aan de registratie, het is echt een minimaal onderzoek naar formaliteiten. Maar als er werkelijk nul creativiteit in het werk zit, dan zal men de registratie afwijzen. Een leeg vel papier inleveren gaat ‘m dus niet worden bijvoorbeeld.

Nou kun je van die tekening (schilderij?) hiernaast veel zeggen, maar een leeg vel is het bepaald niet. Zonder nadere toelichting zou iedereen vermoeden dat hier gewoon auteursrecht op zit. Maar het gaat natuurlijk niet alleen om de creativiteit, het gaat ook om de vraag of het menselijke creativiteit is. En dat is sinds de opkomst van generatieve netwerken een hele lastige vraag geworden.

Stephen Thaler timmert al decennia aan de weg (documentaire) en is onder meer de initiatiefnemer achter die AI-patentaanvragen waar ik in 2020 over blogde. De discussie daar was toen ook zuiver formeel: kan een AI als uitvinder vermeld worden op een octrooiaanvraag, los van hoe inventief / niet-voordehandliggend de uitvinding eigenlijk is? Nee, aldus zowel EPO als USPTO: de uitvinder moet een mens, een natuurlijk persoon zijn.

Idem in het auteursrecht, en dat is in de VS heel logisch omdat octrooirecht en auteursrecht dezelfde basis heeft, namelijk Article I, Section 8, Clause 8 van de Grondwet:

To promote the progress of science and useful arts, by securing for limited times to authors and inventors the exclusive right to their respective writings and discoveries.
Hieruit leidt men al tweehonderd jaar (dat is lang, in Amerika) af dat alleen mensen deze rechten kunnen aanvragen. Dit is ook waarom je als bedrijf je werknemers in Amerika een overdracht van octrooirechten moet laten tekenen, ook als het gewoon hun werk is om uitvindingen te doen. In Nederland (of Europa) hoeft dat niet, maar wel blijft het basisrecht op naamsvermelding als uitvinder bestaan.

In de afwijzing haalt de CRB oudere zaken erbij over fotografie: geen menselijke creativiteit immers, de machine doet al het werk. Daar is ondertussen wel wat nuance in ontstaan, omdat immers belichtingstijd, kijkhoek en compositie van wat er voor de lens komt, creatief kan zijn als je meer doet dan enkel de werkelijkheid natuurgetrouw vastleggen. Een mooi precedent vond ik nog de tuin onder architectuur: geen auteursrecht, want ook als je ‘m zorgvuldig aanlegt “a garden owes most of its form and appearance to natural forces”. Maar hoe dan ook: uit alle aangehaalde zaken volgt dat het moet gaan om een mens die de creatieve touch inbrengt, en dat de machine-inbreng daar fors ondergeschikt aan moet zijn.

Bij ons in Europa hebben we natuurlijk geen registratie, maar ik heb er geen twijfel over dat de rechter ook hier uit zou komen op “geen auteursrecht want geen menselijke creativiteit”. Los daarvan zou een AI die auteursrechtelijke bescherming ook niet nodig hebben, want wat zou de AI moeten met licentie-inkomsten? Ik hoorde laatst de gekscherende opmerking dat nu er AI-gegenereerde kunst en literatuur is, de menselijke kunstenaars méér betaald zouden moeten worden om nog overeind te blijven bij de oneindige uitvoer van werken die deze robots gaan maken.

Arnoud

Oh help, nu gaan AI’s ook al uitvindingen octrooieren

Geplaatst op in Innovatie, Intellectuele rechten, 12 reacties

In juli bepaalde een Australische rechtbank dat een AI-systeem rechtsgeldig als uitvinder vermeld kan worden op een octrooiaanvraag, zo las ik op de Copyright Blog van Kluwer. Daarmee staat in beginsel de weg open om in Australië automatisch gegenereerde uitvindingen (de aanvragen worden nog handmatig geschreven, geloof ik) als octrooi aan te vragen. In andere jurisdicties, met name de VS, Europa en Duitsland, zijn dergelijke aanvragen afgewezen op deze formele grond. Zuid-Afrika ging Australië voor, hoewel er geen expliciete motivatie is gegeven. Nu dus alleen nog een AI die octrooien genereert plus eentje die ze beoordeelt en we kunnen als octrooimensen weer wat leuks gaan doen.

Over het octrooisysteem hebben we het natuurlijk al veel gehad, vrijwel altijd in negatieve zin omdat zeker in de ICT sector octrooien om vele redenen ongewenst worden geacht. Slechte kwaliteit, vage claims en nodeloze blokkades in een al decennia prima werkend systeem. Building tollbooths where others will build roads, zei een oud-collega van me vroeger eens. Maar in ieder geval waren we het er over eens dat uitvinders mensen zijn. Vaak in dienst van werkgevers die dan  rare dingen deden, maar toch.

Deze discussie gaat over iets complexers: kan een niet-mens uitvinden? Je komt dan in hele fundamentele discussies terecht over het doel en wezen van het octrooisysteem.

De meest gehoorde theorie is dat je mensen wil prikkelen om een uitvinding bekend te maken, door ze een beloning te geven in de vorm van een monopolie van 20 jaar. Vanuit dat perspectief kan een AI/niet-mens geen uitvinder zijn, want die heeft niets aan die prikkel. Dit is grofweg wat het EPO en het USPTO deden, hoewel op de formele grond dat in de wet staat dat “aan hem of haar” (de uitvinder dus) octrooi wordt verleend op uitvindingen. Een AI is geen hem of haar (of hen) dus de aanvraag voldoet niet aan de letter van de wet.

Je kunt ook iets ruimdenkender zijn en erkennen dat vandaag de dag 90% van de octrooiaanvragen door bedrijven wordt ingediend, waarbij de mens-uitvinder slechts metadata-veld 72 is en genoemd wordt omdat we dat altijd deden. Het maakt de facto helemaal niets uit of die mens zelfs maar leeft of niet, de aanvraag gaat toch wel verder en levert rechten (of een afwijzing) op aan de aanvrager. Vanuit dat perspectief is er nul bezwaar tegen een AI als uitvinder.

Een meer fundamentele kwestie is natuurlijk of een niet-mens kan uitvinden in de zin van de octrooiwet. Een uitvinding moet immers nieuw zijn (nog niet bestaan) en geen voor de hand liggende variatie op het bestaande zijn. Iets nieuws zoeken kunnen AI’s prima, maar of het voor de hand ligt is een veel lastiger vraag. En waar je menselijk inzicht of handelen (zou iemand die A las, vervolgens B erbij proberen en C weglaten) nog kunt beoordelen, is dat bij AI handelen helemaal ingewikkeld.

Ik heb daar zelf altijd nog de fundamentele vraag bij of een AI überhaupt wel iets doet dat niet voor de hand ligt. Voor de hand liggen dingen die je normaal doet, gewoon stappenplannen volgen, de gebaande paden, doorrekenen en doorlopen. En dat is volgens mij precies wat dergelijke algoritmes doen, ook al ziet het er heel intelligent uit. Maar goed, dat is dus een heel lastige route om de vraag “moet het kunnen ja of nee” te beantwoorden. Dus dan is gaan zitten op de formele wet (er staat hij of zij, dat is een AI niet) een stuk slimmer, voor de korte termijn.

Ik ben ondertussen wel benieuwd of er al AI’s zijn die octrooiaanvragen kunnen beoordelen op haalbaarheid. (Als het EPO meeleest, ik doe graag een pilot.) Want als we dat eenmaal hebben, dan is de volgende stap dat we het hele systeem omver blazen: AI’s dienen tienduizend aanvragen per minuut in, andere AI’s schieten er tienduizend minus epsilon af per minuut en wij mensen gaan ondertussen iets anders doen. Wint de ICT toch nog van het octrooisysteem.

Arnoud

De AI Hall of Shame laat zien waarom AI compliance officers nodig zijn

Geplaatst op in Innovatie, 4 reacties

Heb je je wel eens afgevraagd hoe deze innovatie bijdraagt aan een afschuwelijke dystopie? Zo prikkelt machine learning engineer Sean McGregor zijn collega’s als die weer eens enthousiast doen over de inzet van AI voor het een of ander. Want maar al te vaak blijkt een goed idee uiteindelijk vooral nadelen voor kwetsbare mensen op te leveren of nodeloze rechtlijnigheid te introduceren in een op zich prima werkend menselijk proces. En om dat kracht bij te zetten, onderhoudt hij sinds een tijdje de AI Incident Database.

Zoals de site het zelf toelicht:

The AI Incident Database is a collection of harms or near harms realized in the real world by the deployment of intelligent systems. You are invited to submit reports to the database, whereupon accepted incidents will be indexed and made discoverable to people developing and deploying the next generation of AI technology to the world. Artificial intelligence will only be a benefit to people and society if we collectively record and learn from its failings. Learn more about the database, or read about it on the PAI Blog, Vice News, Venture Beat, and arXiv among other outlets.
Soms gaat het om gewoon hilarische storingen, zoals een surveillancerobot die zichzelf de fontein in rijdt omdat hij water niet van tegels kon onderscheiden. Wat ook weer heel naar kan uitpakken, zoals bij de lasrobot die niet geprogrammeerd was om mensen te vermijden – en iemand doodde toen die een losgelaten metalen plaat wilde verwijderen.

De pijn zit hem vaker niet in zulke extreme dingen, maar in de vaak schimmige manier waarop een AI tot haar conclusie komt. Bijvoorbeeld omdat je geen uitleg krijgt, zoals bij incident 96 waar een door de fabrikant geheimgehouden algoritme leraren beoordeelt en laat ontslaan. Of bij incident 78, waar een studente geweigerd werd bij geneeskunde in Duitsland omdat de AI had ingeschat dat ze lage cijfers zou halen. Of bij incident 95 waarin gezichts- en stemanalyse ertoe leidt dat sollicitanten geweigerd worden.

Die laatste is interessant omdat de gebruikte data is geanalyseerd en vrij van bias zou zijn bevonden. Ja, ik ben skeptisch want ik geloof dat niet – bijvoorbeeld omdat ik me niet kan voorstellen dat men bij stemanalyses de moeite neemt om stotteraars of mensen met slokdarmspraak te vragen om een representatieve hoeveelheid data aan te leveren.  (De kans is groter dat men het ding op porno getraind heeft, daar is immers veel sneller een grote hoeveelheid data voor te krijgen.)

Dat gebrek aan representativiteit zie je vaak opduiken. Bijvoorbeeld in incident 48, waarbij paspoortfoto’s worden gescreend op “ogen volledig open” wat natuurlijk misgaat bij Aziatische mensen. Die overigens ook niet hoog scoren in beauty contests waarbij een AI de jury speelt. Op het gorilla-incident van Google hoef ik al helemaal niet op in te gaan. Het aantal voorbeelden is talrijk.

De vraag is, hoe moet het dan wel. Daar zijn alweer eventjes geleden de EU Ethics Guidelines for trustworthy AI voor geformuleerd. Deze bevatten geen juridische eisen (die komen er wel aan, de Verordening AI) maar juist ethische kaders: hoe moet het wel, wat mag de burger verwachten en wat moet een bouwer of gebruiker van AI aan verplichtingen op zich nemen.

Wie wil leren hoe dat werkt: op 20 september start mijn tienweekse cursus AI Compliance in de praktijk weer. Leer in je eigen tijd (ongeveer 4 uur per week) de techniek én de ethische kaders rondom AI, met echte cases en echte data. Ik laat je zoeken naar bias in een dataset met leningaanvragen of puzzelen over waarom een snel en vrijwillig AI-loket bij de gemeente in strijd is met de mensenrechten. En ondertussen zet je je ook in om de gemeente Juinen met haar miljoenen kostende AI initiatieven hoog in de wereldranglijst te krijgen. Wees er snel bij!

Arnoud

 

Joh, AI met bias overtreedt discriminatiewetgeving, wie had dat nou gedacht

Geplaatst op in Innovatie, 2 reacties

De Amerikaanse FTC waarschuwt op haar blog bedrijven die AI inzetten: de verkoop of inzet van biased AI systemen is een oneerlijke handelspraktijk en kan overtreding van antidiscriminatiewetgeving zoals de Fair Credit Reporting Act en de Equal Credit Opportunity Act opleveren. Grote schok, wie had dat nou kunnen denken, dat een AI die mensen wegselecteert op basis van etnische afkomst mogelijk wel eens als discriminerend gezien kan worden?

Nou ja, niet helemaal eerlijk: de meeste AI’s worden natuurlijk niet ontworpen om op basis van die criteria te selecteren. Het is vrijwel altijd een onbedoelde uitkomst, meestal omdat de dataset scheef zat of omdat er een onbewuste aanname is gedaan op basis waarvan het systeem is gebouwd.

De waarschuwing is in zoverre opmerkelijk dat de markttoezichthouder zelden zo concreet en specifiek wordt, mede omdat ze zich expliciet richt tot leveranciers van technologie op basis van wetgeving gericht op gebruik daarvan:

For example, let’s say an AI developer tells clients that its product will provide “100% unbiased hiring decisions,” but the algorithm was built with data that lacked racial or gender diversity. The result may be deception, discrimination – and an FTC law enforcement action.
En men prikt de bedrijven waar het pijn doet: in de data, diep in de data. Zo was er het bedrijf Everalbum, een online fotodienstverlener “dedicated to helping you capture and rediscover your life’s memories.” Alleen bleek men alle foto’s, inclusief handige tags en namen, te gebruiken om een gezichtsherkenningsalgoritme te trainen:
 The FTC alleged that the company deceived users about their ability to control the app’s facial recognition feature and made misrepresentations about users’ ability delete their photos and videos upon account deactivation. To deter future violations, the proposed order requires the company to delete not only the ill-gotten data, but also the facial recognition models or algorithms developed with users’ photos or videos.
Een passende straf: je moet je data én modellen weggooien, oftewel je moet zakelijk opnieuw beginnen terwijl je het consumentenvertrouwen kwijt bent vanwege publicatie van deze beslissing. Veel beter dan een geldboete, die immers kan worden begroot en met investeerderskapitaal afgedaan.

In Europa rommelt het trouwens ook: op 21 april publiceerde de Europese Commissie een concept-Verordening over de aanpak van AI. En het is me een ding, inclusief AVG-niveau boetes en toezicht. De kern: AI met hoog risico is eigenlijk niet toegestaan, en daaronder rekent men ook AI die mensen beoordeelt op levensbesluiten zoals wel of niet toegelaten worden tot opleidingen, wel of niet in een sollicitatieronde mee mogen doen enzovoorts. Precies, dat is waar veel AI zich nu op wil richten.

Wie denkt dat ‘ie wel AI eerlijk kan krijgen: mijn cursus AI Compliance & Governance gaat 3 mei weer van start.

De Europese aanpak van AI regulering spreekt me wel aan. Natuurlijk, iedere regulering verstoort de mogelijkheid tot innovatie maar op dit gebied zie ik ondertussen zó veel gepruts en gerommel dat het onderhand wel tijd wordt voor een paar stevige strepen in het zand. Het lijkt wel of alle oude kwakwetenschap weer wordt afgestoft met een AI ‘sausje’, zoals bij ‘microexpressies’ voor het zogenaamd herkennen van iemands emotionele toestand of waarheidspreken.

Het grootste probleem voor mij blijft dat AI steeds vaker de menselijke procedures overneemt. En nu word je bij een bureaucratie natuurlijk gereduceerd tot een nummer, maar bij een AI word je een datapunt en daar zit nog veel minder menselijkheid in. Met name omdat een AI geen genade kent, geen uitzondering. En omdat voor AI alle voorheen fluide mogelijkheden moeten worden platgeslagen: u moet worden geclassificeerd als A, B óf C, en een beetje B of met wat duwen en handig invullen toch C dat zit er niet in.

Arnoud

Compliance en risicomanagement bij Artificiële Intelligentie leren? #legaltechtuesday

Geplaatst op in Iusmentis, 4 reacties

Steeds meer organisaties zetten Artificial Intelligence (AI) in. Dit versnelt beslissingsprocessen en schept nieuwe inzichten omtrent risico’s, klanteigenschappen en commerciële kansen. Deze techniek is zeer nieuw en haar inzet roept dan ook vele vragen op over de juridische en ethische randvoorwaarden. Mag dat wel, een computer laten beslissen? Welke kaders hanteer je om een verantwoorde inzet van AI te realiseren? Wordt het tijd voor een AI Compliance Officer?

De inzet van AI biedt nieuwe mogelijkheden. Bestaande processen kunnen fors worden versneld door menselijke tussenkomst te vervangen door een AI. Zo zou een AI-bewaker bagage van bezoekers kunnen screenen op ongewenste voorwerpen, en deze doet dat dan veel sneller dan een mens (en is bovendien om vijf uur niet moe en afgeleid). Een verzekeraar zou een AI in kunnen zetten om claims te kunnen analyseren.

Dergelijke analyses hebben echter ook diverse risico’s. Zo staan AI’s er om bekend dat zij bestaande vooringenomenheid (bias) uit de onderliggende data sterk uitvergroten, wat kan leiden tot ongewenst gedrag zoals discriminatie. Ook is het vaak lastig duidelijke uitleg te krijgen over hoe een AI tot zijn conclusie komt: dergelijke data-analyse is volkomen onvergelijkbaar met een menselijk gedachteproces.

Deze risico’s maken organisaties nog steeds huiverig over de inzet van AI. Ook de wetgever heeft niet stilgezeten: in de Europese privacywet GDPR is een expliciet verbod opgenomen om mensen aan besluiten te onderwerpen die door een AI zijn genomen. Hoe dan ook grip te krijgen op AI, en te zorgen voor een nette, ethisch verantwoorde inzet, is een lastige vraag voor veel organisaties.

In 2019 publiceerde de Europese Commissie de Ethics Guidelines for trustworthy AI. Onder “ethisch” verstaat men niet alleen het voldoen aan wettelijke regels, maar ook aan meer algemene ethische principes. Ethische AI bestaat uit drie componenten, waaraan gedurende de volledige levenscyclus van het systeem moet worden voldaan: de AI moet

  1. wettig zijn, door te voldoen aan alle toepasselijke wet- en regelgeving,
  2. ethisch zijn, door naleving van ethische beginselen en waarden te waarborgen, en
  3. robuust zijn uit zowel technisch als sociaal oogpunt, aangezien KI-systemen ongewild schade kunnen aanrichten, zelfs al zijn de bedoelingen goed.
Uitgaande van deze drie componenten komen de richtsnoeren tot zeven vereisten voor AI-systemen:
  1. Menselijke controle en toezicht
  2. Diversiteit, non-discriminatie en rechtvaardigheid
  3. Technische robuustheid en veiligheid
  4. Transparantie en verklaarbaarheid
  5. Privacy en datagovernance
  6. Maatschappelijk en milieuwelzijn
  7. Verantwoording en controleerbaarheid
Het toetsen aan deze vereisten komt in de praktijk neer op het welbekende proces van compliance: formuleer criteria waarmee naleving kan worden gemeten, zorg dat mensen doordrongen zijn van het belang van naleving en toets op de criteria. Dat dan ook nog eens op een positieve manier; nee zeggen is altijd makkelijk, maar technologie op een compliant en werkbare manier de markt op krijgen is een stuk lastiger.

Omdat het hier ook nog eens gaat om geavanceerde technologie en vaak vele partijen betrokken zijn, is AI compliance een uitdagende kwestie. Een AI compliance officer moet dan ook behoorlijk thuis zijn in wetgeving, techniek en de toepassingspraktijk.

Ik vond dit zo’n leuke dat ik de afgelopen weken eigenlijk alleen heb gewerkt aan mijn nieuwe leergang AI in de praktijk: compliance & governance. Deze online leergang is speciaal ontwikkeld voor informatieprofessionals, juristen en compliance officers die aan de slag moeten of willen met AI en de toetsing daarvan. Geen blokkades opwerpen, maar zorgen dat bedrijven en instanties aan de slag kunnen. Weten wat er wel kan en hoe dat wordt bereikt.

De stof wordt volledig online aangeboden. Met geavanceerde vormen van elearning kan de cursist eenvoudig werken en effectief de stof tot zich nemen. De docent is online beschikbaar voor 1-op-1 overleg, en via een discussieforum kunnen cursisten met elkaar overleggen en brainstormen.

Met dat forum is trouwens iets bijzonders: het wordt aangeboden door een fictief Nederlands dorp. De leergang kent namelijk een serious game element, waarbij deelnemers optreden voor bedrijfsleven en overheid in dat dorp om te zorgen dat AI-initiatieven volledig compliant én bruikbaar worden. Hoe beter men het spel speelt, hoe hoger het dorp scoort in de wereldwijde competitie van de Most AI-focused city in the world, bijgehouden door het fictieve United Nations Office for Global AI (UNOGAI). Bij pittige onderwerpen als deze is serious gaming een bewezen techniek om leren effectiever te maken.

Durf jij de uitdaging aan? Op 1 februari gaat de eerste ronde van start. Meer informatie en de inschrijfmogelijkheid vindt u bij ICTRecht.

Arnoud

 

 

 

Nog even terugkomend op dat ‘Afrikaanse’ van machine learning

Geplaatst op in Ondernemingsvrijheid, 23 reacties

Onlangs blogde ik over “Afrikaanse” machine learning, wat een leuke discussie opleverde maar ook veel vragen over wanneer je nu een computersysteem “westers” moet noemen. Een computer past geen culturele waarden toe, bijvoorbeeld, die telt 1 en 1 bij elkaar op en dat is gewoon 2. Daar is niets Chinees, Ubuntu of neoliberaals aan. Een reactie van Ronald gaf me aanleiding hier eens verder over na te denken, want het raakt aan een fundamenteel punt rondom de effectiviteit en het nut van AI.

Volgens mij is het “Westerse” versus “Afrikaanse” aspect van een machine learning systeem meer wát je gaat leren en waarvan. Zoals ik Mhlambi begrijp, is het verschil in culturen dat je in de Westerse uitgaat van het individu, en in het Afrikaanse/Ubuntu model uitgaat van de groep. Je verzamelt dan andere data (hoe gedraagt de groep zich, wat wil de groep en hoe reageert de groep) en krijgt daarmee ook een ander model.

Meer algemeen groeit een AI (wat ik zie als een marketingterm voor “machine learning met een menssimulerende interface”) natuurlijk op basis van wat je erin stopt. En dan is dus de keuze van wat je in je dataset stopt de kern. Die keuze is dan cultureel bepaald. En natuurlijk rekent de computer zelf niet cultureel bepaald, het is meer hoe hij is vormgegeven. Een oude ergernis van me: dat computers zo slecht met accenten kunnen omgaan, komt omdat het toetsenbord uit de Amerikaanse cultuur/maatschappij komt waar accenten niet voorkomen. Ik zou dan zeggen dat tekstinvoer Amerikaans-cultureel is bepaald, maar als je liever zegt dat de ontwerpers dat zijn, ook prima.

Goed, een concreter voorbeeld. Stel ik wil de chat in mijn videogame via AI modereren. Die moet ongewenste chatberichten eruit vissen, zodat de kwaliteit van de onderlinge praatjes beter werkt. Ik train dan met spamdatasets want ik weet dat spam heel vervelend is, en gooi er ook racisme in want dat is tegenwoordig ook een ding. Dan krijg je een prachtige moderator – alleen doet die niets tegen seksueel lastigvallen, want ik vond dat geen issue. Heb ik dus geen data van. Vrouwelijke spelers denk ik wel, die zouden wellicht daar eerder op filteren. Of bedenken dat er een dickpic filter op toegezonden beeld moet komen. Dat zijn voor mij echt andere gezichtspunten, niet alleen maar een neutrale selectie van data.

Maar je zou ook kunnen zeggen, de dataset wordt gelabeld langs de lijn “is een teamspeler” versus “speelt individualistisch/doet niet leuk mee” en dan krijg je wéér een heel andere AI. En daarbij zou de aard van het spel en de samenstelling van de deelnemers veel uitmaken. Hebben we jonge Westerse mannen, of juist oudere Australische vrouwen? Gaat het om schieten (dus veel korte en snelle communicatie) of is het een langlopende puzzel hunt met dus veel overleg, discussie, filosofie? Al die dingen wegen mee in hoe je “modereer een chat” invult.

Het gaat dus niet om of de AI iets ‘begrijpt’ maar op welke manier deze functioneert. Welke aannames stop je erin bij het bouwen, welke data neem je mee en welke niet. Vanuit welke filosofie zeg je “dat gegeven is niet relevant” of “ik heb liever dat hij stuurt op A dan op B”. Dát is volgens mij waar het om gaat.

Arnoud

Autoriteit Persoonsgegevens gaat toezien op AI en algoritmes

Geplaatst op in Ondernemingsvrijheid, Privacy, 2 reacties

De Autoriteit Persoonsgegevens gaat toezien op het gebruik van kunstmatige intelligentie (AI) en algoritmes waarbij persoonsgegevens worden gebruikt. Dat las ik bij Security.nl. De grens tussen ‘wat geweldig dat dit kan’ en ‘bloedlink wat hier gebeurt’ kan juist hier soms akelig dicht bij elkaar komen, aldus de toezichthouder. Iedereen die verantwoordelijk is voor de inzet van algoritmes en AI moet weten wat hij doet en daar transparant over zijn. Mogelijk gaat de AP AI inzetten voor dit toezicht; men heeft immers een zwaar menstekort.

Oké dat was nodeloos cynisch en/of clickbait. Maar toch: het voelt gek om zo’n technisch pittig onderwerp tot focus te verklaren als je nu maar 138 van de 20.000 klachten tot onderzoek bombardeert, en het aantal boetes met binair stelsel op de vingers van één hand te tellen zijn. Desondanks is het een goede stap, omdat veel organisaties tot nu toe AI aangereikt kregen in mooie brochures als prachtige beloftes van objectiviteit, en nu de FG en/of jurist van zo’n organisatie met enige onderbouwing kan wapperen dat er toch risico’s aan deze nieuwe technologie zitten.

Het beoogde toezicht van de AP bevat voor mij geen écht nieuwe stappen. Het komt neer op invullen van de eisen uit de AVG, met name transparantie en uitlegbaarheid van wat je doet en de verantwoordingsplicht waarmee je moet onderbouwen waarom je transparant bent en hoe je echte uitleg geeft. (De verantwoordingsplicht is het grofste geschut dat de AVG heeft; hele hordes doen het keurig maar kunnen het niet verantwoorden en overtreden dus alsnog de AVG.)

De leukste hobbel om te moeten nemen alvorens je een algoritme in gaat zetten is dat je een DPIA moet uitvoeren. Het valt al heel snel onder een “systematische en uitgebreide beoordeling van persoonlijke aspecten van natuurlijke personen” (art. 35 AVG), of dat nou gaat om het weigeren van leningen of het niet uitnodigen van sollicitanten. Daar zitten risico’s aan omdat je niet weet hoe zo’n algoritme werkt, terwijl je de klant of sollicitant dat wél moet kunnen uitleggen.

En de kicker: als je die DPIA uitvoert en je concludeert dat je niet eenvoudig aan de AVG kunt voldoen, dan mag het niet totdat je toestemming van de AP hebt. Wat volgens mij de overgrote meerderheid gaat krijgen, want hoe ga je die risico’s managen als je niet weet hoe de tool werkt? Of iets preciezer gezegd, als je niet weet hoe de dataset opgebouwd is en hoe je geborgd hebt dat deze alleen de gewenste, eerlijke factoren betrekt in de analyse? Dan is een bulletpoint op de doos “free of bias” van de fabrikant echt niet genoeg.

En ja, ik kan ook nog een hele tirade voeren over het feit dat we het steeds hebben over “inzet van algoritmes” terwijl het hele punt van AI juist is dat je geen algoritme inzet maar een enorme Excelsheet die correlaties presenteert als harde regels. Maar dat is niet goed voor de bloeddruk.

Arnoud