AI recruitmentsoftware is “automatische pseudowetenschap”, wat zal de wet ervan vinden straks?

| AE 13614 | Ondernemingsvrijheid, Privacy | 2 reacties

geralt / Pixabay

Een recente studie van de Universiteit van Cambridge laat zien dat AI software voor werving en selectie vaak “geautomatiseerde pseudowetenschap” is, zo las ik bij The Register. Het gaat om tools zoals de Personality Machine, die mensen scoort op de Big Five persoonlijkheidstheorie – in de HR de “meest gebruikte en best onderzochte persoonlijkheidstheorie.” Uiteraard is het argument dan dat zo’n AI veel objectiever kan scoren, want er leeft dus het idee dat een getal uit een computer “objectief” is en vrij van vooroordelen en dergelijke. Maar het gaat mis op veel simpeler punten. Ik dacht, een leuke voor de aankomende AI Verordening.

De beschrijving van JobPersonality.com over die theorie is veelbelovend:

Uit jarenlang en wereldwijd psychologisch onderzoek blijkt dat je iemands persoonlijkheid door middel van vijf dimensies, de zogenaamde Big Five, kunt beschrijven. Deze dimensies zijn extraversie, vriendelijkheid, emotionele stabiliteit, ordelijkheid en openheid. Per dimensie kun je hoog, laag of ergens daar tussenin scoren. Er zijn geen slechte scores. Je moet er alleen voor zorgen dat je een (werk)omgeving vindt of creëert die bij je persoonlijkheid past. Veel persoonlijkheidstests die bij loopbaanadvies worden gebruikt, zijn gebaseerd op de Big Five persoonlijkheidstheorie.
Het idee: je scoort mensen op die vijf dimensies en bepaalt dan bij welk werknemersprofiel ze passen. Een zeer introverte, zeer ordelijke gesloten persoonlijkheid moet je niet naast een extroverte supervriendelijke medewerker in de sales neerzetten bijvoorbeeld, maar ik zou die wel als data-jurist bij ons willen hebben. Alleen, hoe bepaal je die scores? Dat is dus mensenwerk en dat is waar het dan mis kan gaan: verhalen te over van HR-medewerkers die op basis van de aanwezigheid van een stropdas iemand hoog op ordelijk scoren of op etnische afkomst en dergelijke iemand als introvert of instabiel aanmerken.

Dat is waar de AI-promoties bij binnenkomen: een AI belooft dat objectief te doen. Die heeft niets met stropdassen maar kijkt naar de inhoud, zo is het verhaal, en daar komt dan dus een veel betere score uit. En ook als iemand in het gesprek een minder moment heeft, zal dat bij een AI er niet toe doen. Dit is het belangrijkste argument waarom AI steeds vaker aangenomen wordt, het elimineren van menselijke tekortkomingen. (De eigenlijke reden is kostenbesparing want goede HR-mensen zijn duurder dan een licentie op zo’n tool.)

Gaat dat nou echt goed? Nou nee, want alles staat of valt met hoe zo’n AI getraind is. Quoth the Raven, pardon the Register:

They found the software’s predictions were affected by changes in people’s facial expressions, lighting and backgrounds, as well as their choice of clothing. These features have nothing to do with a jobseeker’s abilities, thus using AI for recruitment purposes is flawed, the researchers argue.
Oftewel: de AI is getraind op foto’s van mensen waarbij aangegeven is welke score ze hebben, waarna de AI dingen is gaan zoeken die deze mensen van elkaar onderscheiden. En voor een AI is “lacht klaterend” net zo goed een feature als “heeft goede verlichting” of “heeft een boekenkast op de achtergrond”. Dus als je de extraverten kunt onderscheiden van de introverten door te kijken naar de belichting in de foto, dan is dat helemaal prima.

Het paper gaat nog in op een aanverwant onderwerp, namelijk het elimineren van bias op etnische afkomst of gender. Waarbij de tools enerzijds beloven dat ze niet kijken naar die aspecten bij de beoordeling, maar dat je wel een diversiteits-vlaggetje aan kunt zetten als je extra divers wilt recruiten(?). Men is daar zeer kritisch over:

AI hiring firms argue that their tools can increase the diversity of a firm’s incoming workforce in two ways. First, companies such as HireVue suggest that since AI-powered hiring tools can process far larger numbers of applications than human recruiters, it also allows companies to assess a more diverse range of candidates: … . Secondly, AI hiring firms like myInterview and Retorio insist that the removal of bias from the hiring process will naturally result in a more diverse workforce. … While we do not deny that AI-powered tools may help HR professionals recruit more diverse workforces, we also caution that such “diversity tools” may obscure the structural issues within organizations that lead to underrepresentation in workforces and exclusive work cultures.
Het introduceren van diversiteit of het sturen op eliminatie van bias is een zeer ingewikkeld concept, niet iets dat je met het uitrollen van een leuke nieuwe AI tool eventjes oplost. Maar dat even terzijde: hoe kijkt de wet hier tegenaan?

Op dit moment is de enige echte regelgeving de AVG, die in artikel 22 bepaalt dat je mensen niet mag onderwerpen aan besluiten die enkel door een computersysteem zijn genomen. Iemand geautomatiseerd afwijzen omdat de Big 5 score uit die tool niet past bij het functieprofiel valt daaronder en mag dus niet. Een recruiter mag de output van de tool wel gebruiken als deel van een evaluatie, mits die meer is dan “computer says no” natuurlijk.

De aankomende AI Act (AI Verordening) is al heel wat strenger over dit soort tools. Overweging 36 zegt expliciet

AI-systemen die worden gebruikt op het gebied van werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, met name voor de aanwerving en selectie van personen, voor het nemen van besluiten over de promotie en het ontslag en voor de toewijzing van taken, de monitoring of de evaluatie van personen in werkgerelateerde contractuele betrekkingen, moeten ook als systemen met een hoog risico worden geclassificeerd, aangezien deze systemen aanzienlijke gevolgen kunnen hebben voor de toekomstige carrièrekansen en het levensonderhoud van deze personen.
“Hoog risico” wil hier zeggen dat ze alleen gebruikt mogen worden als aan zeer strenge eisen is voldaan. De kern is dat je een “systeem voor risicobeheer” hebt, waarmee je de relevante risico’s in kaart hebt en kunt bijsturen wanneer deze dreigen zich voor te doen. Ook heb je gewerkt met data die voldoet aan hoge kwaliteitseisen die hoort bij het vakgebied. Als mensen anders scoren op basis van de belichting, dan is dat dus niet in orde bijvoorbeeld. En oh ja, van dit alles heb je schriftelijk bewijs dat het allemaal zo is, én je hebt mensen die meekijken of het systeem echt goed blijft werken.

Dat je het systeem op basis van een mooie glimmende folder en demonstratie in de boardroom (“Even kijken hoe Johan van Finance scoort haha”) hebt aangekocht, is daarbij geen argument: je moet als gebruiker van de tool zélf kunnen aantonen dat deze veilig is. Natuurlijk mag je dan bewijs van de leverancier vragen, maar dat moet dus voldoen aan die wettelijke eisen en het is jouw probleem als de leverancier onvolledig is of liegt over een en ander.

Meelezende HR mensen, hebben jullie ervaring met dergelijke tools en op welke punten in het proces zet je deze in?

Arnoud

Google ontslaat engineer die claimde dat LaMDA zelfbewust was geworden, mag dat?

| AE 13479 | Ondernemingsvrijheid | 4 reacties

Google heeft Blake Lemoine van de Responsible AI-divisie van het bedrijf ontslagen nadat hij eerder al op non-actief was gesteld. Dat meldde Tweakers onlangs. Lemoine haalde het wereldnieuws met zijn stelling dat het LaMDA-taalmodel zelfbewust was geworden, zelfs een ziel zou hebben. Dit op basis van gepubliceerde chattranscripties. Google gooit het op schending van de geheimhoudingsplicht voor werknemers, wat formeel natuurlijk klopt maar wel vragen oproept over klokkenluiden en maatschappelijke misstanden. Want wat zou Lemoine anders hebben moeten doen om een zelfbewuste entiteit te mogen redden van de grote delete-knop?

Californië is juridisch een bijzonder land. Enerzijds is het ontzettend ondernemersvriendelijk, het is niet voor niets dat hier de ict-industrie is geboren. Anderzijds houdt het ook veel rekening met de belangen van werknemers, en dat zie je in dit geval terug in de California Whistleblower Protection Act: een wet die werknemers beschermt wanneer die genoodzaakt zijn de klok te luiden over misstanden bij een werkgever. Deze verbiedt werkgevers om wraak te nemen op werkgevers die klokkenluiden.

Of dat opgaat voor Lemoine is een lastige vraag, primair gaat de WPA namelijk over het informeren van de overheid en moet het gaat om kwesties waarbij de werkgever de wet lijkt te overtreden of de gezondheid van mensen in gevaar brengt. Het contact opnemen met de pers wordt in de WPA niet genoemd, en het zou dan een werkgever vrij staan om tegenmaatregelen te nemen.

Ook in Nederland is de wetgeving rondom klokkenluiden primair gericht op bescherming van mensen die naar de autoriteiten stappen, niet op mensen die direct de krant bellen. Maar de aankomende Wet Bescherming Klokkenluiders zal wel een regeling bevatten dat wie een melding heeft gedaan bij werkgever of autoriteiten ook beschermd moet zijn als zhij naar de pers stapt (art. 17ea). Wat hier dan lastig is, want welke autoriteiten moet je bellen als je een niet-menselijke intelligentie hebt gevonden en het erop lijkt dat anderen deze willen negeren of zelfs kwaad aandoen?

Wat ook meespeelt is dat de claims van Lemoine niet echt gehoor lijken te vinden. Ik zie wel veel nieuws over zijn initiële ontdekking, maar niemand lijkt uiteindelijk de conclusie over te nemen. Uiteindelijk is voor een beroep op klokkenluidersbescherming wel vereist dat je claim min of meer klopt. En één set chattranscripties waar niemand na de eerste verbazing echt van achterover valt, dat is dan echt niet genoeg.

Arnoud

Juridisch gezien is een Excelfilter een algoritme en dat is maar goed ook

| AE 13429 | Informatiemaatschappij | 44 reacties

Vier Utrechtse gemeenten, Nieuwegein, IJsselstein, Houten en Lopik, hebben bij de bestrijding van bijstandsfraude gebruikgemaakt van een verboden overheidsalgoritme. Dat meldde Security.nl onlangs. Het betreft hier de “Fraudescorekaart”, een Excelsheet die in 2003 werd ontwikkeld (en nooit werd bijgewerkt, wat op zich ook nog opmerkelijk is). Omdat het ophef in de pers (dank u Argos) besloot men er alsnog mee te stoppen. Dit gaf ophef in de compliance hoek: hoezo is een Excelsheet een “algoritme”?

De Fraudescorekaart is het waanzinnig idee dat je met een serie punten over iemands achtergrond kunt inschatten of diegene een fraudeur is:

De kaart profileerde bijvoorbeeld op beroep, woonsituatie, opleidingsniveau, geslacht en de wijk waarin burgers woonden. Woonwagenbewoners kregen 700 punten, huiseigenaren 0 punten. Bij een score van 950 punten was er volgens het systeem, dat door 158 gemeenten werd gebruikt, sprake van fraude. In 2020 besloten gemeenten met het systeem te stoppen.
Wie zichzelf langs de lat wil leggen (doe me een lol en zet je score bij je reactie) kan dat dankzij Lighthouse Reports doen, en dan zien je meteen hoe raar het werkt. Neem bijvoorbeeld de beroepenlijst: horeca, bouw, taxi of kapper en anders “overig”. Hoe lager je inkomen hoe hoger je fraudekans. En ga zo maar door.

Is dat nu een algoritme? Wie de gebruikelijke definities erbij pakt, komt bij termen als “stappenplan” of “recept om een wiskundig of informaticaprobleem op te lossen”, al dan niet onder verwijzing naar de naam van de Perzische wiskundige Al-Chwarizmi. Die termen zijn zo breed dat dit er zeker ook wel onder valt, “beantwoord de vragen en tel de punten uit de bijlage op conform onderstaand schema” is best wel een stappenplan of recept te noemen, zij het voor het juridisch probleem “hoe rechtvaardig je een vermoeden van fraude zonder een heel dossier door te hoeven”.

In de praktijk wordt de term algoritme vooral gebruikt voor complexe stappenplannen of recepten, zeg maar waar je zonder computer er zeer zeker niet uit komt. Vaak gaat het dan specifiek over machine learning of artificial intelligence, waarbij een wiskundige formule datapunten classificeert of positioneert op basis van patronen die in een enorme bak data zijn aangetroffen. (Terzijde, dat is volgens informatici dan weer géén algoritme omdat het statistiek is en dus geen recept.) Het staat dan wat raar dat je een Excel filter of een formule die twintig cellen optelt en =if(C88>=950;"Fraudeur";"Geen fraudeur") laat zien dan met diezelfde term aanduidt.

Voor juristen zou deze hele definitiekwestie niet aan de orde moeten zijn. Waar het namelijk uiteindelijk om gaat, is of je geautomatiseerd een beslissing neemt (AVG artikel 22) of een hoog-risico AI systeem in gebruik hebt (artikel 6(2) concept AI Act). Dat je met zo’n Excelsheet een beslissing neemt, lijkt me vrij voor de hand liggend. Ik verwacht weinig tot geen nader menselijk onderzoek als je zo’n mooie Excel hebt.

Voor de AI Act is dan de definitie van AI relevant (art. 3 lid 1, concept):

‘artificial intelligence system’ (AI system) means software that is developed with one or more of the techniques and approaches listed in Annex I and can, for a given set of human-defined objectives, generate outputs such as content, predictions, recommendations, or decisions influencing the environments they interact with;
En dan noemt Annex I deze drie elementen:
  1. Machine learning approaches, including supervised, unsupervised and reinforcement learning, using a wide variety of methods including deep learning;
  2. Logic- and knowledge-based approaches, including knowledge representation, inductive (logic) programming, knowledge bases, inference and deductive engines, (symbolic) reasoning and expert systems;
  3. Statistical approaches, Bayesian estimation, search and optimization methods.
Voldoen aan eentje van deze drie is genoeg om je systeem “AI” te mogen noemen. Dus ja, als woning=woonwagen en beroep=autohandelaar dan fraudeur=true anders fraudeur=false is dan een AI. Net zoals die Excel dus. Dat is óók weer raar want dat bedoelen we normaliter niet met “AI”. Maar in de context klopt het, de vraag is niet zozeer “is dit volgens de beroepsbeoefenaars wel of geen AI” maar “levert dit systeem risico’s op voor mensen omdat er met dit soort technieken naar conclusies wordt gesprongen”. En dát is natuurlijk zeker het geval met die ene regel van mij, en met die Excel.

Arnoud (vermogensfraude 458, samenlevingsfraude 229; had ik in een woonwagen gewoond was dit 1526 en 534 geweest dus dikke fraudeur en wekelijks gecontroleerd)

In Amerika kan een AI geen auteursrecht krijgen op gegenereerde kunst

| AE 13273 | Innovatie | 6 reacties

Voor het hiernaast getoonde kunstwerk is geen auteursrecht mogelijk, zo las ik bij The Verge. Ingenieur Steven Thaler had de door hem ontwikkelde Creativity Machine dit werk laten maken, “A Recent Entrance to Paradise”, als deel van een serie werken waarin een AI de weg naar het hiernamaals visualiseert. De Copyright Review Board van het Copyright Office weigerde… Lees verder

Oh help, nu gaan AI’s ook al uitvindingen octrooieren

| AE 12941 | Innovatie, Intellectuele rechten | 12 reacties

In juli bepaalde een Australische rechtbank dat een AI-systeem rechtsgeldig als uitvinder vermeld kan worden op een octrooiaanvraag, zo las ik op de Copyright Blog van Kluwer. Daarmee staat in beginsel de weg open om in Australië automatisch gegenereerde uitvindingen (de aanvragen worden nog handmatig geschreven, geloof ik) als octrooi aan te vragen. In andere jurisdicties,… Lees verder

De AI Hall of Shame laat zien waarom AI compliance officers nodig zijn

| AE 12742 | Innovatie | 4 reacties

Heb je je wel eens afgevraagd hoe deze innovatie bijdraagt aan een afschuwelijke dystopie? Zo prikkelt machine learning engineer Sean McGregor zijn collega’s als die weer eens enthousiast doen over de inzet van AI voor het een of ander. Want maar al te vaak blijkt een goed idee uiteindelijk vooral nadelen voor kwetsbare mensen op… Lees verder

Joh, AI met bias overtreedt discriminatiewetgeving, wie had dat nou gedacht

| AE 12632 | Innovatie | 2 reacties

De Amerikaanse FTC waarschuwt op haar blog bedrijven die AI inzetten: de verkoop of inzet van biased AI systemen is een oneerlijke handelspraktijk en kan overtreding van antidiscriminatiewetgeving zoals de Fair Credit Reporting Act en de Equal Credit Opportunity Act opleveren. Grote schok, wie had dat nou kunnen denken, dat een AI die mensen wegselecteert op basis van… Lees verder

Compliance en risicomanagement bij Artificiële Intelligentie leren? #legaltechtuesday

| AE 12263 | Iusmentis | 4 reacties

Steeds meer organisaties zetten Artificial Intelligence (AI) in. Dit versnelt beslissingsprocessen en schept nieuwe inzichten omtrent risico’s, klanteigenschappen en commerciële kansen. Deze techniek is zeer nieuw en haar inzet roept dan ook vele vragen op over de juridische en ethische randvoorwaarden. Mag dat wel, een computer laten beslissen? Welke kaders hanteer je om een verantwoorde… Lees verder

Nog even terugkomend op dat ‘Afrikaanse’ van machine learning

| AE 11985 | Ondernemingsvrijheid | 23 reacties

Onlangs blogde ik over “Afrikaanse” machine learning, wat een leuke discussie opleverde maar ook veel vragen over wanneer je nu een computersysteem “westers” moet noemen. Een computer past geen culturele waarden toe, bijvoorbeeld, die telt 1 en 1 bij elkaar op en dat is gewoon 2. Daar is niets Chinees, Ubuntu of neoliberaals aan. Een… Lees verder

Autoriteit Persoonsgegevens gaat toezien op AI en algoritmes

| AE 11779 | Ondernemingsvrijheid, Privacy | 2 reacties

De Autoriteit Persoonsgegevens gaat toezien op het gebruik van kunstmatige intelligentie (AI) en algoritmes waarbij persoonsgegevens worden gebruikt. Dat las ik bij Security.nl. De grens tussen ‘wat geweldig dat dit kan’ en ‘bloedlink wat hier gebeurt’ kan juist hier soms akelig dicht bij elkaar komen, aldus de toezichthouder. Iedereen die verantwoordelijk is voor de inzet… Lees verder