De AI Hall of Shame laat zien waarom AI compliance officers nodig zijn

| AE 12742 | Innovatie | 4 reacties

Heb je je wel eens afgevraagd hoe deze innovatie bijdraagt aan een afschuwelijke dystopie? Zo prikkelt machine learning engineer Sean McGregor zijn collega’s als die weer eens enthousiast doen over de inzet van AI voor het een of ander. Want maar al te vaak blijkt een goed idee uiteindelijk vooral nadelen voor kwetsbare mensen op te leveren of nodeloze rechtlijnigheid te introduceren in een op zich prima werkend menselijk proces. En om dat kracht bij te zetten, onderhoudt hij sinds een tijdje de AI Incident Database.

Zoals de site het zelf toelicht:

The AI Incident Database is a collection of harms or near harms realized in the real world by the deployment of intelligent systems. You are invited to submit reports to the database, whereupon accepted incidents will be indexed and made discoverable to people developing and deploying the next generation of AI technology to the world. Artificial intelligence will only be a benefit to people and society if we collectively record and learn from its failings. Learn more about the database, or read about it on the PAI BlogVice NewsVenture Beat, and arXiv among other outlets.
Soms gaat het om gewoon hilarische storingen, zoals een surveillancerobot die zichzelf de fontein in rijdt omdat hij water niet van tegels kon onderscheiden. Wat ook weer heel naar kan uitpakken, zoals bij de lasrobot die niet geprogrammeerd was om mensen te vermijden – en iemand doodde toen die een losgelaten metalen plaat wilde verwijderen.

De pijn zit hem vaker niet in zulke extreme dingen, maar in de vaak schimmige manier waarop een AI tot haar conclusie komt. Bijvoorbeeld omdat je geen uitleg krijgt, zoals bij incident 96 waar een door de fabrikant geheimgehouden algoritme leraren beoordeelt en laat ontslaan. Of bij incident 78, waar een studente geweigerd werd bij geneeskunde in Duitsland omdat de AI had ingeschat dat ze lage cijfers zou halen. Of bij incident 95 waarin gezichts- en stemanalyse ertoe leidt dat sollicitanten geweigerd worden.

Die laatste is interessant omdat de gebruikte data is geanalyseerd en vrij van bias zou zijn bevonden. Ja, ik ben skeptisch want ik geloof dat niet – bijvoorbeeld omdat ik me niet kan voorstellen dat men bij stemanalyses de moeite neemt om stotteraars of mensen met slokdarmspraak te vragen om een representatieve hoeveelheid data aan te leveren.  (De kans is groter dat men het ding op porno getraind heeft, daar is immers veel sneller een grote hoeveelheid data voor te krijgen.)

Dat gebrek aan representativiteit zie je vaak opduiken. Bijvoorbeeld in incident 48, waarbij paspoortfoto’s worden gescreend op “ogen volledig open” wat natuurlijk misgaat bij Aziatische mensen. Die overigens ook niet hoog scoren in beauty contests waarbij een AI de jury speelt. Op het gorilla-incident van Google hoef ik al helemaal niet op in te gaan. Het aantal voorbeelden is talrijk.

De vraag is, hoe moet het dan wel. Daar zijn alweer eventjes geleden de EU Ethics Guidelines for trustworthy AI voor geformuleerd. Deze bevatten geen juridische eisen (die komen er wel aan, de Verordening AI) maar juist ethische kaders: hoe moet het wel, wat mag de burger verwachten en wat moet een bouwer of gebruiker van AI aan verplichtingen op zich nemen.

Wie wil leren hoe dat werkt: op 20 september start mijn tienweekse cursus AI Compliance in de praktijk weer. Leer in je eigen tijd (ongeveer 4 uur per week) de techniek én de ethische kaders rondom AI, met echte cases en echte data. Ik laat je zoeken naar bias in een dataset met leningaanvragen of puzzelen over waarom een snel en vrijwillig AI-loket bij de gemeente in strijd is met de mensenrechten. En ondertussen zet je je ook in om de gemeente Juinen met haar miljoenen kostende AI initiatieven hoog in de wereldranglijst te krijgen. Wees er snel bij!

Arnoud

 

Joh, AI met bias overtreedt discriminatiewetgeving, wie had dat nou gedacht

| AE 12632 | Innovatie | 2 reacties

De Amerikaanse FTC waarschuwt op haar blog bedrijven die AI inzetten: de verkoop of inzet van biased AI systemen is een oneerlijke handelspraktijk en kan overtreding van antidiscriminatiewetgeving zoals de Fair Credit Reporting Act en de Equal Credit Opportunity Act opleveren. Grote schok, wie had dat nou kunnen denken, dat een AI die mensen wegselecteert op basis van etnische afkomst mogelijk wel eens als discriminerend gezien kan worden?

Nou ja, niet helemaal eerlijk: de meeste AI’s worden natuurlijk niet ontworpen om op basis van die criteria te selecteren. Het is vrijwel altijd een onbedoelde uitkomst, meestal omdat de dataset scheef zat of omdat er een onbewuste aanname is gedaan op basis waarvan het systeem is gebouwd.

De waarschuwing is in zoverre opmerkelijk dat de markttoezichthouder zelden zo concreet en specifiek wordt, mede omdat ze zich expliciet richt tot leveranciers van technologie op basis van wetgeving gericht op gebruik daarvan:

For example, let’s say an AI developer tells clients that its product will provide “100% unbiased hiring decisions,” but the algorithm was built with data that lacked racial or gender diversity. The result may be deception, discrimination – and an FTC law enforcement action.
En men prikt de bedrijven waar het pijn doet: in de data, diep in de data. Zo was er het bedrijf Everalbum, een online fotodienstverlener “dedicated to helping you capture and rediscover your life’s memories.” Alleen bleek men alle foto’s, inclusief handige tags en namen, te gebruiken om een gezichtsherkenningsalgoritme te trainen:
 The FTC alleged that the company deceived users about their ability to control the app’s facial recognition feature and made misrepresentations about users’ ability delete their photos and videos upon account deactivation. To deter future violations, the proposed order requires the company to delete not only the ill-gotten data, but also the facial recognition models or algorithms developed with users’ photos or videos.
Een passende straf: je moet je data én modellen weggooien, oftewel je moet zakelijk opnieuw beginnen terwijl je het consumentenvertrouwen kwijt bent vanwege publicatie van deze beslissing. Veel beter dan een geldboete, die immers kan worden begroot en met investeerderskapitaal afgedaan.

In Europa rommelt het trouwens ook: op 21 april publiceerde de Europese Commissie een concept-Verordening over de aanpak van AI. En het is me een ding, inclusief AVG-niveau boetes en toezicht. De kern: AI met hoog risico is eigenlijk niet toegestaan, en daaronder rekent men ook AI die mensen beoordeelt op levensbesluiten zoals wel of niet toegelaten worden tot opleidingen, wel of niet in een sollicitatieronde mee mogen doen enzovoorts. Precies, dat is waar veel AI zich nu op wil richten.

Wie denkt dat ‘ie wel AI eerlijk kan krijgen: mijn cursus AI Compliance & Governance gaat 3 mei weer van start.

De Europese aanpak van AI regulering spreekt me wel aan. Natuurlijk, iedere regulering verstoort de mogelijkheid tot innovatie maar op dit gebied zie ik ondertussen zó veel gepruts en gerommel dat het onderhand wel tijd wordt voor een paar stevige strepen in het zand. Het lijkt wel of alle oude kwakwetenschap weer wordt afgestoft met een AI ‘sausje’, zoals bij ‘microexpressies’ voor het zogenaamd herkennen van iemands emotionele toestand of waarheidspreken.

Het grootste probleem voor mij blijft dat AI steeds vaker de menselijke procedures overneemt. En nu word je bij een bureaucratie natuurlijk gereduceerd tot een nummer, maar bij een AI word je een datapunt en daar zit nog veel minder menselijkheid in. Met name omdat een AI geen genade kent, geen uitzondering. En omdat voor AI alle voorheen fluide mogelijkheden moeten worden platgeslagen: u moet worden geclassificeerd als A, B óf C, en een beetje B of met wat duwen en handig invullen toch C dat zit er niet in.

Arnoud

Compliance en risicomanagement bij Artificiële Intelligentie leren? #legaltechtuesday

| AE 12263 | Iusmentis | 4 reacties

Steeds meer organisaties zetten Artificial Intelligence (AI) in. Dit versnelt beslissingsprocessen en schept nieuwe inzichten omtrent risico’s, klanteigenschappen en commerciële kansen. Deze techniek is zeer nieuw en haar inzet roept dan ook vele vragen op over de juridische en ethische randvoorwaarden. Mag dat wel, een computer laten beslissen? Welke kaders hanteer je om een verantwoorde inzet van AI te realiseren? Wordt het tijd voor een AI Compliance Officer?

De inzet van AI biedt nieuwe mogelijkheden. Bestaande processen kunnen fors worden versneld door menselijke tussenkomst te vervangen door een AI. Zo zou een AI-bewaker bagage van bezoekers kunnen screenen op ongewenste voorwerpen, en deze doet dat dan veel sneller dan een mens (en is bovendien om vijf uur niet moe en afgeleid). Een verzekeraar zou een AI in kunnen zetten om claims te kunnen analyseren.

Dergelijke analyses hebben echter ook diverse risico’s. Zo staan AI’s er om bekend dat zij bestaande vooringenomenheid (bias) uit de onderliggende data sterk uitvergroten, wat kan leiden tot ongewenst gedrag zoals discriminatie. Ook is het vaak lastig duidelijke uitleg te krijgen over hoe een AI tot zijn conclusie komt: dergelijke data-analyse is volkomen onvergelijkbaar met een menselijk gedachteproces.

Deze risico’s maken organisaties nog steeds huiverig over de inzet van AI. Ook de wetgever heeft niet stilgezeten: in de Europese privacywet GDPR is een expliciet verbod opgenomen om mensen aan besluiten te onderwerpen die door een AI zijn genomen. Hoe dan ook grip te krijgen op AI, en te zorgen voor een nette, ethisch verantwoorde inzet, is een lastige vraag voor veel organisaties.

In 2019 publiceerde de Europese Commissie de Ethics Guidelines for trustworthy AI. Onder “ethisch” verstaat men niet alleen het voldoen aan wettelijke regels, maar ook aan meer algemene ethische principes. Ethische AI bestaat uit drie componenten, waaraan gedurende de volledige levenscyclus van het systeem moet worden voldaan: de AI moet

  1. wettig zijn, door te voldoen aan alle toepasselijke wet- en regelgeving,
  2. ethisch zijn, door naleving van ethische beginselen en waarden te waarborgen, en
  3. robuust zijn uit zowel technisch als sociaal oogpunt, aangezien KI-systemen ongewild schade kunnen aanrichten, zelfs al zijn de bedoelingen goed.
Uitgaande van deze drie componenten komen de richtsnoeren tot zeven vereisten voor AI-systemen:
  1. Menselijke controle en toezicht
  2. Diversiteit, non-discriminatie en rechtvaardigheid
  3. Technische robuustheid en veiligheid
  4. Transparantie en verklaarbaarheid
  5. Privacy en datagovernance
  6. Maatschappelijk en milieuwelzijn
  7. Verantwoording en controleerbaarheid
Het toetsen aan deze vereisten komt in de praktijk neer op het welbekende proces van compliance: formuleer criteria waarmee naleving kan worden gemeten, zorg dat mensen doordrongen zijn van het belang van naleving en toets op de criteria. Dat dan ook nog eens op een positieve manier; nee zeggen is altijd makkelijk, maar technologie op een compliant en werkbare manier de markt op krijgen is een stuk lastiger.

Omdat het hier ook nog eens gaat om geavanceerde technologie en vaak vele partijen betrokken zijn, is AI compliance een uitdagende kwestie. Een AI compliance officer moet dan ook behoorlijk thuis zijn in wetgeving, techniek en de toepassingspraktijk.

Ik vond dit zo’n leuke dat ik de afgelopen weken eigenlijk alleen heb gewerkt aan mijn nieuwe leergang AI in de praktijk: compliance & governance. Deze online leergang is speciaal ontwikkeld voor informatieprofessionals, juristen en compliance officers die aan de slag moeten of willen met AI en de toetsing daarvan. Geen blokkades opwerpen, maar zorgen dat bedrijven en instanties aan de slag kunnen. Weten wat er wel kan en hoe dat wordt bereikt.

De stof wordt volledig online aangeboden. Met geavanceerde vormen van elearning kan de cursist eenvoudig werken en effectief de stof tot zich nemen. De docent is online beschikbaar voor 1-op-1 overleg, en via een discussieforum kunnen cursisten met elkaar overleggen en brainstormen.

Met dat forum is trouwens iets bijzonders: het wordt aangeboden door een fictief Nederlands dorp. De leergang kent namelijk een serious game element, waarbij deelnemers optreden voor bedrijfsleven en overheid in dat dorp om te zorgen dat AI-initiatieven volledig compliant én bruikbaar worden. Hoe beter men het spel speelt, hoe hoger het dorp scoort in de wereldwijde competitie van de Most AI-focused city in the world, bijgehouden door het fictieve United Nations Office for Global AI (UNOGAI). Bij pittige onderwerpen als deze is serious gaming een bewezen techniek om leren effectiever te maken.

Durf jij de uitdaging aan? Op 1 februari gaat de eerste ronde van start. Meer informatie en de inschrijfmogelijkheid vindt u bij ICTRecht.

Arnoud

 

 

 

Nog even terugkomend op dat ‘Afrikaanse’ van machine learning

| AE 11985 | Ondernemingsvrijheid | 23 reacties

Onlangs blogde ik over “Afrikaanse” machine learning, wat een leuke discussie opleverde maar ook veel vragen over wanneer je nu een computersysteem “westers” moet noemen. Een computer past geen culturele waarden toe, bijvoorbeeld, die telt 1 en 1 bij elkaar op en dat is gewoon 2. Daar is niets Chinees, Ubuntu of neoliberaals aan. Een… Lees verder

Autoriteit Persoonsgegevens gaat toezien op AI en algoritmes

| AE 11779 | Ondernemingsvrijheid, Privacy | 2 reacties

De Autoriteit Persoonsgegevens gaat toezien op het gebruik van kunstmatige intelligentie (AI) en algoritmes waarbij persoonsgegevens worden gebruikt. Dat las ik bij Security.nl. De grens tussen ‘wat geweldig dat dit kan’ en ‘bloedlink wat hier gebeurt’ kan juist hier soms akelig dicht bij elkaar komen, aldus de toezichthouder. Iedereen die verantwoordelijk is voor de inzet… Lees verder

Met RPA klikt een robot op je knopjes #legaltechtuesday

| AE 11744 | Innovatie | 3 reacties

Legal tech gaat het juridische werk transformeren, lijkt mijn mantra te gaan worden. Nieuwe tools maken nieuwe manieren van werken mogelijk, en dat zal uiteindelijk zorgen voor een heel andere juridische sector. Waarschijnlijk met minder advocaten en meer andersoortige dienstverleners die juridische zaken erbij doen. In ieder geval de standaardzaken. Maar zo ver zijn we… Lees verder

AI is enorm dom en daarom is ethiek in AI zo enorm belangrijk

| AE 11521 | Informatiemaatschappij | 12 reacties

Ethiek en AI, twee begrippen die steeds vaker samen genoemd worden. Want als we overal AI gaan inzetten, met name voor besluitvorming en automatische systemen, dan moeten we wel vooraf nadenken wat voor impact dat heeft en of het wel ethisch wenselijk is dat dat zo werkt. Goed dat daar steeds meer aandacht voor komt,… Lees verder

Google-medewerkers luisteren Nederlandse gesprekken mee, is dat erg?

| AE 11388 | Informatiemaatschappij | 16 reacties

Medewerkers van Google luisteren gesprekken mee die Nederlanders voeren met hun slimme Google-assistent, zonder dat Google daar vooraf duidelijkheid over geeft. Dat meldde de NOS vorige week. Het gaat om fragmenten van gesprekken die door de AI-assistent niet werden verstaan; een mens maakt dan een transcriptie waar de AI van kan leren. Vanuit technisch perspectief… Lees verder

De rechtspraak en de bedrijfsgeheime bewijsanalyse

| AE 10685 | Innovatie | 28 reacties

Steeds meer bedrijven leunen zwaar op de wettelijke bescherming voor bedrijfsgeheimen, en dat heeft grote impact op de strafrechtspraak. Dat las ik bij Boing Boing een tijdje terug. Het gaat om software die analyses doet op data gebruikt als bewijs, of inschattingen van vluchtgevaar of recidive. Wie als verdachte de bevindingen van die software wil… Lees verder