De Amerikaanse FTC waarschuwt op haar blog bedrijven die AI inzetten: de verkoop of inzet van biased AI systemen is een oneerlijke handelspraktijk en kan overtreding van antidiscriminatiewetgeving zoals de Fair Credit Reporting Act en de Equal Credit Opportunity Act opleveren. Grote schok, wie had dat nou kunnen denken, dat een AI die mensen wegselecteert op basis van etnische afkomst mogelijk wel eens als discriminerend gezien kan worden?
Nou ja, niet helemaal eerlijk: de meeste AI’s worden natuurlijk niet ontworpen om op basis van die criteria te selecteren. Het is vrijwel altijd een onbedoelde uitkomst, meestal omdat de dataset scheef zat of omdat er een onbewuste aanname is gedaan op basis waarvan het systeem is gebouwd.
De waarschuwing is in zoverre opmerkelijk dat de markttoezichthouder zelden zo concreet en specifiek wordt, mede omdat ze zich expliciet richt tot leveranciers van technologie op basis van wetgeving gericht op gebruik daarvan:
For example, let’s say an AI developer tells clients that its product will provide “100% unbiased hiring decisions,” but the algorithm was built with data that lacked racial or gender diversity. The result may be deception, discrimination – and an FTC law enforcement action.En men prikt de bedrijven waar het pijn doet: in de data, diep in de data. Zo was er het bedrijf Everalbum, een online fotodienstverlener “dedicated to helping you capture and rediscover your life’s memories.” Alleen bleek men alle foto’s, inclusief handige tags en namen, te gebruiken om een gezichtsherkenningsalgoritme te trainen:
The FTC alleged that the company deceived users about their ability to control the app’s facial recognition feature and made misrepresentations about users’ ability delete their photos and videos upon account deactivation. To deter future violations, the proposed order requires the company to delete not only the ill-gotten data, but also the facial recognition models or algorithms developed with users’ photos or videos.Een passende straf: je moet je data én modellen weggooien, oftewel je moet zakelijk opnieuw beginnen terwijl je het consumentenvertrouwen kwijt bent vanwege publicatie van deze beslissing. Veel beter dan een geldboete, die immers kan worden begroot en met investeerderskapitaal afgedaan.
In Europa rommelt het trouwens ook: op 21 april publiceerde de Europese Commissie een concept-Verordening over de aanpak van AI. En het is me een ding, inclusief AVG-niveau boetes en toezicht. De kern: AI met hoog risico is eigenlijk niet toegestaan, en daaronder rekent men ook AI die mensen beoordeelt op levensbesluiten zoals wel of niet toegelaten worden tot opleidingen, wel of niet in een sollicitatieronde mee mogen doen enzovoorts. Precies, dat is waar veel AI zich nu op wil richten.
Wie denkt dat ‘ie wel AI eerlijk kan krijgen: mijn cursus AI Compliance & Governance gaat 3 mei weer van start.
De Europese aanpak van AI regulering spreekt me wel aan. Natuurlijk, iedere regulering verstoort de mogelijkheid tot innovatie maar op dit gebied zie ik ondertussen zó veel gepruts en gerommel dat het onderhand wel tijd wordt voor een paar stevige strepen in het zand. Het lijkt wel of alle oude kwakwetenschap weer wordt afgestoft met een AI ‘sausje’, zoals bij ‘microexpressies’ voor het zogenaamd herkennen van iemands emotionele toestand of waarheidspreken.
Het grootste probleem voor mij blijft dat AI steeds vaker de menselijke procedures overneemt. En nu word je bij een bureaucratie natuurlijk gereduceerd tot een nummer, maar bij een AI word je een datapunt en daar zit nog veel minder menselijkheid in. Met name omdat een AI geen genade kent, geen uitzondering. En omdat voor AI alle voorheen fluide mogelijkheden moeten worden platgeslagen: u moet worden geclassificeerd als A, B óf C, en een beetje B of met wat duwen en handig invullen toch C dat zit er niet in.
Arnoud
Maar veel classificatie modellen leveren toch ook A: 12% B:28% C:60% dus daar zit ook marge in.
Gelukkig zet de Europese Commissie hierin wel wat stappen. Ondertussen doen veel grote techbedrijven in de EU vrolijk waar ze zin in hebben omdat de DPC in Ierland (waar velen ‘gevestigd’ zijn) geen steek uitvoert:
#GDPR is simply not enforced in 99.93% of cases in Ireland!
Hoeveel krijgt het AP in Nederland trouwens wél voor elkaar?