Joh, AI met bias overtreedt discriminatiewetgeving, wie had dat nou gedacht

De Amerikaanse FTC waarschuwt op haar blog bedrijven die AI inzetten: de verkoop of inzet van biased AI systemen is een oneerlijke handelspraktijk en kan overtreding van antidiscriminatiewetgeving zoals de Fair Credit Reporting Act en de Equal Credit Opportunity Act opleveren. Grote schok, wie had dat nou kunnen denken, dat een AI die mensen wegselecteert op basis van etnische afkomst mogelijk wel eens als discriminerend gezien kan worden?

Nou ja, niet helemaal eerlijk: de meeste AI’s worden natuurlijk niet ontworpen om op basis van die criteria te selecteren. Het is vrijwel altijd een onbedoelde uitkomst, meestal omdat de dataset scheef zat of omdat er een onbewuste aanname is gedaan op basis waarvan het systeem is gebouwd.

De waarschuwing is in zoverre opmerkelijk dat de markttoezichthouder zelden zo concreet en specifiek wordt, mede omdat ze zich expliciet richt tot leveranciers van technologie op basis van wetgeving gericht op gebruik daarvan:

For example, let’s say an AI developer tells clients that its product will provide “100% unbiased hiring decisions,” but the algorithm was built with data that lacked racial or gender diversity. The result may be deception, discrimination – and an FTC law enforcement action.
En men prikt de bedrijven waar het pijn doet: in de data, diep in de data. Zo was er het bedrijf Everalbum, een online fotodienstverlener “dedicated to helping you capture and rediscover your life’s memories.” Alleen bleek men alle foto’s, inclusief handige tags en namen, te gebruiken om een gezichtsherkenningsalgoritme te trainen:
 The FTC alleged that the company deceived users about their ability to control the app’s facial recognition feature and made misrepresentations about users’ ability delete their photos and videos upon account deactivation. To deter future violations, the proposed order requires the company to delete not only the ill-gotten data, but also the facial recognition models or algorithms developed with users’ photos or videos.
Een passende straf: je moet je data én modellen weggooien, oftewel je moet zakelijk opnieuw beginnen terwijl je het consumentenvertrouwen kwijt bent vanwege publicatie van deze beslissing. Veel beter dan een geldboete, die immers kan worden begroot en met investeerderskapitaal afgedaan.

In Europa rommelt het trouwens ook: op 21 april publiceerde de Europese Commissie een concept-Verordening over de aanpak van AI. En het is me een ding, inclusief AVG-niveau boetes en toezicht. De kern: AI met hoog risico is eigenlijk niet toegestaan, en daaronder rekent men ook AI die mensen beoordeelt op levensbesluiten zoals wel of niet toegelaten worden tot opleidingen, wel of niet in een sollicitatieronde mee mogen doen enzovoorts. Precies, dat is waar veel AI zich nu op wil richten.

Wie denkt dat ‘ie wel AI eerlijk kan krijgen: mijn cursus AI Compliance & Governance gaat 3 mei weer van start.

De Europese aanpak van AI regulering spreekt me wel aan. Natuurlijk, iedere regulering verstoort de mogelijkheid tot innovatie maar op dit gebied zie ik ondertussen zó veel gepruts en gerommel dat het onderhand wel tijd wordt voor een paar stevige strepen in het zand. Het lijkt wel of alle oude kwakwetenschap weer wordt afgestoft met een AI ‘sausje’, zoals bij ‘microexpressies’ voor het zogenaamd herkennen van iemands emotionele toestand of waarheidspreken.

Het grootste probleem voor mij blijft dat AI steeds vaker de menselijke procedures overneemt. En nu word je bij een bureaucratie natuurlijk gereduceerd tot een nummer, maar bij een AI word je een datapunt en daar zit nog veel minder menselijkheid in. Met name omdat een AI geen genade kent, geen uitzondering. En omdat voor AI alle voorheen fluide mogelijkheden moeten worden platgeslagen: u moet worden geclassificeerd als A, B óf C, en een beetje B of met wat duwen en handig invullen toch C dat zit er niet in.

Arnoud

Nederlandse politie geeft details over gebruik van Boston Dynamics-robot Spot

De Dienst Speciale Operaties van de Nederlandse politie heeft een Spot-robot van Boston Dynamics in gebruik genomen en die onlangs voor het eerst ingezet. Dat meldde Tweakers onlangs. Spot is een robothond met als unieke eigenschap zijn natuurlijke manier van bewegen en evenwicht bewaren, waarbij je dan moet zeggen dat het “AI aangedreven is”. De variant die onze politie inzet, kan niet autonoom opereren en wordt op afstand bestuurd. Doel is met name in gevaarlijke situaties zoals drugslabs veilig te kunnen opereren. Een mooie eerste stap, maar het roept natuurlijk wel de vraag op hoe zo’n robotpolitiehond (politierobothond?) dan in de toekomst ingezet kan worden.

Voor wie wil weten hoe de toekomst van AI in de Nederlandse gemeenschap eruit ziet, is de case van de gemeente Juinen een unieke kans. De gemeente is nu bijna een jaar bezig met de breedschalige implementatie van AI voor gemeente- en burgerprocessen. Zij heeft daarbij gekozen voor de insteek van wettig, ethisch en robuust conform de Europese Guidelines voor verantwoorde AI, en is tot veler verbazing gekozen tot een van de twintig steden die aan de wereldwijde competitie World City AI Ranking mee mag doen.

Als afsluiter van het eerste jaar is daarbij een onderzoek naar draagvlak gewenst. Onderzoeksbureau Akkermans c.s. heeft daarom in opdracht van Juinen haar burgers bevraagd naar hoe zij de belangrijkste AI projecten hebben ervaren. Gezien de inzet van deze robothond wil ik u één aspect alvast meegeven:

In Woon-zorgcentrum Dageraad wordt al geruime tijd gewerkt met zorgrobot Jorien, die de bewoners wat extra gezelschap biedt. Daarnaast werkt het Juridisch Loket met intake-lawyerbot Hugo en experimenteert het ziekenhuis met de inzet van Meredith de robotchirurg. De politie heeft een aanvraag ingediend om een autonome robothond (Koiro, lees meer) te laten patrouilleren. Al deze robots werken autonoom, dus zonder human-in-the-loop (HITL). Waar hebben de Juinense burgers het meest vertrouwen in, denkt u? En waarom?

  1. Zorgrobot Jorien
  2. Lawyerbot Hugo
  3. Robotchirurg Meredith
  4. Robotpolitiehond Koiro
Wie denkt dat zhij het antwoord weet, moet zich zeker inschrijven voor de tienweekse opleiding AI Compliance & Governance die in mei weer van start gaat!

Arnoud