Hoe geautomatiseerd is de besluitvorming van Uber nu eigenlijk?

Vorige week verschenen drie uitspraken tegen Uber bv, waarin chauffeurs inzage in hun persoonsgegevens vroegen alsmede uitleg over de geautomatiseerde besluitvorming die het bedrijf zou toepassen. De uitspraken zijn fors en pittig, maar laten mooi zien hoe je als rechter de grenzen trekt tussen al dan niet toelaatbare besluitvorming.

De kern van het geschil werd veroorzaakt door deze passage in de privacyverklaring van Uber:

We use personal data to make automated decisions relating to use of our services. This includes: (…) Deactivating users who are identified as having engaged in fraud or activities that may otherwise harm Uber, its users, and others. In some cases, such as when a user is determined to be abusing Uber’s referral program, such behavior may result in automatic deactivation.”
Dit zagen we ook terug in de rechtszaken over de werknemer-status van chauffeurs; het geautomatiseerd gezag over personeel was een belangrijke factor. En het meer algemene punt is dat je niet zomaar geautomatiseerd gezag mag uitvoeren, dus op zijn minst moet je dan uitleggen wat je wel of niet automatisch doet.

In de eerste zaak ging het om de zogeheten “fraud probability score”, deel van het bedrijfsproces van Uber om frauderende chauffeurs tegen te gaan. Een voorbeeld daarvan is chauffeurs die via technische trucjes achterhalen welke bestemming een klant heeft voordat deze ingestapt is, zo kun je de weinig lucratieve ritjes mijden. Maar hoe komt die score tot stand, wanneer ben je een “fraudeur” volgens Uber? Maar helaas:

Bij toepassing van de ‘fraud probability score’ is sprake van profilering in de zin van artikel 4 onderdeel 4 AVG. Door geautomatiseerde verwerking van persoonsgegevens van [verzoekers] wordt immers een risicoprofiel opgesteld waarmee een voorspelling wordt gedaan over hun gedrag en betrouwbaarheid. [verzoekers] hebben evenwel niet gesteld en evenmin is gebleken dat op basis van dit risicoprofiel ten aanzien van hen geautomatiseerde beslissingen zijn genomen. De rechtbank gaat er daarom vanuit dat geen sprake is van geautomatiseerde besluitvorming in de zin van artikel 22 AVG.
Kennelijk wordt het profiel alleen gebruikt als stukje voorbereidende informatie voor menselijke fraudespeurders. We zien verderop een meer veelbelovende aanpak: ronkende persberichten dat Uber AI inzet om raar gedrag van chauffeurs op te sporen. Hoe meer geautomatiseerd dan een AI wil je het hebben? Maar wederom, helaas:
Volgens [verzoekers] volgt uit een persbericht dat het systeem is gebaseerd op kunstmatige intelligentie en ‘machine learning’. Daarmee is naar het oordeel van de rechtbank nog niet gezegd dat sprake is van geautomatiseerde besluitvorming zoals bedoeld in artikel 22 lid 1 AVG. Bovendien is daarvoor vereist dat ook sprake is van rechtsgevolgen of dat [verzoekers] anderszins in aanmerkelijke mate door het geautomatiseerde besluit worden getroffen. Een toelichting op dit punt ontbreekt.
Het gaat dus mis op de vraag wat er gebeurt met de uitkomsten van die automatische analyse. We zien dit ook terug in de tweede zaak, waarin het ging om je account kwijtraken wanneer Uber kennelijk automatisch concludeert dat je fraudeert.
Van een uitsluitend op geautomatiseerde verwerking gebaseerd besluit is sprake indien er geen betekenisvolle menselijke tussenkomst is in het besluitvormingsproces. In de Richtsnoeren is vermeld dat om daadwerkelijke menselijke tussenkomst te realiseren de verwerkingsverantwoordelijke ervoor moet zorgen dat al het toezicht op de besluitvorming zinvol is, en niet slechts een symbolische handeling vormt. Deze tussenkomst moet worden uitgevoerd door iemand die bevoegd en bekwaam is om het besluit te veranderen. Hij moet alle relevante gegevens in zijn analyse betrekken.
Uber blijkt zo’n menselijke tussenkomst wel te hebben: haar EMEA Operational Risk team. Die blijken de output van het automatische systeem te krijgen als signaal, en gaan dan met eigen indicatoren zoeken en vervolgens conclusies trekken. Dat is dus zeker geen geautomatiseerde besluitvorming, althans zo klinkt het niet. Ja, ik klink wat skeptisch maar dat is omdat ik gewend ben dat mensen vrij strak achter de indicaties aanlopen – als de computer zegt dat het een fraudeur is, dan zijn er vast indicaties te vinden die dat bewijzen, en dan zijn we er. Dit is niet hetzelfde als “eens zien of chauffeur X een fraudeur is”.

Wat wél automatisch gaat, is dat je account bevroren wordt totdat dat EMEA Operational Risk team haar onderzoek heeft afgerond, of op zijn minst tot jij contact opneemt:

Gelet op deze toelichting van Uber gaat de rechtbank ervan uit dat het besluit om de toegang tot de Driver app na een fraudesignaal tijdelijk te blokkeren automatisch, zonder menselijke tussenkomst, wordt genomen. Deze tijdelijke blokkade heeft echter geen langdurig of blijvend effect, zodat het geautomatiseerde besluit geen rechtsgevolgen heeft of de chauffeur in aanmerkelijke mate treft.
Een bekend probleem dat de rechter wél adresseert is dat er te weinig transparantie is. Waarom vond het algoritme dat deze chauffeur frauduleus zou handelen? Welke factoren wogen mee, wat is er gebeurd? En dan is “dat is bedrijfsgeheim” of “we willen fraudeurs niet wijzer maken dan ze zijn” geen argument onder de AVG.
Op basis van de informatie die Uber heeft gegeven kunnen zij niet controleren welke persoonsgegevens Uber heeft gebruikt in het besluitvormingsproces dat tot dit besluit heeft geleid. Hierdoor is het besluit tot deactivering van hun accounts onvoldoende inzichtelijk en controleerbaar. Dit heeft tot gevolg dat Uber aan [verzoeker 2] en [verzoeker 4] op grond van artikel 15 AVG inzage moet verstrekken in hun persoonsgegevens voor zover die ten grondslag hebben gelegen aan het besluit tot deactivering van hun accounts, op zodanige wijze dat zij in staat zijn de juistheid en rechtmatigheid van de verwerking van hun persoonsgegevens te controleren.
En in de derde zaak wordt de discussie over automatische besluitvorming eveneens afgewezen wegens een te beperkte onderbouwing van de eisende partijen. Wel interessant daar nog de vraag over inzage in je gegevens in een standaardformaat – de eisers wilden een CSV bestand, om zo zelf de data te kunnen onderzoeken (neem ik aan).

Dat is een recht als je persoonsgegevens opvraagt, wanneer die onder toestemming of uitvoering overeenkomst zijn verstrekt. Maar dat is meteen ook beperkt tot gegevens die jij dan verstrekt, niet over gegevens die het bedrijf zelf verzamelt of maakt op basis van wat je aanlevert. En daar gaat het dus mis, want de gevraagde gegevens voldoen niet aan deze beperkte eis.

Alles bij elkaar dus ben ik vooral teleurgesteld over de beperkt onderbouwde eisen, de uitspraken zijn zelf goed onderbouwd en bevestigen de lijn die we al zagen. Maar praktisch komen we niet héél veel verder zo.

Arnoud

Mogen wij een AI onze sollicitanten laten prescreenen?

Een lezer vroeg me:

Ik werk op de HR afdeling van de Nederlandse vestiging van een Amerikaans concern. Vanuit ‘Houston’ is ons nu opgedragen alle sollicitaties eerst door een AI-driven screening te halen. Alleen mensen die door het algoritme worden geselecteerd, mogen op gesprek komen. Mag dat wel van de GDPR?

De inzet van AI, beter gezegd machine learning, is in human resources oftewel personeelsmanagement aan een stevige opmars bezig. Het screenen van kandidaten is namelijk een tijdrovende en lastige klus om consistent en objectief te doen, en laat dat nou precies zijn waar software goed in is. Zoals PW Web het uitlegt:

Handmatig honderden cv’s doornemen kan leiden tot een enorme opeenhoping van werk, waardoor andere taken stil komen te liggen en er veel tijd en geld wordt verspild. Met behulp van AI en ML kan dit proces geautomatiseerd worden door bijvoorbeeld slimme screening software in te zetten die cv’s snel kan scannen op de voorwaarden die in de vacature genoemd worden. Gedurende dit proces leert de software wat er gevraagd wordt van toekomstige kandidaten. Op basis van ervaringen met eerder aangenomen kandidaten kan de software vervolgens bepalen welke eigenschappen een goede kandidaat bezit.

Ook steeds populairder wordt screeningsoftware waarbij je op video vragen van een computerprogramma beantwoordt. Software analyseert dan je ‘microexpressies’ en emoties en concludeert daaruit of jij door mag naar fase 2, waarbij een mens met je in contact treedt.

Dit staat inderdaad enigszins op gespannen voet met de AVG oftewel GDPR, die immers een verbod kent op geautomatiseerde besluitvorming, inclusief profileren. Artikel 22 AVG verbiedt in principe het geautomatiseerd nemen van besluiten, waarmee niet alleen juridisch bindende beslissingen worden bedoeld maar ook andere conclusies en vervolgstappen die de betrokkene in aanzienlijke mate raken. Zoals wanneer je niet door mag naar een volgende sollicitatieronde.

Lid 2 van dit artikel staat profileren en besluitvorming echter weer wel toe wanneer dit noodzakelijk is voor de totstandkoming of de uitvoering van een overeenkomst, waaronder ook een arbeidscontract kan vallen. Het zou dus mogen, zo’n prescreening, mits de werkgever kan aantonen dat hij echt niet anders kan – de term ‘noodzaak’ is een hoge lat, en je komt er niet door te zeggen dat het beter is dan voorheen of dat dit je werk efficiënter of makkelijker maakt.

Ik vind het moeilijk argumenten te bedenken waarom die noodzaak er zou zijn. Alleen, je komt dan al heel snel uit bij het kulargument “vroegâh kon alles handmatig en persoonlijk dus vernieuwingen zijn nergens voor nodig”. En dat kan ook weer niet de bedoeling zijn van de AVG.

Ik zie daarbij wel iets in het argument dat zo’n screening objectiever is, omdat alle cv’s nu op dezelfde wijze worden bekeken en beoordeeld. Dat voelt eerlijker dan wat je vroeger wel hoorde, dat een cv terzijde werd gelegd omdat het papier te dun was, je de verkeerde school had of omdat je op de foto mooier was dan de HR-dame die je brief openmaakte. Maar algemeen bekend is ook weer dat screeningsoftware bias heeft, en bijvoorbeeld per abuis vrouwen weglaat of alleen mannen die Jared heten en lacrosse spelen doorlaat.

Ik denk dan ook dat dit alleen kan als je hebt uitgewerkt op papier waarom dergelijke bias en selectiefouten bij jullie niet voor gaan komen. En een mooie folder van de leverancier is natuurlijk niet genoeg daarvoor.

Arnoud