Vorige week verschenen drie uitspraken tegen Uber bv, waarin chauffeurs inzage in hun persoonsgegevens vroegen alsmede uitleg over de geautomatiseerde besluitvorming die het bedrijf zou toepassen. De uitspraken zijn fors en pittig, maar laten mooi zien hoe je als rechter de grenzen trekt tussen al dan niet toelaatbare besluitvorming.
De kern van het geschil werd veroorzaakt door deze passage in de privacyverklaring van Uber:
We use personal data to make automated decisions relating to use of our services. This includes: (…) Deactivating users who are identified as having engaged in fraud or activities that may otherwise harm Uber, its users, and others. In some cases, such as when a user is determined to be abusing Uber’s referral program, such behavior may result in automatic deactivation.”
Dit zagen we ook terug in de rechtszaken over de werknemer-status van chauffeurs; het geautomatiseerd gezag over personeel was een belangrijke factor. En het meer algemene punt is dat je niet zomaar geautomatiseerd gezag mag uitvoeren, dus op zijn minst moet je dan uitleggen wat je wel of niet automatisch doet.
In de eerste zaak ging het om de zogeheten “fraud probability score”, deel van het bedrijfsproces van Uber om frauderende chauffeurs tegen te gaan. Een voorbeeld daarvan is chauffeurs die via technische trucjes achterhalen welke bestemming een klant heeft voordat deze ingestapt is, zo kun je de weinig lucratieve ritjes mijden. Maar hoe komt die score tot stand, wanneer ben je een “fraudeur” volgens Uber? Maar helaas:
Bij toepassing van de ‘fraud probability score’ is sprake van profilering in de zin van artikel 4 onderdeel 4 AVG. Door geautomatiseerde verwerking van persoonsgegevens van [verzoekers] wordt immers een risicoprofiel opgesteld waarmee een voorspelling wordt gedaan over hun gedrag en betrouwbaarheid. [verzoekers] hebben evenwel niet gesteld en evenmin is gebleken dat op basis van dit risicoprofiel ten aanzien van hen geautomatiseerde beslissingen zijn genomen. De rechtbank gaat er daarom vanuit dat geen sprake is van geautomatiseerde besluitvorming in de zin van artikel 22 AVG.
Kennelijk wordt het profiel alleen gebruikt als stukje voorbereidende informatie voor menselijke fraudespeurders. We zien verderop een meer veelbelovende aanpak: ronkende persberichten dat
Uber AI inzet om raar gedrag van chauffeurs op te sporen. Hoe meer geautomatiseerd dan een AI wil je het hebben? Maar wederom, helaas:
Volgens [verzoekers] volgt uit een persbericht dat het systeem is gebaseerd op kunstmatige intelligentie en ‘machine learning’. Daarmee is naar het oordeel van de rechtbank nog niet gezegd dat sprake is van geautomatiseerde besluitvorming zoals bedoeld in artikel 22 lid 1 AVG. Bovendien is daarvoor vereist dat ook sprake is van rechtsgevolgen of dat [verzoekers] anderszins in aanmerkelijke mate door het geautomatiseerde besluit worden getroffen. Een toelichting op dit punt ontbreekt.
Het gaat dus mis op de vraag wat er gebeurt met de uitkomsten van die automatische analyse. We zien dit ook terug in de
tweede zaak, waarin het ging om je account kwijtraken wanneer Uber kennelijk automatisch concludeert dat je fraudeert.
Van een uitsluitend op geautomatiseerde verwerking gebaseerd besluit is sprake indien er geen betekenisvolle menselijke tussenkomst is in het besluitvormingsproces. In de Richtsnoeren is vermeld dat om daadwerkelijke menselijke tussenkomst te realiseren de verwerkingsverantwoordelijke ervoor moet zorgen dat al het toezicht op de besluitvorming zinvol is, en niet slechts een symbolische handeling vormt. Deze tussenkomst moet worden uitgevoerd door iemand die bevoegd en bekwaam is om het besluit te veranderen. Hij moet alle relevante gegevens in zijn analyse betrekken.
Uber blijkt zo’n menselijke tussenkomst wel te hebben: haar
EMEA Operational Risk team. Die blijken de output van het automatische systeem te krijgen als signaal, en gaan dan met eigen indicatoren zoeken en vervolgens conclusies trekken. Dat is dus zeker geen geautomatiseerde besluitvorming, althans zo klinkt het niet. Ja, ik klink wat skeptisch maar dat is omdat ik gewend ben dat mensen vrij strak achter de indicaties aanlopen – als de computer zegt dat het een fraudeur is, dan zijn er vast indicaties te vinden die dat bewijzen, en dan zijn we er. Dit is niet hetzelfde als “eens zien of chauffeur X een fraudeur is”.
Wat wél automatisch gaat, is dat je account bevroren wordt totdat dat EMEA Operational Risk team haar onderzoek heeft afgerond, of op zijn minst tot jij contact opneemt:
Gelet op deze toelichting van Uber gaat de rechtbank ervan uit dat het besluit om de toegang tot de Driver app na een fraudesignaal tijdelijk te blokkeren automatisch, zonder menselijke tussenkomst, wordt genomen. Deze tijdelijke blokkade heeft echter geen langdurig of blijvend effect, zodat het geautomatiseerde besluit geen rechtsgevolgen heeft of de chauffeur in aanmerkelijke mate treft.
Een bekend probleem dat de rechter wél adresseert is dat er te weinig transparantie is. Waarom vond het algoritme dat deze chauffeur frauduleus zou handelen? Welke factoren wogen mee, wat is er gebeurd? En dan is “dat is bedrijfsgeheim” of “we willen fraudeurs niet wijzer maken dan ze zijn” geen argument onder de AVG.
Op basis van de informatie die Uber heeft gegeven kunnen zij niet controleren welke persoonsgegevens Uber heeft gebruikt in het besluitvormingsproces dat tot dit besluit heeft geleid. Hierdoor is het besluit tot deactivering van hun accounts onvoldoende inzichtelijk en controleerbaar. Dit heeft tot gevolg dat Uber aan [verzoeker 2] en [verzoeker 4] op grond van artikel 15 AVG inzage moet verstrekken in hun persoonsgegevens voor zover die ten grondslag hebben gelegen aan het besluit tot deactivering van hun accounts, op zodanige wijze dat zij in staat zijn de juistheid en rechtmatigheid van de verwerking van hun persoonsgegevens te controleren.
En in de
derde zaak wordt de discussie over automatische besluitvorming eveneens afgewezen wegens een te beperkte onderbouwing van de eisende partijen. Wel interessant daar nog de vraag over inzage in je gegevens in een standaardformaat – de eisers wilden een CSV bestand, om zo zelf de data te kunnen onderzoeken (neem ik aan).
Dat is een recht als je persoonsgegevens opvraagt, wanneer die onder toestemming of uitvoering overeenkomst zijn verstrekt. Maar dat is meteen ook beperkt tot gegevens die jij dan verstrekt, niet over gegevens die het bedrijf zelf verzamelt of maakt op basis van wat je aanlevert. En daar gaat het dus mis, want de gevraagde gegevens voldoen niet aan deze beperkte eis.
Alles bij elkaar dus ben ik vooral teleurgesteld over de beperkt onderbouwde eisen, de uitspraken zijn zelf goed onderbouwd en bevestigen de lijn die we al zagen. Maar praktisch komen we niet héél veel verder zo.
Arnoud
Inkoopvoorwaarden: onze volgende robot lust ze rauw