Hoe geautomatiseerd is de besluitvorming van Uber nu eigenlijk?

| AE 12558 | Privacy | 1 reactie

Vorige week verschenen drie uitspraken tegen Uber bv, waarin chauffeurs inzage in hun persoonsgegevens vroegen alsmede uitleg over de geautomatiseerde besluitvorming die het bedrijf zou toepassen. De uitspraken zijn fors en pittig, maar laten mooi zien hoe je als rechter de grenzen trekt tussen al dan niet toelaatbare besluitvorming.

De kern van het geschil werd veroorzaakt door deze passage in de privacyverklaring van Uber:

We use personal data to make automated decisions relating to use of our services. This includes: (…) Deactivating users who are identified as having engaged in fraud or activities that may otherwise harm Uber, its users, and others. In some cases, such as when a user is determined to be abusing Uber’s referral program, such behavior may result in automatic deactivation.”
Dit zagen we ook terug in de rechtszaken over de werknemer-status van chauffeurs; het geautomatiseerd gezag over personeel was een belangrijke factor. En het meer algemene punt is dat je niet zomaar geautomatiseerd gezag mag uitvoeren, dus op zijn minst moet je dan uitleggen wat je wel of niet automatisch doet.

In de eerste zaak ging het om de zogeheten “fraud probability score”, deel van het bedrijfsproces van Uber om frauderende chauffeurs tegen te gaan. Een voorbeeld daarvan is chauffeurs die via technische trucjes achterhalen welke bestemming een klant heeft voordat deze ingestapt is, zo kun je de weinig lucratieve ritjes mijden. Maar hoe komt die score tot stand, wanneer ben je een “fraudeur” volgens Uber? Maar helaas:

Bij toepassing van de ‘fraud probability score’ is sprake van profilering in de zin van artikel 4 onderdeel 4 AVG. Door geautomatiseerde verwerking van persoonsgegevens van [verzoekers] wordt immers een risicoprofiel opgesteld waarmee een voorspelling wordt gedaan over hun gedrag en betrouwbaarheid. [verzoekers] hebben evenwel niet gesteld en evenmin is gebleken dat op basis van dit risicoprofiel ten aanzien van hen geautomatiseerde beslissingen zijn genomen. De rechtbank gaat er daarom vanuit dat geen sprake is van geautomatiseerde besluitvorming in de zin van artikel 22 AVG.
Kennelijk wordt het profiel alleen gebruikt als stukje voorbereidende informatie voor menselijke fraudespeurders. We zien verderop een meer veelbelovende aanpak: ronkende persberichten dat Uber AI inzet om raar gedrag van chauffeurs op te sporen. Hoe meer geautomatiseerd dan een AI wil je het hebben? Maar wederom, helaas:
Volgens [verzoekers] volgt uit een persbericht dat het systeem is gebaseerd op kunstmatige intelligentie en ‘machine learning’. Daarmee is naar het oordeel van de rechtbank nog niet gezegd dat sprake is van geautomatiseerde besluitvorming zoals bedoeld in artikel 22 lid 1 AVG. Bovendien is daarvoor vereist dat ook sprake is van rechtsgevolgen of dat [verzoekers] anderszins in aanmerkelijke mate door het geautomatiseerde besluit worden getroffen. Een toelichting op dit punt ontbreekt.
Het gaat dus mis op de vraag wat er gebeurt met de uitkomsten van die automatische analyse. We zien dit ook terug in de tweede zaak, waarin het ging om je account kwijtraken wanneer Uber kennelijk automatisch concludeert dat je fraudeert.
Van een uitsluitend op geautomatiseerde verwerking gebaseerd besluit is sprake indien er geen betekenisvolle menselijke tussenkomst is in het besluitvormingsproces. In de Richtsnoeren is vermeld dat om daadwerkelijke menselijke tussenkomst te realiseren de verwerkingsverantwoordelijke ervoor moet zorgen dat al het toezicht op de besluitvorming zinvol is, en niet slechts een symbolische handeling vormt. Deze tussenkomst moet worden uitgevoerd door iemand die bevoegd en bekwaam is om het besluit te veranderen. Hij moet alle relevante gegevens in zijn analyse betrekken.
Uber blijkt zo’n menselijke tussenkomst wel te hebben: haar EMEA Operational Risk team. Die blijken de output van het automatische systeem te krijgen als signaal, en gaan dan met eigen indicatoren zoeken en vervolgens conclusies trekken. Dat is dus zeker geen geautomatiseerde besluitvorming, althans zo klinkt het niet. Ja, ik klink wat skeptisch maar dat is omdat ik gewend ben dat mensen vrij strak achter de indicaties aanlopen – als de computer zegt dat het een fraudeur is, dan zijn er vast indicaties te vinden die dat bewijzen, en dan zijn we er. Dit is niet hetzelfde als “eens zien of chauffeur X een fraudeur is”.

Wat wél automatisch gaat, is dat je account bevroren wordt totdat dat EMEA Operational Risk team haar onderzoek heeft afgerond, of op zijn minst tot jij contact opneemt:

Gelet op deze toelichting van Uber gaat de rechtbank ervan uit dat het besluit om de toegang tot de Driver app na een fraudesignaal tijdelijk te blokkeren automatisch, zonder menselijke tussenkomst, wordt genomen. Deze tijdelijke blokkade heeft echter geen langdurig of blijvend effect, zodat het geautomatiseerde besluit geen rechtsgevolgen heeft of de chauffeur in aanmerkelijke mate treft.
Een bekend probleem dat de rechter wél adresseert is dat er te weinig transparantie is. Waarom vond het algoritme dat deze chauffeur frauduleus zou handelen? Welke factoren wogen mee, wat is er gebeurd? En dan is “dat is bedrijfsgeheim” of “we willen fraudeurs niet wijzer maken dan ze zijn” geen argument onder de AVG.
Op basis van de informatie die Uber heeft gegeven kunnen zij niet controleren welke persoonsgegevens Uber heeft gebruikt in het besluitvormingsproces dat tot dit besluit heeft geleid. Hierdoor is het besluit tot deactivering van hun accounts onvoldoende inzichtelijk en controleerbaar. Dit heeft tot gevolg dat Uber aan [verzoeker 2] en [verzoeker 4] op grond van artikel 15 AVG inzage moet verstrekken in hun persoonsgegevens voor zover die ten grondslag hebben gelegen aan het besluit tot deactivering van hun accounts, op zodanige wijze dat zij in staat zijn de juistheid en rechtmatigheid van de verwerking van hun persoonsgegevens te controleren.
En in de derde zaak wordt de discussie over automatische besluitvorming eveneens afgewezen wegens een te beperkte onderbouwing van de eisende partijen. Wel interessant daar nog de vraag over inzage in je gegevens in een standaardformaat – de eisers wilden een CSV bestand, om zo zelf de data te kunnen onderzoeken (neem ik aan).

Dat is een recht als je persoonsgegevens opvraagt, wanneer die onder toestemming of uitvoering overeenkomst zijn verstrekt. Maar dat is meteen ook beperkt tot gegevens die jij dan verstrekt, niet over gegevens die het bedrijf zelf verzamelt of maakt op basis van wat je aanlevert. En daar gaat het dus mis, want de gevraagde gegevens voldoen niet aan deze beperkte eis.

Alles bij elkaar dus ben ik vooral teleurgesteld over de beperkt onderbouwde eisen, de uitspraken zijn zelf goed onderbouwd en bevestigen de lijn die we al zagen. Maar praktisch komen we niet héél veel verder zo.

Arnoud

Uber en Lyft hoeven chauffeurs in Californië niet als werknemer te behandelen

| AE 12318 | Informatiemaatschappij | 5 reacties

Techbedrijven als Uber en Lyft hebben een belangrijke overwinning gehaald in de Amerikaanse staat Californië, meldde Nu.nl vorige week. De zogeheten Proposition 22 werd aangenomen, waardoor ride sharing platforms zoals Uber en Lyft uitgezonderd worden van de eerder aangenomen wet om gig economy-hulpjes als werknemer te behandelen. Dat scheelt de platforms 100 miljoen dollar aan kosten, hoewel ze wel minimumtarieven moeten betalen en een toelage voor ziektekosten te betalen, naar rato van de gewerkte uren.

De status van chauffeurs en bezorgers onder de wet is al een paar jaar onderwerp van forse discussie. Hebben we het over bijklussende parttime ondernemers, of juist over werknemers die met slinkse trucs buiten de beschermde arbeidswetgeving worden gehouden? Natuurlijk begonnen al die platforms als “even een centje bijverdienen” voor mensen die dat wilden, maar als je voor je inkomen zo goed als afhankelijk bent van zo’n platform én die clubs dicteren vrij gedetailleerd hoe je moet werken, dan vindt de wet daar wat van.

In Nederland blijft dit een langlopende discussie, maar in Californië pakten ze het wat voortvarender aan: daar werd gewoon een wet aangenomen die zulke hulpkrachten gewoon als werknemer aanmerkt. Klaar, geen discussie meer. Alleen wel gelijk een berg lobbywerk natuurlijk, wat dus leidde tot initiatiefswetsvoorstel 22 (de nummering is arbitrair geloof ik) waarin Uber en Lyft juist een uitzondering bedongen:

(…) an app-based driver is an independent contractor and not an employee or agent with respect to his or her relationship with a network company if the following conditions are met:

Die voorwaarden komen neer op (1) niet voorschrijven op welke tijden je moet werken, (2) niet verplicht elke klus aannemen, (3) niet uitsluitend voor dit ene bedrijf werken en (4) niet verbieden dat men andersoortig werk er naast heeft. Ik denk dat je met zo’n definitie ook in Nederland een heel eind komt, aangezien ook bij ons een werknemer iemand is die tijden voorgeschreven krijgt en moet doen wat de baas zegt (en gewoonlijk ook niet elders mag werken).

Wel weer een opsteker zijn dus die minimumtarieven, maar ook het feit dat het contract niet mag worden opgezegd behalve vanwege redenen die in het contract staan, waarbij er ook nog een appeals proces moet zijn binnen het bedrijf. Ook mogen fooien niet worden opgeëist door het bedrijf.

Arnoud

Uber laat passagiers audio opnemen als ze zich niet op hun gemak voelen, mag dat?

| AE 11524 | Privacy | 3 reacties

Uber test een nieuwe functie die passagiers audio laat opnemen wanneer ze zich niet op hun gemak voelen tijdens een rit. Dat las ik bij Tweakers. De opname wordt verstuurd naar Uber, zodat die de opname als bewijs kan dienen mocht dat nietpluisgevoel in verband staan met een daadwerkelijk onrechtmatig handelen. Creatief idee, al is het nog niet duidelijk hoe breed het zal worden ingezet. Maar het riep meteen bij mensen de vraag op of dat wel mag, zo stiekem de conversatie met de chauffeur opnemen enkel omdat jou het niet bevalt.

Bij het opnemen van gesprekken heb je in de praktijk te maken met zowel de AVG als de strafwet. Eerst maar die laatste. In veel landen (waaronder alle Europese landen en de VS) is het strafbaar om gesprekken van anderen op te nemen of stiekem af te luisteren met apparatuur. Iets ingewikkelder wordt het wanneer je zelf gesprekspartner bent. Dan verschilt het nogal per land of dat mag of niet.

In Nederland is de wet duidelijk: het is alleen strafbaar een gesprek op te nemen als je daar geen deelnemer aan bent – en ook niet opdracht van een deelnemer hebt om dat te doen. Maar in bijvoorbeeld Duitsland is het ook strafbaar om je eigen gesprekken op te nemen, tenzij de wederpartij daarmee instemt. (Wikipedia heeft een lijst per land.) Het is me niet duidelijk hoe ‘papier’ die wetten zijn, het voelt nogal cru dat je een slachtoffer van aanranding in de taxi gaat vervolgen wegens illegaal opnemen en de chauffeur vrijuit laat. Ik heb zoals u leest wel hele grote moeite met dit soort wetten, vanwege de bewijsnood die het vaak geeft en de botsing die je (mede daarom) met de vrijheid van informatiegaring krijgt.

De AVG kan ook een rol spelen, maar die is beperkt. Je eigen gesprekken opnemen is een verwerking van persoonsgegevens – van je gesprekspartner immers. Maar wie dat enkel doet om voor zichzelf dat gesprek vast te leggen (als bewijs dat er iets toegezegd is, dat er een bedreiging langskwam of iets dergelijks) die handelt daarmee voor strikt eigen huishoudelijk gebruik. Daarop is de AVG dan in het geheel niet van toepassing. (Zou je die opname gaan publiceren, dan geldt de AVG wel maar kom je wellicht in de journalistieke exceptie terecht.)

Zou de chauffeur deze functie gebruiken, dan wordt dat anders. Weliswaar kan die ook prima behoefte hebben aan een gespreksopname, want ook chauffeurs worden bedreigd, aangerand, uitgescholden of opgelicht (“geef me korting of ik geef je maar één ster”), maar een chauffeur handelt bedrijfsmatig en zijn verwerkingen van persoonsgegevens vallen dan wél gewoon onder de AVG. Hij zou dus op de taxi een sticker moeten doen dat er opnames in de taxi gemaakt worden, en een reglement hebben wat daarmee gebeurt. Ook als het een zzp’er is.

Voor Uber zelf is me nog niet duidelijk hoe het uitpakt. Als ze de opname alleen bewaren ten behoeve van de passagier, dan stellen ze zich op als verwerker en dan lijkt me er verder weinig mis mee. (Ik moet een examenvraag maken over de verplichtingen van een verwerker voor een niet onder de AVG vallende partij voor mijn opleiding senior privacyjurist.) Maar ik krijg het gevoel van dat tekstje dat Uber zélf gaat beslissen wanneer de opname wordt vrijgegeven en waarvoor, en dat zou maken dat ze zelf de verantwoordelijke worden (mogelijk samen met de passagier). In dat geval valt de opname wél onder de AVG en dan moet de app duidelijk aan de chauffeur maken dat er wordt opgenomen.

Arnoud

Autoriteit Persoonsgegevens beboet Uber voor te late melding datalek

| AE 10995 | Privacy | 7 reacties

Taxibedrijf Uber heeft een boete van 600.000 euro gekregen van de Autoriteit Persoonsgegevens. Dat meldde Tweakers eerder deze week. Uber was te laat met het melden van een datalek, dat de gegevens van 174.000 Nederlandse klanten en chauffeurs betrof. De boete is lager dan je onder de AVG zou verwachten, maar dat komt omdat het… Lees verder

Hoe aansprakelijk is die Uber-auto voor die dodelijke aanrijding?

| AE 10468 | Innovatie | 60 reacties

Uber stopt in alle steden met zijn testen met zelfrijdende auto’s na een dodelijk ongeval, las ik bij Nu.nl. Een zelfrijdende auto van het bedrijf heeft in Arizona een vrouw aangereden, waarna zij overleed. Uit het voorlopige onderzoek bleek dat de aanrijding waarschijnlijk overmacht was vanwege beperkt zicht, maar het is natuurlijk mogelijk dat uiteindelijk… Lees verder

Uber is een taxidienst, geen digitaal deelplatform

| AE 10165 | Ondernemingsvrijheid | 10 reacties

Het bedrijf Uber is een taxidienst met een app, geen bemiddelingsplatform. Dat blijkt uit het arrest van het HvJ van 20 december vorig jaar. De uitspraak volgt op vragen uit 2012 van de Spaanse rechter in een zaak aangespannen door een concurrent. Door deze uitspraak is het duidelijk dat de diensten van Uber als iedere… Lees verder

Mag een bedrijf zomaar alles in de privacyverklaring zetten?

| AE 9408 | Informatiemaatschappij | 9 reacties

“We may collect, use, transfer, sell and disclose non-personal information for any purpose.” Zomaar een zin uit zomaar een privacyverklaring? Nou nee, deze stond in de Unroll.me verklaring, een handig bedoelde nieuwsbriefafmeldapp die stiekem van taxibedrijf Uber afkomstig bleek. Uber gebruikte de app om te ontdekken wie er met concurrent Lyft reed, om zo het… Lees verder

Uber in Californië nu werkgever

| AE 7770 | Ondernemingsvrijheid | 13 reacties

Taxidienst Uber moet een voormalig chauffeur een vergoeding betalen van meer dan vierduizend dollar omdat ze volgens de rechter een medewerkers was, en geen zzp’er. Dat las ik bij NRC. De California Labor Commission, de lokale toezichthouder op de arbeidswetgeving in die staat, is eigenlijk geen rechter maar wel bevoegd om zulke uitspraken te doen…. Lees verder