Hoe een foto-app grondstof voor de AI-wapenindustrie bleek

Handige app: Ever, bewaar je foto-herinneringen voor eeuwig online. Fijn dat weekend met opa, en leuk om die eerste stapjes van je kind nog jaren later samen terug te zien. En helemaal om een warm gevoel van te krijgen: die gezichten worden knus ingezet om Artificial Intelligence gezichtsherkenning mee te trainen zodat slimme wapensystemen beter kunnen schieten. Wacht, zeg dat laatste nog eens?

Diverse media berichtten er recent over: fotodienst Ever blijkt niet alleen de consument als klant te hebben die daar graag zijn vakantiekiekjes en mooie momenten op wil slaan. Ever gebruikt deze foto’s als grondstof om haar gezichtsherkenningssoftware (een AI, heet dat dan) te trainen om beter gezichten in beeld te herkennen. Die software wordt dan vervolgens in licentie gegeven aan allerlei partijen, waaronder opsporingsdiensten en defensie.

Deze casus laat mooi zien wat het grootste pijnpunt is bij het aanbieden van AI-diensten oftewel algoritmes getraind op grote bergen data. Namelijk, hoe kom je aan die grote bergen data en met name de bijbehorende metadata, de informatie die zegt wat er in die data zit. Je kunt natuurlijk een boel foto’s aankopen en werkstudenten ze handmatig laten voorzien van labeltjes “gezicht”, “hond”, “auto” enzovoorts, maar dat kan behoorlijk arbeids- en kostenintensief zijn.

Een online dienst zoals Ever heeft echter een nog veel mooiere optie: haar gebruikers geven uit vrije wil al die data en zetten er zelf nog bij wat erop staat. Taggen, handig om alle foto’s van opa terug te vinden, maar ook om die gezichtsherkenning te trainen dat daar een oudere meneer op de foto staat (in tegenstelling tot een hond, bijvoorbeeld). Wie wil dat nou niet, gratis werkende leveranciers?

Het doet natuurlijk wel wat gek aan voor die gebruikers, die werden gelokt met de belofte “Make memories” en de geruststellende frase “dedicated to helping you capture and rediscover your life’s memories”. Dan verwacht je niet je foto’s als input te zien bij een dreigend-militair klinkend verkoopfilmpje voor gezichtsherkenning in wapensystemen.

Mag het? Tsja, in de VS waarschijnlijk wel. Daar geldt immers niet of nauwelijks enige bescherming voor privacy. Had je de privacyverklaring maar moeten lezen, daar stond vast een zin in dat “Some of these technologies may be used in our separate products and services for enterprise customers, including our enterprise face recognition offerings, but your files and personal information will not be”. Daaruit begrijpt toch iedereen dat gezichten in je foto’s door de Ever AI gezichtsherkenning worden gebruikt om beter te worden?

In Europa ligt dit wat lastiger, omdat de AVG (GDPR) daar natuurlijk streng over is. Het verwerken van iemands persoonsgegevens mag niet zomaar. Daar moet je toestemming of een andere grondslag voor hebben. Het eigen legitiem belang is zo’n grondslag. Je zegt dan, ik heb als bedrijf deze data nodig voor dit en dat doel, en ik doe dat zo dat uw privacy zo veel mogelijk intact blijft. Ik zie wel de redenering dat dit hier opgaat: de foto’s zelf gaan niet naar buiten, zelfs niet informatie over dat het opa Henk is, we maken alleen een algoritme dat beter kan zeggen waar in een nieuwe foto een gezicht zit. Hoe raakt dat de privacy van gebruikers?

Zuiver juridisch zie ik dat argument nog wel. Maar gevoelsmatig is dat een heel andere zaak. Die data voelt ergens tóch privé, en dan is dit soort gebruik toch onbehoorlijk. Zeker als het alleen met zulke wollige braaftaal aangegeven is en de context zó anders is. Hier zit dus voor mij een discrepantie tussen wet en praktijk, die we alleen maar vaker gaan merken. Want data is de grondstof voor AI en die grondstof gaat alleen maar meer nodig zijn.

Arnoud

7 reacties

  1. Daar moet je toestemming of een andere grondslag voor hebben. Het eigen legitiem belang is zo’n grondslag. Je zegt dan, ik heb als bedrijf deze data nodig voor dit en dat doel, en ik doe dat zo dat uw privacy zo veel mogelijk intact blijft. Ik zie wel de redenering dat dit hier opgaat

    Op deze manier is er altijd wel een ‘legitiem’ belang goed te praten. Is er binnen de AVG niet een regel die voorschrijft dat het veronderstelde legitiem belang duidelijk moet aansluiten op het oorspronkelijke doel van de ‘eigenaar’ van de betreffende gegevens op basis waarvan die gegevens ter beschikking zijn gesteld?

    1. Het verschil is de emotionele reactie die mensen zullen hebben bij het “oorlogsvoering” stuk hiervan. Hopelijk is dat genoeg om meer mensen wakker te schudden, zodat eindelijk eens al die partijen die jij noemt kunnen worden aangepakt.

      1. Was er niet iets dat je onder de AVG vooraf duidelijk moet maken waarvoor je de data gaat gebruiken? En dat later een extra doel lastig is?

        Hoe je het product bent mag ook wel eens verplicht bekend gemaakt worden zodat je kunt kiezen dat niet of minder te zijn.

  2. Ik zie hier eigenlijk het probleem niet zo, afgezien van de emotionele reactie natuurlijk. Je foto’s upload je naar een dienst, die dienst heeft (ongetwijfeld) in zijn voorwaarden staan dat je foto’s worden gescand en gebruikt om hun systemen te trainen. De getrainde algoritme bevatten (als je geen heeele luie AI gebruikt, die machines zijn soms net mensen) geen enkele foto en geen persoonlijk materiaal. De algoritme zijn het volle eigendom van het bedrijf dus die heeft gewoon het recht zijn software te verkopen.

    Als ik een spamfilter ontwikkel die, doordat gebruikers netjes alle fouten van mijn filter herstellen, enorm goed geworden is. Mag ik dan niet mijn software, algoritmes en alle finetuning en filters verkopen?

  3. Hoi Arnoud, goed stuk. Een technische vraag. Gezichtsinformatie – zoals de ‘vectoren’ in het afgebeelde fotootje – zijn (hier) biometrische gegevens, toch? Verwerking daarvan is verboden, tenzij het verbod wordt opgeheven als bedoeld in artikel 9 AVG en 22 UAVG. Ik zie in die artikelen niet de grond: ‘zelf oefenen in eigen zandbak, eigen legitiem belang.’ Het legitiem belang lijkt mij dus niet voldoende. (Andersom zou best kunnen dat dit belang daarna, dus als het niet a priori verboden is nog kan worden ingezet voor de rechtmatigheid van een verwerking, dat is mij niet duidelijk).

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.