Zweedse politie beboet voor gebruik gezichtsherkenning Clearview

| AE 12507 | Regulering | 8 reacties

De Zweedse politie heeft van de Zweedse privacytoezichthouder een boete van 250.000 euro opgelegd gekregen wegens het onrechtmatig gebruik van het gezichtsherkenningssysteem van het bedrijf Clearview AI. Dat meldde Security.nl onlangs. “De politie heeft onvoldoende organisatorische maatregelen ingevoerd om ervoor te zorgen dat het verwerken van persoonlijke data in dit geval volgens de wet plaatsvond”, aldus de Integritetsskyddsmyndigheten (IMY). Zo ontbrak een DPIA. Maar, zo lees ik op diverse plekken, wat is nu het probleem want de politie gebruikt dit toch alleen als hulpmiddel voor eerste leads?

De database van Clearview is opgebouwd door het scrapen van zo ongeveer alle social media sites, van Facebook tot Instagram en Venmo. En omdat die allemaal een Real Name Policy hebben, heb je een handige herkenningstool. Overheden leken de aantrekkelijkste doelgroep voor de dienst, dus daar is men heen gepivot en daarom lezen we nu dat er al tientallen zaken zijn opgelost van het soort waarvan je denkt “als ze nou toch de foto eens door Facebook heen konden halen dan hadden ze ‘m zo, de naarling”.

Nou ja, zoals ik vorig jaar zei:

[V]an bronnen blijf je af tenzij je kunt bewijzen dat je erin mag en dat je mag doen wat je van plan bent. En dat gaat natuurlijk hartstikke mis: die gegevens staan daar niet zodat Clearview er een matching tool mee kan maken maar omdat mensen zichzelf op social media willen presenteren. Dat is dus een doelbindingsprobleem, in het jargon. Ook gaat het mis met de informatieplicht: Clearview vertelt niemand dat hun foto in hun bestand verwerkt wordt en dat er matches zijn gedaan door politiediensten of andere snuffelaars. Dat is onderdeel van de transparantie die de AVG eist.
Dit zijn natuurlijk fundamentele bezwaren, maar ze zijn ook vrij abstract. En dat is lastig want het tegenargument is natuurlijk, als het de politie helpt een lead te vinden dan is dat toch mooi? Wat Clearview doet, is immers ‘gewoon’ dertig matches geven van mensen die lijken op de verdachte, met naam en Facebookprofiel er bij. Die namen trek je dan alsnog zelf door de politiesystemen. Hoe is dat anders dan een buurtonderzoek waarbij iemand zei dat zhij Wim ten Brink had gezien op de plaats delict?

Nou ja, dat is anders omdat je bij buurtonderzoek als agent zelf filtert. Je vraagt het aan mensen uit de buurt, je weet dat wat je binnenkrijgt een tip is zonder onderbouwing en je gaat dat zelf combineren met andere informatie. Dat in tegenstelling tot Clearview, dat pretendeert ‘echte’ matches te geven en daarmee hoge betrouwbaarheid suggereert.

Ook is het met zulke systemen mogelijk dat een vals positief wordt gegeven, waar je dan geen indicatie van hebt. Want die persoon lijkt wel natuurlijk, dus die moeten we het toch maar eens even gaan vragen. En dan krijg je een bekende valkuil, namelijk dat als je iemand als mogelijke verdachte benadert, je eerder bevestiging ziet van dat beeld.

Dit nog los van het feit dat Clearview zelf ook weer met de informatie aan de slag gaat – en hoezo mag een privaat bedrijf weten welke personen de politie zoekt?

Arnoud

Deel dit artikel

  1. Wat die vals-positieven betreft, ben ik wel nieuwsgierig naar cijfers. Want met mijn nogal abominale middelbareschoolkennis van statistiek e.d., lijkt het me dat dat snel uit de hand kan lopen qua aantallen:

    Stel er zitten 10 miljoen nederlands in die clearview database waarvan 1000 mensen die schuldig zijn aan het een of ander, en clearview heeft een nauwkeurigheid van 99%. Dat betekent dat van de schuldigen 10 mensen vrijuit gaan/niet herkend worden. Het kan ook betekenen dat van de onschuldigen. 99.990 = (10 miljoen-1000) * 1% ten onrechte als schuldige herkend wordt. En inderdaad: wat doet clearview vervolgens met die onterecht als naarling aangemerkte profielen?

    • Statistiek is inderdaad lastig en meestal niet intuïtief. In dit geval moet wel gespecificeerd worden waar die 99% op slaat. Een systeem kan in jouw voorbeeld best met 99.00% zekerheid de verdachte groep van 1000 vinden, maar tegelijkertijd 99.99 % zekerheid bieden dat een onschuldige niet bij die 1000 wordt geplaatst. Het vergelijken van 2 verschillende foto’s van eenzelfde persoon (‘moet matchen’) is een andere statistiek dan het vergelijken van 2 foto’s van verschillende personen (‘mag niet matchen’).

      • 99.99% klinkt als “haast onfeilbaar”. Maar dan zijn er nog steeds een kleine 1000 mensen die als vals positief worden aangemerkt.

        Komt de expert voor de rechter, en zegt (naar waarheid): “De kans dat de verdachte door dit systeem foutief als match is aangemerkt is nul komma nul een procent.”

        Denkt de rechter: “Mooi, dan is het ‘foute match’ argument dus van tafel.”

        Wie weet waar dit fout is gegaan?

        Dit soort gevallen zijn dus echt gebeurd met DNA-matches uit databases, en experts die met cijfers kwamen hoe onwaarschijnlijk een foute match was, waardoor onschuldige mensen zijn veroordeeld.

        • Het probleem zit het natuurlijk in de definitie van ‘match’. De expert bedoelt dat de kans dat een foto van een een andere persoon dan de verdachte naar boven komt, 0.01% is. De rechter begrijp dat de kans dat de voorgeleide verdachte NIET op die foto van de misdaad staat is, 0.01% is.

          Stel dat er een DNA match is met een kans op een fout van 1 op een miljoen. Dat betekent nog steeds dat er op de 17 miljoen inwoners van NL, 17 mensen zijn met een DNA match met de misdadiger. Terwijl er toch echt maar 1 van die 17 de misdaad gepleegd heeft.

          Dat betekent dus dat de kans dat die persoon die daar voor de rechter staat echt de misdadiger is, slechts 1 op 17, dus 6%, is, terwijl de kans dat hij het niet gedaan heeft 94% is.

  2. Dit zijn natuurlijk fundamentele bezwaren, maar ze zijn ook vrij abstract. En dat is lastig want het tegenargument is natuurlijk, als het de politie helpt een lead te vinden dan is dat toch mooi?

    Nog even afgezien van of het nu wel of niet moreel is wat de politie doet, en de afweging van het belang van opsporing versus de rechten van personen en hoe Clearview die gebruikt vind ik een groot bezwaar tegen wat de politie deed dat het niet volgens de wet was. Het fundamentele principe van een rechtstaat is dat ook de overheid en haar instanties zich aan de wet houden. Als we voor de politie uitzonderingen maken om redenen van opsporing of staatsveiligheid dan kan je als land niet langer volhouden dat je een rechtstaat bent, dan ben je een politiestaat of iets dergelijks. In dit geval hield men zich niet aan de wet, dus moest er worden ingegrepen; puint.

  3. Je schrijft beschrijft twee valkuilen:

    ‘Hoe is dat anders dan een buurtonderzoek waarbij iemand zei dat zhij Wim ten Brink had gezien op de plaats delict? Nou ja, dat is anders omdat je bij buurtonderzoek als agent zelf filtert. Je vraagt het aan mensen uit de buurt, je weet dat wat je binnenkrijgt een tip is zonder onderbouwing en je gaat dat zelf combineren met andere informatie. ‘

    en

    ‘ En dan krijg je een bekende valkuil, namelijk dat als je iemand als mogelijke verdachte benadert, je eerder bevestiging ziet van dat beeld.’

    En wat nu als de Zweedse politie zegt: ‘Ja wij zijn ons daarvan bewust, wij zijn uiteindelijk een hoogopgeleide en professionele politiedienst, en onze medewerkers zijn opgeleid om die valkuilen te vermijden.’

    Het lijkt me heel waarschijnlijk dat dit correct is, en dan vallen jouw argumenten weg. Die argumenten zijn namelijk alleen van toepassing als je de politie als dom en lui ziet.

    • De IMY constateert in haar oordeel organisatorische gebreken en gebrek aan kennis bij medewerkers van de politie. Naast een boete legt de IMY de Zweedse politie daarom op om uiterlijk 15 september 2021 organisatorische maatregelen te nemen en de opleiding van personeel op de onderhavige punten te verbeteren en door te voeren. Ook moet de politie aan alle personen over wie informatie met Clearview gedeeld is vertellen welke informatie gedeeld is en welke risico’s dat voor hen mee kan brengen.

      Juist het oordeel dat de opleiding moet worden verbeterd maakt het beroep op een redenering als ‘wij zijn uiteindelijk een hoogopgeleide en professionele politiedienst, en onze medewerkers zijn opgeleid om die valkuilen te vermijden’ wankel.

Laat een reactie achter

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren en <em> en <strong> voor italics en vet.

(verplicht)

Volg de reacties per RSS