Camera’s Britse politie herkenden duizenden mensen onterecht als crimineel

| AE 10573 | Privacy | 21 reacties

De politie van Wales zette tijdens de Champions League-finale van 2017 in Cardiff technologie met gezichtsherkenning in om criminelen op te sporen, maar het systeem zat in 92 procent van de gevallen fout. Dat meldde Nu.nl onlangs. De technologie scande van 170.000 mensen het gezicht en vond daarbij 2.470 potentiële gelijkenissen tussen bezoekers en bekende criminelen, maar 2.297 van die gelijkenissen was ten onrechte. Er zou geen enkele persoon zijn gearresteerd na foutief herkend te zijn door het systeem, en dus is het no big deal aldus de politie. Als dat de toekomst wordt van handhavingstech dan belooft het interessante tijden te worden.

Natuurlijk is geen enkel systeem perfect. Mensen kunnen zich vergissen, en computers kunnen fouten maken. Het is dan ook onrealistisch om te verwachten dat systemen altijd de juiste uitvoer leveren. En zeker als (zoals hier) de inputbeelden van slechte kwaliteit zijn, dan moet je niet te veel verwachten.

Er zijn diverse maten voor de kwaliteit van dit soort systemen. Allemaal komen ze neer op een conclusie afgaande op twee factoren:

  • Vals positief: een uitkomst wordt als positief (juist) aangemerkt, maar is eigenlijk negatief (onjuist). Bij deze gezichtsherkenning dus dat iemand wordt aangemerkt als voetbalcrimineel, terwijl hij dat niet is.
  • Vals negatief: een uitkomst wordt als negatief (onjuist) aangemerkt, maar is eigenlijk positief (juist). Hier dus dat een voetbalcrimineel wordt overgeslagen en gewoon naar binnen kan.

Beide onjuiste uitkomsten zijn onwenselijk, maar om verschillende redenen. Een vals positief zorgt ervoor dat je meer energie in iemand steekt dan nodig is: je gaat iemand langer opsluiten of intensiever begeleiden om recidive te voorkomen terwijl dat helemaal niet speelt. En een vals negatief kost je meer achteraf, je hebt immers een nieuw misdrijf van die recidivist en dat had je nu net willen voorkomen.

De belangrijkste hier van afgeleide factoren zijn precisie en vangst (‘recall’). De precisie is het percentage juiste uitkomsten ten opzichte van het totaal aantal uitkomsten, en de vangst is het percentage gevonden matches ten opzichte van het totaal aantal mogelijke matches. Als je dus tien voetbalcriminelen correct herkent, heb je een precisie van 100% maar als er tienduizend criminelen rondliepen dan is je vangst dus behoorlijk slecht. Vang je alle tienduizend criminelen door iederéén (170.000 bezoekers) als crimineel aan te merken, dan is je vangst 100% maar je precisie slechts 5,9%.

Het liefst heb je natuurlijk dat je alle tienduizend criminelen correct herkent en verder niemand fout herkent (vals positief). Maar het probleem is dat wanneer je het aantal matches (je vangst) verhoogt, je precisie vaak omlaag gaat. Wat je meestal namelijk doet, is de matching criteria omlaag doen en dus eerder tot een match besluiten. Dat is bij het detecteren van rot fruit in je magazijn tot daar aan toe, maar bij juridische systemen is het niet gepast dat je mensen onterecht als verdachte aanmerkt.

Een manier om dat te voorkomen, is door er een mens tussen te zetten. Je laat het systeem dan snel matchen en je accepteert dat een mens vervolgens veel van de uitkomsten weggooit als vals positief. Dat is beter dan een mens laten kijken, want de computer kan veel sneller die groep van 170.000 mensen doorscannen en een mens kan snel vals positieven elimineren. Een risico is wel dat de mens erg skeptisch wordt over het systeem – als je 92% van de alerts weg moet klikken als niet relevant, dan krijg je een reflex om élke alert weg te klikken.

Er waren dus geen personen ten onrechte gearresteerd, maar ik ben dan heel benieuwd of dat daaraan ligt.

Arnoud

Deel dit artikel

  1. Belangrijk is hoe je zo’n system positioneert.

    Een risico is wel dat de mens erg skeptisch wordt over het systeem – als je 92% van de alerts weg moet klikken als niet relevant, dan krijg je een reflex om élke alert weg te klikken.

    Dat zou jammer kunnen zijn. In huidige vorm lijkt het gewoon een hulpmiddel om te concentreren op een kleine 2500 mensen i.p.v. 170.000. Het lijkt voor meeste speurders ook prettiger om te zoeken in een groep met 8 op 100 dan bijv. een groep 2 op 1000 criminelen.

    Wat verder wel onduidelijk blijft is hoeveel criminelen gemist zijn en in hoeverre het mogelijk is het system te foppen: misschien vang je op deze manier uiteindelijk alleen de kleine criminelen die geen moeite doen om het systeem te foppen en kunnen de “slimme”/zware criminelen met een klein foefje hun pakkans eenvoudig minimaliseren.

  2. Belangrijker is het aantal “False Negatives” want False Positives zijn geen groot probleem. Je filters immers de controle van 170.000 mensen naar nog geen 3.000 potentiële verdachten die even nader onderzocht moeten worden en dat is best een positief resultaat ook al was dit in de meeste gevallen alsnog fout.

    Wat ik mij dus afvraag is hoeveel criminelen alsnog door deze controle heen wisten te komen. Want als ze allemaal in die groep van 3.000 zaten dan is het systeem dus perfect! De bijvangst is vervelend maar de meeste bezoekers zouden hierdoor niets meer merken van enige controle. Kortom, het systeem werkt perfect!

  3. Jullie vergeten allemaal hoe vervelend het voor die mensen is die niets gedaan hebben om onderwerp te zijn van politieaandacht. Ook Arnoud lijkt vooral uit van de kwaliteiten van het systeem als hulpmiddel voor de politie, niet voor de maatschappelijke impact van valse positieven.

    Stel dat je als eerlijke supporter elke wedstrijd apart genomen wordt door de politie voor een vriendelijk gesprekje, omdat het systeem het verschil niet ziet tussen een bekende crimineel en jou. Dan gaat de lol er ook snel af! En als je dan toevallig een op de tien keer je ID kaart vergeten bent, dan mis je de wedstrijd. Leuk hoor!

    ‘De bijvangst is vervelend’! Ja, voor de politie, want die besteden onnodig aandacht aan onschuldigen. Maar voor de ‘bijvangst’ is het heeeeel vervelend om bijvangst te zijn.

    • Nee, dat vergeet ik helemaal niet! Maar eerst zijn er 170,000 verdachten en de techniek heeft dit gereduceerd tot maar 3,000 verdachten. Dit maakt het leven een stuk prettiger voor de 167,000 bezoekers.

      En ja, voor sommige mensen is het balen als ze er steeds weer opnieuw uitgepikt worden wegens hun kwaadaardige tweeling. Maar je ID kaart vergeten is een blunder die je gewoon niet moet maken. Want uiteindelijk kan in het systeem ook worden aangegeven hoe vaak een false positive voorkomt bij bepaalde verdachten.

      • Maar eerst zijn er 170,000 verdachten

        Deze gedachte is nu juist een van onze grootste problemen. Met dank aan nieuwe technieken (denk aan de sleepwet) zijn we nu in staat 100% van de bevolking als verdachte aan te merken. En dan moet voor elke persoon eerst maar aangetoond worden dat ze niet schuldig zijn. Maar zo hoort het niet te werken. Zo kàn een vrije maatschappij niet overleven.

        • Schuldig of onschuldig heeft niets te maken met verdacht of niet verdacht. Iemand kan verdachte zijn maar ook onschuldig. Het zijn twee verschillende dingen ook al lijken ze sterk aan elkaar gerelateerd.

          Want je wordt nog steeds geacht onschuldig te zijn als je een verdachte bent. Je schuld wordt pas bepaald bij de rechter of door een bekentenis. En de rechter gaat uit van je onschuld. En zo hoort het dus wel te werken.

      • Nee, er waren geen 170 000 verdachten. Er waren 170000 aangenomen onschuldigen, waarvan er nu drieduizend, onterecht, als ‘de moeite van nader onderzoeken waard’ zijn bestempeld, en waarvoor extra drempels in het leven worden opgeworpen. Die krijgen een soort status tussen onschuldig en verdacht in.

        Wat betreft die ID kaart: Een gemiddelde persoon heeft misschien een kans van 1 op 1000 dat hem de toegang tot de wedstrijd geweigerd wordt als hij zijn ID kaart vergeten is, een vals positieve misschien 1 op 10. En hij kan er zelf niets aan doen. Is dat eerlijk? Een spijtig maar noodzakelijk gevolg van het systeem? Wacht maar tot jij die vals positieve bent.

        Waar is het principe gebleven dat een onschuldig persoon zijn onschuld niet hoeft te bewijzen?

        • Er waren 170.000 mensen waaronder enkele verdachten. En omdat die verdachten geen naambordje of andere kenmerken dragen waardoor je ze meteen kunt oppikken is het helaas zo dat iedereen verdacht wordt. Dit is vergelijkbaar met het volgende probleem:

          In een gehaktballen-fabriek wordt ontdekt dat tijdens de productie van 170.000 gehaktballen er 50 kleine titanium schroefjes in de machine zijn gevallen en er nu dus 50 schroefjes over 170.000 gehaktballen zijn verdeeld. En nu kun je twee dingen doen:

          1. Je keurt alle gehaktballen af, gooit ze in de vuilnis en begint opnieuw.

          2. Je haalt alle gehaktballen door een metaaldetector en verwijdert de ballen waar het systeem op reageert, ook al geeft het systeem soms een false positive.

          Deze bezoekers zijn allen gehaktballen en als het om etenswaar zou gaan dan gaat het normaal gewoon richting afval omdat men geen risico’s neemt met voedselveiligheid. Immers, het gebeurt vaak genoeg dat bepaalde etenswaar wordt teruggehaald uit de handel wegens mogelijke besmetting.

          Alle 170.000 mensen terug naar huis sturen is echter ongewenst dus heb je een filter nodig zoals die metaaldetector. Want je weet gewoon dat er een bepaald risico is in dit soort situaties en dus moet je er soms van uit gaan dat iedereen verdacht is. Want ik denk ook even terug aan dat concert van Ariana Grande in de Manchester Arena. Met 23 doden en ruim 500 gewonden een ernstig incident dat je wilt voorkomen. En dat kan door dit soort evenementen te verbieden of door ervan uit te gaan dat iedere bezoeker verdacht kan zijn en dus zo snel mogelijk zoveel mogelijk mensen als onschuldig te bestempelen.

          Overigens gaat het niet om schuld of onschuld want je bent nog steeds onschuldig tot het tegendeel is bewezen. Het gaat om verdacht of niet verdacht. Een kleine nuance…

          • Je maakt een grote denkfout: De staat bestaat voor zijn burgers, wordt opgebouwd door de burgers en betaald door de burgers en dient dus de burgers te dienen. De gehaktballenfabriek is er niet om de gehaktballen te dienen.

            Als wij inderdaad ‘onderdanen’, of erger, slaven, zouden zijn had je gelijk. Maar dat is niet zo, wij zijn vrije burgers die samen de staat maken. De staat bestaat voor de burgers, niet andersom.

          • Want ik denk ook even terug aan dat concert van Ariana Grande in de Manchester Arena. Met 23 doden en ruim 500 gewonden een ernstig incident dat je wilt voorkomen.

            Je kan ook terug denken aan de honderdduizenden evenementen per week die wél goed gaan en waar geen ernstige dingen gebeuren. Natuurlijk wil je een aanslag voorkomen maar de vraag die je wel moet stellen is welke prijs je daarvoor wilt betalen.

            Ik denk dat we nu nog gelukkig moeten zijn dat het systeem voor 92% fout zat en het dus relatief weinig invloed heeft op een false positive. Zodra dit percentage naar de promille gaat, wordt het voor een false positive echt een probleem want computer says no (of eigenlijk yes).

            • Eigenlijk zijn er niet zoveel grote evenementen. Volgens dit artikel zijn het er nog geen duizend per jaar, met nog geen 25 miljoen als totaal aantal bezoekers. Dus honderdduizenden per week? Meer rond de 20… 🙂

              Uiteindelijk is maar 1.3% door dit systeem als verdachte aangemerkt dus dat valt gigantisch mee. Bijna 99% was niet verdacht dankzij dit systeem en dat is een mooie score. Dat het systeem het daarnaast in 92% van de gevallen het fout had is een beetje veel maar door het daarop volgende speurwerk zijn die mensen alsnog doorgelaten. Op zich dus een mooi resultaat als je daarbij ook bedenkt dat er dus 0.1% van de bezoekers criminelen waren en gearresteerd konden worden als men het systeem daarvoor zou gebruiken. Als daar bijvoorbeeld zakkenrollers tussen zaten dan waren veel mensen met een kater naar huis gegaan nadat ze ontdekken dat hun zakken waren gerold…

              • Eigenlijk zijn er niet zoveel grote evenementen. Volgens dit artikel zijn het er nog geen duizend per jaar, met nog geen 25 miljoen als totaal aantal bezoekers. Dus honderdduizenden per week? Meer rond de 20… ?

                Die evenementen zijn wereldwijd en het gaat natuurlijk niet alleen om festivals maar ook om sportwedstrijden, concerten, braderieën, etc. Kortom overal waar een kleine mensenmassa op de been is. Als we dan ook nog het drama van Alphen a/d Rijn in het achterhoofd houden dan gaat het zelfs om een gewone dag waar mensen winkelen…

                • Kom dan maar met realistische cijfers over het totaal aantal evenementen wereldwijd. In Nederland hebben we dus nog geen 1000 evenementen voor 17 miljoen inwoners. Trek ik dat gewoon even brutaal door naar de gehele wereldbevolking van 7 biljoen dan komt dat ergens rond de 400.000 evenementen per jaar. Ten minste, als mensen ook daadwerkelijk wat te vieren hebben.

                  Sowieso vallen de BBQ’ende gezinnen en verjaardagsfeestjes niet echt onder dit soort evenementen omdat daar de politie niet expliciet hoeft toe te zien op de orde. Maar ik kan mij wel voorstellen dat uiteindelijk hele winkelstraten vol camera’s met gezichtsherkenning vol gaan hangen en het zo de criminelen een stuk lastiger te maken. Want daar gaat het uiteindelijk ook om! Maar dan moet je goed nadenken over de regelgeving omtrent dit soort systemen. Nu gaat het er vooral om dat het kan. Het systeem is zich nu aan het bewijzen zodat we alvast kunnen nadenken over de wetgeving eromheen. Want de wetgeving volgt de techniek, niet andersom…

                  • Het gaat niet echt om de aantallen maar alleen al theater voorstellingen (aanslagen Parijs, Moskou anyone…) waren er 50k vorig jaar, alleen in Nederland. Trek je dat door wereldwijd dan kom je er al bijna. En dan hebben we alle andere evenementen nog buiten beschouwing gelaten.

                    Het punt was meer dat het heel veel vaker goed gaat dan fout en dat je (m.i.) niet alles maar moet doen om elk incident te voorkomen.

        • Ik snap deze redenatie nooit. Hoe stel je voor dat de politie/beveiliging moet optreden als ze niet mogen scannen op bekenden? Mogen ze alleen optreden als twee personen op de vuist gaan of als een bushokje is vernield? Deze redenatie suggereert dat als oom agent jou ziet lopen, even denkt dat je een beruchte bankrover bent (misschien lijk je erop), dat hij dan al ver over de schreef gaat, want je bent onschuldig en een politieagent had extra aandacht voor je.

          Het enige wat dit systeem doet is het scannen van alle gezichten en mogelijke hits doorsturen naar een mens zodat die kan vaststellen of het om een bekende crimineel gaat of niet. Daar merk je zelf niets van, ook niet als je een false positive bent. Je wordt even bekeken, nou en? Zolang het blijft bij een visuele vaststelling dat jij het niet bent, is er niets aan de hand. Bovendien wordt er wel vaak geklaagd als “de dader een bekende van de politie was” en ze iets niet hebben kunnen voorkomen. Volgens mij is het slachtoffer worden van “een bekende bij de politie” veel schadelijker en kwalijker dan even extra bekeken worden als false positive.

          Ik ben er echt niet voor dat de politie alles mag in de opsporing en soms gaan ze echt te ver, maar ze hoeven ook niet blind te zijn.

  4. Computers maken geen fouten, dat doet de mens erachter. M.a.w. garbage in is garbage out, zoals slecht beeldmateriaal, lastige camerahoeken, daarnaast zijn zaken als petten, brillen, hoofd en gezichtshaar ook zaken die gezichtsherkenning bemoeilijken. Als opsporingsmiddel is het nog steeds niet meer dan een hulpmiddel in de kinderschoenen. Daarnaast vraag ik mij ernstig af wat de rechtsgeldigheid van bewijs, verkregen via, gezichtsherkenningssoftware, zou zijn.

Laat een reactie achter

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren en <em> en <strong> voor italics en vet.

(verplicht)

Volg de reacties per RSS