Hoe bewijs je dat iemand een telefoon in de hand hield als een algoritme dat zag?

Foto: Monocam Zakelijk

Doorslaggevend is wat op de foto’s is te zien, aldus een recent arrest uit Arnhem-Leeuwarden inzake het vasthouden van een mobiele telefoon tijdens het rijden. Logisch, maar wél ergerlijk, want de foto kwam pas bij de agent in beeld nadat MONOcam deze had aangewezen. Dit was een kans geweest om het eens te hebben over algoritmische bevooroordeling.

Monocam is “een grotendeels door de Nederlandse politie zelf ontwikkelde camera gemonteerd op een driepoot, geschikt voor zowel binnen als buiten de bebouwde kom”, zoals ook op de bijgaande foto te zien is. Iedereen die passeert, gaat op de foto.

De camera heeft een AI systeem aan boord, dat iedere foto analyseert op de vraag of de persoon in beeld een telefoon in de hand heeft. Als dat zo lijkt te zijn, gaat de foto naar een agent die deze bekijkt en een oordeel op ambtseed geeft. Een collega controleert dit apart. Pas daarna wordt het proces-verbaal opgemaakt.

Het bezwaar in deze zaak: de agent heeft hem niet zien rijden met een telefoon in de hand, maar kreeg een foto uit MONOcam en heeft enkel daarop een oordeel geveld. Maar dat is an sich geen argument: op grond van artikel 3.2 Wahv kan mag worden beboet voor een gedraging die “op geautomatiseerde wijze is vastgesteld”. Dus naar de foto kijken in plaats van in de auto is toegestaan.

Maar was er wel een telefoon te zien? Helaas staat er geen flitsfoto in het arrest, maar wel een beschrijving door het Hof:

De bestuurder houdt met zijn linkerhand het stuur vast, terwijl hij met zijn rechterhand een donkerkleurig rechthoekig voorwerp vasthoudt ter hoogte van het stuur. Daarbij bevindt de duim van de betrokkene zich aan de ene kant van het voorwerp en de andere vingers zich aan de andere zijde. De blik van de bestuurder lijkt te zijn gericht op het voorwerp dat hij vasthoudt.
Dan kijkt men nog eens goed:
Gelet op de wijze waarop de bestuurder van het voertuig het voorwerp vasthoudt en de interactie van de bestuurder met dit voorwerp, in het bijzonder de blik die de bestuurder op het voorwerp heeft, zijn de foto’s in het dossier redengevend voor de vaststelling dat de bestuurder tijdens het rijden een mobiele telefoon met zijn hand vasthoudt.
Ik lees hier dus niet “er is een telefoon gespot” maar “we zagen je een zwart ding vasthouden en bekijken zoals iedereen met een telefoon zou doen.” Je zult maar net een plak roggebrood in de hand hebben gehouden.

Wat mij aan deze casus dus frustreert, is dat ik vrees voor confirmation bias of automation bias: het systeem geeft je alleen foto’s waar de AI telefoons op meende te herkennen. Dat zal vaak kloppen (want hoe vaak heb je nou écht roggebrood in de auto of krab je aan je oor bij het rijden), maar zeker niet altijd. Het risico lijkt me dan levensgroot dat je ook bij die vals positieven op “had telefoon vast” klikt, want de AI heeft meestal gelijk.

Dit is voor mij het algemene probleem van menselijk toezicht, dat we vaak als panacee zien voor problemen met AI. Je kunt wel een mens achter de AI-uitvoer zetten, maar hoe borg je dat die ook werkelijk een zinnige ingreep kan doen? Alleen maar “hij is er op getraind” of “hij werkt op ambtseed” is dan gewoon nogal weinig.

Wat bijvoorbeeld wél zou kunnen werken, is dat de AI af en toe een nepfoto laat zien. Als de menselijke beoordelaar die te vaak als “had telefoon vast” beoordeelt, dan gaat er iets mis met het toezicht – of met de kwaliteit van de AI.

Arnoud

 

 

23 reacties

  1. Ik zou stellen dat een auto besturend intens staren naar een plak roggenbrood een heel goede reden kan zijn om iemand zsm langs de kant van de weg te zetten om te vragen naar recent drugsgebruik.

    Wat mij aan deze casus dus frustreert, is dat ik vrees voor confirmation bias of automation bias: het systeem geeft je alleen foto’s waar de AI telefoons op meende te herkennen.

    Is dat, in dit geval, erg?

    De false positives (roggebrood, krabben aan hoofd) worden gezien door een mens. En dan nog een mens (agent) en dan nog een mens (collega) en dan nog een (bestuurder). En bij bezwaar nog meer mensen. De kans is redelijk groot dat dit gecorrigeerd wordt.

    Veel groter dan wanneer je verwacht dat de agent het met eigen ogen heeft gezien en dus alleen de herinnering van die ene eerste mens telt. Waar die ene mens ook een bias heeft (‘slinger dus foon’; ‘dikke Audi dus bellende sales gozert’), maar niet kan of hoeft te wijzen naar tastbaar bewijs. Juist bij dat ene paar oogbollen en dat ene stel inaccurate hersens is niet te zien dat het roggebrood was. De bias van AI + proces er omheen is hier juist lager.

    Er gaan natuurlijk ook false negatives zijn waar een telefoon in de hand niet wordt gezien. Maar er zijn er heel veel meer als er niemand kijkt en het gedoogd wordt. Ik zie geen agent de hele werkdag met verrekijker boven de snelweg staan. En de bus vol agenten a la https://www.oogtv.nl/2025/04/politie-snapt-overtreders-op-snelweg-vanuit-touringcar-tientallen-bestuurders-op-de-bon-in-groningen/ lijkt meer een bewustwordings-stunt dan Nederland-breed structureel controleren.

    Win-win, in dit geval?

    NB: misschien is er wel een bias tegen eigenaren van zwarte telefoons ipv felgekleurde.

    1. De false positives (roggebrood, krabben aan hoofd) worden gezien door een mens. En dan nog een mens (agent) en dan nog een mens (collega) en dan nog een (bestuurder). En bij bezwaar nog meer mensen. De kans is redelijk groot dat dit gecorrigeerd wordt.

      Je mist het hele punt. Heb je wel goed gelezen? Als er automation bias optreedt is de kans dus niet “redelijk groot dat deze gecorrigeerd wordt”.

  2. Heel goed idee om 10% kunstmatige twijfelgevallen toe te voegen aan de stroom bedoeld voor ‘betekenisvolle menselijke interventie’! Zit die persoon namelijk te snurken en is niet meer zo scherp (na 15:00u) dan zullen die 10% de confirmation bias wellicht kunnen bevestigen. Ik heb zelf in de praktijk mee mogen maken dat 3 paar ogen een enorme afwijking veroorzaakten in een pensioenberekening, terwijl het model het goed had. Dus tijdens het testen van het model, visten we er per ongeluk een paar enorme productieflaters uit, waar dus zonder AI werd geblunderd! De andere kant van de medaille dus!

  3. De valse positieven uitlichten is het probleem van binair zwart/wit denken. Nu kan het voorkomen dat iemand een keer roggebrood in zijn hand had. Dat is de vrijbrief om roggebrood hetzelfde te zien als smarthphone. Doet me denken aan de fraude met piepers. Nu zijn er zeer veel vals negatieven dat lijkt me ook een probleem. Om dat op te lossen geven we iedereen een bekeuring en moeten ze maar aantonen dat het onterecht was.

    Een agent zal bij het noteren ook schrijffouten kunnen maken. Een kenteken verwisseling kan eenvoudig gebeuren maar er zijn er ook die met valse kentekens rondrijden.

    Om het eenvoudig te houden: – Als we absolute perfectie zouden hebben dan zouden juristen niet meer bestaan – aangezien er geen absolute perfectie mogelijk is moet je de uitzonderingen kunnen afhandelen – de bias in mensen zit net zo goed bij juristen vooringenomenheid eigenzinnige uitleggingen het blijft een uitdagend geheel.

    1. Ik snap je punt, maar let op dat je 430 euro moet betalen voordat je bezwaar mag maken. En daarbij heb je alleen de flitsfoto, waar men dus ook een telefoon op kan constateren als er geen telefoon feitelijk zichtbaar is. Ik heb daar moeite mee, niet iedereen kan even 430 euro missen en een eloquent bezwaar houden.

      Bij de ‘gewone’ staandehouding vordert de agent het laten zien van de telefoon. Dat vind ik een prima extra maatregel. En agenten zijn getraind op goed observeren en zorgvuldig rapporteren. Het gebeurt dus zeker niet eenvoudig dat een agent zo’n fout maakt, plus er zijn dan dubbelchecks zoals dat het genoteerde kenteken niet klopt bij het genoteerde type voertuig.

      1. Wil je zeggen dat er geen zeer gedetailleerde foto met zichtbare telefoon wordt meegestuurd met de boete?

        Of dat de meegestuurde foto zo onduidelijk is dat er geen telefoon herkenbaar is? In het laatste geval is het voor mij de ziekte van de huidige tijd. Vroeger was er het voordeel van de twijfel, nu wil men zoveel mogelijk straffen. Eigenlijk is het simpel enkel bij zekerheid kan je straffen.

        en nee AI alleen geeft nooit zekerheid.

        1. In het arrest waar ik over blogde, was een foto beschikbaar maar daar was niet evident een telefoon herkenbaar. Ik heb alleen niet meer dan “Het hof stelt vast dat het voorwerp dat de bestuurder van het voertuig vasthoudt, zoals zichtbaar is op de foto’s, de uiterlijke kenmerken heeft van een mobiele telefoon.” Bedoelen ze dan, we zien een telefoon of het lijkt erop? En waar let men dan op? Zwart en rechthoekig, een glimmende bovenkant?

          Bekijk eens deze foto van Tim die aan zijn oor krabde. Herken jij hier een telefoon?

          1. Zorgwekkend en volledig onnodig. De maatschappelijke kost voor deze zeer betwistbare situaties is zeer hoog.

            Ik twijfel er geen seconde aan dat de meeste “bellers” wel duidelijk zichtbaar zullen zijn.

        1. Mijn ervaring is dat het administratieve beroep bij de officier van justitie een wassen neus is en standaard afgewezen wordt. Ik heb meegemaakt dat de officier doodleuk in de rechtzaal mededeelde het eens te zijn met mijn argumenten van het beroep. Dit terwijl ik in het beroep slechts verwezen had naar de argumentatie in het administratieve beroep..

          1. Mijn gevoel, maar ik kan dat niet onderbouwen, is dat administratieve bezwaren in het verkeersrecht worden afgedaan zonder inhoudelijke beoordeling van de bezwaren. Ik krijg vele, vele mensen die met ict/verkeerskwesties bij mij komen, maar nog nooit een bericht gehad dat men gelijk kreeg in de bezwaarfase.

      2. Ik heb daar moeite mee, niet iedereen kan even 430 euro missen en een eloquent bezwaar houden.

        Zo kon een boete alleen worden aangevochten bij de rechter, als er ‘zekerheid gesteld’ was – de boete moest eerst betaald worden. In de memorie van toelichting zei de regering nog dat dit geen financiële drempel zou zijn, omdat de zekerheid via een ‘cheque’ betaald zou kunnen worden, zodat er geen spra- ke was van een financiële drempel.

        Bron

  4. Je bedoelt: de AI stuurt 100 foto’s voor controle door, 95 die de AI als verdacht bestempeld en 5 waarvan hij weet dat ze niet verdacht zijn. Als de menselijke controleur die 5 er niet uit pikt wordt hij gestraft?

    1. Dat lijkt me een prima manier. Ik dacht zelf aan apart geprepareerde foto’s, maar gewoon vijf foto’s die normaliter als “geen telefoon” geclassificeerd waren, is misschien wel beter. Die lijken dan ook op de foto’s die je toch al aan het bekijken was (zelfde snelweg & weersomstandigheden). Nadeel is dat je dan de gekke gevallen (zoals de oorkrabber en de roggebroodeter) zelden tegenkomt.

  5. Ten eerste: Op zich zou toezicht achteraf door een agent op een voorselectie door AI redelijk goed alle fout-positieven eruit moeten filteren. Ik vind je suggestie om af en toe een foto zonder telefoon ertussen te plaatsen overigens wel een goede; mensen zijn heel slecht in opletten als er nooit iets verrassends gebeurt.

    Als ik dan denk aan problemen met AI-bias denk ik meer aan fout-negatieven. Dus dat mensen in een Toyota sowieso al als “geen telefoon” worden geregistreerd, of met lagere kans. Bij dat soort fouten wordt namelijk niet gecontroleerd (of gaan ze eens per zoveel tijd alle foto’s van een uur ook met een agent langs?). En toch zal het ervoor zorgen dat sommige mensen vaker op de bon gaan dan anderen zonder dat daar een relevante reden (i.e. vaker telefoon vasthouden) voor is. En willen niet een land waar je in Toyota’s wel een telefoon mag vasthouden, maar in BMWs niet.

    1. Dan ga je ervan uit dat van elke auto een foto bestaat die je kan controleren op bias.

      Ik ben er vrij overtuigd van dat ze ofwel realtime ai gebruiken om te bepalen of een foto wordt gemaakt of ai om te bepalen of een foto wordt opgeslagen. En niet dat ze alle fotos opslaan voor dergelijke onderzoeken.

      Dat zou namelijk weer een enorme aantasting van de privacy zijn.

      Ik heb er heel veel moeite mee dat een telefoon niet expliciet zichtbaar hoeft te zijn. Hiermee krijg je na lang genoeg gebruik met zekerheid onschuldigen die gestraft worden. En voor straffen zou een false positive onacceptabel moeten zijn, ook al betekent dat meer false negatives.

      Blackstone’s ratio is wat mij betreft nog steeds onacceptabel.

  6. Men verkoopt dit als “AI helpt de agent overtredingen vaststellen”. Maar in feite is de agent die de AI-geselecteerde foto’s moet beoordelen een “reverse centaur” geworden. Hij moet gewoon goedkeuren wat de AI heeft geconstateerd. Zie bijvoorbeeld Cory Doctorow.

  7. Misschien is de workflow verkeerd. Wat als de AI een bon uitschrijft, en de burger tegen een klein bedrag (zeg, 10 euro) bezwaar kan aantekenen, waarna het door mensen wordt beoordeeld. Heeft de burger gelijk, dan krijgt hij niet alleen de 10 euro terug, maar een compensatie voor de moeite. Misschien wordt het boete bedrag uitgekeerd, of misschien 50 euro of zo. Op die manier is er een stevige prikkel om de AI geen fout positieven te laten genereren, maar ligt de controle bij de belanghebbende, namelijk degene die moet betalen. De bijdrage van 10 euro zit er in om te voorkomen dat iedereen standaard bezwaar maakt, want dan werkt het ook niet meer. Het maakt mankracht vrij voor “echt” politiewerk, en het zou best eens kunnen dat het nog goedkoper is ook, dan twee agenten betalen voor het saaie werk van het controleren van AI.

    1. Klinkt als een goed idee, dan moet je alleen zorgen dat er geen incentive ontstaat om bezwaren af te wijzen. Dus de mensen die er naar kijken moeten op geen enkele manier belang hebben bij de uitkomst van het bezwaar wat ze beoordelen.

      Op het moment lijkt wel bijna elke bezwaarprocedure een formaliteit waar je een standaard ‘afgewezen’ antwoord terug krijgt.

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.