Tesla mag Full Self-Driving (Supervised) uitbrengen in Nederland. Dat meldde Tweakers onlangs. Zij waren ook de enige die het niet “zelfrijdende Tesla’s” noemen, want zelfrijdend is simpelweg niet mogelijk in Nederland. En ik erger me over nóg een ding hierbij.
Tweakers legt uit wat de FSD feature inhoudt:
Full Self-Driving (Supervised) is een systeem waarmee de auto zelfstandig van A naar B kan rijden, zonder dat de bestuurder de handen aan het stuur hoeft te houden. Het systeem werkt op snelwegen, waar FSD zelfstandig kan inhalen en afslagen kan nemen. FSD werkt ook op provinciale wegen, binnen de bebouwde kom en kan overweg met rotondes en verkeerslichten.Recent werden ook alle voorkomens van de term ‘autopilot’ veranderd naar ‘autosteer’ en men spreekt nu consequent van “(supervised)” waar het over de rijondersteuning gaat.
Braaf herhaalt de media de Tesla talking points dat de mens verantwoordelijk is:
Helemaal zelfstandig rijden doet de auto nog niet. Er moet nog altijd een mens achter het stuur zitten om zo nodig in te grijpen. Die bestuurder kan niet ondertussen een film kijken of de krant lezen, maar moet op de weg letten. De auto houdt dat met een camera in de gaten. … De bestuurder van de auto blijft verantwoordelijk als er een ongeluk gebeurt, en moet dus ook alert blijven.Dit vind ik dus buitengewoon ergerlijk, ik zou het haast victim blaming noemen. Want het probleem is simpel: mensen zijn niet gemaakt om langdurig te observeren en alert te blijven in saaie, weinig veranderende situaties.
Er zijn vele onderzoeken, zoals dit artikel of dit artikel, die dit onderstrepen. Een mooie samenvatting is deze preprint:
The paradox is structural: the more reliable the system appears, the more likely drivers are to disengage, generating precisely the conditions that make automation failure most dangerous. The Article further argues that sustained reliance on semi-automation may erode manual driving skills over time, weakening the very human competence these systems depend upon in emergencies.Het is een speciaal geval van mijn ergernis over human-in-the-loop als oplossing voor beperkingen in AI en andere geautomatiseerde systemen. Ik ga het vanaf nu gewoon processuele luiheid noemen: je hebt niet nagedacht over hoe je proces moet werken als je een mens op het einde zet die “gewoon alles controleert”.
Natuurlijk, in het huidige systeem is de bestuurder altijd verantwoordelijk voor besturen van de auto. Of je FSD aan hebt of niet, verandert daar niets aan. Ik denk ook niet dat we naar een systeem moeten waarin aanzetten van FSD je zou ontslaan van aansprakelijkheid. En het is nog te vroeg om de bestuurder geheel uit de loop te halen.
Arnoud
Een zelfrijdende auto zou mijn inziens geen stuur nodig hebben. Als je een auto in de zelfrijdende-modus zet zou je dan ook verwachten dat de auto verantwoordelijk is.
Juridisch gezien, wat zou er voor nodig zijn om de zelfrijdende-modus wel aansprakelijk te maken? Hoe zie jij dit zelf?
Bedoel je, om de fabrikant aansprakelijk te maken? Dat is een kwestie van één zin in de AI Act, autonome voertuigen hoogrisico-AI verklaren. Het probleem is vooral welke fabrikant dat risico wil dragen.
Dat is wat ik bedoelde inderdaad.
Interessant; Ik zou zeggen dat een zelfrijdende auto inderdaad hoogrisico-AI is, en dat je als autofabrikant alleen maar kunt beweren een ‘zelfrijdende’-auto te maken als je bereid bent om met die strenge voorwaarden te accepteren. Anders zou de fabrikant pas op de plaats moeten maken als fabrikant en gewoon ‘stuur-assistentie’ moeten zeggen.
Met dit hele debat blijft het mij een doorn in het oog hoe makkelijk fabrikanten dingen kunnen beweren in marketing en hoelang het duurt voordat er paal en perk wordt gesteld.
Ik wil de vraag omdraaien: Waarom is FSD niet als hoog risico AI ingeschaald? Een foutje met een auto kan dodelijk aflopen. FSD is veiligheidskritische software.
En compleet eens dat de makers van de software aansprakelijk gehouden moeten worden voor de schade die door hun fouten veroorzaakt wordt. Deze aansprakelijkheid verleggen naar de consument zou verboden moeten worden.
Omdat bij hoogrisico-AI een trits kwaliteitsmanagement en risicomanagement komt kijken waar de huidige structuur van certificeren en keuren van auto’s niet op ingesteld is. (In het jargon: de auto-richtlijnen zijn niet conform het New Legislative Framework.) De bedoeling is dat eerst die richtlijnen worden geupdatet zodat ze de benodigde NLF structuur neerzetten, en daarna worden auto’s hoogrisico AI.
De overheid laat dus mogelijk levensgevaarlijke voertuigen op de weg toe omdat er nog geen richtlijnen ontwikkeld zijn. Dit is vragen om ongelukken.
Ik neem aan dat een FSD AI die nu goedgekeurd is, maar niet aan de nieuwe normen voldoet tot het einde der tijden een gevaar op de weg mag blijven zijn vanwege “rechtszekerheid”. Zo af en toe krijg je het idee dat de overheid de grootste bron van onveiligheid is.
Ze zijn toch goedgekeurd onder de huidige regels? Het is niet zo dat auto’s nu regelvrij zijn. Er is een eigen systeem van typegoedkeuring.
En daarbij: voor zover ik begrepen heb zijn die huidige FSD systemen op de snelweg nu al veiliger dan menselijke automobilisten. Er zullen ongetwijfeld ongelukken gebeuren met FSD auto’s, maar dat wil niet zeggen dat dat ongeluk niet zou zijn gebeurd als de auto bestuurd zou zijn door een mens. Je kan de stelling verdedigen dat het onverantwoordelijk is om de wegen niet veiliger te maken voor iedereen door een systeem die het veiliger maakt niet toe te staan omdat de administratieve regeltjes nog niet zijn aangepast.
Wat raar om het “administratieve regeltjes” te noemen. Niemand eist dat Tesla extra formulieren invult of meer serienummers inlevert. Er komt een nieuw type auto op de markt, dat moet laten zien dat het veilig genoeg is op de weg. Is dat zo raar?
Ik vind het juist geen probleem dat auto’s niet de weg opgaan als de fabrikant er zelf geen vertrouwen in heeft.
Maar die zouden daar dan ook wel een verzekering voor afsluiten en doorberekenen, dus dan maakt het onder de streep weinig uit of je maandelijks die premie via de fabrikant betaald, of dat gewoon de premies voor FDS-auto’s omhoog gaat.
En dan hebben we het er nog niet eens over dat Tesla tussen 2016 en 2023 aan kopers heeft beloofd dat zij later FSD krijgen als ze daarvoor benodigde hardware alvast kopen, maar dat de RDW FSD nu alleen maar heeft goedgekeurd voor de nieuwere hardware.
De eerste claim organisatie is in ieder geval al opgestaan.
De FSD modus geeft zelf met audiovisuele signalen aan als de bestuurder het moet overnemen. Het is dus geen 100% self drive maar 95%-99%. Daarom moet er dus een bestuurder aanwezig zijn die de rest kan rijden
Het hele stuk van de RDW leest wat mij betreft ook als: “We keuren het goed, maar als het mis gaat: kom niet bij ons!”
En van de RDW, uit de BNR:
Gevallen waarbij auto’s stoppen voor verkeerslichten die niet aanstaan of niet voor de Tesla bedoeld zijn, of zelfs het fietspad oprijden, worden dan ook niet gezien als fouten van de software, maar van de automobilist.
Merkwaardig standpunt.
https://www.bnr.nl/nieuws/economie/10599182/rdw-houdt-verscherpt-toezicht-op-zelfrijdende-teslas
De termen die ik hier graag voor gebruik zijn “accountability sink” en “zondebok”.