Hoe programmeer je een zelfrijdende auto bij botsingen?

google-zelfrijdende-autoEentje voor de vrijmibo: hoe programmeer je wat een zelfrijdende auto moet doen in het geval van een botsing? Dit onderwerp kwam ik tegen bij Technology Review. De vraag is natuurlijk een specifiek voorbeeld van de meer algemene discussie hoe je een zelfrijdende auto programmeert, maar het is een prangende vraag omdat de impact ervan zo enorm is.

Wanneer een mens een ongeluk krijgt met een auto, zien we dat in principe als overmacht. Pas als blijkt dat de bestuurder dingen verzaakt heeft (verkeerstekens genegeerd, gedronken, met zijn telefoon zitten spelen) komen er juridische processen op gang en kun je wellicht spreken van dood door schuld of misschien zelfs doodslag door voorwaardelijk opzet (bewust de aanmerkelijke kans nemen dat je iemand zou doden). Maar dat zijn uitzonderingen. Hoe pijnlijk ook, in veel gevallen is zo’n ongeval echt een ongeluk, overmacht.

Bij zelfrijdende auto’s is dat veel lastiger voor te stellen. Daar is het niet een mens die uit instinct handelt, of van wie je onmogelijk kon verwachten dat hij in een halve seconde koos tussen zelf tegen een vrachtwagen aan knallen of dat kind op de stoep omver rijden. Maar een computer heeft geen instinct, en voor een computer is een halve seconde ruim voldoende om een paar honderd scenario’s door te rekenen.

Daar sta je dan als programmeur. Er moet nu een algoritme bedacht voor deze situatie, graag maandag af want dan willen we gaan experimenteren op de weg.

Simpele gedachte: de auto moet de keuze maken die het minst aantal mensen verwondt (of laat overlijden, wat ik maar even als extreme verwonding zie). Logisch, zou Spock zeggen, the need of the many outweigh the need of the few. Echter, logischerwijs kom je dan al heel snel uit bij een keuze waarbij de bestúúrder komt te overlijden. Rijd maar tegen die vrachtwagen (de chauffeur daarvan overleeft het wel) of van die brug af. Dat is één leven versus meerdere – die groep fietsende kinderen naast je.

Leuk, maar wie koopt er een zelfrijdende auto wetende dat hij opgeofferd wordt zodra er twee buitenstaanders naast hem fietsen en er iets gebeurt? Het onderzoek dat Technology Review citeert, laat zien dat mensen daar best wat in zien – zolang anderen de zelfrijdende auto maar besturen, en zijzelf het stuur vasthouden bij een ouderwetse auto.

De bestuurder uitzonderen van die keuze is echter ook zo wat. U kunt vast de krantenkoppen al verzinnen: auto bleek geprogrammeerd voor fietsersmoord. Misschien dan niet uitzonderen maar zwaarder laten wegen? Dan ga je dus een getal zetten op mensenlevens of ongeluk.

De typische ICT-oplossing is dan de gebruiker maar laten kiezen. Instellingen > Geavanceerd > Incidentbeheer, knop “Wijzig instellingen”, disclaimer wegklikken en dan kiezen uit drie profielen of handmatig de registry tweaken of je fietsers belangrijker vindt, of de verwachte aanwezigheid van airbags bij de andere auto een factor is, of de motorrijder een codicil met RFID-chip heeft, en ga zo maar door.

Ik zie het zomaar gebeuren. Alleen: dan rijd ik dus in een auto die ik heb geprogrammeerd om tot maximaal vijf fietsers aan te rijden alvorens mezelf op te offeren bij een ongeluk. Volgens mij noemen ze dát moord met voorbedachte rade (en voorwaardelijke opzet). Dat is ook weer niet de bedoeling.

Maar wat dan? Het enige dat ik nog kan bedenken, is dat de auto een rand()-muntje opgooit en op basis van de uitkomst beslist wie er aangereden moet worden. Dan programmeer je overmacht als het ware in, en zijn we weer comfortabel terug bij de situatie die we nu ook al hebben. Maar het voelt niet echt bevredigend.

Arnoud

50 reacties

  1. Of proberen de auto te stoppen of af te remmen in plaats van met alle geweld ergens tegenaan te willen rijden , lijkt me zo. Offtopic: Als Microsoft dit gaat programmeren, kunnen ze hun oude slogan “where do you want to go today?” weer van stal halen.

  2. Kijktip: The Good Wife van afgelopen maandag (S07E07)

    Case: aanrijding door electrische auto. Gespeculeerd wordt dat de aanrijding het gevolg is van een ‘fuzzing algorithm’ dat geimplementeerd is om de auto wat aggressiever te laten rijden, omdat hij anders iedereen voorrang bleef geven op een gelijkwaardige kruising. Ander twistpunt: wie is aansprakelijk? De ‘bestuurder’ (die dus niet stuurde) of de fabrikant…

    http://www.tv.com/shows/the-good-wife/community/post/the-good-wife-season-7-episode-7-driven-review-144762360530/

  3. Ik raad de korte verhalen aan waarin Isaac Asimov de drie robot-wetten gebruikt, waarbij dit dilemma veelvuldig terugkomt. Krijgt een kind een hoger ‘gewicht’ dan een bejaarde fietser, of is elke fietser aanrijden even erg? Wat ook extra code (en dus beslis-tijd) vergt om leeftijden in te schatten. Ik zou me in ieder geval als programmeur niet wagen aan dit soort ethiek voordat er wettelijk iets geregeld is.

    1. Als je het puur logisch bekijkt is een bejaarde voor de maatschappij het minst waard, gevolgd door een kind met als meest waardevolle een volwassene die net is afgestudeerd.

      Als zelfrijdende auto’s eenmaal voldoende ontwikkeld zijn, hebben we dan nog fietsen nodig voor vervoer? Hetzelfde geld voor motoren en handmatig bestuurde auto’s. Ik denk dat zelf rijden iets gaat worden dat mensen als hobby doen. Men gaat met de zelfrijdende auto naar een speciaal gebied en daar kan je dan fietsen. Vergelijkbaar met mensen die nu naar een circuit gaan om een paar rondjes te racen. De enige handmatig bestuurde voertuigen die op de openbare weg overblijven zullen speciale voertuigen zijn, voertuigen die nu een blauw of geel zwaailicht hebben.

      Dan moet je nog alleen een hek zetten tussen de stoep en de rijbaan zodat voetgangers niet meer op de rijbaan kunnen komen. Doen ze dat toch, dan beschouwen we het als een zelfmoordpoging en verduisterd de auto snel het raam zodat de bestuurder niet geconfronteerd wordt met de bloederige beelden.

      Het probleem is echter de overgangsfase waarin zelfstandige auto’s tussen het huidige verkeer rijden.

        1. Auto’s met zwaailichten komen vaak op plekken en in situaties waar de normale regels niet gelden of niet werken. Tijdens ongelukken en rampen. Op bouwplaatsen en andere plekken waar geen wegen zijn. Als we dat soort zaken willen afvangen in software dan hebben we een AI nodig die op menselijk niveau of hoger kan functioneren.

      1. Dit is precies het denkpatroon dat mij af en toe doet vrezen voor de invoering van regelgeving ten behoeve van zelfrijdende autos. “We richten de weg zo in dat het goed moet gaan met zelfrijdende autos, en als er dan nog wat misgaat is het automatisch de schuld van de ander.” (Als ik even mag parafraseren.) De weginrichting zoals voorgesteld betekent een enorme beperking van de vrijheid van de niet-autorijder. Voetballen op de stoep en je bal achterna rennen: Jammer, de auto die langsrijdt heeft niets te maken met het feit dat daar een kind aankomt. Even willen oversteken: Loop maar 200m om om dat bij een zebra te doen; ook als het een straat is waar maar eens in de 3 minuten een auto langskomt (ivm hek). Zeker midden in woonwijken moeten we absoluut niet willen dat we de weginrichting alleen voor auto’s maken.

        Het is overigens ook zeer onrealistisch om te denken dat fietsen overbodig worden: Fietsen zal namelijk veel goedkoper blijven. Je zal echt niet voor minder dan 100 euro per jaar elke dag 2 ritten door de stad kunnen maken met een zelfrijdende auto.

    2. Ik zou me in ieder geval als programmeur niet wagen aan dit soort ethiek voordat er wettelijk iets geregeld is.
      Als je eerst moet wachten tot politici de wetten aanpassen, dan komt er nooit een zelfrijdende auto ….

    3. Met huidige wetten neem je m.i. heel veel risico als je software gaat inbouwen die onveilige acties initieert om daarmee de bestuurder of grote groepen mensen te redden ten koste van anderen, zelfs als daarmee het totaal aantal slachtoffers wordt beperkt. Ik vermoed dat het nog heel lang zal duren voordat dit soort software ingebouwd zal worden. Een ingeprogrammeerde automatsche uitwijkmanoeuvre lijkt me zo-ie-zo erg riskant, want sensorsystemen kunnen ook foutieve informatie aanleveren (false positives/false negatives) en daarmee juist slachtoffers veroorzaken. Voorlopig lijkt me het best dat in dergelijke gevallen een actie van bestuurder nodig blijft. Wellicht komen er een waarschuwingssystemen (let op u nadert een spookrijder/groep wandelaars/zielige eendjes/etc.) en kan bestuurder vervolgens zelf beslissen wat te doen. Misschien komen er (op het moment van zo een waarschuwing) ook een aantal extra bedieningsmogelijkheden beschikbaar, e.g.: grote button “wijk sociaal uit” (met gevaar voor eigen leven) en een kleine “Wijk asociaal uit” (met maximale overlevingskansen voor de inzittenden). Op langere termijn zullen automatische systemen waarschijnlijk steeds beter en misschien ook wenselijker worden (mensen kiezen te vaak de kleine knop) en ontstaat er misschien politiek draagvlak om wetten hiervoor aan te passen. Ik ben benieuwd of we dat nog gaan meemaken…

  4. Verplichte kost hierbij is het trolleyprobleem, waarin dit soort morele dilemma’s onderzocht worden door middel van een gedachte-experiment.

    De basisversie is als volgt:

    Een kar op rails (een trolley) dendert van een heuvel af en gaat recht af op een groep van vijf mensen verderop op de rails, die zeker om zullen komen. Jij staat bij een wissel en kan die wissel omgooien, waardoor de trolley op een ander spoor komt en de vijf mensen mist, maar één ander persoon zal doden die zich op dat spoor bevindt. Wat doe je?
    Er zijn nog allerlei varianten op, de meeste bekende daarvan is de versie waarin je een onschuldige omstander voor de trolley zou kunnen gooien om die te stoppen.

    Waar bij een menselijke bestuurder waarschijnlijk instinctief zal reageren, wordt nu eigenlijk van de programmeurs verwacht dit morele dilemma op te lossen. Daarbij lijkt de mate van betrokkenheid bij de situatie van de mogelijke slachtoffers een rol te spelen. Waar de persoon op het alternatieve spoor “onderdeel is” van de situatie, is de toevallige voorbijganger dat niet; hoewel de uitkomst in beide gevallen hetzelfde is — 1 dode en 5 overlevenden — zijn mensen veel minder snel bereid iemand op te offeren die er niets mee te maken had.

  5. Het centrale probleem hier is (denk ik) dat bij een zelfrijdende auto het noodzakelijk zal zijn dat een groot aantal ethische beslissingen in software vastgelegd zullen moeten worden.

    Maar hoe leg je dat soort beslissingen überhaupt vast in software? Weten we, zowel als mensheid maar misschien nog wel belangrijker als technische ontwikkelaars, eigenlijk hoe wij als mens ethische beslissingen nemen? Ik weet in ieder geval dat daar op het gebied van de neuro-psychology nogal het nodige onbekend is er nog geregeld nieuwe dingen hierover ontdekt worden. Maar als we nog maar nauwelijks grip hebben op hoe ethische beslissingen in mensen werkelijk exact werken (en dat kon nog wel eens een ontnuchterende werking hebben op velen), hoe gaan we dan verwachten dat machines daar op zijn minst net zo goed, zo niet beter in zullen zijn.

    Het staat buiten kijf dat machines beter kunnen zijn in het verwerken van informatie en behouden van overzicht dan mensen, zolang de situatie voorspelbaar is. Wanneer een situatie echter complex en onvoorzien wordt, dan faalt de meeste AI doorgaans hopeloos en zijn het juist wij mensen die hier beter voor uitgerust zijn. En dat probleem raakt nog niet eens het probleem van hoe we ethische beslissingen in software moeten gaan gieten.

    Na enkele duizenden jaren van beschouwing m.b.t. het onderwerp, lijkt de filosofische discussie rondom ethiek ook nog lang niet uitgepraat. Als we er als mensen nog lang niet eensgezind over zijn, hoe gaan we dat dan in software gieten?

    Of krijgen we straks zelfrijdende auto’s met een sticker die verklaart dat “deze auto handelt volgens de ethische overtuigingen van bedrijf XYZ”?

    1. Of krijgen we straks zelfrijdende auto’s met een sticker die verklaart dat “deze auto handelt volgens de ethische overtuigingen van bedrijf XYZ”?

      Doe mij dan maar een auto met sjoemelsoftware die bij de advertenties als meest etische wordt geprijst, maar in werkelijkheid gewoon goed werkt voor de eigenaar 😉

  6. AE schreef: “Volgens mij noemen ze dát moord met voorbedachte rade (en voorwaardelijke opzet).” “ze” zijn dan zeker geen juristen, want die weten wel dat: Moord = doodslag + voorbedachte raad; en Doodslag = opzettelijk een ander doden

  7. Wat ik me hierbij afvraag is wat nou de kans is dat een stuk zelfrijdende software daadwerkelijk zulk een abstracte keuze moet maken. Ik denk eigenlijk dat dit nooit voor zal komen. Zelfrijdende software werkt op een veel concreter niveau waar deze abstracte keuzes niet bestaan.

    Ja, de software kan geprogrammeerd worden om nooit uit te wijjken als er fietsers in die richting zijn, maar ik kan niet geloven dat software de kans zou kunnen berekenen dat de bestuurder het wel of niet overleeft bij een kop-staart botsing en dat meeweegt in de beslissingen.

    1. Ja, de software kan geprogrammeerd worden om nooit uit te wijjken als er fietsers in die richting zijn, maar ik kan niet geloven dat software de kans zou kunnen berekenen dat de bestuurder het wel of niet overleeft bij een kop-staart botsing en dat meeweegt in de beslissingen.

      Als je het zou kunnen berekenen zou het zeker mee kunnen wegen, maar wellicht in het geval dat jij beschrijft is dat minder eenvoudig. Ik ben het alleen niet met je eens dat software zulke abstracte keuzes niet zou hoeven te maken. In de situatie dat er rechts fietsers rijden of voetgangers lopen en links een tegenligger aankomt (vooropgesteld dat de auto moet uitwijken, om welke reden dan ook) zal het naar rechts uitwijken vermoedelijk meer letsel opleveren dan op de tegenligger botsen. Alleen al vanwege het feit dat fietsers/voetgangers geen beschermende constructie om zich heen hebben. Dat zou naar mijn mening wel degelijk mee kunnen/moeten wegen bij een dergelijk beslismoment.

    2. Een conceeet voorbeeld in deze is een groep voetgangers die ineens oversteken. Er is geen tijd om te remmen en ze te missen. Er komt je een tegenligger tegemoet. Je kunt dus:

      1. voetgangers alsnog raken
      2. rechtsaf tegen geparkeerde autos aanrijden
      3. Linksaf en hopen dat de tegenligger je niet frontaal raakt

      1 en 2 zijn nog uit te rekenen (in theorie, in de praktijk is dat al heel lastig) maar wat doe je met 3?

  8. Je zal sowieso uit moeten splitsen naar scenariogroepen. Bijv. kop-staart-in-file, rood-licht-duivel, snelweg-pech, binnen-bebouwde-kom enz. enz. Binnen een enkele groep gebeuren vergelijkbare dingen, de variabelen zijn dan de types andere deelnemers, hun leeftijden en hun snelheden. Als deze variabelen globaal zijn dan kan je deze hergebruiken van de normale modus. Dat brengt me eigenlijk al meteen op een belangrijk punt: Elke botsing komt voort uit een normale situatie die ineens verandert. In de normale (niet-botsing) modus zal de auto al het nodige aan herkenning moeten doen. Dat kost wat extra rekenkracht maar het zal bij een ongeval de broodnodige tijdsbesparing opleveren.

    Het proces van herkenning bestaat naast de eerder genoemde variabelen ook uit een ‘gevaarlijkheidsindicator’ die aangeeft hoe gevaarlijk elke andere deelnemer zich gedraagt, een ‘waar-is-hier-de-nooduitgang’ variabele die aangeeft waar de auto veilig heen zou kunnen vluchten, niet onbelangrijk een ‘identificeer andere zelfrijders’ en de eerder besproken ‘self-sacrifice’ markers.

    Mijn eerste vraag aan de makers zou zijn ‘kunnen zelfrijders met elkaar communiceren via bluetooth of zoiets?’ Want een hive-oplossing, waarin heel veel auto’s van elkaar weten wat ze gaan doen en elkaar kunnen waarschuwen voor gevaar, klinkt wel erg aantrekkelijk. Om een voorbeeld te noemen: als er in dichte mist ineens een Harde Rem-Actie plaats vindt tien auto’s voor je, en de 8e auto voor je stuurt een algemeen ‘HRA’-signaal uit, dan kan jouw auto én alle andere zelfrijders alvast het gas er af halen en zelfs beginnen met remmen. Of een ‘Hij-Remt-Niet’ bij een verkeersopstopping, dan kunnen zelfrijders op de meest rechter strook besluiten de vluchtstrook op te zoeken en zo de rest meer ruimte te geven. Communicatie en opletten kan al een aardige hoeveelheid botsingen en schades voorkomen.

    Maar terug naar het punt van Wilde Willy (ten-koste-van-zijn-leven-kon-hij-een-ramp-vermijden): Het moet niet zo zijn dat een ander beslist over jouw self-sacrifice markers. Die moet je zelf instellen. De vraag is hoe strafbaar je bent voor deze instellingen. Zoals Arnoud zei:

    Alleen: dan rijd ik dus in een auto die ik heb geprogrammeerd om tot maximaal vijf fietsers aan te rijden alvorens mezelf op te offeren bij een ongeluk. Volgens mij noemen ze dát moord met voorbedachte rade (en voorwaardelijke opzet). Dat is ook weer niet de bedoeling.
    Ik ben het hier niet mee eens. Je staat ’s morgens niet op met de gedachte ‘hee, hoeveel fietsers kan ik vandaag eens dood gaan rijden?’ of ‘laten we vandaag maar eens een Wilde Willy-actie uithalen door van een viaduct te rijden’. Niemand stapt in zijn auto met de intentie betrokken te geraken bij een ongeval met dodelijke afloop. Niet je eigen dood, niet die van anderen. In hoeverre kan de wetgever van jou verlangen te acteren of software in te stellen om doden te voorkomen op een manier waarbij je zelf gewond raakt? Mijns inziens zou de keuze om jezelf op te offeren ten alle tijden vrijwillig moeten zijn, als in er volgt geen strafrechtelijke procedure tegen je als je het niet doet. Ik ken maar weinig ongevallen waarbij iemand zijn/haar leven gaf om anderen te behoeden van de dood. Wilde Willy komt uit het gelijknamige liedje; het zegt al veel als ik dat als kenmerkende naam aan moet halen opdat iedereen weet waar het over gaat.

    1. Ik ken Wilde Willy niet, maar de casus wel. De casus (altijd dodelijke slachtoffers, bij meer of minder waardevolle / belangrijke slachtoffers) is lekker zwart wit, maar dat is de situatie natuurlijk niet. Iedere automobilist heeft wel eens in de berm naast de weg geparkeerd. (van de weg afrijden bij 5 km per uur) Dat is een risico, want als het veel heeft geregend, kom je misschien niet weg, en je auto wordt smerig. Het risico is al een stuk hoger bij 30 km per uur. Misschien zak je weg, sta je direct stil, en hang je in de gordels. Bij 50 km per uur heb je kans dat je niet op tijd terug kan sturen, en in de sloot beland, of tegen een verkeersbord / een boom aanrijdt. Bij nog hogere snelheden zijn de risico’s nog groter, totdat je met 200 km per uur langs het ravijn rijdt (gegerandeerd dood als je erin stuurt)

      Natuurlijk zal iedereen antwoorden dat hij liever een vuile auto heeft, dan een kleuterklas overhoop te rijden. Maar het is enorm moeilijk om een algoritme te bedenken wat hier goed recht aan doet. Het is immers allemaal een glijdende schaal (want iedere automobilist heeft wel eens bewust iets meer naar links op de weg gereden omdat er zooi aan de rechterkant op de weg lag).

  9. De achtergrond en motivering van de risicoaansprakelijkheid voor motorvoertuigen jegens o.a. voetgangers en fietsers (art 185 WvW) is dat het verkeersrisico bijna geheel veroorzaakt wordt door de aanwezigheid van motorvoertuigen in het verkeer – als er geen motorvoertuigen zouden zijn, was het aantal verkeersdoden een factor 100 lager. Daarbij aansluitend mag je de vraag stellen wat belangrijker mag wegen bij de implementatie van een keuze in software, de optimalisatie van maatschappelijke schade (dus minimalisering van het aantal slachtoffers), of een implementatie van een zekere rechtvaardigheid (de persoon die het verkeersrisico introduceert door met een zeer grote kinetische energie aan het verkeer deel te nemen moet zelf het risico daarvan lopen en moet het risico in principe niet afwentelen op andere verkeersdeelnemers (of omstanders) die het gevaar niet zelf genereren, zeker niet als zo’n andere verkeersdeelnemer zich niet roekeloos gedraagt). Dit is nadrukkelijk niet bedoeld om reacties over weggedrag zelf uit te lokken, die discussie hoort hier niet thuis. De meeste aanrijdingen worden tenslotte niet bewust opgezocht.

  10. Vanuit ethisch en juridisch oogpunt is het een zeer interessant filosofisch vraagstuk. Praktisch gezien is het ontzettend hypocriet: zelfrijdende auto’s mogen nog niet de weg op, want ze hebben maar 90% minder kans op aanrijdingen in plaats van de 100% die we graag zouden willen. Oftewel, omdat we nog niet besloten heb wat ethisch de beste keuze is, kiezen we maar voor de ethisch slechtste keuze: mensen zelf laten rijden. (Hé, een meta-trolleyprobleem, waarbij de trolley op 5 mensen af dendert en je een schakelaar om kunt halen waarmee je de keuze op iemand anders afschuift/aan een computer overlaat.)

    Daarnaast, hoe reëel zijn dit soort doem-scenario’s? Wat moet er gebeuren om een zelfrijdende auto in zo’n scenario te krijgen? En over wat voor snelheden en afstanden hebben we het dan?

    1. Daarnaast, hoe reëel zijn dit soort doem-scenario’s? Wat moet er gebeuren om een zelfrijdende auto in zo’n scenario te krijgen? En over wat voor snelheden en afstanden hebben we het dan?

      Mee eens dat veel van de geschetste scenario’s vergezocht lijken, maar het probleem dat getackled moet worden is hoe software op dit soort situaties reageert, of zou moeten reageren. Dan kun je de discussie beter laten gaan over ‘Fietser X slaat plotsklaps linksaf; hoe ontwijk je hem?’ dan ‘Fietser X slingert met een uitwijking van 10 cm; hoever moet je uitwijken om er veilig langs te rijden?’. Dat laatste zal vaker voorkomen, maar als je de eerste situatie in software kunt afhandelen is de tweede niet anders dan een mildere vorm van de eerst geschetste. En kun je die automatisch ook afhandelen – door een kleinere stuurcorrectie ipv vol tegen de tegenligger aan te denderen…:)

  11. Een simpele oplossing voor een complex probleem:

    Een zelfrijdende auto moet altijd het leven van de passagier hoger achten dan andere verkeersdeelnemers.

    Situaties waarbij fietsers moeten worden ontweken zijn (over het algemeen) het gevolg van een fout van de fietsers, waar de passagier niet voor hoeft te boeten.

    Zodra je ethiek gaat inprogrammeren kom je in de problemen. Ik rem voor honden, maar niet voor eenden?

    Wat ook voorstelbaar is, is dat zelfrijdende auto’s van dezelfde fabrikant met elkaar kunnen communiceren. Frontale botsing voorkomen, door één van de auto’s een brug af te laten rijden? Frontale botsing voorkomen, door een inferieur automerk te hacken en de besturing over te nemen?

    Of: Zelfrijdende auto’s moeten niet deelnemen aan het verkeer met faalbare deelnemers (onmogelijk om dan een overgang te bewerkstelligen). Of: Zelfrijdende auto’s moeten optimaliseren voor overleven van passagiers. Solipsistisch, d.w.z. dat ze alleen rekening houden met zichzelf, en geen weet hebben van andere zelfrijdende auto’s. Zo kijkt iedere auto voor het lot van haar passagiers, en is de verantwoordelijke voor een fout, ook de dupe van deze fout.

    1. Een zelfrijdende auto moet altijd het leven van de passagier hoger achten dan andere verkeersdeelnemers. Situaties waarbij fietsers moeten worden ontweken zijn (over het algemeen) het gevolg van een fout van de fietsers, waar de passagier niet voor hoeft te boeten.

      Zoals @Marcel ook al reageerde kan ik niet geloven dat je hier over nagedacht hebt voordat je dat schreef, of dit serieus meent. In jouw visie is een kind dat achter een bal aan de straat op rent en wordt aangereden dus zelf verantwoordelijk voor zijn/haar verwondingen en treft de bestuurder van de zelfrijdende auto (ja, je bent juridisch nog steeds de bestuurder en dus verantwoordelijk) geen enkele blaam. Dikke schuld, had je maar uit moeten kijken! Zo redenerend bestaan ongelukken dus niet, maar is het altijd iemands schuld, vanwege ‘verwijtbaar gedrag’. Ik ben zelf ontwikkelaar, maar ik weet zeker dat ik de software in een dergelijke zelfrijdende auto niet geprogrammeerd zou willen hebben…

      1. Een kind dat achter een bal rent is geen “Dood of levend” scenario voor de bestuurder. Hoeveel vrachtwagens, je er ook bij bedenkt.

        Een computergestuurde auto hoeft dan ook niet te “kiezen” en kan/zal vol ankeren. Jammer voor degene die er (te dicht) achter rijd. Maar, ook bij een niet computergestuurde auto de beste keus. In het slechtste geval is dat te laat, maar nog steeds sneller dan een mens ooit had kunnen reageren, en dan is en blijft het dus een noodlottig ongeval.

        Het “Jezelf of 5 fietsers doodrijden / trolleyprobleem” is een Gedachte-experiment, leuk om over te filosoferen maar ook niet veel meer.

        Net als een mens kan ook een computer niet voorspellen wat er gebeurt. Het verkeer, menselijk lichaam, fietsers etc. etc. is veel te dynamisch. Ook bestuurt de computer een blok metaal van 1000+ kg en moet deze zich ook houden aan de wetten van Newton en zal een auto niet direct stilstaan of uitwijken. Een ongeluk blijft dus altijd nog mogelijk.

        Een zelfrijdende auto zou kunnen bedenken “als ik de vrachtwagen ontwijk, dan is er grote kans dat ik de fietser raak.” Maar de gevolgen verder dan dat kunnen ze nog lang niet berekenen.( Misschien iets voor quantum computing ;). ), het is voor de computer ook geen keus tussen iemand doodrijden of zelf doodgaan maar het kiezen voor het beste alternatief met de op dat moment beschikbare informatie. In een kleinere tijdschaal, net zo (Ir)rationeel als een mens dit op het moment van een ongeluk zou doen.

        Ik ben het dan ook eens dat de veiligheid van de bestuurder de grootste verantwoordelijkheid is van de zelfrijdende auto. (Met uitzondering dat ik niet vind dat de zelfrijdende auto dan maar fietsers moet gaan beuken die zich niet aan de verkeersregels houden;)).

        Bij die verantwoordelijkheid is het uitwijken bij een ongeluk 1 ding. Dat een computer sneller is dan een mens betekend (nog) niet dat alle ongelukken te voorkomen zijn. Maar door dat een computer mogelijk sneller ingrijpt, kan de schade beperkt worden. Er kan sneller uitgeweken of geremd worden. Daarnaast is het mogelijk om data na een ongeluk te analyseren, hiermee kan je kijken of dit ongeluk redelijkerwijs had kunnen worden voorkomen. Schrale troost voor het slachtoffer, desalniettemin wel belangrijk. Een 2e manier die de veiligheid te vergroten is het anticiperen op het overige verkeer. De google auto doet dat nu ook, een fietser buiten het fietspad, of een klein persoon zal er voor zorgen dat de auto voorzichtiger rijdt. Een autonome auto “ziet” beter, sneller en meer, Een kind dat achter een busje vandaan komt rennen heeft een autonome auto sneller door dan de gemiddelde bestuurder, met 10 andere dingen om op te letten, radio, haast, slecht humeur etc. etc.

        Gezien het trackrecord van de google auto wordt het groot tijd om eens voorzichtig aan te gaan experimenteren met een grotere uitrol van dit soort auto’s.

        We zouden ons niet moeten laten hinderen door “Eventuele” juridische problemen, wetten en regels lopen altijd achter ontwikkelingen aan. (De FAA is ook meer dan 50 jaar na het eerste gemotoriseerde vliegtuig opgericht).

        De theoretische gedachten experimenten zijn leuk en moeten ook zeker input zijn bij de ontwikkeling van zowel de regelgeving als de programmatuur.

        Maar uiteindelijk geld: “The proof of the pudding is in the eating” en zullen we gewoon eens moeten gaan zien wat de autonome auto ons gaat brengen.

        En de voorlopig voorzichtige onwederlegbare conclusie is dat het over het algemeen veiliger zal worden.

      2. Een kind dat, tussen twee geparkeerde auto’s, achter een bal de straat oprent, is zelf de schuldige van een ongeluk, als deze wordt aangereden door een auto die binnen de snelheidslimiet rijd.

        Een zelfrijdende auto zal minder van dit soort ongelukken hebben, omdat het via radar dit eerder kan zien aankomen.

        Zelfrijdende auto’s zijn geprogrammeerd om verkeersongelukken te voorkomen. Mochten ze toch bij een ongeluk betrokken raken, dan is dat (over het algemeen) de schuld van een ander. Zo ook bij de ongelukken met Google zelfrijdende auto’s: Niet tegen andere auto’s gebotsts, maar wel achterliggers tegen de bumper gebotst bij het afremmen voor bv. een stoplicht (niet genoeg afstand houden/niet goed opletten).

        Mijn standpunt is dus geen trol, maar, zoals gezegd, een erg simpele oplossing voor een complex probleem. Dit trolley-probleem ontstaat alleen als je een machine rekening laat houden met ethiek en dingen laat wegen als “5 fietsers zijn meer waard dan 1 passagier”. Laat de zelfrijdende auto dus uitkijken voor het hachje van haar eigenaar, en laat de zelfrijdende fietsers uitkijken voor haar eigen hachje.

        Zie het ook vanuit game-theory-tisch oogpunt. Wat gebeurd er als er vrije keuze is? Jij programmeerd je auto om jezelf te torperderen bij een potentieel frontale botsing, terwijl de tegenligger de auto zo programmeerd om de veiligheid van zichzelf te optimaliseren. Of beide rijden van de brug af. Ik zie dit dillema als een vorm van het prisoner’s dilemma en stel de tit-for-tat strategie voor: Of we werken allemaal samen en stellen gezamenlijk de programmatuur in. Maar dat is té utopisch. Als er één z’n auto instelt om enkel te optimizaliseren voor eigen hachje, dan doe je er niet slim aan om dat “terug te betalen” met je eigen leven.

        Een trol zou zijn: Als je nooit betrokken wil zijn bij ongelukken, dan moet je nooit aan het verkeer deelnemen.

        Een zelfrijdende trol zou zijn: Een auto/rijdend obstakel zo programmeren dat het altijd voor de fietsers kiest en dan een vloot van 1000 van deze auto’s aan het verkeer laten deelnemen.

  12. Zou een goed algoritme niet juist voorkomen dat je in dit soort situaties komt? In de gemoemde case: voldoende afstand houden. Lukt natuurlijk niet altijd, maar wellicht wel vaak. Blijft natuurlijk wel dat de case erg leuk is.

  13. Afgezien van de ethische dilemma’s rondom wat de computer moet doen ingeval van een ongeluk-situatie, is er nog een dilemma daarvoor: Tot nu toe was de bestuurder vaak vooral de zwakke schakel. Maar met zelfrijdende auto’s krijgen we vast een ander probleem: wat gaat het verschil zijn tussen duurdere en goedkopere autos? Een goedkopere zelf-rijdende auto moet waarschijnlijk niet alleen op acceleratie bezuinigen, maar ook op hoeveelheid en kwaliteit van de scanners, processor van de boordcomputer, kwaliteit van de AI? Ergo: mensen met een goedkopere auto zijn ineens duidelijk meetbaar gevaarlijker voor hun omgeving.

    Tuurlijk, we hadden dat al een beetje met abs en traction control, maar daar had je nog steeds de bestuurder in de lus, wat het een stuk minder duidelijk maakt wat nou precies het effect is. Maar met een zelf-rijdend algoritme kun je gewoon dingen vergelijken in gelijke situaties, en uitrekenen hoe veel dodelijker de auto van je buren is dan jouw nieuwe BMW.

  14. Je kletst, Arnoud.

    Ik zie dat je klakkeloos het getroll van Technology Review hebt overgenomen, inclusief hun libertijnse goedpraterij.

    Als je moet kiezen om in volle vaart tegen een vrachtwagen op te knallen of een groep fietsende schoolkinderen neer te maaien, dan heb je daarvóór al de keuze gemaakt om te snel te rijden. Voor een zelfrijdende auto is dat helemaal geen probleem: die heeft een snelheidslimiet die altijd door de situatie wordt bepaald. Dat betekent dat zo’n auto soms 15 kpu rijdt waar je 50 mag, en soms zelfs helemaal stil staat. Meer mensen zouden dat moeten doen.

    En noem het in godsnaam geen ongelukken. Als een automobilist zich in een situatie heeft gemanoeuvreerd waarin hij geen goede keuzes meer heeft, dan was dat bewust. Het maakt daarbij niets uit of het oorspronkelijke gedrag illegaal was (bijvoorbeeld bellen terwijl je rijdt) of legaal (bijvoorbeeld geen vaart minderen als de zon in je ogen schijnt).

    Dit fopdilemma doet me denken aan ingezonden brieven die je soms in Engelse kranten ziet staan. Dan is er weer eens een auto total loss gereden op een paaltje dat aan het begin van een oversteekplaats staat. De briefschrijvers klagen dan – geen grapje! – over het gevaar dat zo’n paaltje biedt. Er is niemand met het inzicht dat ze blijkbaar te snel in de buurt van voetgangers rijden.

    De mens is voor mensen het gevaarlijkste wezen op aarde en een belangrijke reden daarvoor is dat we massaal het moorddadig gedrag van automobilisten goedpraten. Is het echt nodig dat we zelfrijdende auto’s net zo moordlustig maken als menselijke automobilisten, om vervolgens op websites en blogs intellectuele bomen op te zetten over welke soorten moord we gaan goedpraten en welke we gaan verbieden?

    1. Je hebt enerzijds wel een punt Branko, maar toch: ongelukken gebeuren nu eenmaal.

      Je derde alinea is te zwart wit. Een ongeluk, ja ik noem het bewust zo, kan ook gebeuren door een medisch noodgeval of een technisch mankement. Een ongeluk kan ook gebeuren doordat een ander zich niet aan de regels houdt. En kan ook gebeuren door een eerlijke waarnemingsfout of een eerlijke informativerwerkingsfout. Onze zintuigen hebben nu eenmaal beperkingen, en de verwerking van die input door onze hersenen ook.

      Het klinkt stoer ‘Als een automobilist zich in een situatie heeft gemanoeuvreerd waarin hij geen goede keuzes meer heeft, dan was dat bewust’ . Nee, die automobilist kan nu eenmaal geen rekening houden met alle mogelijke fouten die anderen maken (want er zijn donders veel anderen, en die kunnen elk belachelijk veel fouten maken), en is zich niet volledig bewust van zijn eigen beperkingen qua waarnemings- en interpretatievermogen. Het Dunning Kruger effect, zeg maar.

    2. Zelf zien gebeuren op de autobahn: ‘langzaam’ rijdende auto die in één keer van de eerste naar de derde baan wisselt. Auto’s in baan 2 en 3 (inclusief ikzelf) moesten hard op de rem. De enige reden dat er geen doden vielen is dat de auto voor mij op de derde baan de middenberm indook en schurend langs de vangrails tot stilstand kwam.

      Hoe was dit gelopen in een autonome auto? had die auto gezien dat er (net) ruimte was tussen de vangrail en de voorganger? Programmeer je die auto om van de weg te geraken als oplossing te zien? Hoe voorkom je dat dit te pas en te onpas gaat gebeuren. Er zullen immers nog jaren auto’s zijn die niet door een computer bestuurd worden en dan houd je dus dit soort zelfmoord acties.

      1. Een zelfrijdende auto zou die beslissing niet hoeven nemen omdat die een seconde eerder begint met remmen en dus in beginsel al niet achterop zou zitten.

        Jij had dan misschien wel bij die zelfrijdende auto achterop gezeten trouwens, maar dat is nog veel moeilijker in te programmeren…

  15. Leren van de luchtvaart lijkt me geboden:

    • de bestuurder blijft verantwoordelijkheid hebben om waar nodig in te grijpen (automatische piloot)
    • er moet altijd achteraf bepaald kunnen worden wat er gebeurd is (zwarte doos)
    • er is een onafhankelijke controle die aanwijzingen kan geven of indirect ingrijpen (verkeerstoren)
    • er is een APK voor de auto + software configuratie
    • waar mogelijk worden problemen vermeden
    • er zijn duidelijke regels waaraan de auto voldoet – elke situatie is berekenbaar en herhaalbaar (bijvoorbeeld neuraal netwerk is fixed bij release). Op basis van die fixed release wordt een risico analyse gedaan en het resultaat geaccepteerd door de keuring.

    Auto’s gecontroleerd langzaam laten rijden, waar het kan op aparte banen (zoals bij die automatische bussen) zijn voorbeelden van goede risico vermijding.

    Dat soort werk. Het lijkt me wel behapbaar om een gedragen basis te bepalen.

    1. Door de verantwoordelijkheid (deels) bij de bestuurder te laten liggen wordt een zelfrijdende auto zinloos. Een zelfrijdende auto is vooral nuttig omdat het op den duur een robot-taxi kan worden en de passagiers geen rijbewijs meer nodig hebben om zich te verplaatsen.

      Als je de bestuurder juridisch aansprakelijk blijft houden voor de zelfrijdende auto waar hij in zit, dan betekent dat dat hij nog altijd de aandacht op de weg moet houden — precies het ‘probleem’ waar een zelfrijdende auto iets aan probeert te doen. Met andere woorden, dan kun je beter handmatig gaan rijden.

      De luchtvaart-filosofie die Dus aanhaalt kan een goed uitgangspunt zijn, maar het uiteindelijke doel zou moeten zijn om de bestuurder uit de regellus te halen (hooguit afgezien van een grote rode STOP-knop) en daardoor het wegvervoer goedkoper en toegankelijker te maken.

  16. Ik denk dat we vooralsnog problemen proberen te tackelen die niet bestaan bij niet alleen een goede programmering, maar ook bij een goede aanpak van de rest van het wegennet (ik loop dan voor het onderwerp hier dan misschien een paar jaar voor wat betreft mate van automatisering). Met een standaard auto een wegennet automatiseren kan jaren goed gaan; voldoende afstand, intelligent communicatienet voor de auto’s onderling en een goed passagiersbeveiligingssysteem voor de echte ‘stoppen op een duppie’ situaties (ik denk dan aan dat schuim uit Demolition Man), oversteekplekken met hekjes etc, en het soort protocollen wat dit topic poogt te bedenken zijn misschien niet meteen nodig. Natuurlijk rent er wel es een kind over, maar ook daar zal voldoende afstand en split second communicatie naar andere auto’s op dezelfde route levens redden. Uit eindelijk kunnen we het toch nooit veilig genoeg maken, en (over)leven blijft uiteindelijk een taak/verantwoordelijkheid van het individu zelf, niet de wereld om ‘m heen (ok, das meer een discussie voor een filosofie forum).

  17. Volgens mij is dit vooral een discussie gestuurd door angst. Ieder ziekenhuis zit vol met medische apparatuur die voortdurend beslissingen neemt met verregaande gevolgen. Dat accepteren we omdat we weten dat die apparatuur het beter doet dan wij zelf.

    Ten tweede wordt deze discussies gevoerd vanuit de huidige verkeerssituatie waarin (dodelijke) ongelukken aan de orde van de dag zijn. De grote meerderheid was eenvoudig te voorkomen als de chauffeur wat beter had opgelet. Dat is juist het punt waarop computergestuurde auto’s goed scoren, zie bijvoorbeeld de ervaringen van Google, de computer is altijd alert. Robotauto’s hebben daarbij het voordeel dat ze de toekomst nauwkeurig kunnen simuleren, ze kunnen voorkomen dat je in een situatie terecht komt waarin een ongeluk onvermijdelijk is. Mensen maken ook wel zo’n inschatting maar de computer kan het sneller en nauwkeuriger.

    De fabrikanten hebben er vertrouwen in want allemaal beloven ze de volledige verantwoordelijkheid te accepteren voor alles wat zo’n auto verkeerd doet. Dat zouden ze niet doen als ze geen vetrouwen hadden in hun vermogen om ongelukken te voorkomen.

    1. Volgens mij is dit vooral een discussie gestuurd door angst. Ieder ziekenhuis zit vol met medische apparatuur die voortdurend beslissingen neemt met verregaande gevolgen. Dat accepteren we omdat we weten dat die apparatuur het beter doet dan wij zelf.

      Ter correctie: ieder ziekenhuis zit vol met medische apparatuur die slecht beveiligd blijkt, en toch voortdurend beslissingen neemt met vergaande gevolgen. Daar zouden mensen eens wat meer bij stil moeten staan. Daarbij moet je wel de kanttekening plaatsen dat die apparatuur maar reageert op een beperkt aantal factoren. Een hartritme-monitor zal alleen het hartritme in de gaten houden, en niet toevallig ook nog je nierfunctie of de werking van je longen. Dus helemaal vergelijkbaar is het niet want de set met indicatoren waarop gereageerd moet/kan worden is veel, veel kleiner.

      Ten tweede wordt deze discussies gevoerd vanuit de huidige verkeerssituatie waarin (dodelijke) ongelukken aan de orde van de dag zijn.
      Dat klopt, maar als de zelfrijdende auto breder beschikbaar komt en meer gebruikt gaat worden zul je voorlopig toch nog een situatie hebben waarin het overgrote deel van de auto’s door een mens bestuurd wordt. En daar moet de zelfrijdende auto mee om kunnen gaan.
      Robotauto’s hebben daarbij het voordeel dat ze de toekomst nauwkeurig kunnen simuleren, ze kunnen voorkomen dat je in een situatie terecht komt waarin een ongeluk onvermijdelijk is.
      Zoals ik hiervoor al aangaf gaat dat maar ten dele op; het simuleren met een klein aantal factoren zal nog wel lukken, maar in de werkelijkheid hebben we met een (veel) grotere set van factoren te maken waarmee rekening moet worden gehouden. Los daarvan zijn sommige van die factoren wellicht niet of minder goed te bepalen (hoe meet een zelfrijdende auto hoe glad de weg is, in de winter?) Te stellen dat een computergestuurde auto dus beter zal reageren (sneller, OK) dan een mens is volgens mij een te grote stap. De praktijk zal moeten uitwijzen welke van de omgevingsfactoren belangrijk zijn voor een zelfsturende auto en welke minder. De huidige proeven met zelfrijdende auto’s leveren daarvoor nu al de nodige input.
      De fabrikanten hebben er vertrouwen in want allemaal beloven ze de volledige verantwoordelijkheid te accepteren voor alles wat zo’n auto verkeerd doet. Dat zouden ze niet doen als ze geen vetrouwen hadden in hun vermogen om ongelukken te voorkomen.
      Tja, die kleine lettertjes. Alle contracten waarbij de verantwoordelijkheid wordt geregeld bevatten ze. Ik heb nog geen contracten hierover door kunnen lezen, maar ik heb het gevoel dat de fabrikanten de verantwoordelijkheid misschien wel nemen, maar…..En dat vooral die ‘maar….’ in de kleine lettertjes terugkomt. En zij dus helemaal niet ‘de volledige verantwoordelijkheid’ op zich nemen. Plus, volgens de wet ben jij, als ‘berijder’ van een zelfrijdende auto, nog steeds hoofdverantwoordelijke. De fabrikanten kunnen dus wel beweren dat zij verantwoordelijk zijn, maar totdat de WVR en/of wet is aangepast om hieraan tegemoet te komen is de menselijke bestuurder – ongeacht of hij/zij het voertuig ten tijde van het ongeval daadwerkelijk bestuurde – volgens mij nog steeds eerste aansprakelijke.

  18. Na de door anderen al gegeven reacties, wil ik slechts opmerken dat naast de geschetste scenario’s (keuze uit 2 opties, jij of zij) er vaak nog meer te bedenken zijn, met flinke overlevingskans voor allen. Zo kan je misschien die fietsers van achteren zo scheppen dat ze niet plat zijn maar op je kap belanden, of voor die truck langs de berm in rijden. En ja, ook beter anticiperen hoort erbij. Er zullen dan nog uiterst zelden situaties optreden waarin zo een harde keuze nodig zijn als geschetst. In zulke zeldzame gevallen is dan waarschijnlijk wel aanvaardbaar dat het algoritme niet altijd de bestuurder redt maar het totaal optimaliseert.

  19. (vervolg) …, omdat je niet zomaar wordt geofferd. Bovendien zou ik in het algoritme opnemen rekening te houden met de oorzaak/’schuld’ van het ontstaan van de situatie en de eisen die de wet stelt: bij eigen schuld (bijv een auto met slechte sensoren) moet je eigen leven minder zwaar tellen dan wanneer een ander je (opzettelijk) in gevaar brengt. Hoe je dat laatste in een algoritme stopt, is een nog een open vraag.

  20. Interessant stuk! Recent is er onderzoek gedaan naar hoe inwoners van Europa de zelfrijdende auto zien en daarbij is ook gevraagd wie zij vinden dat er aansprakelijk is wanneer er een ongeluk gebeurd met zelfrijdende auto’s. Ongeveer 61% van de ondervraagde vindt dat de fabrikant de schuldige is en ongeveer 35% geeft de bestuurder de schuld. Voor meer info kan je het hele artikel hier vinden https://www.oponeo.nl/banden-informatie/onderzoek-zelfrijdende-auto-europa

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.