Moeten we de aansprakelijkheid van autonome auto’s aan advocaten overlaten?

google-zelfrijdende-autoBergen rechtszaken zijn de belangrijkste hobbels (haha) waar de zelfrijdende auto overheen zal moeten zien te komen, las ik in Slate. Zolang de aansprakelijkheid van eigenaar, passagiers en fabrikant niet duidelijk zijn, zal de adoptie van deze voertuigen onnodig langzaam blijven lopen. Hoe lossen we dat op bij zoiets snel evoluerends als autonome auto’s? Simpel, zegt de auteur: laat dat gewoon aan het aansprakelijheidsrecht over. Dat is daar voor.

In theorie is de vraag simpel te beantwoorden. Hoe regel je aansprakelijkheid voor bepaalde situaties? Simpel, dat zet je in de wet. Die hebben we ook al de nodige: je bent aansprakelijk voor je huisdieren en voor je assistenten. Je bent ook aansprakelijk voor je minderjarige kinderen, maar omdat dat een tikje ongenuanceerd voelde is daar een complexe regel bij gekomen. Maar goed, daar komen we uit. En het is logisch dat de bal daar ligt, want jij bent in staat dat te borgen. Of (bij die dieren) het is gewoon redelijk want er is niemand anders.

Op zeker moment kregen we producten die soms ontploften of anderszins gevaarlijk waren. Dus toen kwam er ook een wet over productveiligheid, die de bal legt bij de fabrikant of importeur daarvan. Natuurlijk gaf die wet enig gesteggel maar het lijkt me niet meer dan logisch dat de bal daar ligt. Een televisie mag niet ontploffen, en de bouwer daarvan heeft alle controle dus die kan veiligheidsmaatregelen nemen.

Logisch allemaal. Maar bij de zelfrijdende auto ligt het iets ingewikkelder. Ja, natuurlijk heeft de fabrikant een grote rol want hij programmeert de AI, plaatst de sensoren en hakt knopen door over hoe te kiezen tussen passagier en medeweggebruikers. Maar de eigenaar/passagier/bestuurder heeft ook enige invloed, die gaat de weg op met het ding en drukt misschien wel op knopjes om het gedrag te beïnvloeden. Of hij zat niet op de noodrem.

Als wetgever kom je daar niet echt uit. Wil je dan toch wetten maken, dan heb je een grote kans dat je de plank misslaat en de innovatie doodreguleert. Plus, een wet invoeren duurt meerdere jaren en wie weet waar we dán zijn met zelfrijdende auto’s en kunstmatig intelligente bestuurders.

Gelukkig is er een alternatief: de rechtspraak. Ik noem dat altijd de juridische exception handler: als het niet geregeld is, dan moet de rechter in vredesnaam maar verzinnen wat in deze situatie het beste past binnen de wet, de redelijkheid en de concrete situatie. Hij kan dan een oordeel doen over die situatie, maar hij kan ook een rechtsregel formuleren die vanaf dan in vergelijkbare situaties van toepassing moet zijn. En het mooie is dat zulke rechtsregels heel specifiek kunnen zijn, en dat ze over een jaar vervangen kunnen worden door een nieuwe uitspraak gebaseerd op de inzichten van dan. Noodwetjes, zo je wilt.

Het is dus helemaal niet zo’n gek idee om de rechtbank te laten oordelen over wat te doen met aansprakelijkheid bij ongevallen waar zelfrijdende auto’s bij betrokken zijn. Het zal in het begin wat zoeken zijn met diverse uitspraken alle kanten op, maar rechters lezen ook elkaars vonnissen en zeker bij uitspraken in hoger beroep ontstaat er dan een zekere lijn waar men op kan varen. En het mooiste is dan nog dat als die lijn goed bevalt, de wetgever hem zo over kan nemen in de Wet van 2020 over Autonome Voertuigen. Of juist iets heel anders kan verzinnen omdat de jurisprudentie laat zien waar de knelpunten zitten.

De auteur doet nog een aanvullend voorstel voor het geval de rechtszaken de pan uit rijzen: in de VS geldt een wettelijke bescherming voor bedrijven die vaccins ontwikkelen. Aangezien onjuist werkende vaccins tot medische claims kunnen leiden, zouden bedrijven daarmee kunnen stoppen om wat veiligers te gaan doen. Dat willen we niet, dus zijn ze in de VS beperkt aansprakelijk voor medische missers in vaccins. Wel is er dan tegelijk een verzekeringsfonds opgericht waar slachtoffers van die missers een vergoeding uit krijgen. Zo corrigeer je voor het maatschappelijk probleem van de slachtoffers, zonder de fabrikanten nodeloos af te schrikken iets nieuws te verzinnen.

Die wettelijke bescherming doet denken aan wat we eind jaren negentig voor tussenpersonen op internet hebben bedacht. Die zijn niet aansprakelijk voor wat er op hun platform gebeurt (waar trouwens nu heisa over is omdat artiesten massaal klagen dat ze niks krijgen van het beschermde Youtube) mits ze maar een notice/takedownsysteem toepassen. Ik roep al jaren dat dit eigenlijk een systeem met dwanglicenties moet worden: Youtube mag niet verboden worden maar moet wel betalen. En dat sluit dan mooi aan bij die vaccin-regeling.

Dat dan maar doen? Fabrikanten mogen zelfrijdende auto’s op de markt brengen, en zijn behoudens grof nalatige fouten niet aansprakelijk voor ongevallen die daarmee gebeuren. Wel storten ze verplicht een bedrag in een verzekeringspot, en slachtoffers van die ongevallen ontvangen daar een uitkering uit.

Arnoud

38 reacties

  1. Een televisie mag niet ontploffen, en de bouwer daarvan heeft alle controle dus die kan veiligheidsmaatregelen nemen. Logisch allemaal. Maar bij de zelfrijdende auto ligt het iets ingewikkelder. Ja, natuurlijk heeft de fabrikant een grote rol want hij programmeert de AI, plaatst de sensoren en hakt knopen door over hoe te kiezen tussen passagier en medeweggebruikers. Maar de eigenaar/passagier/bestuurder heeft ook enige invloed, die gaat de weg op met het ding en drukt misschien wel op knopjes om het gedrag te beïnvloeden. Of hij zat niet op de noodrem.

    Ik zie geen verschil tussen de auto en de TV. Ook bij de TV kan een gebruiker dingen doen die niet verstandig zijn en het apparaat doen ontploffen. Je kijkt toch altijd naar de volle omstandigheden als er iets gebeurt.

    Ook is de vergelijking met vaccins voor mij niet goed. Een menselijk lichaam is een enorm complex ding met heel veel (nog onbekende) chemische processen. Bij het toedienen van een vaccin is het vrijwel onmogelijk om alle (lange termijn) effecten te voorspellen. Toch zijn er hele strenge regels voordat je een medicijn op de markt mag brengen.

    Dat laatste mis ik bij de zelf rijdende auto’s. Voor mijn gevoel – correct me if I’m wrong- wordt de openbare weg én de gewone consument te veel als test object gebruikt en ik weet niet of een algemeen fonds daar de beste oplossing voor is.

    Let wel, ik ben een groot voorstander van autonome auto’s maar zeker in een overgangssituatie waarbij autonome voertuigen zich mengen met ‘normale’ verkeersdeelnemers zijn er wel degelijk betere regels en procedures nodig. Als eerste voorstel zou ik graag willen zien dat alle software van de auto die ook maar enigszins te maken heeft met de veiligheid open source zou moeten zijn.

    1. Ook is de vergelijking met vaccins voor mij niet goed. Een menselijk lichaam is een enorm complex ding met heel veel (nog onbekende) chemische processen. Bij het toedienen van een vaccin is het vrijwel onmogelijk om alle (lange termijn) effecten te voorspellen.

      Dat gaat in zekere zin natuurlijk ook op voor AI. Of je kiest voor een systeem waarin alle mogelijke situaties en de bijbehorende reacties zijn uitgeschreven (zo goed als onmogelijk in mijn ogen), of je kiest voor een zelflerend systeem dat door middel van training leert wat de sociaal wenselijke reacties zijn. Vooral in die laatste constructie kan de fabrikant onmogelijk voorspellen wat de reactie van een AI-systeem zal zijn op bepaalde situaties. Veel zal afhangen van hoe en binnen welke situaties het systeem een vergelijkbare reactie heeft geleerd.

      Dat laatste mis ik bij de zelf rijdende auto’s. Voor mijn gevoel – correct me if I’m wrong- wordt de openbare weg én de gewone consument te veel als test object gebruikt en ik weet niet of een algemeen fonds daar de beste oplossing voor is.

      Voortbordurend op mijn opmerking hierboven is dat in zekere zin waar maar noodzakelijk om een zelflerende AI te trainen hoe het moet reageren. Je kunt de werkelijkheid maar tot op zekere hoogte in een laboratorium of testomgeving nabootsen.

      Ik denk dat Arnoud met zijn voorstel over aansprakelijkheid in de goede hoek zit. Maar voor zelflerende AI-systemen in zelfrijdende auto’s zouden fabrikanten verplicht moeten worden om journaals bij te houden waaruit af te leiden is hoeveel inspanning er is gedaan om een AI-systeem (correct) te laten reageren op situaties, en in welke omstandigheden dat is gebeurd. Ook de uitkomsten van deze tests zouden hierin moeten worden opgenomen. Op deze manier verplicht je die fabrikanten om in ieder geval enige tijd in het trainen van het AI-systeem te steken; dat heeft tot gevolg dat de consument iets minder als testobject zal worden gebruikt. En dat lijkt mij voor alle partijen een goede zaak. Te weinig tijd in training gestoken? Dan toch nog aansprakelijk.

      1. Ik ben er op tegen. De productaansprakelijkheid bestaat met als doel het terug dringen van letsel- en gevolgschade. Dat bedrijven hierdoor terughoudend zijn met het produceren van zelfrijdende auto’s is daar een gewenst effect van. De bescherming voor voor bedrijven die vaccins ontwikkeling wordt niet gegeven omdat deze bedrijven anders zou afschrikken ze te ontwikkelen, maar omdat vaccins helpen bij het terugdringen van ernstige ziekte met de dood of ernstig letsel als gevolg. Zolang als niet evident duidelijk is dat zelfrijdende auto’s het aantal ernstige verkeersongelukken terugdringen zie ik niets in een beperking van de productaansprakelijkheid.

        Ik zie wat dat betreft meer in regulerende wetgeving. Als eerste denk ik aan de vliegvaartindustrie. Vliegtuigen beschikken over een zwarte doos. En bij ongelukken onderzoekt een team wat er is fout gegaan met als doel het terug dringen van ongelukken. Geef deze bedrijven niet minder verantwoordelijk, maar juist meer. Ook kun je denken aan het oprichten van tuchtrecht voor software ontwikkelaars. Programmeurs die werken aan zelfrijdende auto’s moeten aangesloten zijn bij een gilde. De gilde wordt gedreven door ontwikkelaars met aanzien. Zij stellen iedere vijf jaar een code op waar ontwikkelaar zich aan moeten houden. En met ondersteuning van een rechter spreken zij recht. Een ontwikkelaar kan dan berispt worden, een boete krijgen of uit zijn beroep gezet worden, net zoals dit geldt voor advocaten, notarissen en medici.

    2. Als eerste voorstel zou ik graag willen zien dat alle software van de auto die ook maar enigszins te maken heeft met de veiligheid open source zou moeten zijn.

      Te pas en te onpas wordt er geroepen dat bepaalde software open source zou moeten zijn alsof dat het beste zou kunnen zijn. Het lijkt wel of het de heilige graal is van alle mogelijke softwaresituaties. Helaas is dat dus niet zo.

      Het hebben van open source software heeft ook echter wel ernstige beperkingen. Er zijn software-projecten die na enige tijd verlaten worden. Indien dergelijke software gebruikt wordt, dan kan dat een potentieel gevaar opleveren voor een infrastructuur.

      Daarnaast kan het voorkomen dat, behalve degene die aan de software werken, niemand de software leest en bovendien begrijpt. Hoe complexer de code wordt, hoe minder mensen deze kunnen begrijpen. Ook kunnen black hats dan gemakkelijker fouten opsporen en misbruiken.

      Vaak wordt geroepen dat security door obsecurity slecht is omdat men dan de code niet kan nakijken. Maar men vergeet dat het wel kan werken als men de code door een onafhankelijke en zeer vertrouwelijke mensen en/of bedrijf laat nakijken op fouten.

      Met het schrijven van een AI, zal men zeker goed moeten nadenken welke optie men kiest.

      1. Het verlaten van software-projecten is bij “gesloten software” nog veel gebruikelijker. Denk je echt dat er nog iemand iets kan met windows-2000? Een softwareproject dat nog erg goed ondersteund werd toen mijn auto 15 jaar geleden gemaakt werd? Helemaal als het commercieel interessant is om die software te verlaten.

      2. Dit is dus echt volslagen onzin.

        Het hebben van open source software heeft ook echter wel ernstige beperkingen. Er zijn software-projecten die na enige tijd verlaten worden.

        Dit heeft helemaal niets met open-source te maken. Dit is een risico dat bij alle software-projecten bestaat. Dat iets open-source is, wil niet zeggen dat je dus geen contract m.b.t. het langetermijnsonderhoud hebt.

        Indien dergelijke software gebruikt wordt, dan kan dat een potentieel gevaar opleveren voor een infrastructuur.

        Dit is waar support contracts voor zijn.

        Daarnaast kan het voorkomen dat, behalve degene die aan de software werken, niemand de software leest en bovendien begrijpt. Hoe complexer de code wordt, hoe minder mensen deze kunnen begrijpen.

        Even afgezien van het onderwerp complexiteit, is dit sowieso geen nadeel – als het gesloten software is dan is het sowieso niet mogelijk om de code te begrijpen en controleren. Als het open-source is dan is dat op z’n best een verbetering, en op z’n slechtst blijft de situatie ongewijzigd; het is dus nooit een nadeel.

        Binnen open-source heb je altijd de mogelijkheid om, als je het belangrijk genoeg vindt, jezelf voldoende te informeren om ook complexe software te begrijpen, zonder dat daar medewerking van een derde partij voor nodig is. Dat is een mogelijkheid die simpelweg niet bestaat bij gesloten software, ongeacht hoe belangrijk je het vindt.

        Ook kunnen black hats dan gemakkelijker fouten opsporen en misbruiken.

        Dat is onrealistisch, en dit is nu juist een voorbeeld van security through obscurity – iets dat dus totaal niet werkt. Iemand heeft geen toegang nodig tot de broncode om lekken te vinden, zeker als daar winst bij te halen valt.

        De reden dat gesloten software enkel een voordeel is voor ‘hackers’ is heel simpel: zij hebben de (financiale of anderszins) motivatie om ongeacht de complexiteit en toegang tot de broncode toch lekken te vinden. Mensen die de broncode willen ‘auditen’ met goede bedoelingen hebben die motivatie doorgaans niet – het verbergen van de broncode sluit dus enkel die groep mensen uit.

        Zie ook Kerckhoff’s Principle.

        Maar men vergeet dat het wel kan werken als men de code door een onafhankelijke en zeer vertrouwelijke mensen en/of bedrijf laat nakijken op fouten.

        Nee, dat kan het dus niet, ondanks dat dit het favoriete stokpaardje is van de manager-in-driedelig-pak.

        Het probleem met “third-party audits” is dat vertrouwen niet transitief is. Dat wil zeggen: het feit dat jij de auditor vertrouwt, en dat ik jou vertrouw, wil nog niet zeggen dat ik dus ook de auditor vertrouw, zeker wanneer ik niet bekend ben met de situatie waarin deze auditor aan het werk is gegaan.

        Ik heb geen enkele manier om te weten hoe die auditor zijn werk doet, hoe intensief dat is geweest, waar naar is gekeken en waar niet, wat er uitbesteed is, waar er fouten gemaakt kunnen zijn, in welke gevallen de auditor het allemaal wat mooier heeft voorgesteld om de klant tevreden te houden, enzovoorts.

        Het enige dat ik zie is “ja, deze auditor zegt dat het allemaal goed is, dus geloof het nou maar”. Daar koop ik niets voor.

        De enige manier waarop software veilig kan zijn, is als de gebruiker zelf de audit uit zouden kunnen voeren (en zijn eigen versie kan compileren van de gecontroleerde broncode) op het moment dat zij daar een reden toe zien, en dat zij bereid zijn om het benodigde werk erin te stoppen. Dan kun je alsnog een third party audit doen om er zelf zeker van te zijn, maar het is dus geen vervanging voor open-source.

  2. Juist nu zou ik Damocle’s zwaard boven die fabrikanten laten hangen. Ze ontwikkelen die auto’s toch wel, dus laat ze maar op hun scherpst alert blijven. Ik ben niet bang dat ze anders stoppen met ontwikkelen. Dus geen extra fabrikantensbescherming.

    Ik denk dat het reuze zal meevallen, hoe de claims er (in Europa) uitpakken. Bij een ongeval zal de verzekeraar moeten dekken. En als die verzekeraar vindt dat het aan de fabrikant ligt (zoals dat nu ook al kan als je remmen fabriek-agf niet blijken te deugen) zullen zij het maar moeten uitvechten. En ook voor verzekeraars zal het meevallen….. Wanat veeeel minder ongelukken in het verschiet.

    Waar we eerder meer aandacht aan moeten schenken is het dwingen fabrikanten de auto’s te updaten en om dit soort service ook door derden te kunnen laten uitvoeren. (liefst open source) Anders stoppen de updates na 3 jaar (of gaat de fabrikant misshien failliet) en is met de eerstvolgende verkeersregelwijziging de auto volkomen onbruikbaar. En als je dan via omwegen toch servicet (reverse-engineeren, rooten, etc), dan krijg je pas echt aansprakelijkheidskoppijn.

  3. Ik denk dat het op termijn zal blijken dat zelf-rijdende autos veel veiliger zullen zijn dan mensen die perse zelf willen sturen, dus dat het op termijn (op bepaalde wegen), niet meer toegestaan zal zijn zelf te rijden, en als je het dan toch doet, jij aansprakelijk bent voor de ongelukken. Net als met de vaccins is het hier: de maatschappij (dus politiek) als geheel moet zorgen dat de prikkels op de juiste manier liggen bij de partijen die er het meeste invloed op kunnen hebben: dus ja: fabrikanten moeten aansprakelijk zijn voor fouten, maar niet op een manier dat het de ontwikkeling van goede technologie in de weg gaat zitten. Doen we dat niet, dan krijgen we een soort van Amerikaanse schoolbus-effect, waarbij een gedrocht uit de jaren 50 wel mag rijden, maar niemand het meer aandurft een beter model uit te brengen.

    Een andere discussie (kortgeleden op Techdirt: https://www.techdirt.com/articles/20160627/07185434830/people-support-ethical-automated-cars-that-prioritize-lives-others-unless-theyre-riding-one.shtml) gaat over hoe zelfsturende auto’s bekende dillema’s moeten oplossen als er iets echt goed mis dreigt te gaan. Een soort van Asimovs Drie Wetten van Robotica moet je dus in dit soort systemen gaan inbouwen, alleen dat is niet triviaal, en ook niet eenvoudig te controleren (laat staan als mensen hun systemen gaan hacken).

  4. Hoe lang gaat het duren voordat een AI op zichzelf als een autonome, juridische entiteit wordt beschouwd? Want nu gaat het om zelfrijdende auto’s die met een deterministisch algoritme zijn geprogrammeerd en dan kun je de maker van dat algoritme nog aansprakelijk stellen.

    Maar als we straks naar zaken als machine learning gaan dan kan dat niet meer zo maar, want dan begint die AI zelf te ‘denken’ en beslissingen te maken over situaties waar ie nooit een regel programmacode voor heeft gezien. En dat gaat in de toekomst steeds meer toegepast worden, van zelfrijdende auto’s tot autonome regelingen van industrieprocessen en energienetwerken.

    Als zo’n AI dan de fout in gaat, wanneer zal een rechter dan beslissen dat ie AI zelf als ‘handelingsbekwaam’ wordt beschouwd en dus aansprakelijk gesteld wordt voor de schade? Robot maakt fout, dan moet robot ook opdraaien voor de consequenties, en niet zijn maker?

    Net zo goed als wij als mensen niet eindeloos aansprakelijk zijn voor de handelingen van onze kinderen, ben ik benieuwd wanneer een robot niet langer gevrijwaard kan worden van zijn eigen aansprakelijkheid en dus als ‘volwassen’ wordt gezien.

    1. Dat zie ik pas gebeuren als ze op een zinnige manier mee kunnen doen aan de maatschappij. Wat voor zin heeft het anders ze als aparte entiteit aan te merken?

      En als tegenargument: mijn hond denkt ook zelf en beslist over situaties waar ie nooit een instructie van mij voor heeft gehad. Dat wordt alleen maar meer want ik woon op een groot landgoed en kan ’t beest echt niet elke dag achterna zitten. Toch vindt de wet dat ik nog steeds daarvoor aansprakelijk moet zijn?

      Verder heb je dan nog het praktische probleem dat er niks te halen is bij een robot. Als die niet geprogrammeerd is om geld binnen te halen, dan heeft ie geen geld en dus kan ik hem niet aansprakelijk stellen. Goed, dan verplichten we robots tot verzekeringen nemen, maar kunnen we het dan niet simpeler doen en gewoon dat algemeen fonds instellen voor robotschade?

      1. Om maar even de hond als voorbeeld te nemen dan: Als die hond iemand doodbijt dan word jij als eigenaar niet gelijk verdacht van moord of doodslag. Dat die hond wordt afgemaakt, staat buiten kijf, maar de eigenaar is niet 100% aansprakelijk voor alle acties van de hond en dus ook niet direct aansprakelijk voor schade wanneer de hond zich misdraagt, omdat je de hond verkeerd hebt ‘geprogrammeerd’. Dat komt pas in de picture als duidelijk blijkt dat je nalatig (of kwaadaardig) bent geweest in het opvoeden van de hond. Voorbeeld, als iemand jouw hond provoceert en die persoon eindigt in het ziekenhuis, dan mag je hem veel succes wensen om die letselschade te verhalen.

        Bij die hond valt ook niets te halen als het om schade gaat, dat valt dan misschien terug op de eigenaar.

        Nu wordt een computerprogramma of AI altijd als een willoos stuk gereedschap beschouwd wat blindelings de instructies van zijn eigenaar opvolgt, maar als een AI straks zelf keuzes gaat maken, dan kun je dat niet meer 100% zo zien. Wat nu als die AI gaat twijfelen aan een instructie of een instructie verkeerd interpreteert?

        Dat een AI dan misschien vernietigd moet worden lijkt me ergens wel wenselijk, maar om de eigenaar van die AI, of zelfs de fabrikant van het programma wat aan de wieg staat van die AI, aansprakelijk te stellen, vind ik steeds verder gezocht.

        1. Snap je punt, maar bij de hond is het écht wel iets meer dan “enkel bij nalatigheid aansprakelijk”. Je bent risico-aansprakelijk, wat betekent dat je ook zonder schuld aansprakelijk kunt zijn. HEt risico behoort gewoon bij jou.

          Het wettelijk criterium (art. 6:179 BW) is aansprakelijk zijn “tenzij aansprakelijkheid (…) zou hebben ontbroken indien hij de gedraging van het dier waardoor de schade werd toegebracht, in zijn macht zou hebben gehad.” Dat wil zeggen: stel ik had de hond aan de lijn naast me, zou het dan me te verwijten zijn dat de hond de schade dán had toegebracht? Dat is dus een speciale situatie.

          Maar goed, ik snap je punt en laat ik eens mee gaan. Dan een heel praktische vraag: ik stel de AI aansprakelijk en vast komt te staan dat het zijn/haar verwijtbare fout is. HOe krijg ik nu mijn schade vergoed? Een AI heeft geen vermogen, dus er is niks te halen.

          1. Hetzelfe als nu. We sluiten de AI op en hij moet verplicht werken aan resocialisatie. Dat betekent veel groepsgesprekken met andere AI’s, eventueel wat cursussen en bij het einde van zijn straf mag hij af-en-toe op proefverlof om weer te wennen aan de maatschappij.

          2. Het ‘er valt niets te halen’-probleem is natuurlijk niet beperkt tot AIs. Dat kun je dan uit een algemeen fonds halen.

            Bovendien is er (ook in geval van de hond) een groot verschil tussen de civielrechtelijke en de strafrechtelijke aansprakelijkheid, even in geval van de hond die iemand doodbijt: Wordt dat een zaak over doodslag of dood door schuld/nalatigheid op konto van de eigenaar? Want in dat geval kun je de hond beschouwen als een willoos ‘moordwapen’ en de eigenaar van de hond als de dader.

            Bij een zelfrijdende auto of ander AI-proces zit je ook nog met de andere kwestie dat de programmeur van die AI iemand anders is dan de persoon die de AI bedient (de eigenaar van de auto). Je kan moelijk de fabrikant van de AI persoonlijk aansprakelijk houden voor élke fout die een AI in een onvoorziene situatie maakt. Dat is vergelijkbaar met de ouders aansprakelijk houden voor elke misdraging van een volwassen kind.

            Waar het misschien fout gaat is de aanname dat een AI na programmeren oncorrigeerbaar is. Dat is misschien bij een ‘normaal’ computerprogramma wel zo (de enige manier om een programma te corrigeren is het programma vervangen) maar een AI is in run-time te corrigeren door de eigenschap dat het een lerend programma is. Ik denk zelfs dat AI’s dat veel gunstiger kunnen dan mensen: Als één AI in de fout gaat en het wordt aangemerkt als ‘fout gedrag’, dan zal dat direct naar alle andere instanties van die AI worden doorgevoerd en zullen alle andere AI’s die fout niet meer maken. Tot zo ver zou je zelfs van een onderlinge sociale structuur of peer-pressure tussen AI’s kunnen spreken.

            1. Maar als we het uit een algemeen fonds halen, waarom zouden we dan de hele route met de AI als aparte juridische entiteit (rechtspersoonlijkheid) optuigen? Zeg dan gewoon, de ontwikkelaar van een AI is beperkt aansprakelijk voor schade veroorzaakt door de AI, en slachtoffers krijgen geld uit het fonds. Dat is dan toch veel simpeler?

              1. En strafrechtelijk? Stel een kind wordt doodgereden op een zebrapad door een zelfrijdende auto. Een automobilist zal daarvoor de gevangenis in draaien normaal gesproken. Bij de AI heeft dat geen zin, maar iemand zal toch verantwoordelijkheid moeten dragen voor een dergelijk strafbaar feit?

                1. Ligt er nogal aan welke verwachtingen zijn gewekt bij de verkoop van de auto; om maar eens twee uitersten te noemen: mag je de volledig zelfrijdende functie, zonder rijbewijs, overal gebruiken (ook op woonerf), garandeert de verkoper dat je rustig kunt gaan slapen, en is dat ook aannemelijk (dan lijkt me verkopende partij in principe aansprakelijk) OF staat in het koopcontract dat je de zelfrijdende functie alleen mag gebruiken onder specifieke omstandigheden en dan ook nog zelf onder alle omstandigheden verantwoordelijk (en dus aansprakelijk) blijft?

                  Ik vermoed dat het (ondanks de hype) nog wel even zal duren voordat we de eerste situatie bereiken. Tot die tijd lijkt me voor de hand liggen dat automobilist (deels) aansprakelijk blijft en zeker ook strafbaar blijft:

                  “Eigenaar had moeten weten dat het systeem van Murphy’s cars company volstrekt onveilig was en wordt hierbij veroordeeld tot 25 groepsgesprekken (1 per slachtoffer)…”

            2. In de praktijk zetten AI-ontwikkelaars het “leren” juist vaak uit op het moment dat de AI echt toegepast gaat worden. Leren maakt een AI namelijk onvoorspelbaar, en een AI kan ook slecht gedrag aanleren. Het enige dat ik nog wel zie gebeuren is dat een AI, onder menselijke supervisie, software-updates kan krijgen, maar dan pas nadat die software-updates door een mens grondig zijn getest. Die software-updates kunnen wel via een leer-proces zijn gegenereerd.

        2. Als een instrument niet meer 100% de instructies van de eigenaar volgt, dan is het een slecht instrument. De eigenaar is verantwoordelijk voor de keuze om zo’n slecht instrument te gebruiken, en de daaruit volgende schade. Misschien betekent dat wel dat AI, zoals jij dat ziet als van de mens onafhankelijk opererende actoren, gewoon een slecht idee is. Dan kunnen we computers gewoon beter blijven gebruiken voor automatisering op een steeds hoger niveau, zonder ze echt zelfstandig te laten worden.

          Ik zie het zelfde bij honden. Je kunt een hond best een beetje vrij laten, maar als eigenaar is het jouw taak om daar veilige grenzen aan te stellen, en het is jouw verantwoordelijkheid als het mis gaat. Het is het zelfde bij levenloze zaken: als jij een muur bouwt, en die muur is zo zwak dat ‘ie spontaan omvalt en een voorbijganger verplettert, dan ben jij daarvoor verantwoordelijk. Misschien geen doodslag, maar wel door door schuld. Het zelfde bij een hond die iemand dood bijt, of een AI-auto die iemand dood rijdt. De complexiteit en voorspelbaarheid maakt niet uit: een muur is redelijk eenvoudig en goed te voorspellen; een AI een stuk lastiger en een hond praktisch onmogelijk, maar het principe blijft het zelfde.

          1. Wat ik dus probeer te onderbouwen is dat een AI niet meer als ‘instrument’ van zijn eigenaar gezien moet worden, maar meer als een persoon die aan een bepaald digitaal vehikel gebonden zit. Daarbij horen ook rechten en plichten die een AI gebonden aan een biologisch vehikel (euh, mens dus) ook heeft.

            De grote vraag is waar je de grens gaat leggen om zo’n AI op hetzelfde niveau te zien als een onafhankelijk denkend persoon, in plaats van een instrument, hulpmiddel of huisdier. Uiteindelijk is dat wel waar je naartoe wil — zelfrijdende auto’s die ook zonder automobilist de weg op kunnen, en dus zelf beslissingen kunnen maken in het verkeer.

            Elke zelfrijdende auto die de weg op kan is één dronken chauffeur minder. En ik denk dat de afweging tussen het aantal slachtoffers van zelfrijdende auto’s en dronken automobilisten gauw gemaakt is.

          2. AI als zelfstandig opererende actoren is potentieel inderdaad erg gevaarlijk. Ik denk dat Musk e.a. daar terecht voor waarschuwen (bijvoorbeeld: http://www.nu.nl/gadgets/4096159/musk-wozniak-en-hawking-waarschuwen-gevaren-autonome-wapens.html) en dat daar nog te weinig over wordt nagedacht . Maar ik vind het wel doorslaan om dan te zeggen:

            Als een instrument niet meer 100% de instructies van de eigenaar volgt, dan is het een slecht instrument.
            Ik denk dat je eigenaren overschat, dan wel onderschat hoe goed een AI systeem kan zijn (over een half eeuwtje wellicht, en misschien al veel eerder, slimmer dan de slimste eigenaar). Maar zelfs nu worden heel veel systemen al tegen hun eigenaar/gebruiker beschermd en volgen ze gelukkig niet altijd blindelings de instructies van de eigenaar.

            1. Een AI-systeem kan best beter zijn dan de eigenaar; dat sluit niet uit dat het AI-systeem 100% doet wat de eigenaar er van verwacht. Als jij een boordcomputer in je auto hebt die de afstand tot de voorligger constant houdt, dan kan ‘ie dat nu waarschijnlijk al veel beter dan mensen, door de betere reactiesnelheid. Het zelfde kan wellicht gelden voor in de rijbaan blijven, of automatisch maximumsnelheid beperken.

              Het moet alleen wel de bestuurder zijn die bepaalt welke van deze systemen aan of uit staan, en de bestuurder moet een goed idee hebben van wat deze systemen doen. Ik denk dat een complete AI die allerlei complexe beslissingen neemt daar veel te ingewikkeld voor is.

  5. Onderstaande overweging is onafhankelijk van of een auto wel of niet autonoom is. Een autonome auto (dubbelop?) is in hogere mate geautomatiseerd, maar blijft een instrument in handen van de automobilist.

    Het lijkt mij dat een automobilist in eerste instantie zelf aansprakelijk is voor alle schade die hij bij anderen en bij zichzelf aanricht met zijn auto. Pas in tweede instantie kan hij (of zijn verzekeringsmaatschappij) de schade verder verhalen op de fabrikant. Van belang is dat het de automobilist, niet de fabrikant, is die de beslissing neemt om met de auto te gaan rijden, met alle bijbehorende risico’s.

    De spannende vraag is dan: wanneer moet schade door automobilist op de fabrikant te verhalen zijn? Volgens mijn eerder geuite idee dat er zowel een gereguleerde als een ongereguleerde markt moet zijn, is deze vraag alleen interessant voor de gereguleerde markt: op de ongereguleerde markt ligt eigenlijk alle verantwoordelijkheid bij de automobilist, tenzij anders overeen gekomen. Op de ongereguleerde markt staat het de fabrikant vrij om een enorm innovatief model te verkopen, dat niet eens in de buurt van veilig komt. Voor de gemiddelde consument is de gereguleerde markt geschikter.

    Ik denk dat er, op de gereguleerde markt, normen moeten zijn waaraan auto’s moeten voldoen. Zolang auto’s aan die normen voldoen is de fabrikant niet aansprakelijk; als er desondanks toch ongelukken gebeuren, dan kan dat reden zijn om de normen aan te scherpen. Je kunt dan natuurlijk wel situaties krijgen waarin een auto wel aan de normen voldoet, maar de fabrikant toch weet dat de auto gevaarlijk is. Misschien moet er een soort algemene norm zijn “als je weet dat er een gevaar is dat niet door de normen wordt afgedekt, dan moet je dat openbaar maken, waarna de certificerings-autoriteit er over oordeelt”. Bewijzen dat een fabrikant iets wist kan lastig zijn, maar is niet helemaal onmogelijk, o.a. dankzij klokkenluiders.

    Blijft het probleem over dat dit soort auto-software nogal ingewikkeld is, wat het lastig maakt er normen voor te schrijven. Misschien is het wel goed als we de software zo eenvoudig mogelijk maken; dat komt de betrouwbaarheid en begrijpelijkheid meestal ook ten goede.

  6. Ik ga er van uit dat een gewone auto niet intrinsiek veilig is; het vergt een getrainde bestuurder in goede conditie om de risico’s van een autorit acceptabel laag te houden. (Het rijbewijs is er niet voor niets.) Typegoedkeuring en APK zijn er ook met goede redenen; een slechte auto is ook met een goede bestuurder een gevaar op de weg. Uit deze observaties blijkt dat zowel fabrikant, eigenaar, (onderhoudsgarage) en bestuurder invloed hebben op de veiligheid van een autorit en het is niet meer dan terecht dat ieder aansprakelijk is voor de gevolgen van haar eigen falen.

    Extrapoleren we dat naar “autonome voertuigen” dan wordt de invloed van de fabrikant op een veilige rit groter en de invloed van de bestuurder neemt af. Het lijkt mij gepast dat de regel “ieder is aansprakelijk voor de gevolgen van eigen falen” dan van kracht blijft; daarbij wil ik opmerken dat en verkoper van een “autonoom voertuig” zich er van hoort te vergewissen dat de koper/bestuurder beseft hoe te handelen om de veiligheid van hemzelf en de andere weggebruikers te waarborgen. Het kan zijn dat er een apart certificaat voor het besturen van “autonome voertuigen” nodig blijkt.

  7. Maar er is echt geen enkele reden waarom we autonome auto’s zouden moeten toelaten op de weg. Als we ze gewoon verbieden gebeurt er niets vreselijks, de maatschappij stort niet in, er veranderd helemaal niets. Behalve dan natuurlijk dat een paar jongensdromen aan diggelen gaan, maar dat is een kleine prijs om te betalen voor mensenlevens. Nee, de maatschappij kan gewoon zeggen: autonome auto’s zijn te riskant, en dat doen we dus niet. Er is geen natuurwet die zegt dat alles wat ontwikkeld kan worden, ook toegelaten moet worden – ook al is dat in geeky-kringen natuurlijk een godspe.

    1. Ja, laten we die zelfrijdende auto’s gewoon verbieden. En vooral de mogelijke positieve effecten negeren, want al die mensen die nu geen rijbewijs hebben omdat ze bijvoorbeeld blind zijn, kunnen toch gewoon thuis blijven zitten?

      Zelfrijzende auto’s hebben de potentie om een nu afhankelijke groep mensen die zo geroemde vrijheid te schenken. Om nog maar te zwijgen over het feit dat er uiteindelijk veel minder van nodig zijn: je kunt er immers altijd eentje oproepen. Geen ellenlange parkeerplaatsen vol lelijk blik meer nodig. En dat is nog maar het begin, want de mens is zo’n geweldig goed bestuurder (kuchkuch) dat het aantal ongelukken waarschijnlijk flink zal afnemen. De auto’s van Google hebben opdat punt zelfs nu al een veel beter track record dan welke mens ook.

  8. Gelukkig is er een alternatief: de rechtspraak. Ik noem dat altijd de juridische exception handler: als het niet geregeld is, dan moet de rechter in vredesnaam maar verzinnen wat in deze situatie het beste past binnen de wet, de redelijkheid en de concrete situatie.

    Daar ben ik principieel zeer op tegen. Regels dienen te worden gemaakt door de democratisch gemaakte regering onder toezicht van het democratisch gekozen parlement. Rechters gaan over de uitvoering van die regels. Het is best mogelijk wetgeving op te stellen waarin een minister of burgemeester snel kan handelen. Denk aan de APV die Utrecht en Rotterdam nu al gebruiken om vervuilende auto’s uit de binnenstad te houden.

    1. Ik dacht ook altijd dat de wetgevende macht bij het parlement lag, maar blijkbaar ligt die macht ook deels bij de rechter:

      hij kan ook een rechtsregel formuleren die vanaf dan in vergelijkbare situaties van toepassing moet zijn
      Het formuleren van tijdelijke algemene regels door rechters kan best handig zijn, maar dan vraag ik me wel direct af hoe ver zo’n bevoegdheid gaat en hoe dit werkt? Kan iedere (kanton) rechter dat? In welke omstandigheden? Wat als andere rechters het niet eens zijn met de regel? Als rechters tegenstrijdige regels formuleren? @Arnoud: heb je (een linkje met) uitleg/wetgeving hierover?

      1. Geen land ter wereld heeft de 100% theoretisch zuivere scheiding der machten. Ook wij niet. Het vereist namelijk dat álles in de wet staat, zodat de rechter alleen nog maar het juiste artikel hoeft op te zoeken en eventueel een knoop hoeft door te hakken over of tienduizend euro redelijk is, zeg maar. Dat is onwerkbaar.

        Je ontkomt er als wetgever niet aan dat je je zegt, dit laat ik aan de rechter. Dat gebeurt soms ook expliciet bij invoering van een wet; er komt dan een open norm zoals “een redelijke vergoeding” in de wet en in het Parlement wordt dan gezegd, dit mag de rechter invullen op basis van het concrete geval. En rechters mogen dan dus ook vuistregels formuleren. Dat is bijvoorbeeld gebeurd bij de ontslagvergoeding (de kantonrechtersformule). Of je bent er nog niet aan toegekomen dingen te regelen. Neem Lycos/Pessers, daar is de wetgever gewoon ‘vergeten’ te regelen of en hoe providers NAW-gegevens moeten afgeven.

        Ik vind dat niet slecht. Rechters weten heel goed wat ze doen, het is namelijk hun werk. De regels die ze formuleren Bovendien zitten collega’s er niet perse aan vast: je mág als rechter in Nederland een precedent negeren (motiveren waarom is wel handig). Uiteindelijk komt het dan bij de Hoge Raad en die hakt dan een knoop door. En blijkt de rechtersregel niet werkbaar, dan kan de wetgever een nieuwe wet aannemen die er wat anders van maakt. Zo was het vroeger alleen mogelijk bellende automobilisten aan te pakken als ze een gevaar veroorzaakten, en dat was lastig te bewijzen. Dus maakten we een nieuwe wet die zegt “gij zult geen telefoon vasthouden als bestuurder”.

        Het feit alleen al dat dat héél zelden gebeurt, en je wel regelmatig ziet dat rechtersregels gewoon in de nieuwe wet belanden (codificatie), zegt voor mij wel genoeg. Dit werkt gewoon prima.

  9. Het is vooral belangrijk dat de aansprakelijkheid goed verzekerbaar is. Een autofabrikant zou wagens alleen mogen verkopen als er minimaal twee verzekeraars bereid zijn deze te verzekeren of als de fabrikant zelf de aansprakelijkheid al meeverzekert bij de verkoop van de auto.

  10. Zowel in het stuk van Arnoud als in diverse commentaren gaat men er vanuit dat er nog steeds een bestuurder in de autonome auto zit. Echter zouden we er ook vanuit moeten gaan dat dus autonome auto’s komen waar er juist geen bestuurders meer zijn, maar dat iedereen eigenlijk gewoon een passagier is. Vergelijk dat met de Johnnycab uit de speelfilm “Total Recall’ (1990 versie).

    Hoe gaat men dan met de aansprakelijkheidsrecht om?

    1. Ik extrapoleer mijn reactie van twee dagen geleden: Als de passagiers geen invloed hebben op de veiligheid van de rit, is het aan de fabrikant om een veilige auto te leveren en aan de eigenaar om ervoor te zorgen dat de auto goed wordt onderhouden. Geen aansprakelijkheid meer voor passagiers.

    2. Ik heb in Tokyo wel eens in een monorail gezeten die geen bestuurder had. Een beetje freaky, want hoe weet je bijv. zeker dat ‘ie niet gaat rijden als je klem zit bij de deuren?

      In het door jou beschreven geval (“autonome taxi’s”) is het de operator die de beslissing heeft genomen om deze dingen autonoom over de weg te laten rijden (of in het geval van de monorail: over de daarvoor bestemde rail); de operator is dan ook verantwoordelijk voor de gevolgen.

      Als algemene ethische richtlijn voor het bepalen van de verantwoordelijkheid bij schade bepaal ik de keten van oorzaak-en-gevolg die tot de schade heeft geleid; de verantwoordelijkheid ligt bij de laatste menselijke beslissing waarbij een alternatieve beslissing de schade zou hebben voorkomen.

      Bij sommige natuurrampen (zoals pandemieën) bestaat een dergelijke beslissing niet, en is dus niemand verantwoordelijk voor de schade. Ik denk niet dat dit het geval kan zijn bij gebruik van autonome auto’s.

    1. Dat is nu toch ook al zo? Welke automobilist rijdt er nou door als een fietser de weg blokkeert? Je moet als fietser alleen goed kijken of de automobilist je opmerkt.

      (Eens kijken of er gefrustreerde automobilisten zijn die happen na het lezen van deze reactie) 🙂

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.