Een robot overtreedt de wet, wat nu?

| AE 7305 | Innovatie, Ondernemingsvrijheid, Regulering | 33 reacties

robot-wetRobots overtreden steeds vaker wetten, en we weten niet wat daaraan te doen. Dat las ik althans bij Fusion.net, waar ze het mooie voorbeeld van de Darknet Shopper aanhaalde: een bot die random aankopen doet à 100 bitcoin bij een Darknet-site, u weet wel vol met illegale meuk. Wie is er dan aansprakelijk als het ding een dosis cocaïne bestelt, of een vervalst paspoort?

Een robot of bot/script is geen natuurlijk persoon of rechtspersoon, dus kan deze geen strafbare feiten begaan, net zo min als een auto of een hond dat kan.

Het onderwerp doet denken aan de recente discussie over zelfrijdende auto’s. Daarbij leek de uitkomst te zijn dat we de aansprakelijkheid bij de eigenaar/bestuurder kunnen leggen, net zoals we dat bij dieren doen. Maar dan gaat het om een specifiek soort aansprakelijkheid, namelijk onbedoelde schade aan anderen. Bovendien is zulke schade goed te verzekeren.

Hier zoekt de bestuurder/aanzetter van de bot wel iets actiever de grenzen op. Een auto-maker programmeert normaal niet in dat de auto mensen gaat aanrijden of door rood licht zal gaan, maar een bot als deze wordt impliciet wel ontworpen met de gedachte dat ‘ie iets kwestieus gaat kopen. En dát maakt het twijfelachtiger voor mij. Plus, dit kun je niet verzekeren.

Je kunt natuurlijk zeggen: hij koopt random dingen, er zit dus geen intentie in om de wet te overtreden. Hij ziet een item te koop, hij checkt het budget en klikt op “buy now”. Is er dan opzet op het kopen van een wapen, drugs of een vals paspoort?

Nu kan iedereen natuurlijk wel zeggen, ik wílde dat niet letterlijk. Maar de strafwet is slim: naast opzet is er ook het concept “voorwaardelijke opzet”, oftewel je wilde het misschien niet 100% maar je hebt de aanmerkelijke kans aanvaard dat dit kon gebeuren en je nam de gevolgen op de koop toe. Daarom behandelen we je alsof je het met opzet deed.

Vanuit dat concept kun je dan stellen, wie een bot loslaat op een Darknet-site, neemt de gevolgen op de koop toe want iedereen wéét dat daar illegale meuk te koop is. En de kans dat je bot met illegale meuk thuis komt, is aanzienlijk. Dus heb je voorwaardelijk opzettelijk gehandeld.

Update (20 april) de Zwitserse politie heeft de aankopen van onder meer XTC onderzocht en laat weten niet tot vervolging over te gaan omdat de actie deel was van een “verhit publiek debat over vragen die centraal stonden in de tentoonstelling, waarbij het laten zien van de XTC als onderdeel van de tentoonstelling gerechtvaardigd is”.

Ergens voelt dit soort “cyber-recht” te simpel voor woorden. Als ik blind een dartpijltje naar een menigte gooi, dan is het evident dat ik stom bezig ben en niet dat pijltje. Maar als ik een drone loslaat met een dom algoritme (“vlieg rechtdoor en als je ergens tegen botst, stort dan neer”) dan krijgen we hele discussies over de aansprakelijkheid van robots. En met een beetje geluk Asimov’s drie wetten der robotica. Mis ik iets?

Arnoud

Deel dit artikel

  1. Ergens voelt dit soort “cyber-recht” te simpel voor woorden. Als ik blind een dartpijltje naar een menigte gooi, dan is het evident dat ik stom bezig ben en niet dat pijltje. Maar als ik een drone loslaat met een dom algoritme (“vlieg rechtdoor en als je ergens tegen botst, stort dan neer”) dan krijgen we hele discussies over de aansprakelijkheid van robots. En met een beetje geluk Asimov’s drie wetten der robotica. Mis ik iets?

    Ik denk dat je over het feit heenkijkt dat niemand aansprakelijk wenst te zijn. Fabrikanten proberen zich te vrijwaren van alle aansprakelijkheid via EULA’s, maar consumenten hebben ook geen zin om dat in te zien en geen software met zulke vrijwaringen meer te kopen of hun aansprakelijkheid dan maar te accepteren.

    Als een fabrikant een apparaat bouwt met kwalijke fouten in de software (en vrijwel alle software bevat zulke kwalijke fouten), ben je als consument dan roekeloos bezig als je zo’n apparaat koopt en op de wereld loslaat? Wat als je niet weet dat er zo’n fout in zit? Wat als de fout pas bekend wordt nadat je het ding gekocht hebt? Hoe moet je op de hoogte blijven van ontdekte problemen? Wat als de fabrikant geen updates meer uitbrengt omdat dat niet in hun economisch belang is (denk aan Google’s update-beleid mbt Android; gaan ze dat dadelijk ook zo doen met hun zelfrijdende auto’s)? “Dan had je maar een nieuwe versie moeten kopen” is ook geen acceptabel antwoord.

    • Ik zie de gebruiker als hoofd-verantwoordelijke. Alleen als, en voor zover, de fabrikant bepaalde beloftes doet over het product, of duidelijk bepaalde verwachtingen wekt, kan de fabrikant verantwoordelijk worden gehouden.

      Bij nieuwe, innovatieve producten kan het lastig te zijn om te bepalen wat een gebruiker precies van het product mag verwachten. In de loop van de tijd zullen daar industrie-normen voor ontwikkeld moeten worden. Dit zien we ook bij bijv. auto’s en vliegtuigen: die kunnen ook defecten bevatten die schade tot gevolg kunnen hebben, en we hebben dus ook normen voor tot welke mate fabrikanten moeite moeten doen om de risico’s te beperken.

          • Waarschijnlijk omdat het een mass delusion is dat goedkope, snel ontwikkelde software veilig is. Iedereen weet dat het vrijwel onmogelijk is om sterke garanties te bieden op software tenzij er een complete omslag plaatsvindt in de manier waarop die ontwikkeld wordt. Bovendien zullen consumenten het niet accepteren als hun precious gadgets ineens 10 keer zo duur worden vanwege de software die erop staat. Plus, als de concurrent er niet in meegaat ga je failliet, tenzij al je concurrenten eerder doodgeprocedeerd worden.

      • De eigenaar is en blijft verantwoordelijk en aansprakelijk. Alleen als je aan kunt tonen dat de robot dingen doet/gedaan heeft die je redelijkerwijs niet had kunnen voorspellen of voorzien dan kun je de aansprakelijkheid doorschuiven naar de verkoper. En die misschien weer naar de fabrikant enzovoorts. In feite is dit toch gewoon het zelfde als garantie?

        En natuurlijk is dit allemaal een beetje lastiger omndat de acties van een robot lastiger te voorspellen zijn dan die van een dartpijl. Het gedrag van die dartpijl is al door Newton beschreven en dat snappen we allemaal (in meer of mindere mate)

  2. offtopic:

    Een robot of bot/script is geen natuurlijk persoon of rechtspersoon, dus kan deze geen strafbare feiten begaan, net zo min als een auto of een hond dat kan.
    Dan ga ik wel denken waarom een hond een spuitje krijgt als die iemand aanvalt of doodbijt, maar een auto niet naar de sloop gaat als daarmee iemand is doodgereden.

    ontopic: Ik denk dat het heel simpel is. Mijn vader zei altijd: een PC doet precies wat de persoon die hem bestuurt zegt dat-ie moet doen. En een bot die automatisch webshops afstruint en binnen een budget producten koopt, wordt geprogrammeerd. Je kunt daar dus in programmeren dat je bepaalde aankopen wilt vermijden. Dan denk ik aan de simpele dingen, zoals fake, namaak, ‘just like the real thing’ en dergelijke. Daarnaast kun je zo’n ondergrondse verkoopsite überhaupt niet zomaar bereiken (het is toch geen Markplaats?), en moet een bot dus al bewust geprogrammeerd worden om deze sites óók te bezoeken en aankopen te doen. Met andere woorden: degene die de bot programmeert of laat programmeren en deze bot voor deze doeleinden inzet, is naar mijn mening gewoon aansprakelijk voor het gedrag van de bot.

  3. Een ander discussiepunt dat wordt opgeworpen door die darknet-aankoop-bot: het gedrag van de bot is weliswaar (mogelijk) illegaal, maar niet schadelijk. De illegale aankopen worden alleen tentoon gesteld, en niet gebruikt of doorverkocht. Ik heb begrepen dat de politie de illegale aankopen na afloop in beslag heeft genomen; zolang de kunstenaar heeft aangestuurd op inbeslagname / vernietiging, denk ik dat de kunstenaar niet alleen niet de intentie had om schade te veroorzaken, maar ook op een verantwoorde manier het risico op schade heeft beperkt.

    Dit werpt de vraag op of de aankoop op zich wel illegaal moet zijn.

    • Maar als criminelen (paspoortvervalsers en XTC-producenten in dit geval) geld verdienen, bevorder je daarmee ook de gerelateerde criminaliteit: 1. Door een markt te creëren voor dit soort spullen is het makkelijker voor mensen met slechte bedoelingen (reizen onder een valse naam) om aan deze spullen te komen. 2. Door de makers te betalen geef je ze geld in hun strijd tegen concurrenten. Van een liquidatie van een crimineel hebben omstanders ook last.

      (Overigens zijn deze effecten voor een losse aankoop natuurlijk niet heel groot, maar alle kleine beetjes schaden.)

      • Er zit een natuurlijke rem op dit soort activiteiten: het kost namelijk geld om een bot allerlei aankopen te laten doen. Het zal dus beperkt blijven tot een paar kunstprojecten en af en toe wellicht bots die bugs bevatten; ik denk niet dat dit tot echt significante schade zal leiden, zelfs als je het legaliseert.

        Je krijgt pas echt significante gevolgen als de kosten van aankopen worden gecompenseerd door een nut voor de koper: dan kan er een echte markt ontstaan. Als er een legitiem (niet schadelijk voor anderen) nut bestaat, dan is het eenvoudig: het moet gewoon gelegaliseerd worden. Die “strijd tegen concurrenten” is dan ook geen argument meer: die kan dan via juridische wegen plaats vinden i.p.v. via criminele afrekeningen. Als er alleen een niet-legitiem nut bestaat (onredelijk schadelijk voor anderen), dan moet het gebruik natuurlijk niet toegestaan zijn; de aankoop zelf hoeft dan niet illegaal te zijn.

        • Er zijn al lang bots die precies dit doen. Alleen zijn ze niet actief op darknet sites maar op de aandelenbeurzen. Daar wordt al jaren geklaagd ovber de invloed die dit soort bots op de markt hebben. Er is een felle strijd gaande over wie er een paar miliseconden sneller kan reageren op fluctuaties op de beurs.

          • Ja, dat is ook een leuke uitbreiding van de discussie. Het “nut” van de aankopen die zulke bots doen is vooral de mogelijkheid dat de aangekochte zaken mogelijk later voor een hogere prijs verkocht kunnen worden. Ik vind dat in principe een legitiem doel, en het blijkt in de praktijk ook nuttig te zijn voor derden, bijv. in de vorm van snellere transacties met lagere transactiekosten.

            Er zijn in het verleden wel “trading bots” geweest die vanwege een bug een crash in de waarde van een aandeel o.i.d. hebben veroorzaakt, maar zo’n “buggy” bot handelt “tegen de markt in”, en zal vrij snel door z’n geld heen zijn. Wat je in de praktijk ziet is dat er dan veel paniek is in de media, maar de markt zich weer vrij snel herstelt na zo’n soort crash. De benadeelde partij is vooral de operator van de bot; aangezien dat ook de verantwoordelijke van de fout is, heb ik er geen probleem mee.

            Het lijkt mij vooral een probleem als iemand een (buggy) bot in zet om met andermans geld te handelen, bijvoorbeeld met het geld van een pensioenfonds. Verder heb ik geen probleem met trading bots.

  4. Een auto-maker programmeert normaal niet in dat de auto mensen gaat aanrijden

    Ook de auto-maker zal met de optie ‘mensen aanrijden’ rekening moeten houden. Persoon op de VOP aanrijden, of ontwijken richting dat obstakel waarbij de inzittende gewond zal raken? En wat bij 1 persoon op de VOP maar 4 inzittenden ? Allemaal vragen waar de programmeur alle tijd voor heeft om een antwoord op te bedenken, in tegenstelling tot de ‘ouderwetse’ bestuurder die dat in een fractie van een seconde moet doen. Is die programmeur die bijvoorbeeld bij een 1 op 1 keuze programmeert om die persoon op de VOP aan te rijden en de inzittende te beschermen aansprakelijk ? En wat als de programmering kiest om die hele groep op de VOP aan te rijden om de enkele inzittende te beschermen ?

    • Roept interessante vragen over keuzes in noodsituaties op. Bijvoorbeeld ook: er moet gekozen worden tussen botsen tegen een nieuwe dure auto met een flinke kreukelzone of tegen een goedkope oude auto. Je zou zeggen dat voorkomen van slachtoffers belangrijker zou moeten zijn dan voorkomen van economische schade en dat dus tegen de nieuwe dure auto gebotst moet worden. Wordt het straks veiliger om in een oud barrel rond te rijden 🙂

      T.a.v. het voorbeeld: ik neem aan dat het bedrijf aansprakelijk is en verder zal een zelfrijdende auto hopelijk genoeg vaart minderen bij een VOP zodat een dergelijke keus niet nodig is. Ik vermoed dat een zelfrijdende auto door veel van dit soort keuzes uiteindelijk flink langzamer wordt bij druk verkeer, omdat bedrijf geneigd zal zijn zich in hoge mate in te dekken tegen die aansprakelijkheid (better safe than sorry).

  5. Ik denk dat u jurispudentie mist. Een poortscan uitvoeren vanuit Israel is nooit strafbaar. In Nederland kan een poortscan strafbaar zijn. Het doet er dus toe waar de eigenaar zich bevind.

    Een fabrikant, mits geen grove nalatigheid, van een drone is niet strafbaar als deze drone iemand neerschiet. Het is de generaal die de drone opdracht heeft gegeven met geladen kanonnen over burgerdoelen te vliegen.

    Ik had een chatbot op IRC die reacties probeerde uit te lokken. Hoe meer en feller de reacties, hoe meer gewicht werd gegeven aan de uitspraak/patroon. Door gebruik te maken van het spel “Cards Against Humanity” en random Google resultaten schrok ik soms van de uitspraken: zeer politiek incorrect, beledigend, ja soms zelfs bedreigend. Hoewel ik de bot gemaakt had en de eigenaar ben, was ik niet verantwoordelijk voor de random nummer generator. Ik heb de bot uiteindelijk wel uitgeschakeld, precies omdat ik bang was dat een grap als bedreigend kon worden opgevat.

    Relevant in deze is de open letter van het Future of Life Institute, ondertekend door veel prominente AI-onderzoekers:

    The field of AI itself, which up to now has focused largely on techniques that are neutral with respect to purpose. We recommend expanded research aimed at ensuring that increasingly capable AI systems are robust and beneficial: our AI systems must do what we want them to do. […] This research is by necessity interdisciplinary, because it involves both society and AI. It ranges from economics, law and philosophy to computer security, formal methods and, of course, various branches of AI itself.
    http://futureoflife.org/misc/open_letter

      • Sorry, jurispudentie is denk ik niet het goede woord. Ik bedoelde: de lokatie waar de wetten worden gemaakt is van belang, zeker als het feit zich afspeelt op het dark web.

        Een poortscanbot met een eigenaar in Israel is veilig. Een poortscanbot met een eigenaar in Nederland is niet veilig. Een shopbot die op het dark web namaakartikelen koopt, hangt dus van de locatie van de eigenaar af, of dit de wet overtreed (namaakartikelen in China zijn niet tegen de wet).

        Ik vind dat u een moord pleegt, omdat u mij vastbind en slechts rekening hoeft te houden met twee staten: laat voltage passeren, of laat het niet passeren. De uitspraken van de humorbot heeft zoveel uitspraken, google_index^3, dat ik daar nooit rekening mee kan houden. Als een chatbot een gedicht maakt uit een corpus van miljoenen documenten, dan voel ik mij niet direct verantwoordelijk voor dat gedicht.

        Een PRNG gekoppeld aan een 3D-printer kan theoretisch gezien een elektrische stoel met twee random staten bouwen. Een PRNG genetisch programmeren script heeft het potentieel om auteursrechteninbreuk te plegen, maar ook om een nieuwe stuxnet te bouwen. Een neuraal net bestaat uit duizenden kleine PRNG’s die stroompjes wel of niet doorlaten.

        Als mijn gezichts-herkenning software uw gezicht niet aanstaat en een vergelijking maakt met een varkens- of een apenkop dan snap ik wel dat u zich hierdoor beledigd kunt voelen, maar wat kan ik er verder aan doen? Die observatie is objectief gebaseerd op zoekalgoritmes en beschikbare data. Ik kan hoogstens die machine uitzetten, of er een simpel: “u ziet er mooi uit en lijkt op een engel.” script van maken.

        • Wat een onzin. Natuurlijk ben je verantwoordelijk voor wat die bot zegt. Je wéét dat de bot dingen kan gaan zeggen die fout zijn dus dan moet je daar in je code rekening mee houden.

          In plaats van iemand vast binden op de stoel kan je ook gewoon een kabel op straat leggen en in random tijd een random voltage er doorheen sturen. Er moet dus net iemand contact maken met de kabel én het voltage moet dodelijk genoeg zijn. Genoeg variabelen denk ik maar (wat mij betreft) ben je 100% verantwoordelijk.

          • Misschien is het juridisch gezien wat duidelijker dan filosofisch gezien.

            > Je wéét dat de bot dingen kan gaan zeggen die fout zijn dus dan moet je daar in je code rekening mee houden.

            Dat is niet te doen. Het tast ook de “vrije willekeur” van de chatbot aan. Een random letter generator kan onzin, complimenten maar in principe ook beledingen en bedreigingen uiten. Ergens zit (wat mij betreft) een grens die niet binair door te trekken vanaf het vastbinden aan een random stroomstoel. Met genetisch programmeren laat je een programma zichzelf wijzigen.

            > Genoeg variabelen denk ik maar (wat mij betreft) ben je 100% verantwoordelijk.

            Je bent verantwoordelijk voor je kinderen. Hoe goed je ze ook opvoed, ze kunnen toch nare dingen zeggen (misschien omdat ze niet beter weten). De grens tussen “ik schrijf een programma wat de computer klakkeloos uitvoert” en “de computer maakt een eigen optimale of willekeurige keuze” is aan het vervagen. Ook de wet moet hier rekening mee gaan houden en kan niet blijven zeggen: “Onzin! U bent 100% verantwoordelijk voor potentiele overtredingen. U had kunnen weten dat er op het internet ook beledigingen staan.”. Zonder grens en grijs gebied, maar deze starre binaire houding, zal een PNRG zelf het potentieel hebben om de wet te overtreden.

            In de theologie geven we God niet de schuld van het Kwaad, terwijl God alles in beweging heeft gezet, omdat wij mensen een vrije wil hebben. Als God een vrije wil kan schenken aan een mens, dan kan God ook een vrije wil schenken aan een machine.

            Stel een neuraal netwerk geeft een geschatte waarschijnlijkheid van gevaar of potentieel misdrijf en geeft dit door aan een medewerker van de bewaking. Het netwerk observeert 3 blanke mannen voor een winkelpui om 11 uur ’s avonds en een straat verderop ziet het 3 gekleurde mannen voor een winkelpui. Voor de 3 blanke mannen voorspelt het 13% kans op gevaar en voor de 3 gekleurde mannen voorspelt het 19% kans op gevaar. Dit is geen vliegende auto’s werk, dit soort systemen worden nu getest. Het roept interessante vragen op: Is het netwerk aan het discrimineren op ras/uiterlijk? Is de programmeur verantwoordelijk, omdat deze geen gebruik-geen-huidskleur-features-functionaliteit heeft ingebouwd, zelfs als zo’n netwerk zelf haar optimale features maakt en uitkiest? Is een uiting gebaseerd op pure willekeur of objectieve statistische feiten überhaupt als een belediging of discriminatie op te vatten? Denkt het neuraal netwerk dat de blanke mannen superieur zijn? Denkt de programmeur dat? Denkt de bewaker dat? Is de programmeur verantwoordelijk voor valse positieven? Welke accuraatheid moet bereikt worden voordat het systeem ingezet mag worden en menselijke akties mag beinvloeden? Etc. Etc.

            Voor potentieel wet-overtredende chatbots zie: http://www.cs.toronto.edu/~ilya/rnn.html http://forum.bodybuilding.com/showthread.php?t=110275161 (” [bot] (aka learns by what people say to it) and 4chan corrupted the **** out of it. It’s pretty funny.”) http://douweosinga.com/projects/googlechatbot

            • Ik denk dat je voorbeeld met de verantwoordelijkheid voor je kinderen wel een goede is. Zeker bij hele kleine kinderen. Je weet dat deze stomme dingen kunnen doen en je moet er dus bewust van zijn en dit zo veel mogelijk zien te voorkomen.

              Dat geldt (m.i.) dus ook voor een automatisch proces. Zo lang je niet zeker weet dat dit proces zich zal gedragen, zal je het in de gaten moeten houden en tijdig(!) moeten bijsturen. Als dat technisch niet mogelijk is, moet je je afvragen of je het proces wel moet starten. Net als dat je met een klein kind niet een terrasje moet pakken met vrienden naast een watertje.

              Als overtuigd Atheïst is elke vergelijking met God wat mij betreft verkeerd en ik kan daar dan ook moeilijk op reageren.

              Ook bij het neurale netwerk blijft degene die het gebruikt verantwoordelijk voor de uitkomsten. Of er iemand aan het discrimineren is in jouw voorbeeld weet ik niet zo goed. Wat mij betreft is dat ook een andere discussie want dat gaat er om of je kan discrimineren als je je baseert op 100% feitelijkheden.

              Maar laat ik het omdraaien. Als een geautomatiseerd proces wél de wet overtreed, ben jij dan van mening dat niemand daar voor verantwoordelijk is? Mag je dan zulke processen maken als je er maar voor zorgt dat het aantal overtredingen procentueel wel mee valt? En is er nog een onderscheidt te maken in soorten van overtredingen of maakt dat niet uit?

    • Dus: bot is geen juridische partij -> koopovereenkomst is niet geldig -> gekochte waren zijn nog steeds eigendom van de oorspronkelijke eigenaar?

      Is het volgende dan ook geldig?

      gekochte waren mogen niet verhandeld worden -> koopovereenkomst is niet geldig -> gekochte waren zijn nog steeds eigendom van de oorspronkelijke eigenaar?

      Lijkt me een leuk excuus als je met drugs op zak wordt opgepakt.

  6. Ja Arnout, volgens mij mis je iets of kan het eenvoudig worden gespecificeerd. Je voorwaardelijke opzet aanpak lijkt me simpelweg toepasselijk. Je stuurt een robot met ondeugdelijk materiaal op pad, een ondeugdelijk algorithme in een ondeugdelijke omgeving. Dan vraag je als initiator van de actie om moeilijkheden. De kans op illegal praktijken is duidelijk aanwezig. De “robot’ is een instrument, zonder rechtspersoonlijkheid. de opdracht had in de lijn van Asimov had moeten zijn: ‘ en u verricht geen illegale handelingen. ; 2e wet Deze bepaling is ook van toepassing op opdrachten die deze handeling betreffen. groeten, Rob

  7. Floriaan Mathysen Gerst; De bot kan prima inget worden als niet juridische entiteit in ons straatbeeld en samenleving. Perfect om de veiligheid te vergroten en mensen te helpen die daar om vragen. Ik zie mogelijkheden te over. Groet, Floriaan Mathysen Gerst

Laat een reactie achter

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren en <em> en <strong> voor italics en vet.

(verplicht)

Volg de reacties per RSS