Mag een online game je bannen als hun algoritme zegt dat je je niet gedraagt?

league-of-legendsDe ontwikkelaars van het spel League of Legends, Riot, hebben een algoritme ontwikkeld waarmee ze spelersgedrag kunnen herkennen dat zeer problematisch is: lastigvallen van andere spelers, gescheld, doodsbedreigingen en seksisme. Dat las ik bij Ars Technica. Wanneer mensen klagen, evalueert het algoritme de klachten en het spelersgedrag, waarin (na de nu lopende testperiode) je automatisch een tijdelijke of permanente ban krijgt. Op het gevaar af de trollen te voeren: mag dat?

Wangedrag van spelers in online spellen is al jaren een probleem. Dat varieert van gescheld, homofobie en seksisme in de chat tot het op zeer irritante wijze je verbinding ‘kwijtraken’ net wanneer je op het punt staat te verliezen. Met name het lastigvallen van andere spelers, in het bijzonder van vrouwelijke spelers, is de laatste tijd zeer in de aandacht (gamergate) en steeds meer dienstverleners nemen stappen om hier iets tegen te doen.

De voor de hand liggende stap is een klachtensysteem, maar het afhandelen van klachten is buitengewoon tijdrovend voor mensen. Niets zo simpel immers als even een klachtknopje indrukken als iemand niet speelt zoals jij wil, of als iemand te goed bezig is. Plus, je krijgt altijd een subjectieve afweging van het gedrag: is dit gewoon een opgewonden uiting of een scheldpartij?

Een algoritme zou die subjectiviteit moeten vermijden, en bovendien kun je een algoritme opschalen zodat je altijd alle klachten kunt afhandelen. Geweldig dus, nooit meer vertraging en geen subjectieve mensen die wat van je vinden. Bovendien kan zo’n algoritme sneller doorkrijgen wat nieuwe scheldwoorden of vervelende uitdrukkingen zijn.

Alleen: als je de Wet bescherming persoonsgegevens erbij pakt, dan zie je dat dat eigenlijk niet mag. Art. 42 lid 1 Wbp bepaalt:

Niemand kan worden onderworpen aan een besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem in aanmerkelijke mate treft, indien dat besluit alleen wordt genomen op grond van een geautomatiseerde verwerking van persoonsgegevens bestemd om een beeld te krijgen van bepaalde aspecten van zijn persoonlijkheid.

Het idee hierachter is dat je niet wil dat mensen ineens in een “computer says no”-situatie terechtkomen op basis van een profiel. Op zijn minst moet er een mens kijken naar de uitkomst van het algoritme, en bij voorkeur wordt er ook eerst geluisterd naar de reactie van de betrokken persoon.

Geen hypotheek krijgen omdat het bank-algoritme zegt dat jouw soort mens een risico is, dat is onwenselijk. Of nee, onmenselijk, want het Cbp gebruikt geen kleine woorden:

De menselijke waardigheid vereist dat dergelijke beslissingen over iemand ook door een andere persoon, en niet slechts door een geautomatiseerd systeem, worden genomen.

Een algoritmische ban is mensonterend. Oef.

Specifiek in de situatie dat er een contract is tussen de partijen (zoals bij een online spel), biedt lid 2 van dit artikel enige hoop: als je reageert op input van de betrokken persoon of “passende maatregelen zijn genomen ter bescherming van zijn gerechtvaardigd belang”, dan mag het wél. Zo’n passende maatregel kan zijn dat je mensen bezwaar laat aantekenen of tegenbewijs laat leveren en er dan nog eens over nadenkt.

Het is me niet duidelijk of Riot een systeem heeft ingebouwd waarbij je kunt klagen over je ban of andere automatisch opgelegde maatregel. Natuurlijk, je kunt altijd de helpdesk mailen maar de ervaring bij veel online diensten is dat daar niet snel een inhoudelijke reactie op komt. (Dat was ook de hele reden voor het automatiseren, immers.)

Los daarvan, eigenlijk is het niet genoeg, eerst automatisch bannen en dán pas naar de reactie luisteren. Eigenlijk moet je eerst zeggen “ons algoritme zegt nee, wat heeft u daarop te zeggen” en pas daarna te beslissen. Maar ja, dan heb je dus toch weer een mens nodig bij elke overtreding en die waren we nu net aan het wegautomatiseren omdat dat niet werkt. Dus wat nu? Toch maar een mensonterend algoritme laten beslissen?

Arnoud

17 reacties

  1. Ik zie het probleem niet. Het is hun spel, zij bepalen de regels. Staan hun regels je niet aan, zoek een ander spelletje. Maar nu beschouw ik mezelf niet als diehard gamer en zal mijn leven niet vergaan als ik om wat voor reden een ban krijg bij een spelletje. Nog afgezien waarom ik überhaupt een ban zou moeten krijgen: het uitschelden van medespelers ligt niet in mijn aard.

    1. Ik ken het spel niet maar ik vermoed dat het niet gedaan wordt door een stel vrijwilligers maar dat spelers moeten/kunnen betalen om te spelen.

      Zodra je betaald, is er natuurlijk sowieso een probleem als je daarna niet meer mag spelen. De AH pakt ook niet jouw gekochte pak melk af.

      Zelfs als je niet betaalt, is het twijfelachtig om maar te zeggen dan speel je maar iets anders.

      Ik ben het wel met je eens dat de consequentie van een ban voor zo’n spel minder groot is dan voor het krijgen van een hypotheek of verzekering.

      Ik denk dat als het algoritme ook uitleg geeft waarom je een ban hebt en je vervolgens (snel!) in beroep kan dat het een prima oplossing is.

      1. League of legends is een free to play spel met micro transacties. Niet dat dit het probleem minder maakt, integendeel, ik zou zeggen dat het probleem dan erger is. Immers betaal je dan niet om te mogen spelen, waar je simpelweg mee stopt als je een ban krijgt. Je betaald voor items die je in het spel kan gebruiken, waar je dan geen toegang meer tot hebt.

        Overigens gebeurt bannen in World of Warcraft niet automatisch, maar ook daar vind ik persoonlijk het systeem problematisch. Alhoewel WoW pay2play is, betaal je daar ook voor het innitiele spel, de expansies en in-game cosmetische items. Wordt je vervolgens van de dienst gebanned heb je dus een spel gekocht dat nutteloos is geworden.

        Tegen die ban kan je wel protesteren, maar bewijs van hun ongelijk aanleveren kan je niet! Je kan slechts zeggen dat je het er niet mee eens bent en dan kijkt iemand nog eens naar de beslissing. Aangezien men echter behalve een brede categorie nooit specifiek aangeeft waarvoor je de ban krijgt en wanneer je die dingen gedaan zou hebben kan je nooit tegenbewijs aanleveren. Lijkt mij onacceptabel voor een betaald product, maar wellicht ben ik alleen in deze mening?

        Hoe is vreemd dat ze weigeren bewijs aan te leveren. Immers ergens in hun bestanden hebben zij dus gegevens van gedragingen die ze aan jou toeschrijven. Mij lijkt het dat je op grond van de wbp het recht hebt om deze in te zien en deze te corrigeren. Helemaal als er financiele gevolgen aan de beslissing hangen. (alle ingame items ben je kwijt ook als je het spel opnieuw koopt en een nieuw account maakt en vooruitbetaalde speeltijd krijg je niet terug en je kan tot een jaar vooruit betalen!)

        Wat zijn overigens juridisch je mogelijkheden om vooruitbetaalde speeltijd terug te krijgen? Blizzard weigert dan immers de diensten waarvoor jij hebt betaald te leveren? Ik weet dat ze credit card chargebacks niet aanvechten in dit soort gevallen, maar dat werkt alleen als je vlak na aankoop van de speeltijd een ban krijgt aangezien je voor de eerst volgende nota bij je CC moet de betaling moet betwisten.

        Een algoritme dat automatisch bant, maar waarbij je wel informatie krijgt en de mogelijkheid om tegenbewijs te leveren, lijkt mij een redelijker systeem dan wat Blizzard nu doet, zeker bij een free to play spel, waarbij je geen betaalde speeltijd kwijtraakt in de periode dat je een ban hebt.

    2. Ik vind het storend dat deze gedachtengang – “ja maar, het is hún platform” – steeds wijdverbreider lijkt te worden, ook in Nederland. Afgezien van dat deze redenering compleet de plank misslaat op ethisch gebied, is het ook gewoon simpelweg niet wáár.

      Een online spel, net als ieder ander (sociaal) platform, is een gezamenlijke inspanning; het bedrijf erachter levert dan misschien de hosting en de assets, maar de “userbase” is wel degelijk een essentieel onderdeel van het platform. Zonder spelers heb je geen MMOG, zonder gebruikers heb je geen sociaal netwerk, en zonder klanten heb je geen bedrijf. Zij zijn uiteindelijk degenen die de “sociale content” en de financiële investeringen leveren, om het zo maar te zeggen.

      Het is dus niet “het platform van de dienstverlener”, maar een gezamenlijke inspanning van zowel dienstverlener als gebruikers. Beide groepen leveren een bijdrage aan de ontwikkeling van het platform, op verschillende vlakken. Het is dan ook niet meer dan redelijk om (vanuit juridisch oogpunt) te verwachten dat er redelijk en respectvol met elkaar omgegaan wordt, in beide richtingen. Een onevenwichtige machtsverhouding is hier totaal niet op zijn plaats.

      Dit, in combinatie met ethische overwegingen, lijkt mij dan ook de reden dat Nederland historisch gezien vrij goede “burgerbeschermingen” biedt – zowel op het gebied van consumentenrecht, als privacy, etc. Het afbreken van deze beschermingen moeten we niet willen.

  2. Het lijkt een beetje op beschikkingen nemen met behulp van geautomatiseerde systemen, zoals bij de afhandeling van verkeersboetes gebeurt en bij beschikkingenfabrieken als Studiefinanciering. Daar is ook de regel: de computer neemt de beslissing, en als jij het er niet mee eens bent dan piep je maar – en dan moet je soms heel hard piepen om een menselijke beoordeling te krijgen. Als we dat in het bestuursrecht acceptabel vinden, waarom dan niet in een privaatrechteljke relatie waarin je dit contractueel kunt afspreken?

    1. Het is maar de vraag in hoeverre we dat accepteren. De ombudsman bijvoorbeeld is op dit punt ook uiterst kritisch.

      In ieder geval zijn in de situaties die je noemt wel “passende maatregelen genomen ter bescherming van zijn gerechtvaardigd belang”. Er zijn duidelijke bezwaarmogelijkheden. Voorts is het de betrokkene inzichtelijk op grond van welke overwegingen is beschikt en wat de bewijsmiddelen zijn. Dergelijke transparantie ontbreekt in andere gevallen nogal eens.

  3. Interessant dat het voor de menselijke waardigheid noodzakelijk wordt geacht dat beslissingen over jou door een mens worden gemaakt, en niet door een computer. Ik zie het zelf anders.

    Ik zie in de wereld van crypto-currencies (bijv. Bitcoin) een ontwikkeling in de richting van “smart contracts”: dat zijn contracten die worden geëvalueerd door een computeralgoritme, en waarvan de uitkomsten ook worden afgedwongen door dat computeralgoritme. Het contract zelf wordt dan geschreven in een soort programmeertaal. Het grote voordeel boven reguliere contracten is dat deze contracten extreem voorspelbaar en betrouwbaar zijn: je hoeft bijv. niet af te wachten “wat een rechter er van vindt”. Het grote nadeel is een gebrek aan flexibiliteit: als je bij het maken van het contract bepaalde aspecten over het hoofd hebt gezien, dan zou de uitkomst wel eens heel erg onredelijk kunnen worden.

    Volgens mij zijn er twee dingen die “computer says no” onmenselijk maken: 1. Er wordt een beslissing over jou genomen: je verliest dus autonomie over (een stukje van) je leven. 2. Je begrijpt niet op welke manier de beslissing tot stand is gekomen (het zou wel eens een heel domme/onredelijke manier kunnen zijn) Deze twee problemen zijn niet beperkt tot computers.

    Probleem 2 kan aangepakt worden door de gebruikte algoritmes open source, verifieerbaar en eenvoudig te maken. Probleem 1 kan aangepakt worden door mensen zo veel mogelijk vrij te laten om over zichzelf beslissingen te nemen. Dit is niet altijd mogelijk; in dat geval is het een-na-beste alternatief dat mensen vrijwillig (vooraf) afspraken maken met anderen, en zich daar ook aan houden. Als mensen dat niet doen, dan zouden ze, waar dit tot problemen zou kunnen leiden, interactie uit de weg moeten gaan; waar dat niet mogelijk is, is het laatste lapmiddel om beslissingen via de democratische weg te nemen.

    In het geval van online games, lijkt het me nuttig om die algoritmes open source en verifieerbaar te maken. Verder: aangezien de algoritmes tot doel hebben om het leven van goedwillende gamers prettiger te maken, en aangezien er niet 1 algoritme is dat bewijsbaar “het enige juiste” algoritme is, zou je, indien mogelijk, spelers in staat moeten stellen om nieuwe communities op te zetten waarin ze hun eigen algoritme definiëren. Je aansluiten bij een community komt overeen met het accepteren van het bijbehorende algoritme; de prettigste algoritmes zullen de meeste gebruikers aantrekken.

    1. Het grote probleem met computer says no is dat er bij een computer geen ruimte is voor verzachtende/veranderende omstandigheden. Het leven is niet zwart-wit en er zijn dus maar weinig zaken die je ook echt zwart-wit (0/1) af kan handelen.

      Zo is het verboden om te hard te rijden maar als ik met een zieke met spoed naar het ziekenhuis ga dan is de kans groot dat de boete wordt kwijtgescholden.

      Ook bij een zakelijk contract kan er een bijvoorbeeld een harde oplever-deadline zijn maar als er gedurende het project nieuwe eisen bij komen (nieuwe functie in een website) dan zal je op basis van redelijkheid moeten kijken of er echt te laat is opgeleverd en zo ja, hoeveel te laat dan. Dit soort zaken kan je niet in programmeren.

  4. Ik heb dit 4 jaar geleden meegemaakt toen ik werd beboet door een geautomatiseerd systeem. Ik had een fietsdrager achter op mijn auto en kreeg vervolgens een bekeuring omdat het systeem vond dat ik met misdroeg. Later bleek dat het systeem dacht dat ik een aanhangwagen had in plaats van een fietsendrager. Na heel veel juridisch strijd hebben we ons geld toch niet teruggekregen…

  5. Als spelers klagen, en het geautomatiseerde systeem dan besluit de ban toe te passen, is er niets aan de hand. De Klager (degene die op de ‘dit is spam’ knop drukt), is degeen die de ban initieert, en die actie wordt door het algoritme goedgekeurd. In World of Warcraft werkt dat ook zo, iemand kan uit een party worden gegooid bij meerderheid van stemmen. Het algoritme verwijderd de speler, nadat de spelers daarom hebben gevraagd. Hoe ingewikkeld of simpel het controlemechanisme ook is, het wordt geinitieerd door een mens, die op het ‘report abuse’ knopje drukt.

    1. Dat wil Riot straks dus anders gaan doen, en pro-actief iedereen die een verkeerd scheldwoord typt, een foto van een blote tiet plaatst of zich onsportief gedraagt op LoL gelijk al gaan bannen.

      Dus ook als andere spelers er geen aanstoot aan nemen of zich er totaal niet aan storen.

  6. Een algoritme kan prima werken om te ondersteunen. Zet gebruikers gewoon even in een wachtstand, zodat je tijd hebt om het uit te zoeken. 9 van de 10 gebruikers die zo in de wachtstand komen, weten heus wel dat ze over de schreef zijn gegaan en die zul je niet meer horen. De 10e waarbij het algoritme te streng is geweest, kun je dan alsnog handmatig beoordelen en weer activeren.

    Kortom, het een sluit het ander niet uit. Sterker nog, door de no-brainers door een algoritme eruit te pikken, hou je meer tijd (dus aandacht) over voor de echte gevallen.

  7. Ik vind het artikel van WBP niet toepasbaar op het automatisch bannen van trolls, grievers en spammers. Niet in aanmerking komen voor een hypotheek is iets dat u in aanmerkelijke mate treft. Toegang verliezen tot een 3$ virtueel zwaard is niet aanmerkelijk. Daarnaast is het niet “verhandeling van persoonsgegevens” om te kijken hoe vaak een spelersaccount geblokkeerd wordt na initiatie van Privé Berichten. IPs worden hoogstens opgeslagen in lijn met “noodzakelijk voor de technische werking van de site/applicatie en qua tracken onschadelijk.”

    Een oplossing: Zet spelers met dezelfde reputatie op dezelfde server. Dan kunnen de trolls gezellig andere trolls trollen.

    Naast het bekende “Computer says No!” nu ook “Computer says you look like an ape!”: http://www.theguardian.com/technology/2015/may/20/flickr-complaints-offensive-auto-tagging-photos

    1. Snap wat je zegt maar dat is wel erg subjectief. Voor mensen die langdurig een online spel spelen, is het wel degelijk een behoorlijke klap om ineens geband te worden. Zeker als je maanden aan tijdsinvestering en vele honderden euro’s aan aankopen erin hebt zitten. En het gaat niet alleen om geld. Als ik na vijf jaar uit de biljartclub wordt gezet omdat hun algoritme zeg dat ik nooit kampioen zal worden, dan raakt me dat ook heel erg. De grens ligt dus ergens tussen een hypotheek en een zwaard van drie dollar, maar waar?

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.