Mag een online game je bannen als hun algoritme zegt dat je je niet gedraagt?

league-of-legendsDe ontwikkelaars van het spel League of Legends, Riot, hebben een algoritme ontwikkeld waarmee ze spelersgedrag kunnen herkennen dat zeer problematisch is: lastigvallen van andere spelers, gescheld, doodsbedreigingen en seksisme. Dat las ik bij Ars Technica. Wanneer mensen klagen, evalueert het algoritme de klachten en het spelersgedrag, waarin (na de nu lopende testperiode) je automatisch een tijdelijke of permanente ban krijgt. Op het gevaar af de trollen te voeren: mag dat?

Wangedrag van spelers in online spellen is al jaren een probleem. Dat varieert van gescheld, homofobie en seksisme in de chat tot het op zeer irritante wijze je verbinding ‘kwijtraken’ net wanneer je op het punt staat te verliezen. Met name het lastigvallen van andere spelers, in het bijzonder van vrouwelijke spelers, is de laatste tijd zeer in de aandacht (gamergate) en steeds meer dienstverleners nemen stappen om hier iets tegen te doen.

De voor de hand liggende stap is een klachtensysteem, maar het afhandelen van klachten is buitengewoon tijdrovend voor mensen. Niets zo simpel immers als even een klachtknopje indrukken als iemand niet speelt zoals jij wil, of als iemand te goed bezig is. Plus, je krijgt altijd een subjectieve afweging van het gedrag: is dit gewoon een opgewonden uiting of een scheldpartij?

Een algoritme zou die subjectiviteit moeten vermijden, en bovendien kun je een algoritme opschalen zodat je altijd alle klachten kunt afhandelen. Geweldig dus, nooit meer vertraging en geen subjectieve mensen die wat van je vinden. Bovendien kan zo’n algoritme sneller doorkrijgen wat nieuwe scheldwoorden of vervelende uitdrukkingen zijn.

Alleen: als je de Wet bescherming persoonsgegevens erbij pakt, dan zie je dat dat eigenlijk niet mag. Art. 42 lid 1 Wbp bepaalt:

Niemand kan worden onderworpen aan een besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem in aanmerkelijke mate treft, indien dat besluit alleen wordt genomen op grond van een geautomatiseerde verwerking van persoonsgegevens bestemd om een beeld te krijgen van bepaalde aspecten van zijn persoonlijkheid.

Het idee hierachter is dat je niet wil dat mensen ineens in een “computer says no”-situatie terechtkomen op basis van een profiel. Op zijn minst moet er een mens kijken naar de uitkomst van het algoritme, en bij voorkeur wordt er ook eerst geluisterd naar de reactie van de betrokken persoon.

Geen hypotheek krijgen omdat het bank-algoritme zegt dat jouw soort mens een risico is, dat is onwenselijk. Of nee, onmenselijk, want het Cbp gebruikt geen kleine woorden:

De menselijke waardigheid vereist dat dergelijke beslissingen over iemand ook door een andere persoon, en niet slechts door een geautomatiseerd systeem, worden genomen.

Een algoritmische ban is mensonterend. Oef.

Specifiek in de situatie dat er een contract is tussen de partijen (zoals bij een online spel), biedt lid 2 van dit artikel enige hoop: als je reageert op input van de betrokken persoon of “passende maatregelen zijn genomen ter bescherming van zijn gerechtvaardigd belang”, dan mag het wél. Zo’n passende maatregel kan zijn dat je mensen bezwaar laat aantekenen of tegenbewijs laat leveren en er dan nog eens over nadenkt.

Het is me niet duidelijk of Riot een systeem heeft ingebouwd waarbij je kunt klagen over je ban of andere automatisch opgelegde maatregel. Natuurlijk, je kunt altijd de helpdesk mailen maar de ervaring bij veel online diensten is dat daar niet snel een inhoudelijke reactie op komt. (Dat was ook de hele reden voor het automatiseren, immers.)

Los daarvan, eigenlijk is het niet genoeg, eerst automatisch bannen en dán pas naar de reactie luisteren. Eigenlijk moet je eerst zeggen “ons algoritme zegt nee, wat heeft u daarop te zeggen” en pas daarna te beslissen. Maar ja, dan heb je dus toch weer een mens nodig bij elke overtreding en die waren we nu net aan het wegautomatiseren omdat dat niet werkt. Dus wat nu? Toch maar een mensonterend algoritme laten beslissen?

Arnoud

Hoe bewijs je je gelijk in een online game?

persoon-gebruiker-verbannen-bannedEen lezer vroeg me:

Laatst werd ik geband in een online spel, omdat ik volgens de beheerder onfatsoenlijk taalgebruik had gebruikt. Op mijn vraag wat dan, kreeg ik te horen dat logs vertrouwelijk zijn maar dat zij volgens de spelvoorwaarden altijd gelijk hadden. Kan dat zomaar?

Dergelijke situaties kom ik vaak tegen. Het is erg frustrerend voor spelgebruikers om te merken dat ze zomaar ineens verbannen zijn, al dan niet permanent, op basis van bewijs dat ze niet mogen inzien.

We hadden die recente discussie bij hosters die niet willen overleggen met hun gebruikers. Dit is in feite het omgekeerde perspectief: wat doe je als een bedrijf zegt “je zit fout, kickban, toedeledokie”.

Ik heb nog eens zitten denken over welke grond je nu kunt gebruiken tegen zo’n toedeledokie-opzegging. Volgens mij kom je met dit artikel van de grijze lijst een eind:

d. dat de gebruiker van zijn gebondenheid aan de overeenkomst bevrijdt of hem de bevoegdheid daartoe geeft anders dan op in de overeenkomst vermelde gronden welke van dien aard zijn dat deze gebondenheid niet meer van hem kan worden gevergd;

Opzeggen zonder genoemde grond of zonder ernstige grond (“kan niet worden gevergd”) door de gebruiker van de voorwaarden (de dienstverlener dus) is dus verdacht, en de dienstverlener moet dus bewijzen dat hij wél zomaar mag opzeggen zonder genoemde grond of op basis van iets triviaals. Dat geeft hem een achterstand maar een keihard verweer is het niet.

Maar goed, stel er staat iets in de AV van “geen onfatsoenlijk taalgebruik” of “verboden vals te spelen bv. met een bot“en men zegt “onze logs bewijzen dat je dat deed, ernstige en genoemde overtreding, toedeledokie”. Wat dan?

Allereerst is er de vraag of je het bewijs mag inzien. Dat lijkt me vrij evident vanuit mijn juridische onderbuik maar een specifiek artikel heb ik niet. Eisen dat iets gemotiveerd wordt met bewijs, zou ik alleen vanuit de algemene regels van redelijkheid en billijkheid kunnen onderbouwen. Of heel misschien via de Wbp – dan doe je een inzageverzoek voor persoonsgegevens over jou. Men is verplicht je die inzage te geven, maar dat is een apart traject los van de discussie of het bewijs terecht is.

Vervolgens zou je dan tegenbewijs willen leveren. Wellicht maak je filmpjes van alles dat je doet, en kun je die terugkijken om te zien of je werkelijk raar speelgedrag vertoonde. Art. 6:236 sub k BW zegt dat algemene voorwaarden niet mogen bepalen dat de gebruiker geen tegenbewijs kan leveren, of dat het bewijs van de dienstaanbieder altijd bindend is. Er moet dus ruimte zijn voor tegenbewijs.

Heb je geen tegenbewijs, dan houdt het vrij snel op denk ik. En soms ís het ook gewoon een vrije beoordeling; wanneer is taal onfatsoenlijk of wanneer is spelgedrag nu typisch iets voor een bot?

Arnoud