Mag een online game je bannen als hun algoritme zegt dat je je niet gedraagt?

league-of-legendsDe ontwikkelaars van het spel League of Legends, Riot, hebben een algoritme ontwikkeld waarmee ze spelersgedrag kunnen herkennen dat zeer problematisch is: lastigvallen van andere spelers, gescheld, doodsbedreigingen en seksisme. Dat las ik bij Ars Technica. Wanneer mensen klagen, evalueert het algoritme de klachten en het spelersgedrag, waarin (na de nu lopende testperiode) je automatisch een tijdelijke of permanente ban krijgt. Op het gevaar af de trollen te voeren: mag dat?

Wangedrag van spelers in online spellen is al jaren een probleem. Dat varieert van gescheld, homofobie en seksisme in de chat tot het op zeer irritante wijze je verbinding ‘kwijtraken’ net wanneer je op het punt staat te verliezen. Met name het lastigvallen van andere spelers, in het bijzonder van vrouwelijke spelers, is de laatste tijd zeer in de aandacht (gamergate) en steeds meer dienstverleners nemen stappen om hier iets tegen te doen.

De voor de hand liggende stap is een klachtensysteem, maar het afhandelen van klachten is buitengewoon tijdrovend voor mensen. Niets zo simpel immers als even een klachtknopje indrukken als iemand niet speelt zoals jij wil, of als iemand te goed bezig is. Plus, je krijgt altijd een subjectieve afweging van het gedrag: is dit gewoon een opgewonden uiting of een scheldpartij?

Een algoritme zou die subjectiviteit moeten vermijden, en bovendien kun je een algoritme opschalen zodat je altijd alle klachten kunt afhandelen. Geweldig dus, nooit meer vertraging en geen subjectieve mensen die wat van je vinden. Bovendien kan zo’n algoritme sneller doorkrijgen wat nieuwe scheldwoorden of vervelende uitdrukkingen zijn.

Alleen: als je de Wet bescherming persoonsgegevens erbij pakt, dan zie je dat dat eigenlijk niet mag. Art. 42 lid 1 Wbp bepaalt:

Niemand kan worden onderworpen aan een besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem in aanmerkelijke mate treft, indien dat besluit alleen wordt genomen op grond van een geautomatiseerde verwerking van persoonsgegevens bestemd om een beeld te krijgen van bepaalde aspecten van zijn persoonlijkheid.

Het idee hierachter is dat je niet wil dat mensen ineens in een “computer says no”-situatie terechtkomen op basis van een profiel. Op zijn minst moet er een mens kijken naar de uitkomst van het algoritme, en bij voorkeur wordt er ook eerst geluisterd naar de reactie van de betrokken persoon.

Geen hypotheek krijgen omdat het bank-algoritme zegt dat jouw soort mens een risico is, dat is onwenselijk. Of nee, onmenselijk, want het Cbp gebruikt geen kleine woorden:

De menselijke waardigheid vereist dat dergelijke beslissingen over iemand ook door een andere persoon, en niet slechts door een geautomatiseerd systeem, worden genomen.

Een algoritmische ban is mensonterend. Oef.

Specifiek in de situatie dat er een contract is tussen de partijen (zoals bij een online spel), biedt lid 2 van dit artikel enige hoop: als je reageert op input van de betrokken persoon of “passende maatregelen zijn genomen ter bescherming van zijn gerechtvaardigd belang”, dan mag het wél. Zo’n passende maatregel kan zijn dat je mensen bezwaar laat aantekenen of tegenbewijs laat leveren en er dan nog eens over nadenkt.

Het is me niet duidelijk of Riot een systeem heeft ingebouwd waarbij je kunt klagen over je ban of andere automatisch opgelegde maatregel. Natuurlijk, je kunt altijd de helpdesk mailen maar de ervaring bij veel online diensten is dat daar niet snel een inhoudelijke reactie op komt. (Dat was ook de hele reden voor het automatiseren, immers.)

Los daarvan, eigenlijk is het niet genoeg, eerst automatisch bannen en dán pas naar de reactie luisteren. Eigenlijk moet je eerst zeggen “ons algoritme zegt nee, wat heeft u daarop te zeggen” en pas daarna te beslissen. Maar ja, dan heb je dus toch weer een mens nodig bij elke overtreding en die waren we nu net aan het wegautomatiseren omdat dat niet werkt. Dus wat nu? Toch maar een mensonterend algoritme laten beslissen?

Arnoud