Mag een online spel bezorgd de politie naar je huis sturen?

Beetje raar verhaal: een Nederlandse League of Legends-speler kreeg bezoek van de politie na een tip van de maker van dat spel, las ik bij Numrush (dank, tipgever). Nee, geen reverse swatting van het bedrijf maar een stukje bezorgdheid: “Ze hebben ons laten weten dat je suïcidaal bent en daarom komen we een kijkje bij je nemen. Om te checken of alles goed met je gaat”, aldus de aanbellende agenten. En nee, dit waren ook geen medespelers of trollen in politiekostuum. Dus eh, wacht, wat krijgen we nou?

Numrush lijkt de oorzaak te hebben gevonden:

Soms gaat het niet zo lekker in de game, is hij aan het verliezen, en dan wil Xavieros zich nog wel eens uitdrukkingen met termen als “I want to kill myself” of “ow god please kill me”.

Daarnaast had hij mogelijk zich wel eens teneergeslagen geuit in de chat vanwege een hernia en andere frustraties. Dit leidde tot de conclusie dat het bedrijf berichten scant met algoritmes (of keywordscans) en bij bepaalde combinaties dan een suïcide-vermoeden concludeert en dan de autoriteiten inlicht. Wat ergens wel netjes voelt maar ook een tikje raar.

Mag het? Dit raakt aan persoonsgegevens, meer specifiek de zogeheten bijzondere persoonsgegevens van gezondheid en dergelijke. En die mag je als bedrijf eigenlijk helemaal niet verwerken. (Ik moet nu zeggen dat de GDPR of AVG hier streng op gaat zijn want dan verkoop ik meer boeken daarover, maar ook onder de Wbp mag dit eigenlijk al niet.)

Helemaal niet, nou ja er is een uitzondering: het zogeheten “vitaal belang” uit de Wbp en straks de AVG, zeg maar een dringende medische noodzaak. Ik citeer dat boek dan maar even, dan was die link geen reclame:

Een vitaal belang raakt aan het leven van die persoon. Te denken valt aan verwerkingen van medische gegevens bij een ongeval, of meer algemeen humanitaire doeleinden, onder meer voor het monitoren van een epidemie en de verspreiding daarvan of in humanitaire noodsituaties, met name bij natuurrampen of door de mens veroorzaakte rampen. Verwerking van persoonsgegevens op grond van het vitale belang voor een andere natuurlijke persoon is in beginsel alleen toegestaan indien de verwerking kennelijk niet op een andere rechtsgrond kan worden gebaseerd (overweging 46).

Een serieuze vrees dat iemand zichzelf om het leven gaat brengen, zou je kunnen zien als het dienen van een vitaal belang. De ultieme zaakwaarneming zeg maar. En het is vrij lastig in die situaties toestemming te vragen, waardoor dus deze route open staat.

Verdedigbaar dus, juridisch gezien. Maar het blijft gek aanvoelen. Ik weet niet hoe dit te zeggen zonder heel cru te klinken, maar is het echt zo’n reëel probleem specifiek bij online games, dat mensen daar een zelfdoding aankondigen en dat vervolgens uitvoeren ook? Is dat probleem zo groot dat het maatschappelijk relevant wordt dat aanbieders daar wat aan gaan doen? Ik heb denk ik iets gemist.

Arnoud

18 reacties

  1. Dit leidde tot de conclusie dat het bedrijf berichten scant met algoritmes (of keywordscans) en bij bepaalde combinaties dan een suïcide-vermoeden concludeert en dan de autoriteiten inlicht.

    Dat is wel even een hele stevige conclusie om te trekken. Stel dat ik mijn collega mail ‘de baas is stom’ en even later komt mijn baas langs om te vragen waarom ik hem stom vind. Wat is dan de conclusie die we trekken? 1) Onze mail word gescanned op woorden zoals ‘de baas is stom’ en trekt daar conclusies uit en meldt dat mijn baas 2) Mijn collega heeft mijn mail naar de baas geforwarded.

    Ook in dit geval vind ik de conclusie ‘er zitten algoritmes achter’ wel een hele grote stap. Veel waarschijnlijker is dat een medespeler zijn zorgen heeft geuit over deze man en dat op basis van zo’n raport een community medewerker zijn chatgeschiedenis heeft teruggekeken en daarop de beslissing nam om de politie in te lichten.

    Persoonlijk heb ik een keer zo’n melding gedaan richting een gamebedrijf, een medespeler kwam bijzonder depresief over en zei regelmatig dingen als ‘als ik dit niet win maak ik mijzelf van kant’. En dat het niet perse bij woorden bleef in die game bleek wel toen een andere medespeler enkele jaren later zich voor de trein wierp omdat hij zijn gameverslaving niet meer in de hand had.

    1. Mee eens dat de conclusie dat er aan scannen van berichten wordt gedaan nogal snel gemaakt wordt. Hoewel deze post over League of Legends en ontwikkelaar Riot gaat, is dit niet het enige bedrijf waar men de politie informeert als iemand zich suicidaal gedraagt. Blizzard (World of Warcraft) doet dit ook, maar hier is algemeen bekend dat dit gebeurt naar aanleiding van meldingen van spelers. Wie in World of Warcraft een support ticket opent naar een “GM” kan kiezen voor een onderwerp en als gekozen wordt voor het rapporteren van potentieel suicidaal gedrag, dan wordt dit ticket direct vooraan de wachtrij geplaatst zodat het snel wordt opgepikt.

  2. Arnoud, we vinden het wenselijk dat Facebook en consorten ACTIEF iets ondernemen tegen zelfmoord (en andere dreigende onwenselijke zaken).

    Facebook roept actief op meteen de hulpdiensten te bellen als je zelfmoordneigingen vermoedt, en blijkbaar (USA TODAY, 1 maart 2017): ‘Wednesday, Facebook announced it will integrate real-time suicide prevention tools into Facebook Live’

    Ik zie niet direct een fundamenteel verschil tussen de communicatiemogelijkheden binnen een game, en op Facebook.

    De vraag is dus eerder: Waarom vindt je het bij Facebook niet vreemd, en bij een game wel?

    1. Ik vind het bij Facebook juist vreemder. Facebook presenteert zich als communicatieplatform, en daardoor zou je neutraliteit en afstandelijkheid verwachten. Zo’n gamer heeft ook een hoop directe interactie met de game, en daarmee met het bedrijf dat daar achter zit.

  3. Ja, dit soort dingen komen helaas echt voor: Bunniker (14) pleegt zelfmoord na hackactie.

    Een 14-jarige jongen uit Bunnik (provincie Utrecht) heeft zichzelf vorige week opgehangen nadat zijn account van de populaire online-game RuneScape was gehackt door een vriend. Voor hij zelfmoord pleegde, plaatste de jongen nog een bericht op de website van zijn gameclan […].

    Niet iedereen kan op een gezonde manier met games omgaan, en gameverslaving is een echt probleem. Ik vind het niet onlogisch dat gameproducenten hier iets aan willen doen, en volgens mij is League of Legends lang niet de enige die dit doet.

  4. Wat betreft je laatste vraag, zelfdoding lijkt me een onderwerp dat je ook als het maar om kleine aantallen gaat moet aanpakken. Ik heb geen idee hoe nauwkeurig je uit wat iemand in zo’n game zegt kan afleiden of het daadwerkelijk om suïcidale gedachten gaat, maar dit lijkt me eentje waar je liever een keer te vaak de politie inschakelt dan te weinig. Ook als het niet een acuut gevaar is, dan nog kan het voor iemand net het zetje zijn dat ze nodig hebben om hulp te zoeken.

  5. Wat is de afweging hier? Privacy van iemand versus gezondheid van diezelfde persoon. Als het alleen om informeren gaat denk ik dat dit bedrijf goed bezig is. Het voelt wellicht gek, maar ik waardeer de verantwoordelijkheid die men neemt naar haar klanten. Dat ze er soms naast zitten, is vervelend, maar heeft weinig implicaties en is in dit geval voor mij acceptabel, mits dit enigszins prudent gebeurt. Dat lijkt hier het geval.

    1. Met privacy opgeven voor de gezondheid geef je legitimatie voor het schandpalen van iedere roker, of snoeper. Als het werkt zoals hierboven beschreven is, wordt de actie aangestuurd door gewone menselijke interactie: het is vooral de gemeenschap van gebruikers en personeel die aan de bel trekt (voor een van de hunne). Op tekst-scans waar mensen gepakt worden op toevallige kreten zit niemand te wachten.

  6. maar is het echt zo’n reëel probleem specifiek bij online games, dat mensen daar een zelfdoding aankondigen en dat vervolgens uitvoeren ook? Is dat probleem zo groot dat het maatschappelijk relevant wordt dat aanbieders daar wat aan gaan doen?

    Ja, dit is echt een reëel probleem. Ik heb gedurende meerdere jaren voor verschillende online games als moderator gewerkt en er was altijd iemand aanwezig die de publieke chats mee las. Bij elk van de bedrijven waar ik voor gewerkt heb, waren hele procedures aanwezig, per land waar het spel gespeeld kon worden, wat er moest gebeuren bij het vermoeden van zelfdoding of medische noodzaak. Hierdoor zijn ook al meerdere keren levens gered.

    Wat je tegenwoodig veel ziet is dat mensen die zich sociaal buiten gesloten voelen, zich gaan richten op online games, omdat ze daar kunnen zijn wie ze maar willen en daardoor opeens wel vrienden kunnen maken, terwijl ze in het echte leven heel introvert zijn en/of constant gepest worden. Deze problemen bespreken ze dan ook vaak in publieke chats en heel soms in prive berichten. Bij prive berichten wordt er alleen maar meegelezen als één van beide partijen aangeeft dat er in die chat iets gebeurd waarop ingrijpen vereist is (denk aan bedreigingen, maar dus ook aankondigingen van zelfdoding).

    Veel uitgevers werken op deze zelfde manier, het is dus bijna altijd een menselijke beslissing om autoriteiten in te schakelen en als jij zelf in een publieke ruimte aangeeft dat je jezelf wat wilt aandoen, zie ik daar geen problemen mee. Ook in de privé chats lijkt me dit geen probleem, aangezien een partij uit het gesprek zelf vraagt om voor hem op te treden.

    1. Ik kan je uit ervaring zeggen dat het niet alleen online games zijn, maar dat online chat forums in het algemeen een aantrekkingskracht hebben op personen die in het dagelijks leven buitengesloten worden. Op zich goed dat er groepen zijn waarin deze individuen kunnen functioneren. (Als gewaardeerde leden, omdat zij hun Internet-aanwezigheid boven hun aanwezigheid in het gewone leven stellen.) Voor buitenstaanders kan het gedrag op “Internet-verslaving” lijken.

      Lang niet alle spelers van online games vertonen dit gedrag, maar gelet op de aantrekkingskracht op instabiele persoonlijkheden is het niet gek dat de organisator van een online forum reageert op serieuze signalen dat het met een van de bezoekers zeer slecht gaat; net zo als scholen horen te reageren op signalen van pesten en mishandeling.

  7. League of Legends heeft een interessante historie. User A: Oh you’re insane, you’re crazy, you’re messed up in the head Justin Carter: Oh yeah, I’m real messed up in the head, I’m going to go shoot up a school full of kids and eat their still, beating hearts. Justin Carter: LOL Justin Carter: jk [read: joke] Iemand rapporteerde deze woordenwisseling en Justin Carter mocht 8 jaar de bak in wegens “terroristische dreiging”. Cru: Hij zit nu op de “suicide watch” in de gevangenis.

    http://forums.na.leagueoflegends.com/board/showthread.php?t=4583031&page=1 “League of legends is making me suicidal”

    Instant Riot response, police incoming, negotiation teams on their way.

    http://forums.na.leagueoflegends.com/board/showthread.php?t=4375484 “Stuck in TRUE Elo Hell; committing suicide”

    Do it, I want to read an article about some chump offing themselves over a game again. (strafbare uitlating?)

    http://i.imgur.com/WrfBqQp.png

    If we lose this one, I will suicide no kidding.

    http://kotaku.com/league-of-legends-pro-attempted-suicide-after-tournamen-1542880793

    League of Legends player Cheon “Promise” Min-Ki is in serious condition today after reportedly jumping from a twelve-story building and ending up in a coma. According to several Korean news reports, this comes after he revealed alleged eSports match-fixing.

    https://www.reddit.com/r/offmychest/comments/2m7nbm/updatemyfriendattemptedsuicideoverleague_of/

    Dave’s brother called me today. He’s dead. He jumped out of the window of his room at the hospital, at the third floor. […] he kept mumbling about League of Legends in the hospital.

    https://dotesports.com/league-of-legends/league-of-legends-suicide-china-203

    How serious is video game addiction? The American Psychiatric Association is considering officially recognizing the disorder, and the U.S. wouldn’t be the first country to do. Whether you consider it a legitimate illness or just a symptom of “kids being kids,” one thing is clear—when gaming messes with personal health and safety, it should be taken seriously. Nowhere is this more evident than in China, where an argument over gaming addiction recently preceded a double suicide.

    https://www.hackread.com/youth-kills-himself-losing-league-of-legends-game/

    A 13-year-old boy died less than 24 hours after being found in his father’s room with a coiled rope around his neck and in front of a computer. The family has suspected that the incident is related to the challenge of an online game which Gustavo Riveiros Detter was playing with friends.

    http://forums.na.leagueoflegends.com/board/showthread.php?t=4665860

    OWEVER, does that give the right for someone to tell me to commit suicide? I already suffer from depresssion. I came to league as a way to escape, just to find people trying to tell me I should kill myself. I might seem a little childish, but is that really what this community is becoming or has become? I don’t feed every game, I rarely do.

    Riot Games heeft naast een publieke verantwoordelijkheid ook een economische verantwoordelijkheid naar haar stakeholders: Het spel staat bekend als frustrerend, verslavend, en heeft een zeer negatieve community. Zelfmoorden naar aanleiding van het spel kan de reputatie (en inkomsten) ernstige schade toebrengen.

    1. Het is natuurlijk wel zo, dat het erg moeilijk is om zo’n imago om te buigen. De negatieve community jaagt iedereen er uit die niet mee doet. En als iedere onderzoeker van gamer-ellende jouw platform uitkiest, is je imago natuurlijk gegarandeerd naar de knoppen (Je kunt vast ook wel geweldadige opmerkingen op Minecraft of Candy Crush tegenkomen).

  8. Laten we ook niet vergeten dat Riot Games dit ook niet zomaar doet natuurlijk. Zij zijn ook gamers, dus we weten af van de meeste, “domme” uitspraken die gamers doen. Dat ze aan de bel trekken betekent dat wel een vrij hoge drempel gepasseerd is.

    Xavieros mag dan misschien zelf niet denken dat er veel aanleiding was aan de hand van zijn opmerkingen, maar als persoon in kwestie heb je vaak niet door hoe je overkomt op anderen.

    Al met al, inderdaad gek dat Riot Games actief de politie heeft ingeschakeld, maar ik ben er wel blij mee. En ook kudo’s aan de politie over hoe ze het opgepakt hebben. En voor de beste Xavieros, nadenken voor je op ‘Enter’ duwt 😉 Een iets positievere inslag kan geen kwaad.

  9. Heel ander aspect: het is mogelijk in het vitaal belang van suïcidale spelers dat de politie van hun geestesgesteldheid verwittigd wordt, maar dat geldt niet voor de overgrote meerderheid van de spelers wiens gedragingen eveneens gemonitord moeten worden om suïcidaliteit te bepalen.

    Iedere actie met een persoonsgegeven is een verwerking. Ieder oordeel over geestesgesteldheid (ook een normale, of een met variaties binnen normbandbreedten) is een verwerking van een bijzondere persoonsgegevens. Zonder vitaal belang geen grondslag. Ergo: onrechtmatige verwerking.

      1. Ik denk het niet. ‘Vitaal belang’ ziet echt op rechtstreeks levensbelang van verwerking van gegevens van de betrokkene zelf, niet op levensbelang van een ander.

        Ook vanuit proportionaliteit kom ik tot een andere conclusie. Het levensbelang is zeer indirect, het gaat om zeer weinig potentieel suïcidalen op zeer veel niet-suïcidalen (procenten? promillen? tienden van promillen?), de trefzekerheid van de analysemethode is onomstreden althans wetenschappelijk onvoldoende onderbouwd, het suïcide-verhinderend effect van verwittigen van politie is onbekend. Daartegenover staat dat hoogst gevoelige gezondheidsindicerende gegevens van álle gebruikers verwerkt worden. De keywords zijn immers aan individuen gekoppeld, zeggen daar wat over en zijn evident tot die individuen te herleiden (anders kon de politie immers niet verwittigd worden). Voor de conclusie ‘suïcidegevaar’ moet wel een beoordeling van allen gemaakt worden. Dat bergt principieel grote privacyrisico’s in zich, ook al zijn de praktische risico’s te beperken.

        Bovendien is het maar de vraag of er niet minder ingrijpende wegen te bewandelen zouden zijn. Men zou bijvoorbeeld alle nieuwe deelnemers toestemming voor deze analyse kunnen vragen. Men zou in plaats van politie bv. GGZ-artsen (met medisch beroepsgeheim, expertise aangaande suïcide en -preventie en dossiertoegang bij bekende gevallen) in kennis kunnen stellen. Enzovoorts.

        1. Voor zover ik weet is de prevalentie van suïcide bij gamers significant groter dan bij niet-gamers. Dat zou er voor pleiten dat game-aanbieders een grotere zorgplicht op zich moeten nemen cq dat men eerder aan de proportionaliteit zit dan bij andere dienstverlening.

          Toestemming werkt niet bij dit soort dingen. Wie in dergelijke gedachten zit, zal die sneller weigeren want je wilt niet opvallen/tegengehouden worden. Je moet dus wel via indirecte gronden zoals dat vitaal belang werken. En het probleem met artsen is dat die niet op basis van een tip gauw ergens langs gaan, de politie doet dat wel als je 112 belt.

          Wat is het principiële risico? Dat ik onterecht bezorgde agenten dan wel ggz-artsen langs de deur krijg en een dossier-aantekening “potentieel suicidaal” krijg?

          1. Het principiële risico: ‘Welke last kan iemand ervaren als derden te weten komen hoe zijn depressiviteit/suïcidaliteit wordt ingeschat?’ Ik zie potentiële gevolgen voor verzekeringspremies, hypotheekverstrekking, verder gebruik van de gameportal, stigmatisering in de gemeenschap, afpersing, verdere stimulering van de drang, enzovoorts.

            En als de informatie niet bij derden maar alleen bij de bedoelde ontvangers terechtkomt: tot welke vragen van de omgeving leidt politebezoek aan de deur, die ze mogelijk inrammen als je niet open doet, want ja levensgevaar? Wat betekent het dat je bij de politie gesignaleerd staat, mag je nog vliegen? Krijgen buitenlandse inlichtingendiensten deze info ook? Bij gevaar voor jezelf kun je tegen je zin opgenomen en behandeld worden – hoe verweer je je tegen een mogelijk verkeerde inschatting, zeker als de onderliggende methodiek onbekend is? Enzovoorts.

            Toestemming werkt mogelijk niet op het moment dat er al sprake is van eeen toegenomen risico. Mogelijk, want het is niet gezegd dat men dan daadwerkelijk hulpmijdender is. Maar toestemming kan wel vooraf gevraagd worden bij aanmelding voor zo’n spel.

            Nog een andere vraag: is suïcidepreventie een politietaak? Wat zijn de kosten per qaly? Win je er niet meer met verkeershandhaving of narcoticarecherche?

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.