In strijd met het goed fatsoen – maar wiens fatsoen?

cartoon-new-yorker-mick-stevensVandaag weer even een filosofisch iets, en dat mag want ik ben jarig. Ik las een intrigerend artikel in de NY Times:

Impermium, a Silicon Valley company that helps Web sites deal with unwanted reader comments, has begun marketing technology that identifies “all kinds of harmful content — such as violence, racism, flagrant profanity, and hate speech — and allows site owners to act on it in real-time, before it reaches readers.” Impermium will police the readers — but who will police Impermium?

Steeds meer handhaving van regels en normen gebeurt automatisch. En wanneer je dat wilt doen, moet je harde regels invoeren anders kan de computer er niks mee. Voor IT-ers is het dus doodnormaal dat je normen vertaalt naar criteria en die vervolgens inprogrammeert en handhaaft.

Maar juristerij werkt niet zo. Neem bijvoorbeeld het citaatrecht: je mag “niet meer dan nodig” overnemen. Hoe veel tekens dat is, hangt dus af van wat je overneemt en waarom. Dat is niet te programmeren. Vragen “hoe veel tekens mag je overnemen” is dus een juridisch niet te beantwoorden vraag. Toch komt ‘ie bij mij bijna wekelijks langs, en mensen willen dan graag gewoon horen dat het 200×150 is mits met bronvermelding. Want dan kunnen ze hun botje en plaatjesverkleinscript afronden en de site live zetten.

Een ander voorbeeld dat men noemt is de autocomplete/autosuggest functie van Google. Woorden die rieken naar seks of onwelvoeglijkheid of ongepastheid naar Amerikaanse normen en waarden, worden niet aangevuld. Wie “amateu” intypt, krijgt er geen r bij want dat kan wel eens tot porno leiden. En nou ja dat is vast meestal ook wel zo, maar hoe wéét je dat als algoritme?

Een vergelijkbaar probleem doet zich voor bij de breinbotjes – ik bedoel de auteursrechthandhavingsagents die het internet afschuimen en sites een notice & takedown sturen op basis van automatisch getrokken conclusies. Dat gaat niet per se goed, zie dit artikel waarin een volledig legale livestream van de Hugo awards offline werd gehaald door zo’n automatische actie.

Gaat dat ooit werken, met algoritmes normen handhaven? Ik zie het niet gebeuren.

En zelfs wanneer je het aan mensen overlaat, loopt het niet per se lekker. Neem het plaatje rechtsboven (tekening van Mick Stevens). Gewoon een cartoon zou je zeggen, maar deze cartoon mocht niet op Facebook vanwege aanstootgevend. Hoezo? Nou ja, het afbeelden van ontblote vrouwenborsten is tegen de normen op Facebook. En ja die zwarte stipjes dat zijn blote borsten. (Mannenborsten mogen dan weer wél bloot, kennelijk.)

Hier wringt natuurlijk ook een stuk Amerikaans versus Europees fatsoen. Waar geweld geen enkel probleem is maar naakt des te meer. Bij ons lijkt dat eerder andersom te zijn. Dus wiens normen gebruik je dan als wereldwijde dienstverlener? De grootste gemene deler van alle normen ter wereld is nogal beperkt zeg maar.

Arnoud

25 reacties

  1. Het makkelijke antwoord is natuurlijk dat de markt de normen bepaalt. Als het filter afbeeldingen zoals jij gebruikt niet toestaat dan is de kans groot dat het filter niet goed gaat werken in Nederland en dat er dus aangepaste regels zouden moeten zijn voor Nederland/Europa. Zou het overigens niet zo zijn dan er net zoals bij een spam filter, handmatig regels gemaakt kunnen worden?

    Maar dat is natuurlijk niet zo filosofisch….

    Overigens denk ik dat het ooit wel gaat lukken om geautomatiseerd normen te handhaven maar we zijn daar nog heel erg ver van verwijderd.

    [ot]Ik was te laat met het kunnen aanpassen van mijn bericht (na 8 minuten?).[/ot]

  2. Gefeliciteerd Arnoud!

    Ik zie ook een conflict tussen de “harde” wereld van computeralgoritmes, en de “zachte” wereld van de vage juridische regels. Maar uiteindelijk is het zelfs bij die “zachte” regels de bedoeling dat er uiteindelijk een “harde” uitspraak kan komen: iets is uiteindelijk OF wel, OF niet inbreuk. Je kunt natuurlijk wel in gradaties denken bij de uiteindelijke consequenties (bijv. schadevergoeding schaalt mee met de mate van inbreuk), maar dat is in principe ook te doen in algoritmes.

    Een belangrijk verschil is volgens mij dat de juridische wereld de deur open laat om ALLE aspecten mee te laten wegen bij de beoordeling, ook aspecten die door de wetgever niet waren voorzien, en dat BEIDE partijen aspecten aan kunnen dragen. Bij computer-algoritmes legt de programmeur (die effectief een soort wetgever is) meestal vooraf vast welke aspecten meegenomen worden, en werkt is programmeur meestal in dienst van een enkele partij: andere partijen kunnen meestal niet achteraf relevante aspecten aandragen om de beoordeling aan te passen.

    In ben overigens niet tegen elke vorm van handhaving-per-algoritme, maar bovengenoemd probleem moet wel opgelost worden. Bij goed gebruik van algoritmes kunnen ze juist een betere rechtszekerheid bieden dan “vage” wetten, maar dan moeten de regels van het algoritme wel op de juiste manier tot stand komen (dus bijv. door alle betrokken partijen vrijwillig overeen gekomen, en niet eenzijdig door 1 van de partijen aan te passen).

  3. Gefeliciteerd, jongeman, met je 23e verjaardag. 🙂 (En ik zeg 23 want ik blijf zo fatsoenlijk om je ware leeftijd te verbergen…)

    Verder, algoritmes kunnen wel degelijk goed gebruikt worden zolang men er ook maar zorgvuldig mee om gaat. Veel mensen denken dat het algoritme bedoeld is om zaken mee te vinden, maar eigenlijk is het andersom: ze zijn bedoeld om zaken uit te sluiten! Datgeen wat overblijft dient vervolgens verder uitgezocht te worden. Veel mensen beseffen dat helemaal niet.

    Dus als je op Google gaat zoeken naar “Amateur” dan zal Google alle resultaten uitsluiten waar dit woord niet in voor komt. Wat overblijft is het resultaat. Daarna kun je in dat resultaat nog zoeken naar enkele gemene grote delers, zodat je een soort groepering hierop kunt vaststellen. De meest voorkomende grote deler zal waarschijnlijk ook de groep zijn die de zoeker graag wil zien. Combineer daarbij ook de vorige zoek-verzoeken van de zoeker om te zien of hij misschien toch naar een andere eigenschap op zoek is en poef! Daar heb je dan het eindresultaat.

    Facebook reageert regelmatig op klachten van bezoekers die aanstoot nemen van bepaalde plaatjes. Zo heeft een vriendin van mij een plaatje dat ik heb gemaakt (CGI) als profielfoto. Het plaatje is een beetje fout want het is een naakte vrouw die zwemt in een meertje in een donker bos. En ja, je ziet een tepel. De rest is door het water deels uit het zicht verdwenen. Heel mooi en artistiek, dat wel. Maar ja, die vriendin doet vrijwel niets met Facebook en vrijwel niemand die haar profiel bekijkt dus niemand die het opvalt. Dat plaatje is dus al anderhalf jaar online.

    Zolang niemand klaagt of er aanstoot aan neemt zal Facebook er ook weinig tegen doen. Het plaatje rechtboven is daarentegen niet alleen bloot (borsten) maar ook religieus getinte humor. En gelovigen hebben lang niet altijd een goed gevoel voor humor als hun eigen geloof in de maling wordt genomen. Dan komen er misschien 5 klachten binnen bij Facebook en de klachtenlijn neemt dan een kijkje, ziet borsten en poef! Weg. Dat de klacht dan gaat omdat het de spot drijft met A&E maakt dan verder niets meer uit. Weg is weg…

    Sowieso wordt het fatsoen op een website mede bepaald door alle bezoekers. En als je merkt dat veel bezoekers klagen over bepaalde zaken dan kun je die al van tevoren blacklisten.

    1. Het plaatje rechtboven is daarentegen niet alleen bloot (borsten) maar ook religieus getinte humor. En gelovigen hebben lang niet altijd een goed gevoel voor humor als hun eigen geloof in de maling wordt genomen.

      Ik heb het complete plaatje gevonden. Je zou me religieus kunnen noemen (hoewel dat woord bij-betekenissen heeft die niet echt bij mij passen), maar ik begrijp niet hoe dit aanstootgevend zou kunnen zijn. Ik begrijp de grap trouwens ook niet.

      Rare amerikanen, met hun “no nipples”-regel. Op zich is het wel eenvoudig en consistent, en dus geeft het een goede “rechtszekerheid”, maar het heeft werkelijk geen goede morele basis. Ze zouden eens moeten nadenken over * wat wil je uiteindelijk bereiken met je regels * is datgene wat je wilt bereiken wel het juiste doel, of kan je beter andere dingen nastreven * wordt datgene wat je wilt bereiken ook daadwerkelijk bereikt met je regels * wat zijn de bij-effecten van je regels, en hoe zwaar wegen de voor- en nadelen t.o.v. elkaar?

      1. Tja, wat is de grap eigenlijk in die strip? Maar het is een strip over Adam en Eva en voor sommigen is dat vergelijkbaar met een tekening met Mohammed de Profeet erin. De spot drijven met religies zal zeker bepaalde personen op hun lange, zere tenen trappen. Overigens is de regel van Facebook over tepels discriminerend omdat ze mannelijke tepels goedkeuren, maar vrouwelijke tepels niet. Het gevolg is dat topless mannen gewoon kunnen op Facebook, maar topless vrouwen niet. Maar omdat Facebook zelf gewoon deze regels kan bepalen valt er weinig aan te toen. Zo doet Facebook ook moeilijk over foto’s van zogende moeders, waar je dus een baby aan een tiet ziet hangen. In bepaalde staten van de USA is dit soort discriminatie van vrouwen nog heel gewoon maar in b.v. New York mogen vrouwen topless rondlopen op plaatsen waar mannen dat ook doen. (En desondanks worden sommige vrouwen in NY alsnog gearresteerd, in de cel gestopt en later alsnog vrijgesproken, simpelweg omdat een agent weer te overijverig was. Maar geen nood. Er is nu de Go Topless actiegroep in de USA die voor dit soort gelijke rechten vecht. Helaas wel een Raëlisme organisatie dus als straks het Grote Ruimteschip langskomt staan we er weer alleen voor. 🙂

      2. Als je een grap moet uitleggen is ie vaak niet zo leuk meer, maar: deze cartoon refereert naar de “original sin”. Eva verleidde Adam om te snoepen van haar appel. Daarna zitten ze met grote oogjes geschokt onder de appelboom en zeggen: Well, it was original.

  4. Dit is inderdaad een zeer vervelend fenomeen, waar ik ook vandaag weer tegenaan loop. Ik zocht net naar de oorsprong van “If you see it, you’ll shit bricks” … Maar Google toont doodleuk 2 suggesties terwijl ik typ: een zonder het woordje shit, en een met “sh t” er tussen. Maar het allerergst is nog wel dat ik gedubbel-checked heb, … en Safe Search staat uitgeschakeld bij mij! Ik vind dit echt kleinerend. Ik voel me “offended”.

  5. Welke fatsoensnorm ga je handhaven? Er is er eigenlijk maar een die je redelijkerwijs kunt handhaven en dat is die van jezelf. Het is alleen voor een groot bedrijf wat lastiger want dan moet je de bedrijfsnorm toch op de een of andere manier overbrengen naar je censoren, oops ik bedoel natuurlijk moderatoren. En zoals dat in veel grote bedrijven gaat dan wordt dat steeds bureaucratisher en gedetailleerder uitgelegd zodat je op den duur net zo goed een bot in kunt schakelen want elk menselijk initiatief wordt toch weggeregelementeerd.

    1. Voor grote bedrijven is het extra vervelend omdat ze moeten voldoen aan de fatsoensnormen van alle landen waar ze zaken willen doen. En niet alleen is de USA redelijk preuts, China is dat ook! Plus de diverse Islamitische en Christelijke landen die ook al dit bloot en religieuze grappen willen uitbannen. Overigens geldt dat niet alleen voor bloot. Discussies over godsdienst, drugs en criminaliteit worden ook aardig in de gaten gehouden. Google heeft ook problemen met de ‘e’ achter “Cocain”… 😉

    2. Er zijn nog twee andere fatsoensnormen die je consistent kunt volhouden: * niets toestaan waar ook maar iemand zich aan stoort * alles toestaan

      Ik ben voel veel voor die laatste optie. Ik besef wel dat de gemiddelde kwaliteit van je medium daarmee wel erg laag zal worden: ik geloof dat het 4chan-forum die laatste norm redelijk consistent volhoudt. Ik begrijp dat er behoefte is aan (virtuele) ruimtes die gemodereerd worden, zodat serieuze mensen niet om de haverklap worden lastig gevallen door half-gare aso’s, maar in het grote geheel van alle (virtuele) ruimtes zou wat mij betreft alles een plek moeten kunnen krijgen.

      1. Ik ben het met je eens, en al helemaal op een medium als Facebook. Waarom legt facebook hun normen op aan groepen terwijl de maker van die groep dat heel goed zelf kan regelen door mensen uit de groep te weren en andersom als de groep je niet bevalt er geen lid van te worden?

        Deze censuur slaat helemaal nergens op. Ik gebruik zelf facebook zo min mogelijk, het is makkelijk om even met wat vrienden af te spreken of af en toe een leuke foto te delen. Maar ik hoef niet te weten hoe vaak mijn vrienden naar het toilet gaan.

        Dat gezegd hebbend, is het wel eens tijd voor fatsoenlijke (als in goed werken, niet qua censuur) alternatieven die niet onder controle van amerikaanse bedrijven met middeleeuwse normen en waarden staan. Ik host gewoon alles zelf en mijn servers houden geen enkel log bij. En wat mij betreft zegt iedereen wat hij wil, hoe verachtelijk en idioot het ook is. Ik haal het pas weg als iemand me erop wijst en het illegaal is, ik heb tijd nog zin om politie agentje te spelen. Ongepast boeit me niets. (overigens zijn mijn servers niet algemeen toegankelijk dus valt het over het algemeen allemaal wel mee, ik doe selectie aan de deur)

  6. Ik ben erg optimistisch over de voortgang in machine learning. Machine learning werkt vaak op basis van statistiek. De maker van voorspellingen hoeft geen expert te zijn of te bepalen wat wel en niet goed is. Er wordt gebruik gemaakt van historische data en vooraf gelabelde data (label: spam vs. label: ham). Machine learning algoritmes zijn op dit moment soms zelfs “beter” dan mensen. Ik zeg “beter” tussen haakjes, omdat het vaak de bedoeling is dat deze algoritmes net zo goed zijn als mensen. Zijn ze “beter” dan wijken ze af van mensen en zijn dus uiteindelijk “slechter”. Kieskeuriger zijn dan mensen is niet altijd een positief resultaat.

    Met machine learning en statistiek kun je bovenstaande problemen oplossen. Met historische data kan je de mate van geschoktheid voorspellen. Als je standaard meer dan 20 complaints krijgt bij een openbare post die de termen “Profeet” en “Varken” bevat, dan kun je een goede voorspelling doen als je een nieuwe post observeert met deze termen erin. Dan gebruik je menselijke input bij de berekeningen van je algoritme.

    En zelfs wanneer je het aan mensen overlaat, loopt het niet per se lekker.

    Dit veroorzaakt de “noise” in een dataset. Je kan dit wel een beetje uitvlakken, maar als je training set is gebaseerd op inconsistenties en menselijke foutjes dan is de optimale score vaak ver onder de 90%.

    Dit is dan ook de crux van het probleem. Als mensen het niet lekker laten verlopen, dan krijg je geen solide data om het automatisch lekker te laten verlopen. Statistiek liegt niet. Statistiek zelf maakt geen foutjes. Bayes Theorem is zo goed als bewezen. Dus: Als de mensen het voor elkaar krijgen om het eens te worden of wat wel en niet normaal is, wat wel en niet in strijd is met het fatsoen, alleen dan kunnen algoritmes leren van menselijke data en normen correct handhaven.

    Maar zelfs mensen lukt dit niet, omdat normen en waarden nu eenmaal persoonlijk, subjectief en cultureel gebonden zijn. Als je mij alle data geeft waar jij zelf van geschokt raakt, dan kan ik een persoonlijk filter schrijven dat deze automatisch weerd. Maar ik krijg niet de data van jou alleen, maar van alle gebruikers. En deze data is inconsistent. Om dan niemand maar te schockeren kun je alles wel gaan blokkeren, maar dan krijgt u weer valse positieven (de legitieme email in uw spambox).

    Hoe dit probleem statistisch wel opgelost kan worden is door te kijken naar de “majority vote”. Dit is dezelfde maatstaf die men volgens mij gebruikt om te bepalen of iets buiten de fatsoensnorm valt: of men het over het algemeen vind ja of nee. Dus jouw algoritme zegt straks: Deze post is voor 43% van de bezoekers aanstootgevend en hoeft niet geblokkeerd te worden. Deze post is voor 51.5% van de bezoekers aanstootgevend en daarom geblokkeerd. Waar je dan de grens legt is even wikken en wegen, maar maakt voor het principe niet zo veel uit.

    1. Daarnaast is hier ook soms sprake van een expert systeem en niet een set aan algoritmes dat automatisch een beslissing maakt. Je kan een expert systeem bouwen voor de goede norm. Dit geeft dan bruikbare tips aan mensen, bv: “Twee jaar geleden zorgde een soortgelijke post voor fatsoensnormproblematiek” waarop deze mensen een gezonde beslissing kunnen nemen.

      Ik denk dat de juristiek veel baat kan hebben bij expertsytemen gebaseerd op jurispudentie. Dan maken rechters minder foutjes, omdat alle bekende jurispudentie bij een zaak automatisch aangeboden word.

      En dat veroorzaakt wel weer een interessant filosophisch probleem: In hoeverre laten we machines onze rechtsspraak beinvloeden? En wat als zo’n machine een foutje maakt? En wat als een rechter een suggestie negeert?

    2. De reden dat ik daar moeite mee heb, is dat je zo nooit blootgesteld wordt aan nieuwe dingen. Daarmee rem je de maatschappelijke vooruitgang. Leuk dat je nooit meer geshockeerd wordt, maar soms móet je eens geshockeerd worden zodat je gaat nadenken of je overwegingen nog wel terecht zijn. Op z’n minst kun je wennen aan het idee, of je kunt meedoen aan de discussie over het idee. Of je kunt je vol walging afkeren, ook prima maar dat moet jouw keuze zijn gebaseerd op de shockerende ervaring en niet een op voorhand tegengehouden ding.

      Een filteralgoritme sluit je op in een cocon en dan kun je dat alles allemaal niet.

  7. Ja fijn, majority votes. Geloof dat facebook ook zoiets hanteerd. Dan krijg je dingen zoals dit: Goed: naakte vrouwen in erotische houding, Fout: als ze schaamhaar heeft. Fout: vrouwen die borstvoeding geven of de gebruikelijke plaatjes in zelfhulpgroepen voor borstkankerpatienten, Goed: vrouwen die verkracht of vermoord worden. (Want facebook vind deze plaatjes grappig) Dus tja, de fatsoensregels bij facebook zijn nogal fucked-up. Of dat nou handmatig gaat of automatisch, maakt dan eigenlijk niet zo veel meer uit.

    1. Dan is het wel interessant om te weten dat Japan jarenlang een verbod had op het vertonen van schaamhaar, maar geen minimum-leeftijd had voor naaktmodellen. De genitalia mochten ook niet getoond worden maar dat maakt bij vrouwelijk naakt weinig uit, omdat er geen grote, uitstekende delen zijn die kunnen opvallen. Een paar extra pixels en poef! Probleem opgelost. (Of erger: de wet sprak vooral over de genitalia van volwassenen…) Je ziet kenmerken van deze wetten vooral terug in allerhande Manga/Hentai-strips en dan vooral de wat oudere versies.

  8. De grootste gemene deler van alle normen ter wereld is nogal beperkt zeg maar.

    Ik denk dat je hier de kleinste gemeenschappelijke veelvoud bedoelt, want je doelt op een norm die alle andere normen omvat, niet op een norm die slechts uit de gemeenschappelijke elementen van alle normen bestaat. Het blijft lastig met die wiskundige begrippen “grootste gemene deler” en “kleinste gemeenschappelijke veelvoud” in de beeldspraak.

    1. Nee, ik bedoelde echt grootste gemene deler. De verzameling van die normen die in alle landen ter wereld hetzelfde zijn. Want als je wereldwijd legaal wil zijn, moet je je aan alle normen ter wereld houden. Allemaal tegelijk. Dus moet je alle normen samenvoegen en zien waar ze het allemaal met elkaar eens zijn. En dan mag je alleen dat.

      Dit is nog knap lastig, want volgens mij is zelfs “Hallo wereld” bloggen hier en daar illegaal: er zijn landen met taaleisen voor journalistieke publicaties, en er zijn landen die voorafgaande overheidscensuur hanteren. Ik ben geen aangemelde Chinese blogger, en ik overtreed de wetten van Quebec over Franstalige beschikbaarheid van journalistieke inhoud.

  9. Nee, ik denk dat het wel klopt. Als je naar alle wereldwijde fatsoensnormen kijkt dan blijft er maar erg weinig over dat we allemaal gemeen hebben. Veel dingen die legaal zijn op de ene plek zijn taboe op een andere plek op deze wereld. De GGD is wat alle regels met elkaar delen en dat is bar weinig. De KGV is wat je krijgt als je alle regels, onderverdeeld in subregels, op een hoop gooit. En dat levert chaos op. 🙂 Je wilt helemaal niet alle regels op een grote hoop hebben omdat je dan regels krijgt die elkaar zullen tegenspreken.

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.