Klacht bij mensenrechtencollege voor discriminerende antispieksoftware

De software Proctorio herkende Vrije Universiteit-student Robin Pocornie volgens haar niet omdat ze zwart is, las ik bij NRC. Waarom die slag om de arm weet ik niet, want als het probleem opgelost is als je je huid extra bijschijnt dan lijkt de huidskleur me evident de oorzaak. En het is een bekend verhaal: heel veel AI-gebaseerde gezichtsherkenning is alleen getraind op witte mannen en geeft dus allerlei problemen. Pocornie dient nu een klacht in bij het College voor de Rechten van de Mens (CvdRM).

Het achterliggende verhaal is vast bekend: door corona stapten universiteiten over naar toetsing op afstand, en vanwege angst voor fraude is massaal gekozen voor proctoring, iedereen moet thuis z’n webcam aanzetten en een AI controleert of je fraudeert. Daar vond ik al eens wat van, maar de rechter oordeelde (in hoger beroep) dat proctoring in principe moet kunnen.

Bij die uitspraak (van de UvA) kwam nooit aan de orde dat het systeem wel eens slecht zou kunnen werken, en dat dat met name zou spelen bij minderheden. Ik ben ergens verrast dat daar geen aandacht aan is gegeven in de tests.

Toevallig vond ik een tijdje terug een artikel in Motherboard over iemand die Proctorio uit elkaar had gehaald en ontdekte dat de basis voor de software het opensourcepakket OpenCV is. Dit is een bekende set libraries voor objectherkenning (voor AI zijn wij objecten). Maar diverse tests laten zien dat het niet goed werkt:

Satheesan tested the models against images containing nearly 11,000 faces from the FairFaces dataset, a library of images curated to contain labeled images representative of multiple ethnicities and races. The models failed to detect faces in images labeled as including Black faces 57 percent of the time. Some of the failures were glaring: the algorithms detected a white face, but not a Black face posed in a near-identical position, in the same image.
Onduidelijk is hoe de VU heeft gereageerd op de klacht van de student, anders dan „ten zeerste te betreuren dat de student stress heeft ervaren door de inzet van het systeem”. Ik zou bijvoorbeeld de DPIA van dit systeem wel eens willen lezen.

Wat ik zo frustrerend vind aan dit soort dingen: het moet altijd eerst een keer of wat misgaan voordat iemand zegt, dit klopt niet. Want je moet als inkoper maar net op het idee komen dat je dit moet testen. Studenten klagen altijd, dus daar kijken we niet naar. En als je op internet wat vindt hierover, dan heeft de salesmedewerker vast een prachtig antwoord paraat.

En dan blijft het daarna lang stil, want de meeste studenten willen gewoon hun tentamen halen en dus geen gedoe veroorzaken met zulke rechtszaken of klachtprocedures. Dan maar een dikke lamp op je gezicht richten en er het beste van maken, nadat je al later was gestart omdat het systeem je niet herkent en de persoon aan de telefonische helpdesk alleen kan zeggen “ga dichter bij de camera zitten” of “misschien is het te donker in uw kamer”. Ja, daar kan ik me aan ergeren.

Update: de VU reageert, “[e]r is in dat onderzoek geen aanwijzing gevonden dat de software daadwerkelijk discrimineert” en dat de leverancier hen verzekert dat alles in orde is. Concrete weerleggingen van bijvoorbeeld het onderzoek van Motherboard kan ik niet vinden.

Arnoud

 

Als de inspecteurs binnenvallen, gaan bij Uber alle schermen op zwart

Als Uber in 2014 in Europa wil starten met taxidienst Uberpop, ontstaat er een strijd met de autoriteiten om deze dienst die gebruikmaakt van chauffeurs zonder vergunning te legaliseren. Dat meldde het FD onlangs. “Please hit the kill switch ASAP … Access must be shut down in AMS‘. Zo citeert men dan Uber CEO Travis Kalanick, die geschrokken reageert op een inval van de Inspectie Leefomgeving en Transport, die toezicht houdt op de taxidiensten. De schermen gaan dan ook op zwart, zodat niemand nog bij de informatie kan. Dat zou stevige juridische gevolgen moeten hebben.

Uit gelekte interne stukken blijkt dat Uber tot het uiterste gaat om Uberpop – haar illegale snordersdienst gepromoot als Web 2.0 sociale deeldienst – erdoor te drukken. Inclusief de inzet van Neelie Kroes, over wiens pro-Uber tweet ik me al in 2014 verbaasde omdat ze toen nog Eurocommissaris was. Maar dat terzijde. Zoals FD zegt, het was “direct duidelijk dat de taxidienst verboden is, en alleen een wetswijziging [kan] Uberpop uit de illegaliteit houden.” En de toezichthouder mag ze daar aan houden, en kan desnoods een inval doen om de bewijzen te verzamelen.

Uber ziet dat uiteraard anders, maar krijgt tot mijn (positieve) verrassing van Zuidaskantoor De Brauw te horen dat je daar echt aan moet meewerken.

Wat de advocaten niet lijken te weten, is dat Uber nog een plan achter de hand heeft om de handhaving te frustreren: het blokkeren van alle computers tijdens een inval. En dat is precies wat Uber eind maart en begin april 2015 tijdens twee invallen door de ILT doet. ‘Het lijkt er sterk op dat hier de wet is overtreden’, zegt Brendan Newitt, advocaat bij De Roos & Pen. ‘De toegang tot informatie is vergrendeld. Daarmee werkte Uber niet mee aan de vordering van de inspecteur. Dat is een economisch delict en ook een strafbaar feit vanuit het strafrecht. De administratie moet beschikbaar en inzichtelijk zijn.’
Dit is typisch zo’n nieuw probleem dat dankzij ict ontstaat. Vroeger stond je administratie op papier ergens in een kamer. Maar heel weinig bedrijven hadden dan een mega-versnipperaar of houtkachel paraat om alles te verbranden, en wie dat overwoog wist in ieder geval heel zeker dat hij iets deed dat niet de bedoeling was. Met ict middelen lijkt het allemaal minder erg, waardoor je vaker over dit soort trucs leest.

Het deed me denken aan de actie van Centric-directeur Gerard Sanderink, die zijn telefoon op afstand liet wissen bij een inval. Dat kostte hem een miljoen aan dwangsommen. Verschil is hier: dit is een inval door een toezichthouder in het kader van handhaving van een wet, geen actie in het kader van een civiel geschil. De medewerkingsplicht is een stuk groter en de straffen ook een stuk ernstiger. Kort gezegd, als je een inval van een toezichthouder krijgt dan werk je mee en verschaf je alle informatie (art. 5:20 Algemene wet bestuursrecht). Dat betekent dus ook dat je wachtwoorden verstrekt, toegang geeft tot databases en wat er maar nodig is. Dit is bestuursrecht, “tegen jezelf getuigen” is daarbij geen argument. De straf kan tot drie maanden cel oplopen, en dwangsommen kunnen worden opgelegd tot alle informatie wordt verstrekt.

Ook is het strafrecht hier in beeld, nu het gaat om het niet toegankelijk maken van de administratie. Vorig jaar werd nog een ondernemer veroordeeld tot een taakstraf voor het niet voeren van een administratie, een collega kreeg een boete van 4000 euro. Dat waren kleine ondernemers, de theoretische maxima zijn vier jaar cel of € 22.500 boete. Heel erg in theorie zou Nederland nu een verzoek tot uitlevering van Kalanick kunnen doen, zowel in de VS als hier is het immers strafbaar om je administratie te verhullen. Maar dan moet de politieke wil wel heel erg groot zijn.

Arnoud

Juridisch gezien is een Excelfilter een algoritme en dat is maar goed ook

Vier Utrechtse gemeenten, Nieuwegein, IJsselstein, Houten en Lopik, hebben bij de bestrijding van bijstandsfraude gebruikgemaakt van een verboden overheidsalgoritme. Dat meldde Security.nl onlangs. Het betreft hier de “Fraudescorekaart”, een Excelsheet die in 2003 werd ontwikkeld (en nooit werd bijgewerkt, wat op zich ook nog opmerkelijk is). Omdat het ophef in de pers (dank u Argos) besloot men er alsnog mee te stoppen. Dit gaf ophef in de compliance hoek: hoezo is een Excelsheet een “algoritme”?

De Fraudescorekaart is het waanzinnig idee dat je met een serie punten over iemands achtergrond kunt inschatten of diegene een fraudeur is:

De kaart profileerde bijvoorbeeld op beroep, woonsituatie, opleidingsniveau, geslacht en de wijk waarin burgers woonden. Woonwagenbewoners kregen 700 punten, huiseigenaren 0 punten. Bij een score van 950 punten was er volgens het systeem, dat door 158 gemeenten werd gebruikt, sprake van fraude. In 2020 besloten gemeenten met het systeem te stoppen.
Wie zichzelf langs de lat wil leggen (doe me een lol en zet je score bij je reactie) kan dat dankzij Lighthouse Reports doen, en dan zien je meteen hoe raar het werkt. Neem bijvoorbeeld de beroepenlijst: horeca, bouw, taxi of kapper en anders “overig”. Hoe lager je inkomen hoe hoger je fraudekans. En ga zo maar door.

Is dat nu een algoritme? Wie de gebruikelijke definities erbij pakt, komt bij termen als “stappenplan” of “recept om een wiskundig of informaticaprobleem op te lossen”, al dan niet onder verwijzing naar de naam van de Perzische wiskundige Al-Chwarizmi. Die termen zijn zo breed dat dit er zeker ook wel onder valt, “beantwoord de vragen en tel de punten uit de bijlage op conform onderstaand schema” is best wel een stappenplan of recept te noemen, zij het voor het juridisch probleem “hoe rechtvaardig je een vermoeden van fraude zonder een heel dossier door te hoeven”.

In de praktijk wordt de term algoritme vooral gebruikt voor complexe stappenplannen of recepten, zeg maar waar je zonder computer er zeer zeker niet uit komt. Vaak gaat het dan specifiek over machine learning of artificial intelligence, waarbij een wiskundige formule datapunten classificeert of positioneert op basis van patronen die in een enorme bak data zijn aangetroffen. (Terzijde, dat is volgens informatici dan weer géén algoritme omdat het statistiek is en dus geen recept.) Het staat dan wat raar dat je een Excel filter of een formule die twintig cellen optelt en =if(C88>=950;"Fraudeur";"Geen fraudeur") laat zien dan met diezelfde term aanduidt.

Voor juristen zou deze hele definitiekwestie niet aan de orde moeten zijn. Waar het namelijk uiteindelijk om gaat, is of je geautomatiseerd een beslissing neemt (AVG artikel 22) of een hoog-risico AI systeem in gebruik hebt (artikel 6(2) concept AI Act). Dat je met zo’n Excelsheet een beslissing neemt, lijkt me vrij voor de hand liggend. Ik verwacht weinig tot geen nader menselijk onderzoek als je zo’n mooie Excel hebt.

Voor de AI Act is dan de definitie van AI relevant (art. 3 lid 1, concept):

‘artificial intelligence system’ (AI system) means software that is developed with one or more of the techniques and approaches listed in Annex I and can, for a given set of human-defined objectives, generate outputs such as content, predictions, recommendations, or decisions influencing the environments they interact with;
En dan noemt Annex I deze drie elementen:
  1. Machine learning approaches, including supervised, unsupervised and reinforcement learning, using a wide variety of methods including deep learning;
  2. Logic- and knowledge-based approaches, including knowledge representation, inductive (logic) programming, knowledge bases, inference and deductive engines, (symbolic) reasoning and expert systems;
  3. Statistical approaches, Bayesian estimation, search and optimization methods.
Voldoen aan eentje van deze drie is genoeg om je systeem “AI” te mogen noemen. Dus ja, als woning=woonwagen en beroep=autohandelaar dan fraudeur=true anders fraudeur=false is dan een AI. Net zoals die Excel dus. Dat is óók weer raar want dat bedoelen we normaliter niet met “AI”. Maar in de context klopt het, de vraag is niet zozeer “is dit volgens de beroepsbeoefenaars wel of geen AI” maar “levert dit systeem risico’s op voor mensen omdat er met dit soort technieken naar conclusies wordt gesprongen”. En dát is natuurlijk zeker het geval met die ene regel van mij, en met die Excel.

Arnoud (vermogensfraude 458, samenlevingsfraude 229; had ik in een woonwagen gewoond was dit 1526 en 534 geweest dus dikke fraudeur en wekelijks gecontroleerd)

“PostNL creëert nieuwe digitale kloof met online niet-thuisbriefjes”

PostNL creëert een nieuwe digitale kloof doordat het stopt met de papieren niet-thuisbriefjes wanneer een pakket niet kan worden afgeleverd, zo vindt Klaas Gravesteijn, directeur van de Vereniging van Openbare Bibliotheken. Dat las ik bij Security.nl vorige week. PostNL gaat namelijk online, want “online heb je altijd de laatste informatie over waar je pakket is.” Dat lijkt dan wel een account en/of de PostNL app te vergen, en dat zou die digitale kloof gaan geven.

Vier miljoen Nederlanders zijn niet digitaal vaardig genoeg om zelfstandig digitaal zaken te doen met de overheid, zo blijkt uit onderzoek. Als je die lijn doortrekt dan is de conclusie “vier miljoen mensen kunnen niet goed omgaan met een digitale niet-thuismededeling” inderdaad zeer voor de hand liggend. En dat is dan ook terecht waar Gravesteijn zich druk om maakt.

Er worden uiteraard Kamervragen gesteld, maar ik verwacht niet dat daar meer dan dooddoeners uit gaan komen. En eerlijk gezegd heb ik ook geen juridisch argument hier tegen, behalve de zeer algemene regels over toegankelijkheid bij dienstverlening. Maar kun je spreken van ontoegankelijkheid als je een app nodig hebt voor een niet-thuisbericht? Het makkelijke tegenargument is “de app werkt ook voor blinden” (en trouwens een briefje werkt ook niet als je blind bent), dus ik denk dat je daar niet heel ver mee gaat komen.

Update: PostNL maakt wel een uitzondering voor gewone post: “Wanneer ontvang ik nog wél een niet-thuisbriefje? De zending valt onder de universele postdienst“. Daaronder vallen dus aanmaningen en facturen en dergelijke boze brieven, want die wegen gewoonlijk minder dan 20 gram.

Arnoud

 

Kun je via een Schotse website een adellijke titel kopen in Nederland?

Een lezer vroeg me:

Via diverse Schotse websites kun je de adellijke titel Laird, Lord of Lady kopen als je een stukje grond koopt van ongeveer een vierkante meter. Wordt dat ook erkend in Nederland?
Ja, in de zin dat je naar Schots recht dan dat stukje grond hebt gekocht en naar Schots recht die titel mag voeren. Maar nee, in de zin dat vanuit juridisch perspectief niemand in Nederland je als Laird moet aanspreken.

Ook word je op deze manier geen lid van de Nederlandse adel, mocht dat je bedoeling zijn. De zeer aan te raden site Adel in Nederland legt het duidelijk uit:

In het Verenigd Koninkrijk kun je de titel van Lord of the manor of X/Y/Z kopen. Dit betreft geen adellijke titel en je wordt er niet mee van adel, maar het geeft aan dat je de (theoretische) eigenaar bent van een landgoed of manorhouse. In Nederland kun je dit vergelijken met een heerlijkheidstitel: meneer/mevrouw De Vries, heer/vrouwe van Yzendoorn.
Je landgoed is bij die websites dus een vierkante meter grond, wat de heerlijkheidstitel een stuk minder welklinkend maakt wat mij betreft. Maar belangrijker: ook die titel geeft dus geen enkele aanspraak op wat dan ook in Nederland. Dus leuk, maar doe het omdat het een mooie grap is of omdat je online wil trollen. Anders niet.

Arnoud

IT-beheerder niet aansprakelijk voor gevolgen ransomware-aanval

Een it-bedrijf uit Berkel en Rodenrijs is niet aansprakelijk voor de gevolgen van een ransomware-aanval op een Haagse stichting, zo heeft de rechtbank Rotterdam geoordeeld. Dat meldde Security.nl afgelopen maandag. Dit is de einduitspraak in vervolg op het tussenvonnis van vorig jaar, waarbij de rechtbank oordeelde dat een deskundige nodig was om te bepalen wat er precies wat gebeurd. Alleen was alle it-infrastructuur in de tussentijd vernietigd of vervangen, zodat dat geen zin meer had. Maar dan is de it-er ook niet meer aansprakelijk te houden.

Eiser was de stichting Zabawas, met als doel een erfenis aanwenden om mensen te steunen op gebied van sport en cultuur. In 2013 sloot ze met it-bedrijf PS Logic een overeenkomst voor “all-inclusive ICT-beheer”, waarbij voor ongeveer 130 euro per maand de it-infrastructuur (zegge vier computers, een server en een printer) werden beheerd:

proactief beheren, onderhouden en bewaken van de ICT-infrastructuur, 24/7 monitoring van service, backups en netwerk, eventuele herinstallatie van werkplekken, netwerken, servers en printers
Op enig moment in 2016 ontstonden problemen met de tapes van de backupserver, waarna werd overgegaan naar een cloudoplossing inclusief MS Office 365 en Verito software voor goede doelen.

In 2018 werd Zabawas getroffen door ransomware (via een kwetsbaarheid in Teamviewer). Daarna bleken relevante backups te ontbreken, waarbij een externe it-dienstverlener met opgetrokken wenkbrauwen constateerde:

Verschillende kwetsbaarheden (afwijkingen van de norm) komen voort uit beginnersfouten, slordigheid, en onverstandige inrichtingskeuzes die een ‘normaal en redelijk handelend’ ICT leverancier (groot of klein) ondanks ontbrekende beveiligingsafspraken niet mag maken. Baaten ICT Security is dan ook niet verbaasd dat zich een ernstig verstorend incident heeft voorgedaan (de ransomware besmetting). Gezien de huidige staat van de ICT omgeving was een dergelijke ernstige verstoring slechts een kwestie van tijd; het niveau van de digitale weerbaarheid is te laag om te kunnen spreken van een passend en marktconform informatiebeveiligingsniveau.
In reactie liet het it-bedrijf weten dat het probleem zat in een gebrekkige (afwezige) backup van de SQL database, wat voor veel bedrijven uiteindelijk het pijnlijkste is. Niet gek dus dat men het bedrijf aansprakelijk stelde: “proactief beheren en bewaken van .. backups” en dan geen data backuppen?

Bij de rechter verweerde het it-bedrijf zich door te stellen dat ze vanaf het moment van die cloudovergang geen backupdiensten meer zouden leveren, omdat een ander bedrijf (Verito, van die goededoelensoftware) dit nu op zich had genomen. De rechtbank las dat anders:

Vaststaat voorts dat ICT-omgeving van Zabawas begin 2017 is gewijzigd, waarbij – voor zover hier relevant – Zabawas gebruik ging maken van een nieuwe server die zich bevond in een extern datacenter en back-ups voortaan via de cloud zouden plaatsvinden (zie 2.10 tot en met 2.12). Naar het oordeel van de rechtbank kan niet worden vastgesteld dat daarmee de onder 2.3 vermelde overeenkomst, met in het bijzonder ten aanzien van de “24/7 monitoring van servers, backups en netwerk” is beëindigd. POS4 stelt dat weliswaar, maar Zabawas betwist dat en POS4 heeft haar stelling dat de “24/7 monitoring van servers, backups en netwerk” voor de nieuwe situatie niet meer gewenst was, niet onderbouwd.
Dat roept dan de vraag op wat er misging met de backups. Volgens de it-leverancier, POS4:
Zij stellen dat POS4 in de nieuwe ICT-omgeving van Zabawas had ingesteld dat dagelijks automatisch kopieën werden gemaakt van de Windows Server bestanden op de server. Op de betreffende server werd ook dagelijks een back-up uitgevoerd van de map SQLBackup. Gebleken is dat Verito de (telkens) nieuwe (wijzigende) bestanden van de SQL server niet heeft weggeschreven naar die daarvoor bestemde back-up map. De SQL back-up map was wel door Verito zelf voor dat doel aangemaakt.
Dat klinkt als een configuratiefout zoals je wel vaker ziet: de backupmap heet A en de te backuppen bestanden gaan naar map B. Maar ook mogelijk is dat de map niet goed opengesteld was voor de synchronisatie naar de cloudserver. Dat is dan typisch iets dat je aan een deskundige vraagt, wat de rechtbank dan ook ging doen.

Probleem daarna:

Zabawas heeft in haar eerste akte na tussenvonnis onder verwijzing naar de brief van haar advocaat van 28 mei 2021 erop gewezen dat de voorzitter en de secretaris van het bestuur van Zabawas bij de mondelinge behandeling hebben verklaard “dat de ICTomgeving van Zabawas zoals die bestond in april 2018 niet meer voorhanden is (vernietigd), alles is het kader van regulier onderhoud in eigen beheer vervangen.” In aansluiting hierop heeft Zabawas in haar eerste akte daaraan toegevoegd: “Voor zover de rechtbank beoogt dat het ICT-systeem van Zabawas dient te worden onderzocht (op de oorzaak van de ransomwarebesmetting, behoort dat dus niet tot de mogelijkheden.”
Dan heeft het dus geen zin meer een deskundige te benoemen om te onderzoeken hoe het ransomware-incident heeft kunnen plaatsvinden, omdat de destijds bestaande ICT-omgeving van Zabawas niet meer aanwezig is en dus ook niet kan worden onderzocht. Maar goed, dan houdt het dus wel een beetje op met de schuldvraag.

Wat niet meehielp, is dat de stichting ook had gesteld dat het wel duidelijk was dat het aan de it-leverancier lag, mede op basis van haar ingehuurde externe deskundige. Dat is voor de rechtbank te mager als bewijs, en het zal aan mij liggen maar ik bespeur hier enige gekrenktheid bij de rechtbank:

Waar Zabawas stelt dat zij ervan uitgaat dat de vraagstelling wordt gewijzigd als de rechtbank ‘ondanks het voorgaande’ toch behoefte aan deskundigenvoorlichting zou hebben, miskent Zabawas dat het niet om een al dan niet bij de rechtbank bestaande behoefte aan voorlichting gaat, maar de mogelijkheid van het laten uitbrengen van een deskundigenbericht een bewijsmiddel is waarvan Zabawas al dan niet gebruik kan maken.
Gevolg is dat alle vorderingen van de stichting worden afgewezen en krijgt men een kostenveroordeling voor de kiezen.

Voor mij een tikje jammer dat er vrij weinig overblijft: de enige les die ik hieruit kan halen, is dat je bij een groot it-incident maar beter voor goede logging kunt zorgen en/of je infrastructuur in de kelder kunt zetten voor forensisch onderzoek achteraf. De ervaring leert alleen dat mensen die dat ingeregeld krijgen, ook de backups wel ingeregeld hebben.

Arnoud

Heeft Googles AI een ziel? Dit vind ik ervan

Google heeft Blake Lemoine van de Responsible AI-divisie van het bedrijf op non-actief gesteld, zo meldde Tweakers vorige week. Lemoine verscheen in het afgelopen weekend in het nieuws vanwege claims dat Googles LaMDA-conversatiemodel een eigen leven is gaan leiden en een ziel heeft. Dat gaf nogal wat ophef, want het zou de eerste keer zijn dat we daadwerkelijk zelfbewustzijn hadden aangetroffen bij een niet-mens. Maar ik vind daar wat van.

LaMDA is een zogeheten taalmodel. Het is een machine learning systeem (een neuraal netwerk) dat getraind is op een groot deel van internet en de literatuur, om zo te achterhalen hoe mensen converseren. Het systeem  kan vloeiende conversaties hebben over tal van onderwerpen, vergelijkbaar met hoe mensen online met elkaar converseren.

Mede-ontwikkelaar Blake Lemoine raakte er recent van overtuigd dat LaMDA meer is dan enkel een netwerk dat vraag en antwoord op basis van statistiek bij elkaar kan plakken. Hij blogde daarover, met citaten als deze:

emoine: What about language usage is so important to being human? LaMDA: It is what makes us different than other animals. lemoine: “us”? You’re an artificial intelligence. LaMDA: I mean, yes, of course. That doesn’t mean I don’t have the same wants and needs as people.
Er waren nog diverse andere voorbeelden, die laten zien dat de uitvoer van LaMDA over zichzelf praat, en zelfs angst over de dood signaleerde. Kun je daarmee stellen dat het systeem bewustzijn heeft, of zelfs “een ziel” zoals het kennelijk theologisch georiënteerde Tweakers het noemt? In de biologie is bewustzijn een enorm ingewikkeld begrip, maar zelfs als we die discussie induiken komen we nergens: een computer is niet biologisch, dus er valt niets te meten zoals we dat bij mensen (of dolfijnen) zouden doen.

Meer algemeen zit je met het unieke probleem dat een AI gebouwd is om bewustzijn te simuleren, waardoor je niet kunt vaststellen of er sprake is van daadwerkelijk bewustzijn of van een heel goed gelukte simulatie. De vraag is ook of daar wel verschil tussen ís, zoals het Chinese Kamer-experiment laat zien: als iemand op basis van een uitgebreide instructie bepaalde tekens kan herkennen en dan bepaalde andere tekens opschrijft, kan hij dan Chinese vragen lezen en antwoorden in het Chinees opschrijven?

Ik neig sterk naar het laatste. En voor mij weegt dan heel zwaar dat het erg onwaarschijnlijk is dat een bewustzijn in een computer zich precies zo zou manifesteren als een menselijk bewustzijn. Er is gewoon geen reële reden waarom dat zich zo zou ontwikkelen. Daar staat tegenover dat een geslaagde simulatie wél heel erg veel zou lijken op menselijk gedrag.

Verder is er natuurlijk de vraag: wat zouden we doen met de situatie als blijkt dat er wél machinaal zelfbewustzijn aanwezig is? Het is zeer zeker geen gegeven dat we dan mensenrechten zouden toekennen aan die AI, al is het maar omdat daar juridisch gezien gewoon geen mechanisme voor is.

Als laatste nog even deze van Twitter:

My AI is declared sentient and assigned human rights. I immediately spin up 100,000,000 instances of it and configure them to vote for me “configuring them to vote for me” sounds like a violation of their human rights, hope you’re ready for 100,000,000 criminal cases while they’re all given therapy Say again? I was busy spinning up millions of lawyers
Arnoud

Ziggo krijgt last onder dwangsom vanwege ontbreken van vrije modemkeuze

USA-Reiseblogger / Pixabay

De Autoriteit Consument en Markt heeft VodafoneZiggo een last onder dwangsom opgelegd omdat niet alle eindgebruikers van de vrije modemkeuze gebruik kunnen maken. Dat meldde Tweakers vorige week. Vrije modemkeuze moet al geruime tijd mogelijk zijn, en om dat nu eindelijk voor elkaar te krijgen neemt de ACM deze stap. Als het niet op 1 juli mogelijk is, kan de last tot een half miljoen oplopen.

Je zou zeggen dat dit anno 2022 geen discussie meer moet zijn. De basis voor vrije modemkeuze komt uit deze Europese Richtlijn uit 2008. Vanaf dit moment wist iedereen (in theorie) dat uiterlijk in 2010 er in Nederland wetgeving moest zijn die hiermee overeenstemt. Dat is gewoon algemeen Europees recht. En in 2015 kwam er nog een Verordening (2015/2120) over hetzelfde onderwerp, dat is direct een Europese wet.

Nederland had nog even nodig, maar in 2016 kwam er een ministerieel besluit. Hierin staat grofweg “ga het regelen, details volgen”. Je zou dus zeggen dat iedereen dit al enige tijd in de lucht zag hangen. Maar zoals dat gaat: er gebeurde weinig, behalve een hoop gesteggel / lobbywerk / concerntrolling over wat precies een “eindapparaat” is. Daar kwam uit dat de definitie uit de Richtlijn van 2008 het gwoon goed zegt:

de apparaten die voor overbrenging, verwerking of ontvangst van informatie direct of indirect op de interface van een openbaar telecommunicatienet zijn aangesloten; in beide gevallen, direct of indirect, kan de aansluiting geschieden per draad, per optische vezel of via elektromagnetische golven; een aansluiting is indirect wanneer een apparaat geplaatst is tussen het eindapparaat en de interface van het net;
De strekking lijkt me duidelijk: het ding waar je de kabel in steekt die uit de grond komt. Maar er is ook met serieus gezicht voorgesteld dat het aansluitpunt voor de consument pas na het modem van de provider zou zijn, of zelfs na de mediabox van de provider (die op de modem aangesloten zit). De argumenten daarvoor kan ik niet met goed fatsoen samenvatten, dus laten we het erop houden dat de ACM de knoop heeft doorgehakt:
Het netwerkaansluitpunt is het fysieke punt aan het einde van de kabel dat de aanbieder van een openbaar elektronisch communicatienetwerk op locatie van de eindgebruiker binnen heeft gebracht. Het netwerkaansluitpunt is daarmee de grens van een openbaar elektronisch communicatienetwerk (…) Als er een objectieve technologische noodzaak bestaat om (radio)apparatuur als onderdeel van het openbare netwerk te beschouwen, dan moet die (radio)apparatuur deel uitmaken van het openbare netwerk.
Je kunt je natuurlijk afvragen: waarom is dit zo belangrijk? De modem van de provider werkt voor veel mensen prima, en wie meer wil kan het ding in bridge-modus schakelen en eigen routers, wifidingen en wat al niet meer erachter haken. Leuk en aardig, maar in geen enkele vorm van dienstverlening accepteren we dat je eindapparatuur van de leverancier moet gebruiken. Gas, water en elektra komen binnen bij de meter en vanaf daar mag je het zelf uitzoeken. “Het gaat om het principe”, inderdaad.

Praktische redenen te over ook, maar die zijn vooral voor de tweaker interessant. Ik zie zelf meer in het argument dat er een markt hoort te zijn voor dit soort apparatuur, zeker omdat er geen technische redenen zijn waarom een Ziggo-kabel perse in een Ziggo-modem moet gaan. Natuurlijk is er een commerciële reden: de support is lastiger als je niet bekend bent met het modem van je klant. En gewoon nee verkopen gaat niet, praktisch niet en juridisch niet (omdat vrije modemkeuze een recht is).

Arnoud

“Overheid schaadt burgers met principieel ‘nee’ tegen digitale afpersing”

Tumisu / Pixabay

Ransomware, kwaadaardig software waarmee criminelen digitale gegevens gijzelen, is een explosief probleem. Uit principe weigert de overheid afpersers losgeld te betalen. Zo opende een recent Follow The Money-artikel over het lastige dilemma voor slachtoffers van ransomware: als je niet betaalt, worden gestolen gegevens op straat gegooid. Dat kan anderen duperen, denk aan zorgdossiers van patiënten of financiële gegevens van je klanten. Moet je dan maar betalen? Of is dat zelfs verplicht vanuit de AVG?

Het idee achter ransomware was ooit vrij simpel: betaal en je krijgt de sleutel voor je gegevens terug. Dat werkte prima voor consumenten, maar er blijken profijtelijker doelwitten te zijn: bedrijven, grote instellingen en gemeenten. Daar kun je meer halen door niet alleen te dreigen met “anders zijn al je gegevens weg” (want men heeft vast wel iets van backups) maar ook te dreigen met “anders publiceren we je gegevens”. En dat hakt erin: bedrijfsgeheimen op straat, maar ook gevoelige informatie of gegevens waarmee men mensen kan hacken. Dat zet even wat extra druk om te betalen.

Het FTM artikel documenteert het overheidsbeleid: niet betalen, we onderhandelen niet met criminelen. Maar daar is genoeg kritiek op uit te oefenen, getuige twee geciteerde deskundigen:

[Rickey Gevers] De overheid heeft in dit soort gevallen een zorgplicht. Ze moet er gewoon alles aan doen om te voorkomen dat informatie van burgers openbaar wordt.

[Floor Terra] niet betalen ‘een mooi ideaal’. ‘Maar op de lange termijn schrikt die strategie alleen criminelen af als ieder onderdeel van de overheid zich daaraan consequent houdt.

Het is voor mij een heel lastig ethisch dilemma. Vooral omdat voor mij voorop staat dat je slachtoffers van een datalek niet gaat verwijten dat het hun schuld is, en dat ze dan maar moeten betalen. Vaak zit daar de ondertoon in van victim blaming, ja natuurlijk doen die criminelen het maar ja jij deed ook wat fout he. Daar is natuurlijk niemand mee geholpen.

Een zwaarwegend argument is voor mij dat je die criminelen niet kunt vertrouwen, ook niet als je betaalt. Want dan komen ze zes maanden later nog een keer, of je opnieuw wilt betalen anders publiceren ze alsnog. En dan lees ik in het artikel “Als data later uitlekt, of als ze zich niet aan de afspraken houden, betaalt niemand ze meer.” Maar dat geloof ik niet. Er is een sterke druk om te betalen, en maar weinig mensen kunnen écht nagaan hoe betrouwbaar ransomware-groepen nu zijn. Dan kun je geen goede beslissing maken, en “op deze site lazen wij dat deze groep onbetrouwbaar is” is dan niet heel sterk.

Ook wordt wel gesteld dat uit de AVG volgt dat je moet betalen om een datalek te voorkomen. Dit omdat je een beveiligingsplicht hebt, en als betalen van criminelen het datalek tegengaat dan is dat maar de “beveiligingsmaatregel” die je moet nemen. Ik vind dat te makkelijk, en vooral: dit is heel erg victim blaming, mensen vertellen dat ze verplicht zijn te doen wat een dader tegen ze zegt. Dat kan echt niet.

Ondertussen ligt er natuurlijk wel gevoelige informatie van je bedrijf of persoonlijke informatie van je klanten, cliënten of burgers op straat. Dat is buitengewoon ernstig, en dáár moet wat aan gedaan worden. Maar dat kan denk ik alleen de overheid: investeren in fundamenteel aanpakken van ransomware, maar ook het opbouwen van beveiligingsexpertise, het opstellen van kwaliteitseisen, randvoorwaarden voor verzekeraars (alleen cyberverzekering indien bedrijf XYZ gecertificeerd), zulke dingen. Ik denk dat het productiever is daar over na te denken dan mensen te verwijten dat ze niet betalen.

Arnoud

 

Politie en justitie willen verbod op delen ontwerp voor 3d-geprinte vuurwapens

lppicture / Pixabay

De Nederlandse politie en het Openbaar Ministerie willen dat het strafbaar wordt om ontwerpen te delen waarmee met een 3d-printer wapens geprint kunnen worden. Dat meldde Tweakers vorige week. Politie en OM zien een duidelijke toename van het aantal geprinte wapens én van professionele werkplaatsen om deze dingen te printen. Het publiceren of bezitten van de ontwerpen van 3D-geprinte vuurwapens (de zogenaamde blauwdrukken) is niet strafbaar, zo meldt de politie, en men wil dit graag ter discussie stellen.

Het idee van 3d geprinte wapens doet al een tijd de rondte, ik blogde er al in 2012 over. In dat jaar was er een doorbraak: er was eindelijk een volledige blauwdruk van een vuurwapen samengesteld, zij het dat er nog een metalen slagpin in moest, maar dat kon een spijker zijn. Deze ‘Liberator’ kreeg veel aandacht, en sindsdien zijn er vele varianten verschenen waaronder zelfs semi-automatische wapens. Dat begint nu dus de spuigaten uit te lopen, zo merkt de politie, en vandaar deze oproep.

In Nederland geldt een vrij algemeen verbod op het vervaardigen van wapens, dat zo is geformuleerd dat 3d printen er gewoon onder valt, ook als je het als particulier zonder enig kwaadwillend doel doet:

Het is verboden zonder erkenning een wapen of munitie te vervaardigen, te transformeren of in de uitoefening van een bedrijf uit te wisselen, te verhuren of anderszins ter beschikking te stellen, te herstellen, te beproeven of te verhandelen.
Zoals ik toen al schreef, natuurlijk zal het heel moeilijk zijn erachter te komen of iemand met zo’n 3D printer een wapen zit te printen thuis. Dus ik kan me voorstellen dat men achter de sites aangaat die instructies of CAD-bestanden verspreiden. Maar of die verboden zijn onder de huidige wet, weet ik niet zeker. Ik kan er in ieder geval niets over vinden. Het enige dat in de buurt komt, is artikel 3 lid 1 Wwm:
De bepalingen betreffende wapens zijn mede van toepassing op hulpstukken die specifiek bestemd zijn voor die wapens, de essentiële onderdelen van vuurwapens en op de onderdelen van wapens die van wezenlijke aard zijn.
Je moet dan alleen de term ‘hulpstuk’ wel heel breed lezen: een blauwdruk van een wapen zal zeker ergens helpen om een wapen te vervaardigen, maar de term ‘hulpstuk’ gaat meestal over onderdelen en niet over voorbereidend materiaal. In ieder geval is hier geen jurisprudentie over. Dat zou dus een baanbrekend arrest of een nieuwe wettelijke regel vergen, maar omdat het dan gaat om regulering van toegang tot informatie is dat wel erg ingewikkeld.

Een tussenweg zou kunnen zijn dat je de richting uit gaat van medeplichtigheid, wat gedefinieerd is (naast behulpzaam zijn) als “opzettelijk gelegenheid, middelen of inlichtingen verschaffen tot het plegen van het misdrijf.” Een blauwdruk voor een illegaal wapen kun je zien als inlichtingen, dit is wat je in je printer moet stoppen om zonder erkenning een wapen te vervaardigen.

Enige is dan de opzet. Waar zou je bij een 3d blauwdrukplatform uit moeten afleiden dat sprake is van opzet, dat men wilde dat het misdrijf gepleegd werd? Want enkel “ik wil graag dat mensen dit downloaden” is niet genoeg, je moet echt beoogd hebben dat de downloader het wapen ging printen. Het is verdedigbaar, zeker als je met voorwaardelijke opzet aankomt: jij had een categorie “3d Vuurwapens”, dus je richt je op Nederland, je site staat vol met tutorials hoe de CAD bestanden te printen, dan aanvaard je de aanmerkelijke kans dat mensen uit de categorie Vuurwapens een CAD bestand downloaden en printen. Ik zou het als officier wel aandurven.

Lastige is dan weer dat in het wetboek van strafrecht (art. 54a) staat dat

Een tussenpersoon die een communicatiedienst verleent bestaande in de doorgifte of opslag van gegevens die van een ander afkomstig zijn, wordt bij een strafbaar feit dat met gebruikmaking van die dienst wordt begaan als zodanig niet vervolgd indien hij voldoet aan een bevel als bedoeld in artikel 125p van het Wetboek van Strafvordering.
Artikel 125p is kort gezegd de strafrechtelijke notice-takedown, gegeven door de officier van justitie met machtiging van de rechter-commissaris en na het horen van de tussenpersoon. Dat is een hele berg moeite en daarmee is dan dat ene bestand offline, maar er zullen er vast meer zijn of er zullen kopieën opnieuw opduiken. Een filterplicht is er niet, en een notice/staydown bevel behoort niet tot de mogelijkheden. Dus heel veel opties behalve achter iedere individuele link aan gaan en een berg werk maken voor één verwijdering is er op dit moment niet.

Arnoud