Weten hoe de computer werkt, is een mensenrecht

| AE 10587 | Innovatie | 48 reacties

Gemeenten gebruiken data over hun inwoners om problemen op te sporen voor ze uit de hand lopen, las ik in NRC Handelsblad. Handig dat datagedreven beleid, maar voor de burger stijgt de kans te worden afgerekend op voorspeld gedrag. En dat is een probleem, zelfs als je betoogt dat de gemeente zo gerichter kan handhaven omdat ze aan die data kan zien wie ze moet hebben in plaats van ongericht overal te gaan kijken. Want – bekend thema ondertussen – probeer maar eens te achterhalen wát de regels zijn waarop je dan afgerekend wordt. Toch een niet onbelangrijk thema binnen een rechtsstaat.

Datagedreven beleid, heet het. Het onbekende in kaart brengen als gemeente met data, en dat kan variëren van het voorspellen van de vervangingstermijn van vuilniswagens tot de tijd tussen schoonmaakacties. Maar meestal gaat het over mensen: kans op depressies, armoede en “leefbaarheidsproblemen”.

Uniek aan dit beleid is dat het vaak voor iedereen een black box is. Ook voor de ambtenaren zelf: er is data genoeg en de uitkomsten blijken bruikbaar, maar hoe het systeem nu precies van data tot uitkomst komt, blijft in het ongewisse.

Maxim Februari, filosoof en columnist van NRC, vindt dat kwalijk. „Een belangrijk principe van de rechtsstaat is dat burgers weten welke regels er zijn. Zo kunnen ze zich er ook tegen verweren, bijvoorbeeld door ze met een rechtszaak of met nieuwe wetgeving te veranderen.”

Het blijkt echter hardnekkig om te achterhalen hoe die algoritmes en datastromen werken in de praktijk. Onder de Wob slaagde Februari en consorten er niet in om hierachter te komen. Misschien dat het met een beroep op de AVG wel lukt: die eist immers uitlegbaarheid van je algoritmes die tot persoonsgebonden besluiten komen.

Ik blijf twijfels houden over de impact daarvan. Want AI en machine analyses werken niet zoals mensen. Het voelt dan ook wat onlogisch om te verwachten dat er uitleg uit komt die past bij wat mensen verwachten.

Een ding waar machine learning heel goed in is, is het vinden van correlaties. Vaak blijken dat ook zeer relevante correlaties en zal het aanpakken langs die as er ook voor zorgen dat problemen verminderen. Maar bewijs dat de correlatie ook een causatie is, is er vaak niet. Dus dan kom je niet verder dan “we zien opvallend vaak dat mensen met duizend volgers op Instagram en likes van de hangplek vroege schoolverlaters zijn”. Dat is waarschijnlijk wel wáár en ik kan achteraf ook wel een redenering daarbij verzinnen, maar bewijs is het niet.

Ik hoop heel erg dat ik het mis heb en dat we wel in staat blijken om causale redeneringen toe te voegen aan zulke systemen. Het nut van geautomatiseerde analyses zie ik namelijk wel bij beslisondersteuning en preselectie van overheidshandelen, maar zolang de uitleg afwezig of onbegrijpelijk blijkt, heb je er niets aan.

Arnoud

Deel dit artikel

  1. Er zit wel een belangrijk verschil tussen uitlegbaarheid en causatie.

    Volgens mij is het bij big data erg lastig om causatie vast te stellen, omdat er heel veel variabelen zijn en er vaak geen manipulatie kan plaatsvinden. Natuurlijk kun je een meting doen voor en na de doorvoering van een bepaalde verandering, maar is het dan nog big data of gewoon onderzoek? Het kan overigens wel interessant zijn om bij een verandering in, bijvoorbeeld, uitkeringen te kijken wat er allemaal verandert. Kijk in het jaar voor en het jaar na een verandering wat het doet voor criminaliteitscijfers, tevredenheidscijfers, economie. Het kan zelfs invloed hebben op, bijvoorbeeld, verkeersslachtoffers. Bij veel van die dingen kom je overigens niet heel veel verder, want naast je verandering in uitkeringen, veranderen er allemaal andere dingen. Misschien vind je een correlatie tussen verkeersslachtoffers en uitkeringen, maar misschien hebben die eigenlijk niets met elkaar te maken en hebben ze toevallig net de e-bike uitgevonden. Als je echter toch een causatie weet te vinden tussen twee schijnbaar ongerelateerde dingen, betekent dit nog niet dat je het kunt uitleggen. Je kunt hypotheses opstellen waarom het zo werkt, maar bewijzen vergt dan meer onderzoek.

    Punt is dat big data eigenlijk niets meer is dan geautomatiseerde statistiek, en hoewel interpretatie daarbij erg nuttig en soms zelfs noodzakelijk kan zijn, denk ik dat er ook gevallen zijn waarbij we blij moeten zijn dat we een verband hebben gevonden en kunnen kijken of we daar invloed op kunnen uitoefenen, zelfs als we niet precies snappen hoe het werkt, met name als de impact als het niet lukt, niet al te groot zal zijn.

    • De stelling is volgens mij dat zelfs als je correlatie hebt aangetoond, gemeenten het pas op mensen mogen toepassen als je ook causaliteit hebt bewezen, of misschien zelfs pas als de causaliteit goed begrepen wordt (en dus uitlegbaar is).

      Om een wat controversieel voorbeeld te pakken: er blijkt bij jongeren een sterke correlatie tussen een Antilliaanse achtergrond en de mate van overlast op hangplekken. Ja, natuurlijk wil je als gemeente daar effectief tegen optreden, en doen of die correlatie er niet is, is je hoofd in het zand steken. Maar overgaan tot actie zonder de relatie goed begrepen te hebben kan leiden tot onterechte stigmatiseren of zelfs discriminatie. Dat wil je niet als samenleving: je wilt als Antilliaanse jongere weten waarom de gemeente je volgt, en wat je er aan kan doen. De gemeente moet dat kunnen uitleggen zonder “computer says so” te toepen.

      • Maar dat is gelijk erg extreem. Als je het bijvoorbeeld hebt over “We zien dat bij wegen met lage drukte rotondes minder ongelukken hebben dan kruispunten”. Dat is alleen nog correlatie, maar op zich is het geen enkel probleem om dan eens een rotonde te proberen op een bepaalde kruising.

        Overigens is het volgens mij niet toegestaan om “racial profiling” te doen, zelfs als er een aantoonbaar verband bestaat tussen etniciteit en bepaald crimineel gedrag in een bepaald gebied, maar ik kan me vergissen.

  2. Er is maar weinig programmatuur waaraan zoveel aandacht is besteed dat je het algorithme in alle redelijkheid kunt terug vertalen naar begrijpbare logica. In de meeste gevallen komt de implementatie van de oorspronkelijke requirement namelijk wel min of meer in de buurt daarvan maar is wat het werkelijk doet ingewikkelder, en eigenlijk alleen te begrijpen door de code te lezen en alsnog de tijd erin te steken (om het te begrijpen) die er bij het programmeren niet in is gegaan, omdat het budget (tijd en of geld) het niet toeliet. En aangezien er heeeeel veel code in gebruik is… lijkt het mij voorlopig onwaarschijnlijk dat die duidelijkheid er komt. Je bent in feite afhankelijk van de competentie en de medewerking van je programmeurs, die je uiteraard onder druk zet om goedkoper/sneller te werken. Tja… 😉

    • Inzichtelijkheid/justificatie van voorspellende algoritmes is juist een bloeiend gebied met enorm veel methodiek en artikelen. In de medische wetenschap en financiele wereld is inzichtelijkheid zeer belangrijk/onmisbaar.

      Transparantie is ook anders dan inzichtelijkheid. Je kan de code lezen, en het model technisch beschrijven, maar daar haal je nog geen uitleg uit. De hele truuk van AI/ML is dat programmeren niet hoeft, deze abstracte IF-THEN regels worden geleerd aan de hand van input data en gewenste output.

      De meeste moderne algoritmes zijn in 10 regels aan te roepen. De rest is lijm-code die niet erg relevant is voor voorspellingen.

      Je raakt wel aan een punt: Soms is het geld, kennis, of tijd er niet, en blijft bias in het systeem zitten. Wat er volgens mij gaat gebeuren, is niet dat je programmeurs onder druk gaat zetten om voor een habbekrats een model te bouwen, maar dat de grote 5 dure consultancy bureaus alle interessante projecten op gaan pakken en de AI markt (zeker voor de overheid) gaan monopoliseren. Dankzij de regelgeving en regulatie wordt de drempel verhoogd en kan alleen een bedrijf met IT recht afdeling nog stappen maken.

      Die duidelijkheid komt er dus wel. Zal wel duurbetaald zijn. En de modellen simpel genoeg om ook in Excel te doen (lineare regressies met een handvol grondig bestudeerde variabelen). Gemeentes gaan geen neurale netwerken inzetten die zelf de variabelen leren, dus die black-box angst zal ook wel meevallen.

      Over causaliteit: Ook enorm veel recente literatuur. Causaliteit is niet zozeer relevant voor uitleg, alswel voor beleidsmakers om problemen aan te pakken: Als je een churn model maakt, dan ben je niet alleen geinteresseerd in het voorspellen wie stopt met gebruik van de service, maar ook waarom (dan kun je het namelijk voorkomen). In sommige gevallen biedt een gerandomiseerde test uitkomst, in andere gevallen is dat niet mogelijk, en blijft causale inferentie en correlatie het beste wat we hebben: Je kan moeilijk aan een zwangere vrouw vragen of ze gaat roken, zodat je causaliteit tussen miskraam en roken kunt vaststellen.

      In de ethische/social science AI school is nu het vruchtbare idee ontstaan om ML modellen in te zetten om stevige correlaties te vinden, en deze correlaties dan te testen op causaliteit. Wat overblijft zijn een aantal handvesten waar beleidsmakers het beleid op kunnen aanpassen. (In plaats van te voorspellen wie terug in de gevangenis beland, en daar de strafmaat op aan te passen, vindt de causale factoren die bedragen aan recidivisme, en zet programma’s op om die factoren gericht aan te pakken.)

  3. Er zijn vele artikelen die het punt van uitlegbaarheid van een beslissing door een AI aankaarten. “AI kun je me vertellen waarom je tot deze beslissing bent gekomen?” Het punt is dat de AI gebouwd is rondom het principe van causale verbanden: Als A, dan grote kans op B etc.

    Een mening vragen hoe de AI tot het besluit gekomen is, vergt een meta-AI die het AI proces overziet. Onderzoek hiertoe staat nog in de kinderschoenen.

  4. Maar bewijs dat de correlatie ook een causatie is, is er vaak niet. Dus dan kom je niet verder dan “we zien opvallend vaak dat mensen met duizend volgers op Instagram en likes van de hangplek vroege schoolverlaters zijn”. Dat is waarschijnlijk wel wáár en ik kan achteraf ook wel een redenering daarbij verzinnen, maar bewijs is het niet.

    Dat maakt niet uit, zolang de gemeente maar niet gaat proberen schoolverlaten te bestrijden door Instagram te blokkeren. Je weet dus wel wie je moet volgen, maar niet wat je kan doen om schoolverlaten te voorkomen. Zo werkt het tenminste wel in de medische wereld. Als er een robuuste correlatie is tussen A doen en ziekte B krijgen, dan kan je mensen die A doen extra controleren, ook al heb je geen idee hoe A doen tot ziekte B krijgen leidt.

    De correlatie moet wel goed zijn. Je kan bijvoorbeeld je testdata willekeurig in tweeën delen. De ene helft gebruik je om correlaties te vinden, de tweede helft om te kijken of het geen toevallige correlaties zijn.

    Maar goed, ik heb anderhalve presentatie op dit onderwerp gezien. Experts op dit gebied kunnen waarschijnlijk nog veel meer dingen die je wel en niet moet doen aanwijzen. Ik heb de indruk dat het daar soms een beetje mis gaat bij gemeentes. Die kopen een softwarepakket dat wonderen belooft, maar ze laten niet experts checken of het wel allemaal verantwoord in elkaar zit. De stad New York heeft nu wel al een verordening aangenomen die daar voor moet zorgen.

    • Het gevaar bij correlatie is bijvoorbeeld het volgende:

      Sinds de jaren 90 zijn het aantal moorden afgenomen. Ook is het gebruik van Internet Explorer afgenomen. Conclusie: Van het gebruik Internet Explorer ga je moorden plegen.

      De fout die daar wordt gemaakt is dat twee compleet niet-gerelateerde dingen per ongeluk een sterke correlatie hebben, en daarom onterecht aan elkaar gekoppeld worden.

      Ander voorbeeld: In een basisschoolklas vraagt de leerkracht aan de ouders om aan te geven hoeveel uur per week kinderen naar de TV kijken. Ook geeft de leerkracht een cijfer aan de kinderen hoe agressief ze zijn. De resultaten laten een correlatie zien tussen het aantal uren TV en de agressie. Conclusie: Van TV kijken worden kinderen agressief.

      Echter zitten hier een aantal fouten in. Wellicht weten agressieve kinderen gewoon TV af te dwingen (causatie is dus andere kant op). Of zijn de ouders weinig thuis waardoor het kind én veel TV kijkt én slecht opgevoed wordt (oorzaak is derde variabele). Het kan zelfs zijn dat als je de resultaten opsplitst in meisjes en jongens, dat er zelfs een negatieve correlatie is in beide groepen (meer TV kijken gaat dan gepaard met minder agressie). Daarbij is er een prikkel voor ouders om te liegen over de uren en is het cijfergeven niet erg objectief, maar dat gaat niet zozeer over correlatie.

      Hoe dan ook, het moge duidelijk zijn dat correlatie niet altijd iets zegt, zelfs als je kunt vaststellen dat die correlatie bij herhaling hetzelfde is (door bijvoorbeeld de resultaten te splitsen).

      Ik denk echter dat correlatie niet onbruikbaar is. Als de risico’s van een aanpassing laag zijn, kun je best iets doen met de correlatie, om te kijken of het gevonden verband ook steekhoud. Dat betekent dat als het weinig geld kost, herstel weinig geld kost, en mensen niet onnodig schaadt, je best iets uit kunt proberen. Denk aan verkeersoplossingen waar het wegdek toch al vervangen moest, of een trial met alternatieve tegenprestaties voor uitkeringen (er loopt/liep een trial met mensen in de bijstand die niet hoefden te solliciteren, of geld kregen om een eigen business op te zetten. Er zijn ook trials met basisinkomen)

      • Mee eens dat correlaties niet onbruikbaar hoeven zijn, sterker nog: ik denk dat ze in veel gevallen bijzonder bruikbaar kunnen zijn, nuttiger nog dan causale verbanden. Je moet er echter altijd voor waken dat de correlatie niet als causaliteit wordt geïnterpreteerd. In de praktijk is dat wel lastig, want het menselijk brein werkt juist graag met causaliteit en legt (ook onbewust) veel causale verbanden.

        Degene die aan de slag gaat met uitslagen van de analyses zal zich erg bewust moeten zijn van het verschil tussen correlaties en causale verbanden, en bij zijn onderzoek goed bepalen wanneer correlaties wel en juist niet wenselijk/nuttig/acceptabel/gevaarlijk/discriminerend kunnen zijn (of tot aan zo’n uitkomst kunnen bijdragen). En die beslissingen moet je kunnen uitleggen.

        Wellicht valt aan de input kant ook nog wat te winnen. Door geen informatie aan het systeem te voeren die tot (bijv.) discriminerende uitkomsten zou kunnen leiden (bijvoorbeeld door geen enkele etnische/raciale gegevens aan de dataset toe te voegen) bijvoorbeeld. Maar ik kan niet overzien in hoeverre de (iig voor mij) onnavolgbare analyses alsnog met schijnbaar onschuldige gegevens tot een discriminerende uitkomst of interpretatie zouden kunnen leiden. Door echter zoveel mogelijk ‘misbruikbare’ gegevens buiten de dataset te houden maak je de risico’s echter wel kleiner. Ik zie dit als een van de redenen achter het verbod op het verwerken van bijzondere persoonsgegevens (in de zin van de AVG en trouwens ook de Wbp, ondanks dat big data nog niet echt bestond toen de Wbp tot stand kwam).

        • Vrijwel alle variabelen zijn gecorreleerd aan ras. Geef mij je Facebook Likes (Jay Z vs. Frans Bouwer) en woonwijk (Bijlmer vs. ’t Gooi) en ik voorspel je ras veel beter als random of gemiddelde gok. Dit noemt men redudante encoderingen (redundant encodings) in de literatuur.

          Paradoxaal genoeg heb je de beschermde variabelen nodig om discriminatie te kunnen herkennen, meten, en corrigeren. Je ogen sluiten is niet voldoende.

          Je kan je model dan op zo’n manier calibreren/afstellen dat optimaal rekening gehouden wordt met eerlijkheidsprincipes (er zijn verschillende eerlijkheidsprincipes in de literatuur), zonder de accuraatheid te veel te schaden.

          http://bair.berkeley.edu/blog/2018/05/17/delayed-impact/

  5. Bwhahahahahaha!!! “Zo de oet een wekse ziet is het laat!” Maar wat voor nivo moet de uitlegbaarheid hebben? https://en.wikipedia.org/wiki/Karger%27s_algorithm is een heel duidelijk algoritme maar ik begrijp er geen snars van (al die wiskunde) mag dat dan niet? Een AI zegt ik als AI afwijkend gedrag op basis van een netwerk van 12000 nodes die aan de hand van jullie training set een mesh gevormd hebben en daar komen deze resultaten uit. (of zoiets) In principe zou je de AI op slow stand alle stappen een voor een kunnen laten uitvoeren en iemand mee kunnen laten kijken en dan 6 eeuwen later zijn alle 157920037792002 stappen bekeken? Is het erg dat de AI zegt, daar zou ik naar kijken en dat dan gekeken wordt met genoeg waarborg als het niet klopt? Hoe gaat dat nu dan? Liggen er bij scripts waarbij de ambtenaar gevraagd wordt om te kijken naar auto kleding etc om te kijken of er niet wat veel wordt uit gegeven. Werd er vroegah! niet ook op gevoel iets gedaan? (Hoe kijk je in iemands hoofd) We houden ons zelf niet tegen de hoge standaard die we van een AI verwachten

  6. Misschien dat het met een beroep op de AVG wel lukt: die eist immers uitlegbaarheid van je algoritmes die tot persoonsgebonden besluiten komen.

    Waar staat dat dan? O ja, daar. Ongeveer.

    Artikel 22
    Geautomatiseerde individuele besluitvorming, waaronder profilering
    1. De betrokkene heeft het recht niet te worden onderworpen aan een uitsluitend op geautomatiseerde verwerking, waaronder profilering, gebaseerd besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem anderszins in aanmerkelijke mate treft.
  7. Ik zie hier eigenlijk het probleem niet zo, zolang er maar geen definitieve beslissing genomen wordt door de AI. Dus niet “Volgens de computer is er een kans van 90% dat u 20 km te hard gaat rijden op 1 januari om 4 uur ’s middags, dus u krijgt alvast een boete.

    Als aanleiding voor een onderzoek vind ik het voldoende om te zeggen “deze software heeft in het verleden aangetoont x% correct te voorspellen dus wij doen op basis van een melding een startend onderzoek”. Zware middelen zoals huiszoeking en dergelijke vereisen dan aanvullend bewijs, dat uit dat vooronderzoek komt. Zeker voor dingen als de aangifte inkomstenbelasting vind ik de effectiviteit van de software onderbouwing genoeg om bijvoorbeeld te selecteren welke aangiftes door een mens gecontroleerd worden en wie extra bewijsstukken mag aanleveren.

    Tot slot is dit natuurlijk een ideaal middel als je het niet richt op het individu, maar op hele gebieden of groepen. Dan is de individuele privacy minder in het geding. Het racial profiling argument is dan ook kolder, als een bevolkingsgroep gemiddeld veel meer criminele daden begaat dan houd je ze extra in de gaten, net als dat je extra surveilleert in een wijk met veel inbraken/bekende inbrekers.

    • Big data helpt om cirkelredeneringen te maken: ben je extra aan het surveilleren in die wijk omdat de computer aangeeft dat in die wijk een grotere kans is om een crimineel te pakken? Dat is zo, omdat in die wijk vorige periode veel criminelen werden gearresteerd. Mogelijke oorzaak is dat het advies van de computer om daar extra te surveilleren van vorige periode is opgevolgd…. voor je het weet zit het hele politiecorps in een enkele wijk en dat is goed, want de computer geeft aan dat daar alle boeven zitten.Als je dan niet weet hoe het algoritme tot stand komt en welke brondata gebruikt wordt ben je gewoon niet goed bezig

    • ik zie hier eigenlijk het probleem niet zo.

      Risico is dat b.v de AI een voorselectie maakt op gronden die we liever niet willen bijv. etniciteit. Overheid heeft beperkte middelen en voor je het weet maken in de praktijk alleen nog mensen van enkele etnische groepen kans op nader onderzoek/vervolging.

      Aan de andere kant kun je je afvragen: mocht een ongewenste factor na uitgebreid onderzoek op een bepaalde gebied toch de sterkst bekende factor blijken, waarom zou overheid daar geen gebruik van mogen maken; wellicht is het gebruik van (de statistische) kennis uiteindelijk voor iedereen beter.

  8. Voor zoiets als overlast geven zal er zelden tot nooit causalaiteit zijn, zeker niet op individueel niveau. Gedrag blijft uiteindelijk een vrije keuze (of je het verkeerde pad op gaat of niet). Zonder die algemene opvatting zou ons “recht” er waarschijnlijk heel anders uitzien.

    Wellicht kunnen m.b.v. AI/big-data etc. wel specifiekere en minder gevoelige factoren worden gevonden: bijv. soc.-economische data over individu, gezin, vrienden, of bekenden, de buurt waarin je woont, de sportclub waar je bij zit, schoolprestaties, of het verloop van data door de tijd.

    In hoeverre mag/kan overheid daar iets mee?

    • Alex, je stelt een hele goede politieke vraag. Je kunt een onderklasse creëren als je mensen geen kansen biedt om hun positie te verbeteren. Discriminatie op grond van afkomst (ook “zachte discriminatie”*) levert een klassenmaatschappij op en dat wil IK niet.

      Big data en AI zijn heel goed in het produceren van bevooroordeelde resultaten, omdat de vooroordelen al in de historische data zitten. Er is weinig bekend van fraude door Nederlanders via nummerrekeningen in allerlei belastingparadijzen; wel van Turken en Marokkanen die een huis of bankrekening thuis verborgen houden voor de bijstand. Je kunt ook zeggen dat big data en AI heel goed zijn in het vinden van de misdrijven van gisteren…

      • Zachte discriminatie gaat over subtiliteiten als extra controles bij aanvragen van uitkeringen of financieringen, bovenmatige politie- of belastingcontroles… Specifiek de gevolgen van een big-data filter die goedwillende burgers uit achterstandsgroepen extra tijd en inspanning kosten om iets te bereiken.
        • Even voor de duidelijkheid: een klassemaatschappij vind ik erg ongewenst. Ik heb de indruk dat we door allerlei ontwikkelingen wel die kant op gaan. En hoewel nieuwe technologie zeker het risico heeft daar een bijdrage aan te leveren (vandaar mijn reactie op Johan), denk ik dat wel binnen de perken te houden is. (Ik zie het doorgeschoten vvd beleid en matige schoolsysteem als veel grotere problemen in dat verband, maar nu ga ik wel wel ver off-topic).

          Je voorbeeld lijkt me dan weer niet zo’n groot probleem. Ik heb alleen even gescant, maar juist bij defensie kan ik enige voorzichtigheid goed voorstellen.

          Verder vind ik het bizar om kennis over correlaties te negeren. Vraag zou wat mij betreft moeten zijn hoeveel moeite overheid moet doen om de werking van een AI te doorgronden, voordat ze die in mogen zetten.

          Achteraf wil je ook kunnen controleren, dus in principe zou m.i iedereen de gehanteerde regels moeten kunnen kennen. Open source lijkt me daarom op zijn plaats. (En anders zou je toch minimaal de black box moeten kunnen gebruiken)

  9. Ik twijfel omdat je bij machine learning eigenlijk de computer zelf de algoritmes laat berekenen. De Schaak engine AlphaZero en Go engine AlphaGo Zero hebben zelf de algoritmes bepaald waarmee ze extreem sterk kunnen spelen. Maar uitleggen waarom de zet 1. D4 met schaken beter is dan 1. E4 kunnen ze weer niet. En zelfs de topschakers weten het ook niet. Wat weet de computer wat wij niet weten?

    Maar goed, voor machine Learning is een enorme hoeveelheid data noodzakelijk waarbij de computer moet kunnen bepalen wat de relaties tussen de data is en welke gevolgen er kunnen komen. Bij schaken en Go kun je daarbij zorgen dat de computer op zoek gaat naar methodes die altijd winnen. Maar mensen zijn niet zo eenvoudig te voorspellen.

  10. @Wim ten Brink, re. weten: Niks. De sleutel is niet rauwe kennis, maar inzicht in consequenties en andere verbanden. Ook voor veel mensen is het uitleggen van inzicht veel moeilijker dan het opdreunen van kennis (maar YMMV, natuurlijk). Verwachten dat een door mensen gemaakte AI dat beter doet is, ten minste op dit moment, niet erg realistisch.

    En op het moment dat zo’n AI dat wel kan, is er sprake van enig zelfbewustzijn en dient de discussie ‘zijn AIs personen’ zich wel erg acuut aan.

    Maar ook dat is voorlopig toekomstmuziek.

    • Maar de AI’s die er nu zijn voor schaken en Go doen het dus wel veel beter dan mensen! Tegenwoordig kan zelfs de beste schaak-grootmeester het niet meer winnen van de computer. En voor Go precies hetzelfde. En de AlphaZero engines hebben zichzelf deze algoritmes aangeleerd door domweg urenlang tegen zichzelf te spelen om zo de beste winst wegen te bepalen. Dat is nu al zo ver gekomen dat Google’s schaak-engine een enorme zet heeft door 1. D4 terwijl veel schakers toch liever een eigen variant spelen. Bedenk wel dat AlphaZero alleen de spelregels heeft geleerd en verder zelf maar moest uitzoeken hoe het kan winnen…

      Het idee achter deze engines is DeepMind en de AlphaZero engine leerde schaken vanaf het niveau beginner zonder enige openings kennis of eindspel-kennis en werd sterker dan de sterkste grootmeesters in maar 4 uur tijd! En ook belangrijk is dat AlphaZero uiteindelijk 28 keer won en niet verloor van een schaak-engine die door mensen van een openingsboek en eindspel-theorie was voorzien. Ofwel, de computer vond algoritmes die beter waren dan wat wij mensen konden bedenken! In 4 uur! Met alleen kennis van de schaakregels en verder niets…

      Maar dit is pas het begin en het zal nog vrij lang duren voor het op andere gebieden van toepassing is. Echter, op dit moment kunnen mensen eigenlijk nauwelijks nog uitleggen waarom AlphaZero de zetten doet die het heeft gedaan in de honderd spellen die het tegen een andere engine heeft gespeeld. Maar de computer heeft zichzelf schaken aangeleerd tot een niveau beter dan de beste grootmeesters. Is nog geen begin van een zelfbewustzijn maar sowieso is zelfbewust lastig te definiëren. Is een egel zelfbewust? En een slak? Een zeester? Een mier? Een rozenstruik? Een bacterie? Waar begint dat uiteindelijk?

      • Bij schaken is het einddoel bekend en overzichtelijk: schaakmat. Hoe je daar komt doet er niet toe, als de spelregels maar worden gevolgd. De overheid heeft niet echt een einddoel, maar telkens wisselende doelen die democratisch gesteld worden. En bij het behalen willen we democratische en ethische spelregels (die niet vastliggen, maar ook telkens onvoorspelbaar veranderen). Computer kan het wellicht ooit beter weten; maar ik ben benieuwd of/wanneer we dat (democratisch) kunnen accepteren.

        • Ja, maar dat geldt binnen de overheid ook, alleen zijn de regels dan wat meer complex en is de hoeveelheid data wat meer beperkt. Bovendien gaat het bij een schaakcomputer vooral om de beste zet te vinden. En dat hoeft niet altijd tot schaakmat te leiden maar ook tot remise, pat of gewoon proberen het verlies zo lang mogelijk uit te stellen. En de overheid wil natuurlijk dat de computer zelfstandig naar verbanden gaat zoeken in grote datasets. Mede ook omdat de computer geen vooroordelen heeft mits deze maar niet in de algoritmes zitten verwerkt.

          Om maar eens een voorbeeld te geven: Smurfen, om maar eens een fictieve bevolkingsgroep te nemen. Stel dat je in een dataset over smurfen hebt staan dat 70% van de smurfen op locatie X smurfbessen plukken. Een tweede dataset geeft aan dat 30% van alle smurfen regelmatig dronken zijn. Dan wil je weten of daar enige correlatie tussen zit. Maar de data geeft aan dat die 30% van dronkaards evenredig zijn verdeeld over alle smurfen dus is er voor onderzoekers geen direct verband te vinden. Dus dan gaat de computer aan de slag met nog heleboel meer datasets. De computer gaat vervolgens aan de slag en daaruit komt dan de ontdekking dat alleen smurfen die tussen 10:00 en 14:00 op plek X smurfbessen plukken een 40% grotere kans hebben om dronken te worden, wanneer ze na het plukken van de smurfbessen langs het huis van de Smurfin lopen. Om dat te bepalen heb je wel veel data nodig, waaronder de tijden wanneer de smurfen bessen plukken en welke route ze naar huis nemen. En het enige wat de computer heeft gedaan is alle opties berekenen, voor zover bekend, die alle smurfen hebben. En dat is ook het geval met schaken. Een schaakcomputer rekent gewoon alle mogelijkheden door om tot de beste conclusie te komen. Het hoe en waarom wordt daar niet bij verteld. De computer kan ook niet aangeven waarom juist deze groep smurfen vaker dronken worden maar heeft wel deze relatie uiteindelijk ontdekt.

          Dat de Smurfin iedere dag van 10:30 tot en met 15:00 topless ligt te zonnen en haar buurman in zijn zolder een uitkijkpost heeft gebouwd inclusief bar zou het dan uiteindelijk kunnen verklaren maar dat is pas achteraf, als we het verband hebben ontdekt. En dan is dit nog best een eenvoudig voorbeeld. Maar de gemeentes en overheid hebben enorm veel data tot hun beschikking, waaronder NAW gegevens van alle inwoners, inzage in energieverbruik en verkeer, de diverse bedrijven en waar die vaak bezig zijn, wat er her en der wordt verkocht in de winkels (BTW is een mooie indicatie hiervoor) en nog veel meer data.

          De kracht van Big Data werd voor 2012 al aangetoond omdat de winkelketen Target eerder wist dat een meisje zwanger was dan haar ouders, in de USA. Ze hadde dit gebruikt om het meisje advertenties toe te sturen voor zwangere vrouwen waarop haar vader boos reageerde. En later zijn verontschuldigingen aanbood toen de aap uit de mouw kwam…

          Dus als een computer door een of ander algoritme kan voorspellen dat een bepaalde tiener zwanger moet zijn dan kun je wel nagaan wat de overheid er allemaal uit kan halen. In dit geval was het nog niet al te complex omdat het meisje producten kocht die veelal door zwangere vrouwen worden gekocht. Dus best nog relatief eenvoudig maar ja, dat was in 2012 en we zijn al 6 jaar verder…

          • Je hoeft me niet te overtuigen wat de computer allemaal kan. Het gaat erom in hoeverre overheid correlaties mag gebruiken en daar inzicht in moet geven. Misschien is er een duidelijke correlatie tussen uiterlijk, taal of muzieksmaak en (type) criminaliteit. Wat kan/mag/moet overheid daar nu mee? En hoe transparant moeten de overheid en die algoritmes zijn?

            Ik zie zelf duidelijk potentiele voordelen en mogelijkheden, maar zie ook de risico’s. Controleerbaarheid vind ik daarom heel belangrijk.

            • Inzicht geven is simpel. Je hebt data van waar de smurfen allemaal lopen en wanneer ze dronken zijn. Omdat ze langs het smurfbessenbosje op plek X komen kun je verwachten dat ze er bessen gaan plukken. Dat de Smurfin topless in haar tuin ligt is onbekend maar je weet wel dat deze smurfen na het bessen plukken langs haar huis lopen en de smurfen die er rond een bepaalde tijd langs lopen zijn dus vaker dronken.

              Waar die smurfen lopen weet de overheid ook dankzij de kenteken-registratie bij diverse snelwegen. En wie waar woont is ook bekend door het bevolkingsregister en de registratie van bedrijven. Meer data heeft de computer eigenlijk niet nodig om bepaalde verbanden te ontdekken. Maar we weten allemaal dat de overheid deze data over verkeer, bedrijven en bewoners weet maar eigenlijk niet hoe de overheid hier allerlei verbanden uit kan analyseren. En toch kan het, zoals dat zwangere meisje heeft aangetoond met haar koopgedrag.

              Maar goed, zelfs de overheid zal die algoritmes moeilijk kunnen uitleggen. Data gaat de magische doos in en informatie gaat eruit. Wat er precies gebeurt is een raadsel en lastig uit te leggen. Wat wel bekend is, is de informatie die eruit komt maar dat is dus pas bekend op het moment dat het berekend is. Je weet namelijk niet wat eruit komt tot de computer ’42’ zegt. En hopelijk weet je dan de vraag nog…

              Hoe kun je dus transparant zijn als zelfs de overheid niet weet hoe het in elkaar zit. AlphaZero heeft een sterke voorkeur voor de zet 1. D4 in schaken, terwijl schaakgrootmeesters vaak andere voorkeuren hebben. Wat weet de computer dat zelfs de schaakgrootmeesters niet weten? Zou 1. E4 altijd verliezen of is er een andere factor waardoor AlphaZero deze specifieke voorkeur heeft?

              Want uiteindelijk laat men de computer niet doelgericht zoeken naar een verband tussen data maar krijgt de computer gewoon opdracht om verbanden te vinden en daar komen dan verrassingen uit. De wetenschap dat Smurfin iedere dag tot 15:00 topless ligt te zonnen weet je dus uiteindelijk pas als je op basis van de gevonden resultaten verder onderzoek gaat doen. Maar je weet dus wel dat de Smurfin iets te maken heeft met al dat dronkenschap…

              En zo ook met Big Data en de overheid. De magische doos zegt dat mensen die in het weekend rond 18:00 naar de binnenstad van Amsterdam gaan vaker rond middernacht stoned en dronken zijn dan de rest. Dat is de correlatie die de computer vindt.

              En dat brengt mij meteen bij de website Spurious Correlations die b.v. laat zien dat de hoeveelheid olie die de USA importeert vanuit Noorwegen gerelateerd lijkt te zijn aan het aantal automobilisten die jaarlijks een botsing krijgen met een trein! Natuurlijk is daar geen verband tussen maar de computer vindt het toch. Zou er dan toch een koppeling tussen zitten?

  11. “Dus dan kom je niet verder dan “we zien opvallend vaak dat mensen met duizend volgers op Instagram en likes van de hangplek vroege schoolverlaters zijn””

    De bedoeling ervan is bijstandsfraude op te sporen. Goed voor het draagvlak, nuttig, geldbesparend, maar de beginselen van de rechtstaat moeten natuurlijk wel geëerbiedigd worden. De grens ligt bij mij bij data, die rechtstreeks met fraude verband houden, zoals dat bijvoorbeeld uit een OV-chipkaart blijkt, dat je op vaste tijdstippen een bepaalde locatie bezoekt. Dat kan wijzen op zwartwerk. Minder water verbruiken kan wijzen op een substantieel deel van de tijd elders wonen. Maar als uit een machinealgoritme blijkt, dat mensen die tussen € 14,54 en € 15,24 bij de Jumbo besteden op dinsdagmiddag tussen 15:11 en 17:47, dan is de relatie met frauduleus gedrag ver te zoeken en zulk opspoorgedrag verboden moeten worden. Het kan niet als begin van bewijs gelden.

    • Wat vaak in deze discussies mist is dat de computer nooit een harde ja / nee geeft, maar een score/waarschijnlijkheid.

      Beleidsmakers zetten dan een cut-off op de score (indien score > 0.85 dan beginnend fraude-onderzoek) aan de hand van een foutenanalyse/kostenbatenanalyse. Een slim algoritme kan best in een klein deel van zijn berekening opnemen dat mannen boven de 30 die tussen € 14,54 en € 15,24 bij de Jumbo besteden op dinsdagmiddag tussen 15:11 en 17:47 een verhoogde kans op fraude/zwartwerk hebben. Bijvoorbeeld: De prijs van een prepaid kaart is 14,99 en zwartwerkers gebruiken vaker dan gemiddeld een prepaid telefoon (7 op de 100, ipv 4 op de 100). Dat is de kracht van big data: verbanden vinden waar mensen niet eens aan kunnen denken en dit alles laten meetellen in de berekening.

      Als je modellen handicapped tot het gebruik van zeer inzichtelijke en verklaarbare variabelen (je maakt express een witte-box model) dan ben je terug in de jaren 80/90: Modellen uit die tijd waren zo simpel dat men ze massaal tot checklijstjes kon omvormen (indien electriciteit gebruik > 1500 MwH -> Laat infrarood drone overvliegen om hennepplantage te herkennen) wat ook precies de huidige realiteit is. Heb je geen big data of enge neurale netwerken voor nodig.

      Specifiek in het geval van fraude: Of je model erg simpel is, of met heel veel factoren rekening houd, je wil de variabelen en cut-offs niet weggeven (criminelen zouden hun energieverbruik aanpassen, zoals men zich soms aanpast op universiteit entree examens of sollicitaties). Door met veel factoren rekening te houden ben je wel accurater (minder overlast voor onschuldige mensen met fraude-patronen), en maak je het lastiger om het model te belazeren (beslismodelen zijn er voor een reden, en de verkeerde mensen niet opsporen is niet goed.)

  12. Concreet over dit artikel zelf: De overheid die Facebook gebruikt om burgers te tracken is verschrikkelijk eng. Als je me dat decennia geleden had gemeld, dan had ik toekomstig Nederland als Dystopia verklaard. Daarmee schiet de overheid zich ook mee in de voet. De eerste keer dat een jeugdwerker een opmerking maakt over je vriendengroep buiten de stad, is de laatste keer dat je openbaar internet gebruikt met je maten. Dan ga je ondergronds, en zit je 1 klikje verwijderd van een Isis groep of een drugsmarkt.

    Ik ben het niet eens met de conclusie van de filosoof:

    Een belangrijk principe van de rechtsstaat is dat burgers weten welke regels er zijn. Zo kunnen ze zich er ook tegen verweren, bijvoorbeeld door ze met een rechtszaak of met nieuwe wetgeving te veranderen.

    De regels zijn simpel en helder: Fraude mag niet. Als het systeem zegt “grote kans op fraude”, dan volgt er een onderzoek om aan te tonen of dat zo is. Je hebt geen recht om niet tot fraudeverdachte te boek te staan. Je hebt een recht om je te verweren tegen de (al dan niet legitieme) aanklachten voorkomend uit het onderzoek. De feiten uit dit onderzoek staan op zichzelf, en zijn niet relevant voor de precieze werking van het systeem.

    Als je wil weten of een systeem discrimineert, dan moet dit wel via een audit door een derde partij. Je hebt de gehele dataset nodig, en die kun je niet vrijgeven in een WoB. Je hebt in essentie dezelfde garantie dat een baliemedewerker je niet afrekent op huidskleur: Daar moet je dan maar op kunnen vertrouwen, dat dat statistisch knor zit, zoals we de politie ook een geweldsmonopolie toekennen.

      • Ik vind het nogal voorbarig om te stellen dat je door een voorselectie van een computer ineens verdacht zou zijn.

        Als fraudemedewerkers aselect een sample van de populatie kiezen dan zijn dat ook geen verdachten. Een computer preselectie zal mensen uit obv criteria kiezen die een hogere risico vormen. Je ben dan niet ineens een verdachte maar je bent iemand die in een bepaalde risicogroep valt. Misschien niet een fijn gevoel als je dat weet maar dat is echter niets nieuws. Als politie extra gaat patrouilleren in een winkelstraat omdat er veel zakkenrollers in die winkelstraat actief zijn dan ben jij als je in die winkelstraat loopt nog niet direct verdachte van zakkenrollen.

    • De regels zijn simpel en helder: Fraude mag niet. Als het systeem zegt “grote kans op fraude”, dan volgt er een onderzoek om aan te tonen of dat zo is.

      Het wordt een probleem wanneer dat onderzoek impact heeft op degene die wordt onderzocht. Het wordt ook een probleem wanneer degene die het onderzoek doet de mindset heeft ‘waar rook is, is vuur’, en daardoor zijn onderzoek laat kleuren. Beiden zijn heel reele mogelijkheden, en daarmee moet dus ook rekening worden gehouden.

      • Ik ben het eens dat beiden reele mogelijkheden zijn, maar denk niet dat een WoB or zelfs de gehele code inzien deze problemen oplost.

        Als de politie jou aan de kant zet om even te blazen, omdat je verdacht slingert, en eigenlijk komt dat omdat je een beginnend griepje hebt, dan is dat vervelend en heeft dat impact. Maar geringe impact, en gezien in groter goed van alle weggebruikers, gewenst dat dronken bestuurders worden uitgesloten. Zelfde met bijstandsfraude: De impact van een fraudeur is groter op de maatschappij, dan de impact van een gericht onderzoek zonder iets te vinden.

        Ook “waar rook is, is vuur” is natuurlijk ongewenste instelling. Maar educatie kan dit voorkomen, en wat kan een vooringenomen ambtenaar eigenlijk aan schade aanrichten? Stel men denkt: Dit energieverbruik is zo hoog, daar moet wel een wietplantage zitten. Na onderzoek blijkt er niets aan de hand en blijkt men onschuldig cryptomuntminer. Je kan moeilijk zo vooringenomen zijn, dat je een krabbel zet onder “wietplantage aangetroffen”.

        • Zelfde met bijstandsfraude: De impact van een fraudeur is groter op de maatschappij, dan de impact van een gericht onderzoek zonder iets te vinden.

          Dat roept de politiek nou ook altijd, maar nooit met een greintje bewijs.

          Ook “waar rook is, is vuur” is natuurlijk ongewenste instelling. Maar educatie kan dit voorkomen, en wat kan een vooringenomen ambtenaar eigenlijk aan schade aanrichten?

          Ze kunnen altijd wel wat vinden. Je hoeft als bijstandsgerechtigde maar een keertje twee dagen te laat een of ander formuliertje te hebben ingevuld, of ergens een schrijffoutje te hebben gemaakt, en je hangt.

          https://www.nationaleombudsman.nl/nieuws/2014/ombudsman-fraudewet-pakt-goedwillende-burgers-aan-als-criminelen

          • Dat roept de politiek nou ook altijd, maar nooit met een greintje bewijs.

            https://joop.bnnvara.nl/nieuws/opmerkelijk-gemeenten-innen-bijstandsfraude-niet

            1.4 miljard Euro! Een enkele fraudeur kan 250k schade aanrichten aan misgelopen inkomsten voor gemeentes. Bovendien maakt onopgespoorde fraude duidelijk dat fraude loont, dit werkt demoralizerend voor mensen die wel legitiem een baan houden, en aanzuigend voor mensen die ook wel extra inkomsten op hun bijstand willen.

            Ze kunnen altijd wel wat vinden. Je hoeft als bijstandsgerechtigde maar een keertje twee dagen te laat een of ander formuliertje te hebben ingevuld, of ergens een schrijffoutje te hebben gemaakt, en je hangt.

            Concreet aanpakken hiervan: Boetes omlaag voor mensen die onbewust frauderen. Maar boetes dienen te blijven, indien de regels worden overtreden. Wie gepakt wordt moet op de blaren zitten.

        • Ik ben waarschijnlijk een boze uitzondering in deze, maar: Ik snap dondersgoed dat de politie zo’n auto aan de kant zet. Je hebt een beperkt budget (je kan niet elke auto staande houden). Je kan dus random en gerichte controles houden. Random is dan meestal voor de vorm (om de schijn van discriminatie tegen te gaan). Als Rotterdamse politie in centrum een auto-controle houdt, dan gaat dit om witte Mercedes met jonge Turken of Marokkanen hierin. Geen interesse in een rode Fiat met Antiliaan, dus ook geen racisme.

          In plaats van de agent weg te zetten als vooringenomen racist, vraag je eens werkelijk af hoe dat komt. Is de politie werkelijk het probleem? Of heeft de politie oog voor het probleem, en wordt dit probleem ogenschijnlijk voornamelijk ingevuld door mensen met hetzelfde profiel? Was ik eenzaam als tiener, toen ik dacht “dat is drugsgeld/gestolen” toen ik een 16-jarige Marokkaan uit bijstandswijk op de nieuwste scooter zag rijden?

          • Het punt van discriminatie zit hem juist in dat “voornamelijk ingevuld door”. Het staat vaak helemaal niet vast dat wat je noemt de jonge Marokkanen de meeste auto-gerelateerde overtredingen begaan. Het is dan vaak eerder gemakzucht om die eruit te pikken, dan dat het statistisch onderbouwd is dat Marokkanen eerder zonder rijbewijs rijden, kapotte verlichting hebben et cetera. Ik zou niet verbaasd zijn als het meer is omdat je daar makkelijker scoort: die jongens doen niet zo ingewikkeld als een WO-opgeleide Nederlander die gelijk een advocaat belt, die jongens gaan schreeuwen en dan kun je ze voor verzet of belediging aanhouden.

          • Maar dat is nu juist de essentie van racisme: de (vermeende of echte) eigenschappen van een groep op een individu reflecteren. Zelfs al zou het waar zijn dat 90% van de 16 jarige marokkanen op een nieuwe scooter daar niet eerlijk is aangekomen, dan nog heeft die 10% daar geen boodschap aan. Die kunnen er ook niets aan doen dat ze er marokkaans uitzien, en hebben net zo goed als iedereen recht op vrijheid.

            Jij ziet ze als groep. Maar die 10% is het daar waarschijnlijk niet mee eens. Die kennen die 90% niet eens en willen ze niet kennen. Die groepsindeling van jou is willekeurig!

  13. Naar mijn idee is een algoritme waarmee verwerkingen ten behoeve van een of meer taken of handelingen van een overheidsorgaan worden uitgevoerd een onderdeel van een archiefstuk cf de Archiefwet 1995, artikel 1 sub c

    (archiefbescheiden: 1°. bescheiden, ongeacht hun vorm, door de overheidsorganen ontvangen of opgemaakt en naar hun aard bestemd daaronder te berusten )
    En wel dat onderdeel van het archiefstuk dat in de Archiefregeling art. 1 sub h wordt omschreven als gedrag.
    (geheel van dynamische en interactieve kenmerken van archiefbescheiden 1°. bij raadpleging of gebruik ten tijde van het ontvangen of opmaken van de archiefbescheiden door het overheidsorgaan; en 2°. die voor het overheidsorgaan kenbaar moeten zijn voor de uitvoering van het betreffende werkproces.)
    Gevolg is dat zodra een archiefstuk of vanwege de WOB of vanwege de Archiefwet 1995 openbaar is, mutatis mutandis het algoritme zijnde het gedrag ook openbaar te maken is. Gebeurt dat niet dan is er geen sprake van ‘goede, georde en toegankelijke staat’ conform artikel 3 van de Archiefwet 1995. De geleverde informatie is dan contextloos, niet compleet, niet reconstrueerbaar en dus niet interpreteerbaar. Met als gevolg dat het betrokken overheidsorgaan niet te controleren is.

    NB! Nog een opmerking voordat oplettende lezertjes zich op het verkeerde been laten zetten. De Archiefwet is een informatiewet en is van toepassing op alle informatie die wordt verwerkt in het kader van taken en handelingen die gebaseerd zijn op wetgeving.

Laat een reactie achter

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren en <em> en <strong> voor italics en vet.

(verplicht)

Volg de reacties per RSS