Privacywet schiet tekort bij hulp tegen computer

De nieuwe Europese privacyregeling, die moet voorkomen dat computers ongecontroleerd belangrijke beslissingen nemen over mensen, helpt niemand. Dat zeggen privacy-experts aan verschillende universiteiten in het FD vorige week. De AVG – want daar hebben we het natuurlijk over – bepaalt dat mensen niet onderworpen mogen worden aan geautomatiseerde beslissingen. De beslissing moet menselijk zijn, een computer of algoritme mag slechts ondersteunen en adviseren. Bovendien moet het geautomatiseerde proces uitlegbaar zijn, een onderwerp waar we vaker over hebben gediscussieerd. Maar het helpt niet, omdat – zo luidt de cynische conclusie – organisaties gewoon een mens “computer says no” laten zeggen en dan onder de wet uit denken te komen.

Op papier is het verbod natuurlijk streng genoeg om dit soort trucjes eenvoudig te dwarsbomen. Het hele idee van dit verbod is te voorkomen dat een ijzerenheinige computer een rood lampje laat branden waartegen je niets kunt doen. Een mens er naast die met veel sympathie de schouders ophaalt en “het spijt me, het mag écht niet” zegt, is dan natuurlijk geen wezenlijke verbetering. En als je die computer onder het bureau verstopt dan blijft het natuurlijk evenzo hetzelfde.

Praktisch gezien geloof ik onmiddellijk dat bedrijven deze oplossing kiezen en kijken of er iemand komt piepen. De kracht van de AVG zit hem net zoals alle andere wetten in de handhaving. Laten we dit gaan, dan blijft alles zoals het is. Bovendien zitten mensen vaak niet te wachten op uitleg of menselijke tussenkomst, ze hebben een bezwaar en willen dat iemand daar wat mee doet. Zoals Stefan Kulk het zegt:

‘Mensen willen dat een beslissing wordt teruggedraaid. Het kan ze misschien weinig schelen dat het een computer is geweest. Bovendien is de drempel voor een klacht erg hoog. Je moet weten dat jouw persoonsgegevens zijn gebruikt voor een volledige computerbeslissing. Dat weet bijna niemand.’

Dit suggereert alleen wel dat wanneer een mens handmatig (of gevoelsmatig?) het besluit neemt, je géén recht hebt om uitleg te krijgen over die beslissing. Dan zou je daar niet zomaar bezwaar tegen kunnen maken.

Hébben we eigenlijk wel recht op uitleg van een besluit? Die rechtsfilosofische vraag zag ik laatst besproken bij filosofisch blog Bij Nader Inzien. Daar kwam ook dit GDPR-artikel aan de orde:

Wat opvalt aan deze benadering is dat er sprake is van ‘normatieve asymmetrie’. Dat wil zeggen: geautomatiseerde beslissingen zijn in normatief opzicht anders of speciaal vergeleken met menselijke beslissingen. Kort gezegd: voor het hebben van een ‘recht op uitleg’ maakt het alles uit of je kredietonwaardig wordt bevonden door de persoon Ralph van de bank versus een algoritme van diezelfde bank.

Ralph mag dus gewoon zeggen, uw aanvraag voelt niet goed dus helaas geen hypotheek. Maar RalphCom de op IBM Watson gebaseerde Artifical Intelligence hypotheekbetrouwbaarheidsvoorspeller moet met een uitleg komen: “variabele t_lastpay is hoger dan 86400 en in uw uitgavenpatroon is een sterke correlatie gevonden met notoire wanbetalers. PHP Error: Apology not found.”

Wat we feitelijk doen wanneer we van ons recht op uitleg gebruik maken, is te eisen om de mens achter de machine te spreken te krijgen, aldus BNI. Mensen kun je overtuigen met rede en argumenten, vragen om alternatieven, heroverwegingen of nieuwe pogingen. Als ik nu een extra jaarrekening laat zien, denkt u dan wél dat ik een betrouwbare ondernemer ben? Ik bankier hier al twintig jaar, heeft u dat wel meegewogen?

De conclusie die BNI vervolgens trekt – nee, geen fundamenteel recht op uitleg – deel ik echter niet. Ik denk dat je wél dat fundamentele recht hebt, maar dat dit recht eigenlijk zo vanzelfsprekend is dat het niet genoemd wordt. Wie iets belangrijks vraagt en “nee” te horen krijgt, zal altijd vragen “hoezo, waarom dan”. En we worden boos als er dan “tsja, dat is nu eenmaal een gevoel dat ik heb” of vergelijkbare onzinpraat uit komt. Er moet een uitleg komen, en wel zo eentje dat we er bezwaar tegen kunnen maken – of vrede met de beslissing kunnen zoeken.

Arnoud

13 reacties

  1. Kortom, de computer zegt Ja of Nee en een goedkope kracht in India neemt de beslissing op basis van het advies van de computer zijn gevoel. Je kan die beslissing dan zelfs door 5 werknemers laten nemen en de klant vertellen dat er een team van 5 man/vrouw naar heeft gekeken en unaniem deze beslissing hebben genomen.

  2. Dat sluit aan bij ECLI:NL:HR:2018:1316 (gemeente Waalwijk, WOZ), uit de inhoudsindicatie:

    Indien een door het bestuursorgaan genomen besluit geheel of ten dele het resultaat is van een geautomatiseerd proces en de belanghebbende de juistheid van de bij dat geautomatiseerde proces gemaakte keuzes en van de daarbij gebruikte gegevens en aannames wil controleren en zo nodig gemotiveerd betwisten, moet het bestuursorgaan zorgdragen voor de inzichtelijkheid en controleerbaarheid van die keuzes, aannames en gegevens.

  3. De AVG – want daar hebben we het natuurlijk over – bepaalt dat mensen niet onderworpen mogen worden aan geautomatiseerde beslissingen. De beslissing moet menselijk zijn, een computer of algoritme mag slechts ondersteunen en adviseren.
    Geldt dat ook voor positieve beslissingen zoals iemand die de pensioensgerechtigde leeftijd heeft bereikt automatisch AOW verstrekken of iemand die WW aanvraagt en op de aanvraag voldoet aan de vereiste criteria en in de systemen die arbeidsverleden registreren voldoet aan de vereiste criteria voor de WW automatisch die WW uitkering verstrekken?!?!

    1. Ja. De uitleg is hier een stuk makkelijker en staat al decennialang in de standaardbrief “U bent 65 en daarom ontvangt u vanaf 1 december AOW”. Dit is het makkelijke stuk. Uitleggen waarom iemand géén AOW krijgt, is veel lastiger want hangt af van uitzonderingen en maatwerkanalyses. En dan is hier nog niet eens een vermoeden van fraude of wangedrag in het spel.

      1. “Geldt dat ook voor positieve beslissingen zoals iemand die de pensioensgerechtigde leeftijd heeft bereikt automatisch AOW verstrekken.”

        . Ja.

        Ik denk toch niet dat de computer daar bij het SVB slechts ondersteunend of adviserend in is. Ik denk dat zeker de AOW gewoon volautomatisch wordt toegekend.

  4. Ik snap dat mensen soms graag willen weten hoe een beslissing ontstaan is. En ik ben het eens met de stelling dat het proces uitlegbaar moet zijn. Dat is namelijk logisch want je moet het proces toch documenteren en over kunnen dragen aan een nieuwe ontwikkelaar/beheerder. Maar als ik kijk naar wat voor uitgebreide en grote geautomatiseerde systemen er vandaag de dag bestaan. Dan vereist het op zeker punt een ontwikkelaar met een paar dagen tijd om alles uit leggen tot in het laatste detail en dat gaat er vanuit dat de vragende partij de kwalificaties heeft om te snappen hoe het zit. Nu zullen mensen zeggen, dit gaat niet over de technische details, maar die details zijn wel wat de uitkomst vormt en voor een volledige uitleg gewoon nodig. Als je als uitleg accepteert “we stoppen a erin en dat levert b” kun je de uitleg net zo goed niet vragen. Mijn issue met dit soort wetgeving is dus altijd: is dit wel praktisch haalbaar.werkbaar…. Ik wil mensen best uitleggen hoe het werkt, maar ze haken zeer vlug af in de meeste gevallen. Ik heb accountants gezien die de uitkomsten van de financiële processen moesten aftekenen. Allemaal automatisch berekend in grote rapportages. Dan vragen ze hoe die uitkomsten verkregen zijn. Ik leg dat dan uit, zie de ogen glazig worden bij de eerste data-queries en dan tekenen ze vlug af zonder verdere vragen. Totaal wassen neus…, wat voor zin heeft het dan?

    1. Er is een verschil tussen transparantie en justificatie. Transparantie is de technische details: Welke data is gebruikt, welk algorithme, wat zijn de belangrijkste variabelen, wat is de accuraatheid? Justificatie gaat om uitleg en eerlijkheid: Is er voldoende data over minderheden beschikbaar om een goede beslissing te nemen, wordt er gebruikt gemaakt van een black box algoritme? Zijn er variabelen die een proxy zijn voor beschermde status? Wat is de zekerheid van een individuele voorspelling tov van een andere voorspelling?

      Grote gevestigde bedrijven zullen uiteraard meer aandacht krijgen van de waakhonden. Daartegenover staat dat gevestigde bedrijven vaak een budget/kennis hebben, bedrijfsadvocaten, en reeds klanten hebben. Als je als nieuwe kredietverleningsbedrijf geen automatische beslissingen mag nemen, dan wordt het onmogelijk om klanten ’s nachts, binnen 1 minuut, te helpen. Voor elke kandidaat moet je een analyst inzetten, die naast Know-Your-Customer ook naar kredietwaardigheid kijkt. ABN amro ging al de mist in met KYC en anti-witwasanalyses. Het wordt dan erg duur om 10 miljoen+ klanten te helpen.

      Een mogelijke oplossing voor het probleem van apathie en “human-says-computer-says-no” is een grotere focus te plaatsen op recourse (“toevlucht?”). Als je geen enkele factor kan aanpassen om een beslissing van “no” in “yes” te veranderen, dan zal je altijd geweigerd worden, zolang dat model in productie is. Dat is niet eerlijk, zeker als het gaat om beslissingen die grote invloed hebben op je sociale of financiele levenssfeer. Vraag dus niet: “Hoe ben je tot je beslissingen gekomen?”, maar vraag “hoe kan ik rederlijkerwijze mij aanpassen om de beslissing te veranderen?”. Echtelijke staat, ras, geslacht, etc. zijn niet aan te passen. Locatie, inkomen, afbetaalgedrag, wel.

      Dan krijg je een uitleg zoals: “variabele tlastpay is hoger dan 86400, als je de volgende betaling onder de 75000 houdt dan kom je in aanmerking voor een lening”. Als men zulke uitleg weet te geven, dan weet je dat het wel snor zit: Men heeft gekeken naar welke variabelen recourse bieden en welke niet, en geeft je toevlucht. Zodra hetzelfde systeem zegt: “variabele tlastpay is hoger dan 86400, het is nu niet meer mogelijk om voor een lening in aanmerking te komen”, dan weet jij veel meer, en weten de modelmakers dat ze de hoeveelheid “toevlucht” dienen te vergroten: ” “variabele t_lastpay is hoger dan 86400, verander 18 jaar klant naar 20 jaar klant en dan geven we je een hypotheek. Even geduld dus nog.”

      1. Uw reactie ligt in lijn met hoe ik dit vaker heb uitgelegd gehoord. Wellicht sta ik er te technisch in, maar de black boxes zijn zeer moeilijk te vermijden. Er zijn maar weinig bedrijven in mijn opinie die volledig inzicht hebben in wat hun proces doet. Allerlei componenten worden ingekocht en de achterliggende code en algoritmes worden door de leverende bedrijven angstvallig beschermd. Zelf als een bedrijf alleen een open-source stack heeft en werkt met bedrijven die dat ook hebben dan moeten ze ook nog een programmeur/architect hebben die capabel genoeg is om de opzet van A tot B te begrijpen en dat over te brengen aan een servicedesk medewerker. (niets tegen service medewerkers maar er is typisch een niveau verschil)

        Ik lees u voorbeeld waarin kan worden uitgelegd dat de persoon op dat moment te jong is voor de hypotheek en nog twee jaar moet wachten, maar in die twee jaar kunnen vele andere variabelen veranderen die dan weer opnieuw ondervangen en verklaard moeten worden. En dan is er ook nog de “waarom” van de leeftijdrestrictie zelf die moet worden uitgelegd. En zo houd het nooit op. Het enige wat ik zie is dat je op een gegeven moment op een systeem zal moeten vertrouwen, ik snap dat, dat beangstigend kan zijn. Maar ik zie niet hoe het anders kan met de steeds complexere systemen.

    1. Dat is alleen voor profileren en besluitvorming die “noodzakelijk is om te voldoen aan een wettelijke verplichting die op de verwerkingsverantwoordelijke rust of noodzakelijk is voor de vervulling van een taak van algemeen belang.” Daar heb je als commercieel bedrijf eigenlijk nooit iets aan.

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.