De rechtspraak en de bedrijfsgeheime bewijsanalyse

Steeds meer bedrijven leunen zwaar op de wettelijke bescherming voor bedrijfsgeheimen, en dat heeft grote impact op de strafrechtspraak. Dat las ik bij Boing Boing een tijdje terug. Het gaat om software die analyses doet op data gebruikt als bewijs, of inschattingen van vluchtgevaar of recidive. Wie als verdachte de bevindingen van die software wil aanvechten, moet eigenlijk wel de broncode en/of brondata er bij hebben. En dat mag dus niet, omdat die bedrijven zich beroepen op de bescherming van handelsgeheimen. Een erg zorgelijke ontwikkeling.

Software in de rechtspraak is de laatste paar jaar aan een forse opmars bezig. Steeds vaker wordt software daarbij ingezet die adviezen of analyses doet waar rechters, advocaten en officieren op kunnen werken. Een bekend (berucht?) voorbeeld is COMPAS, dat recidivisme voorspelt. Daarmee kan een rechter makkelijker bepalen of iemand op vrije voeten gesteld moet worden of liever toch niet.

Het grote probleem met al deze software is dat ze vaak moeilijk (of gewoon helemaal niet) aangeven hoe ze tot hun analyse komen. Steeds vaker proberen gedaagden dan ook inzage te krijgen in de broncodes en achterliggende algoritmes. En dat lukt dus niet, omdat de leveranciers zich kunnen beroepen op bescherming van handelsgeheimen. De definitie van een handelsgeheim is immers dat iets waarde heeft omdat het geheim is, en dat past goed bij zo’n algoritme.

Het wringt natuurlijk enorm met het vereiste van transparantie in de rechtspraak. Wat mij betreft zou het dus een goede zaak worden als het verboden wordt software-analyses als bewijsondersteunend middel te gebruiken tenzij de werking transparant is en er een externe analyse op eventuele bias geweest is.

Arnoud

28 reacties

  1. Wat mij betreft zou het dus een goede zaak worden als het verboden wordt software-analyses als bewijsondersteunend middel te gebruiken tenzij de werking transparant is en er een externe analyse op eventuele bias geweest is.

    Ik denk dat dat laatste vrijwel onmogelijk is. Kan een computersysteem sowieso wel de kans op recidive bepalen? Je zal veel meer naar de mens zelf moeten kijken dan naar de achterliggende getallen….

      1. Een computersysteem dat de kans op recidive bepaalt lijkt me typisch iets wat negatief kan uitpakkken voor de sociale onderklasse. Omdat ze uit een omgeving komen waar de opvang slechter is en de financieel situatie slecht is de kans op recidive hoger terwijl criminelen van betere afkomst dan makkelijker vervroegde vrijlating of zoiets krijgen omdat ze uit een omgeving komen waar minder kans is op recidive.

        Je straft dan criminelen die niet voldoen aan bepaalde parameters nog eens voor een op sommige plaatsen structureel falende maatschappij.

        Ik kan me alleen voorstellen dat je zo’n middel inzet om te bepalen of iemand meer ondersteuning nodig heeft maar het wordt heel eng als het impact heeft op de zwaarte van de straf en je bijvoorbeeld gaat bepalen obv zo’n programma of iemand of verlof mag of vervroegd vrijgelaten kan worden

        1. Maar wat jij beschrijft zijn toch gewoon legitieme factoren voor het bepalen van recidivegevaar? Dat er een hoop sociale problematiek ten grondslag ligt aan dat recidivegevaar heeft niks te maken met de objectieve bepaling van hoe groot dat gevaar is.

        2. hal, je schrijft ‘Je straft dan criminelen die niet voldoen aan bepaalde parameters nog eens voor een op sommige plaatsen structureel falende maatschappij.’

          Criminaliteit is niet primair een gevolg van een falende maatschappij maar een persoonlijke keuze.

          Het kan best zijn dat in sommige gevallen de maatschappij meer had kunnen doen om iemand op het rechte pad te brengen of te houden. En het kan ook nog best zijn dat in sommige gevallen volgens iedere redelijke standaard de maatschappij meer had moeten doen.

          Maar over het algemeen is het niet de maatschappij die faalt. Het probleem is dat er veel mensen zijn die erin falen om naar hun vermogen (en dat vermogen is voor iedere persoon verschillend) bij te dragen aan een bloeiende maatschappij, en die dat niet eens willen doen.

          Maar dit staat los van de onwenselijkheid om algoritmes in de rechtspraak toe te laten. Die onwenselijkheid deel ik, juist omdat ik iedereen als individu zie met een eigen individuele verantwoordelijkheid voor gedragingen

          1. Gelukkig zijn we de meeste van dit soort opvattingen uit de 19e eeuw wel een beetje voorbij.

            Natuurlijk heeft een mens een eigen verantwoordelijkheid maar er is voldoende onderzoek dat externe factoren en bijv ‘genen’ een veel grotere rol spelen dan alleen vrije keuze.

            Ik pleit daarmee uiteraard niet voor het niet meer straffen van mensen

            1. Ik ben al van een heel aantal dingen beschuldigd in mijn leven. En dat terwijl ik eigenlijk een heel zachtaardige en redelijke persooon ben. Maar dat ik er negentiende eeuwse denkbeelden op na zou houden. Nou ja zeg. Niet eens twintigste-eeuwse, maar negentiende, potverdriedubbeltjes.

              Ja, een mens is in eerste instantie (maar niet alleen) verantwoordelijk voor zijn eigen geluk en welvaart (en dat van zijn kinderen natuurlijk). Wat is daar 19e eeuws aan?

              Daar is niets politieks of historisch aan, maar gewoon een natuurwet/logica.

              Toen we nog in familiegroepen in de oerbossen rondliepen, gekleed in dierenvellen, en we misschien een keer per jaar een andere familiegroep tegenkwamen, moesten we ook voor ons eigen eten en bescherming zorgen.

              Dat is nog steeds zo. De maatschappij heeft zich weliswaar een aantal taken toegeeigend en coordineert een aantal zaken (en daar staat volledig ik achter), maar de verantwoordelijkheid om het maximale geluk uit je leven te halen, gegeven de genen die je hebt en het geluk/de pech waar je mee te maken krijgt.

              De maatschappij kan (gedeeltelijk) compenseren voor je genen en je portie geluk/pech, maar je eigen verantwoordelijkheid om zelf je eigen leven te regelen, gegeven de externe omstandigheden zoals ze zijn, blijft.

              Daar is niets 19e eeuws aan, dat is universeel. Als je een andere mening bent toegedaan, dan kun je meteen de democratie afschaffen. Als je denkt dat mensen toch niet voor zichzelf kunnen beslissen, waarom acht je ze dan wel in staat verstandig te stemmen? Dan zijn het gewoon onderdanen in plaats van burgers.

      2. Bij geneeskunde wordt er niet één diagnose gesteld en daar moet je het maar mee doen. Er wordt constant bijgestuurd. Als blijkt dat een bepaalde aanpak niet (voldoende) werkt wordt er naar alternatieven gezocht.

        Daarbij is de insteek ook compleet anders. Waar je bij gezondheidszorg altijd bezig bent met het beste voor het onderwerp (patiënt) ben je bij strafrecht maar zelden begaan met het beste voor het onderwerp (veroordeelde). Dat maakt werken met kansen en statistieken m.i. echt anders.

      3. Bij geneeskunde wordt ook gewerkt met statistieken en waarschijnlijkheden, en daar hebben we het over mensenlevens en gezondheid. Als het daar kan, waarom dan niet bij berechting?
        Omdat geneeskunde nog wel een flinke basis heeft in de realiteit en berechting niet. Met realiteit bedoel ik dan een objectief vast te stellen werkelijkheid. Berechting gaat over afspraken tussen mensen en heersende waarden. Dat een moord erger is dan een winkeldiefstal, is niks meer dan een mening die de meeste mensen delen. Het is gewoon ontzettend lastig om dit soort dingen te kwantificeren, laat staan betrouwbare voorspellingen te doen op basis van de getallen die daaruit komen.

        In de psychologie en pedagogiek zijn ze hier een aantal decennia, tot een jaar of 5 geleden, ook enorm de mist mee in gegaan. Ontzettend veel in de tijd ‘bewezen’ theorieën zijn de afgelopen jaren naar de prullenmand verwezen, omdat veel onderzoek niet herhaalbaar is. Kwantificeerbaarheid speelde daarin een belangrijke rol.

    1. Ik denk dat dat laatste vrijwel onmogelijk is. De werking van elke functie/model is inzichtelijk te maken. Recidive modellen gebruiken white box modellen, die zijn van nature inzichtelijk (ten koste van de accuraatheid). Ook is een externe analyse/keurmerk erg belangrijk, omdat deze partijen te vertrouwen zijn (ze kunnen met bedrijfsgevoelige en persoonsgevoelige data omgaan, en krijgen inzicht in de gehele pipeline, iets wat je met een verzoek op uitleg niet voorelkaar krijgt). Sterker: Als het systeem zich niet kan verantwoorden dan moet de externe analyse het systeem ongeldig maken, voordat het geimplementeerd en gebruikt kan worden.

      Kan een computersysteem sowieso wel de kans op recidive bepalen? Kansberekenen kan op vrijwel alles. Staaf het aan random of gemiddeld gokken. Staaf het aan menselijke beslissingen. Je kan ongelukkig zijn en een racistische beslisser tegenkomen. Maar een — door een externe partij gecontroleerde — model dat discriminatie in de code heeft staan is veel zeldzamer. De focus ligt natuurlijk op ML bias, maar er zijn ook mogelijkheden om het voor iedereen eerlijker te maken. Wiskundig eerlijk.

      Je zal veel meer naar de mens zelf moeten kijken dan naar de achterliggende getallen…. Inderdaad, maar dit betekend niet dat we terug hoeven naar pen en papier of intuitie. Een rechter kan met een recidive kansvoorspelling een betere beslissing nemen: Langer TBS, of met enkelband terug naar de maatschappij voor herintegratie. Ook hier het risico dat een rechter klakkeloos een voorspelling overneemt (maar deze moet natuurlijk naar de transparante uitleg kijken), maar ook nieuwe mogelijkheden om recidive-gedrag beter te bestrijden. Een model kan zelfs causale verbanden aantonen en hiermee kan dan weer een menselijk proces/protocol worden aangepast.

      1. Kansberekenen kan op vrijwel alles.
        Klopt, maar de uitkomst is betekenisloos als je niet alle belangrijke factoren kent of kan kennen. Verzwaarde dobbelsteen bv… Vergeet ook niet dat er een verschil is tussen een besluit dat een individu aangaat en beleid. “Sorry mevrouw, u komt niet voor deze functie in aanmerking. We nemen alleen mannen aan omdat het lichamelijk zwaar werk betreft en mannen statistisch gezien sterker zijn”. Met zo’n uitspraak zou een werkgever toch aardig in de problemen kunnen komen, denk ik.
        Inderdaad, maar dit betekend niet dat we terug hoeven naar pen en papier of intuitie.
        Achter menselijke intuïtie zit een uitgebreider neuraal netwerk, dan we op dit moment met techniek kunnen realiseren. De waarde van kennis en ervaring moet je niet onderschatten. Intuïtie is helaas wel een fragiel proces. Vooroordelen en discriminatie kunnen een juiste uitkomst inderdaad verstoren. Maar desinformatie of onbegrijpelijke informatie ook. Op termijn zullen rechters ook hier meer ervaring mee opdoen en de waarde beter kunnen wegen… Maar eerst een stap achteruit dus. De vraag is of dit op termijn ook wat oplevert.

        Wiskundig eerlijk.
        Wat is dat?

        1. Om maar niet te spreken van het toepassen van statistische data op een individu.

          Mits je een goed model hebt kan je zeggen dat er een 70% kans op recidive is bij bepaalde kenmerken. Dat zegt werkelijk niets over een individu dat aan die kenmerken voldoet. Hoogstens kan je zeggen ik heb hier een groep met mensen met dat kenmerk ik verwacht dat 7 van de 10 uiteindelijk in herhaling vallen.

          Kans berekenen kan op vrijwel alles, maar juiste conclusies trekken op basis van statistiek kan bijna niemand.

        2. “Sorry mevrouw, u komt niet voor deze functie in aanmerking. We nemen alleen mannen aan omdat het lichamelijk zwaar werk betreft en mannen statistisch gezien sterker zijn”

          Dit is inderdaad onzinnig. Een enkele variabele (sterk zijn) is aangemerkt als harde regel en exclusief aan sexe gekoppeld. Probleem dat vroeger vaker voorkwam, omdat we nu eenmaal niet 100den variabelen in ons hoofd kunnen houden en checklijstjes maken een jobdescriptie was.

          Beter: “Voor dit boorplatform nemen wij hoofdzakelijk mannen aan, omdat deze gemiddeld sterker zijn en gewilliger zijn om zwaar werk te doen ver weg van de samenleving, maar natuurlijk is er ook plek voor een potige vrouw die daarmee kan omgaan”.

          De waarde van kennis en ervaring moet je niet onderschatten.

          Mee eens. Daarom AI altijd in dienst van de mens zetten, en niet andersom. En ook niet overschatten als zijnde heilig of onfaalbaar, objectieve berekeningen kunnen zeker bijdragen. In zekere zin is het rechtsysteem zelf ook een model. Of het nu jurispudentie is of een leer dataset waar een te hoge straf komt uitrollen, we hebben gelukkig de rechter die verzachtende omstandigheden en menselijke factoren (spijtbetuiging, zwakke wil door verslaving, moeilijke jeugd) kan aanvoeren om beter recht te spreken.

          Wat is dat?

          Eerlijkheid / bias in modellen is wiskundig te definieren en meten. Bijvoorbeeld, je kan eerlijkheid definieren als (niet exlusief):

          • “Een zwart persoon moet gelijke kansen hebben op een kredietregeling als een wit persoon” (equality of opportunity)
          • “Een model mag niets afweten van een rassenvariabele” (rassenblind) (deze definitie werd gehanteerd voor COMPAS, maar is inmiddels achterhaald, omdat ras uit andere variabelen te abstraheren is)
          • “Als 10% van de witte mensen een lening krijgt, dan moet 10% van de zwarte mensen ook een lening krijgen” (equality of demographics)

          Je kan een model echt toetsen, je krijgt een berekening terug die zegt hoe eerlijk het model is. Het is moeilijker voor mensen om dit te doen (de definitie van “eerlijk” voor mensen is veel vager en gevarieerder: vaak is de focus op wat oneerlijk aanvoelt voor jou of je directe omgeving).

          We hebben dus nu de techniek en de mogelijkheden om discriminatie constructief tegen te gaan. Om, als maatschappij zijnde, duidelijke afspraken te maken over eerlijkheid, en hoe je model zich verhoud tot de marktstandaard. We kunnen strengere voorwaarden toepassen op modellen die levens van mensen zwaar beinvloedden. We kunnen weg van grillige menselijke beslissers die ver van gemiddelde beslissingen nemen. We kunnen het kredietmodel reguleren en afstellen zodat het minder is gefocused op maximaal profijt, en meer op maatschappelijk gewenste factoren, zoals gelijkheid van opportunity: dan zijn de “kosten” van eerlijkheid ook meteen inzichtelijk.

          Ik geef toe dat dit moeilijke en pure wiskunde is. We hebben nog weinig experts zoals: http://blog.mrtz.org/2016/09/06/approaching-fairness.html Maar de kans om het voor iedereen aantoonbaar en berekenbaar eerlijker te maken, is een kans die we, volgens mij, met beide handen moeten aangrijpen. Een systeem debiassen (ontdoen van discriminatie) is gelukkig gemakkelijker dan een mens debiassen (jaren van educatie of dwingen vrienden te maken met een andere groep).

          1. “Als 10% van de witte mensen een lening krijgt, dan moet 10% van de zwarte mensen ook een lening krijgen” (equality of demographics)

            Als, ongeacht de oorzaken, blijkt dat zwarte personen gemiddeld minder kredietwaardig zijn dan witte personen, dan leidt een dergelijke eis automatisch tot het schenden van je eerste vereiste: “Een zwart persoon moet gelijke kansen hebben op een kredietregeling als een wit persoon” (equality of opportunity). Daarmee is het onmogelijk tegelijkertijd aan deze twee eisen te voldoen. Wat je hiermee feitelijk doet is discrimineren op huidskleur. Naar mijn mening is ook de zogenaamde “positieve discriminatie” een vorm van discriminatie, die het onderliggende probleem perpetueerd — dit laten de ervaringen in India (regelingen voor “scheduled castes and tribes”) Maleisie (regelingen voor “Bumiputra” ofwel oorspronkelijke inwoners), en de VS (“affirmative action”) zeer duidelijk zien. Omdat het onderliggende streven naar mijn mening moet zijn dat er geen verschil in gemiddelde kredietwaardigheid moet zijn op basis van huidskleur, moet je dat kenmerk niet registreren, en moet je ook mensen bewust maken van andere kenmerken waarin dat kenmerk (vanwege historische discriminatie of andere oorzaken) in is verwerkt, zodat zij, zolang dat redelijk is, hier rekening mee kunnen houden — zo mag het opleidingsniveau wel een rol spelen bij de beslissing (zelfs als dit historisch lager is bij mensen met een donkere huidskleur), maar het geboorteland, of de wijk waar iemand in is opgegroeid niet.

            1. Wederom een zeer astute observatie! De verschillende eerlijksheidsrestricties zijn incompatibel: Je kan onmogelijk elke definitie tegelijkertijd optimalizeren. Wiskundig bewijs hiervoor was zeer populair en recent, en het verbaast me een beetje dat je dit met “common sense” hier repliceerd. Je hebt mogelijk talent voor dit gebied!

              Ook ik ben van mening dat “equality of demogaphics” (soms ook “equality of outcome” genoemd) niet de juiste weg is voor de meeste gevallen. Behalve als je echt een quota wil halen (Bijvoorbeeld: we willen in onze politieke partij 50% vrouwen en 50% mannen). Dan werkt “equality of demographics” het snelste om de aantallen gelijk te trekken. Dit is inderdaad “affirmative action” (“positieve discriminatie” op z’n boerenneerlands) en is mogelijk de duurste vorm van eerlijkheid (waar je voorheen 1 euro verdiende op leningen, verdien je met “equality of demographics” ongeveer 60 eurocent).

              Met alleen “niet registreren van ras” ben je er echter nog niet. Het klinkt eerlijk en veilig om zo’n variabele compleet weg te houden, maar om te meten/corrigeren heb je die variabele juist nodig. Ook is het vrij naief: Je kan niet eerlijker zijn door je kop in het zand te steken. Je weet nooit hoeveel andere factoren informatie hebben over de niet-geregistreerde variabele, als je deze variabele buiten de berekening houdt. Het is qua kosten wel de goedkoopste methode (van 1 euro naar ~97 euro cent).

              Als je ras registreerd / toegang tot hebt, dan kun je met equality of opportunity ook migratiestatus en woonwijk meenemen in de berekening. Woonwijk, naast bevolkingsgroep, is ook informatief voor prijs van het huis / koopwoning vs. huren, en migratiestatus kan duiden op een rijke expat of een laag-opgeleide vluchteling met weinig kennis van de Nederlandse economie / kredietstelsel (ongeacht de huidskleur).

  2. Ik denk dat de meeste gedaagden niet geïnteresseerd zijn in de daadwerkelijke werking van de software maar hun advocaten zien vooral belang in een (voorspelbare) weigering van de bedrijven om deze informatie te verstrekken om zo de negatieve impact van zo’n analyse van tafel te vegen

    1. En dat is prima… Ik sta volledig achter de conclusie van Arnoud dat je bij een software-analyse moet kunnen laten zien hoe het systeem tot een bepaalde conclusie komt. Staat een bedrijfsgeheim daarbij in de weg, dan kan het systeem niet gebruikt worden. Wie stelt dan vast of er niet gewoon een regel code in zit die na een boel geratel zegt: print ("kans of recidive is {1} procent!", Math.random() * 100.0);.

      1. Wie stelt dan vast of er niet gewoon een regel code in zit die na een boel geratel zegt

        Hoe ga je hier achterkomen, zonder inzage te krijgen in de gehele broncode of de gehele train dataset met backfill voorspellingen? Dat is niet werkbaar. Zelfs al krijg je een transparante uitleg, dan kan deze ook onjuist of random zijn. En daarmee is aan verzoek om uitleg voldaan.

        Wie dit vast moet stellen is de externe partij, een onafhankelijke en kundige keurslager die inzage krijgt in het gehele systeem en aan geheimhouding is gebonden.

        Je vraagt ook niet aan de boer bewijs dat het kalf diervriendelijk is opgegroeid. Niet doenbaar. Dat laat je door de gezondheidsinspectie doen.

        1. Daarom zou ik ook pleiten dat bedrijven, naast een jaarlijkse verklaring van een accountantsbureau, dat hun jaarrekening klopt, zij ook jaarlijks een AVG verklaring van een persoonsdata-accountantsbureau, die datzelfde vasteld voor de uitvoering van hun privacy beleid (vanaf een bepaalde grootte van het klanten/leden/etc. bestand).

  3. Het zal vast niet echt moeilijk zijn om die software naast een kans ook een paar factoren waarop die kans gebaseerd is laten printen. En vervolgens kan een mens daar een leuk stukje omheen schrijven met uiteindelijk hetzelfde advies. En dat geld voor alle gevallen waar en computer een beslissing neemt. Hoe wil je dat dat verbieden? Een verbod op alle analyse software? Een verbod op computers?

    1. Dit is toch precies wat je wilt? Er ligt dan een advies dat factoren noemt, de weging daarvan uitlegt en zo de conclusie onderbouwt. Wij denken dat u recidiveert omdat 90% van de mannen van uw leeftijd en economische achtergrond dat doet, agent Patrick uw arrestatie deed en u een strafblad met één misdrijf heeft. Je kunt van alles vinden van deze factoren maar het is beter dan “computer says no”.

    2. Een mens die een advies geeft kun je laten opdagen als getuige. En dan vragen waar zijn advies op gebaseerd is. En vragen waarom deze persoon gekwalificeerd is om dat advies te geven. En dan is het antwoord “Mijn kwalificaties zijn bedrijfsgeheim” toch niet zo sterk….

  4. De crux van dit probleem is het uitbesteden aan commerciele partijen. Deze partijen winnen een contract en spekken goed de kas (de overheid let niet op de kleintjes, maar of de projectleider mogelijk promotie maakt met een successvol project). Voor wat hoort wat: Bijdragen aan de nodige transparantie en openheid. Zo niet: pech, en overlaten aan partijen die wel verantwoordelijkheid willen nemen voor een solide business2government model.

    Verder is er momenteel geen excuus meer voor: “computer says no!”. De techniek is aanwezig om te zeggen: “Computer says no! because X and Y and Z.”. Zeggen dat het onmogelijk of moeilijk is daar kun je tegenwoordig niet meer mee aankomen. Lukt het je niet, dan kies je maar voor een white box model. Maar men wil natuurlijk niet aan fraudeurs uitleggen hoe ze gevonden zijn. De externe analyse kan hier uitkomst bieden. Een onafhankelijke ombudsman/vrouw voor beslismodellen: Kom je door de analyse heen, dan kun je ervan uitgaan dat het systeem eerlijk is. Externe analyse heeft ook een beter oog voor persoonsgevoelige en bedrijfsgevoelige data (met alleen je eigen data kom je niet zo ver, qua uitleg, je hebt de gehele dataset / voorspellingen nodig om te zien of je in minderwaardige positie zit)

    Erg cru: Je krijgt een belastingaanslag en dan ga je vragen om de complete werking van het systeem uit te leggen, garantie willen dat je niet door een menselijke of machinale bug te hoog bent aangeslagen. Dat werkt natuurlijk niet zo.

  5. Het wringt natuurlijk enorm met het vereiste van transparantie in de rechtspraak. Wat mij betreft zou het dus een goede zaak worden als het verboden wordt software-analyses als bewijsondersteunend middel te gebruiken tenzij de werking transparant is

    Volstrekt mee eens. Ik schrik er enorm van dat dit niet de praktijk is. Een intelligente rechter moet alles goed motiveren, maar een commerciele partij kan via software ondoorzichtig invloed op de rechtspraak uitoefenen? Wie heeft dit ooit kunnen accepteren? Laat dit soort software alsjeblieft ontwikkelen door partijen die het belang van transparantie begrijpen!

    en er een externe analyse op eventuele bias geweest is.
    Klinkt verstandig, maar dan is er ook een kundige/onafhankelijke partij nodig. Is die er? Bovendien vraag ik me af in hoeverre bias is uit te sluiten en of de programma’s dan nog net zo efficient zouden zijn.

    Ik heb de indruk dat de rechtspraak eigenlijk behoefte aan intuitie heeft. Sommige rechters kunnen dat waarschijnlijk beter dan een software, maar dat mag niet. Als software gebruikt wordt die wellicht veel minder intelligent is dan zo’n rechter, worden de ogen dichtgeknepen …

    1. Bovendien vraag ik me af in hoeverre bias is uit te sluiten en of de programma’s dan nog net zo efficient zouden zijn.

      Dit is ook een groot vraagstuk in het onderzoeksgebied: eerlijk, uitlegbaar, en ethisch machinaal leren.

      Een eerlijkheidsristrictie plaatsen op een model zorgt vrijwel altijd voor minder efficientie. Objectief: Discriminatie, hoewel onwenselijk, werkt wel. Men stelt vaak dat discriminatie volledig irrationeel is, maar mensen maken deze “vuistregels” om effectief energie te besparen en kansen op overleven te vergroten. Een blokje omlopen als je ’s avonds een groep zwarte mensen op de stoep ziet staan is racistisch, maar kan ook de juiste keuze zijn geweest.

      Om bias uit te sluiten moet je het eerst wiskundig definieren. Er zijn meerdere definities. Heb je bias gedefinieerd (wat precies probeer je eruit te halen?) dan heb je heden te dage algoritmes om deze bias volledig eruit te halen, met de wiskundige garantie dat je model minimaal aan efficientie verliest:

      We present a systematic approach for achieving fairness in a binary classification setting. While we focus on two well-known quantitative definitions of fairness, our approach encompasses many other previously studied definitions as special cases. The key idea is to reduce fair classification to a sequence of cost-sensitive classification problems, whose solutions yield a randomized classifier with the lowest (empirical) error subject to the desired constraints. We introduce two reductions that work for any representation of the cost-sensitive classifier and compare favorably to prior baselines on a variety of data sets, while overcoming several of their disadvantages.

      https://arxiv.org/abs/1803.02453

      1. Niet zo gelukkig met het discriminatie-efficientie voorbeeld dat ik gaf. Onnodig menselijke psychologie. Ik probeer het mathematisch:

        Je hebt een dataset met 1000 personen en een uitkomst (“functioneerd goed binnen het bedrijf na 2de beoordeling”). Je hebt 3 variabelen: Sexe? Leeftijd? Opleiding? Je wil bij de sollicitatie vaststellen of je de kandidaat in moet huren.

        800 van de 900 mannen functioneerd goed. 50 van de 100 vrouwen functioneerd goed. Van de 10 werknemers over de 50 functioneren 2 werknemers goed. Voor de 990 werknemers onder de 50 is dit 50%/50%. 490 universitair geschoolden uit 500 functioneren goed. 460 van de 500 MBO geschoolden functioneerd goed.

        Nu mag je model ineens niet discrimineren op leeftijd en sexe. Voor een MBO-geschoolde vrouw van 52 of een MBO-geschoolde man van 21 mag je dus alleen naar opleiding kijken. Je zal het dan beter doen (gemiddeld genomen) als je informatie hebt over alle factoren.

        Maar dan heb je de problemen nog niet gedefinieerd (laat staan opgelost). Je had slechts 10 werknemers over de leeftijd 50. Misschien is de bedrijfscultuur niet aangepast op oudere mensen (men gaat altijd op vrijdag na het werk naar de disco) en vallen daardoor beoordelingen standaard lager uit, en zijn er te weinig gevallen om een zekere beslissing te nemen. Misschien is er een macho cultuur ontstaan, waardoor alleen competitieve mannen floreren, en de meeste vrouwen ontslag nemen voor de 2e beoordeling. Misschien worden beoordelingen voornamelijk door mannelijke managers gedaan, die daar gekomen zijn omdat ze hard en gemeen vochten, en dit voornamelijk mannelijk gedrag in hun werknemers terug willen zien. Misschien is het werk gedaan door MBO-geschoolden heel anders als de universitair-geschoolden, en zijn de beoordelingen dan ook niet zomaar te vergelijken. Misschien werden alle non-binary mensen als vrouwelijk geregistreerd. Misschien was dit model reeds in gebruik voor 5 jaar, en is een negatieve feedback loop ontstaan: het model prefereerd mannen, meer mannen maken promotie en krijgen goede beoordelingen, het nieuwe model prefereerd mannen nog meer. Misschien is de ratio man-vrouw op MBO 70-30 en op de universiteit 20-80: door naar opleiding te kijken krijg je een beter idee van sexe dan 50%-50%, combineer dit met andere factoren en je kunt ineens heel goed voorspellen wat iemands leeftijd, geslacht, en ras is.

        Veel problemen, dat is even schrikken! Maar sollicitaties, als vanouds, compleet overlaten aan collega’s en recruiters haalt dit soort problemen er ook niet uit (maakt het niet inzichtelijk). Een computersysteem kan worden verteld: Kijk niet naar de naam! Een mens leest “Mohammed” en weet reeds met welke groep deze te maken heeft — en dit is lastig ongedaan te maken. Met het systeem kun je meten, proberen te voorkomen en corrigeren. Dat heeft een groot potentieel! Groot probleem dat overblijft is dat om discriminatie tegen te gaan/te ontdekken, je beschermde variabelen, zoals ras en leeftijd, nodig hebt. Het zou enorm stoer zijn als er een centrale onafhankelijke authoriteit was, waar je als persoon ge-encrypte persoonsgegevens en inzageverzoeken naar kunt toesturen. Deze sturen dat beantwoorde inzageverzoek terug en gebruiken de beschermde variabelen om te staven of het systeem eerlijk is (en of de afhandeling van het inzageverzoek voldoende was). Dat is eentje voor de e-governance van de toekomst.

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.