Toch nog even over die uitlegbaarheid van AI uitspraken

Analyses van AI’s zijn niet meteen naar uitleg of verklaringen om te zetten, schreef ik in oktober. En dat is best wel een probleem, zeker waar die analyses leiden tot juridisch bindende besluiten. Een veelgehoorde eis aan AI’s is dan ook dat zij in staat zijn tot uitleg – in het jargon moeten AI’s white boxed zijn. Maar dat is niet genoeg. Er zit volgens mij een heel fundamentele foute aanname onder die eis, namelijk dat een AI-uitspraak uitlegbaar kán zijn zoals een menselijke uitspraak.

Een grote zwakte van AI analyses is dat ze meestal zonder uitleg komen. Deze mail is spam en die niet, je kunt beter linksaf gaan want dat is sneller, of als je in het spel nu schiet dan heb je de meeste kans om te winnen. Zelden tot nooit krijg je erbij te horen waarom dan. Maar omdat het heel vaak klopt, vinden we dat ook niet erg.

Vanuit juridisch perspectief kan dat toch eens best vervelend zijn, zeker als sprake is van een AI die juridisch bindende besluiten neemt. Uw bouwvergunning wordt afgewezen, u komt niet in aanmerking voor verkorte screening, u dient een extra cursus te volgen voordat u mag beginnen met deze studie. Die zorg gaat zo ver dat in de AVG expliciet is opgenomen dat dergelijke besluiten niet genomen mogen worden maar dat er altijd een mens tussen moet zitten, én dat er uitleg over de onderliggende logica van het besluitondersteunende systeem moet komen.

Dit veronderstelt dat de AI kán uitleggen hoe zhij tot het besluit is gekomen. En volgens mij kán dat fundamenteel eigenlijk niet.

Veel nadruk is de afgelopen jaren gekomen voor zogeheten white box AI’s, oftewel systemen die geen zwarte doos zijn maar juist inzicht geven in hoe men tot een besluit komt. BigML, het bedrijf waar mijn AI NDA Lynn op draait, heeft bijvoorbeeld de feature dat een analysemodel aangeleverd wordt als een beslisboom. Je kunt dan van stap tot stap precies zien welke criteria er zijn overwogen en wat de doorslag gaf bij twijfel. Daarmee is de uitlegbaarheid een feit, zou je denken.

Een oude computergrap luidt, don’t anthropomorphize computers, they don’t like that. In feite is dit het nadeel van “statistische analysetechnieken” het labeltje “kunstmatige intelligentie” te geven. Want de ‘uitleg’ die je uit zo’n witte doos krijgt, is eigenlijk niet meer dan een stack trace, een lijst van stappen die de software nam om door de data heen te komen. Je krijgt bijvoorbeeld te horen “als Venue bevat niet Californië en lengte < 800 woorden en Aansprakelijkheid bevat niet Dientengevolge dan goedgekeurd”. Ja, dat is een uitleg maar geen mens die ooit op die manier zou uitleggen waarom het contract goedgekeurd is. Plus je mist zo wat er met andere informatie is gebeurd, was die niet belangrijk?

Ik denk dat dit uiteindelijk geen oplosbaar probleem is, want een AI werkt nu eenmaal op deze manier. Gegeven een heleboel voorbeelden, analyseer op welk voorbeeld het beste de input lijkt. Daarbij kun je moeilijk afdwingen dat de AI dezelfde criteria hanteert als de mens, vaak héb je die eigenlijk niet. Je gebruikte immers AI omdat je met gewoon menselijk redeneren er niet goed uit komt.

Arnoud

Apple haalt tientallen gokapps uit Nederlandse App Store

onlinegokken.jpgTientallen apps voor casino’s en sportweddenschappen zijn door Apple uit de App Store verwijderd, meldde de NOS vorige week. Dit naar aanleiding van verzoeken van de Nederlandse Kansspelautoriteit; kansspelen organiseren is immers verboden en een app die dat faciliteert dus ook. Maar toch vind ik dit gek: hoezo vráág je zoiets als toezichthouder, en dan ook nog eens aan een andere partij dan de aanbieder van die kansspelen?

In Nederland is het organiseren van kansspelen al heel lang wettelijk verboden. Er komt verandering aan, met name ten voordele van internetgokken, maar dat duurt nog even. Tot die tijd mag je dus Nederlanders niet laten gokken (althans niet als er geld te winnen is, behalve als promotioneel kansspel).

Daar kun je van alles van vinden, maar juridisch gezien lijkt het me in de haak dat de Kansspelautoriteit op zoek gaat naar overtreders en ze vervolgens een last onder dwangsom oplegt om daarmee te stoppen. Dat is immers de geëigende weg: er is een wet, er is een toezichthouder die iets een overtreding vindt en dan komt er een last (besluit met verplichting). Daar kun je dan tegen in bezwaar bij de Ksa zelf, en daarna naar de bestuursrechter.

De route die hier wordt gekozen, doet bepaald raar aan. In plaats van een besluit te nemen tegen de aanbieders van de app of het achterliggende spel, zegt de Ksa tegen Apple “volgens ons is dit illegaal, wilt u daar wat aan doen” en dan haalt Apple die apps uit de store. Ja, notice en takedown bestaat en Apple verbiedt in haar voorwaarden apps die in strijd zijn met toepasselijke wetgeving. Dus Apple staat in haar recht, volgens mij.

Alleen: ik blijf erbij dat een overheidsinstantie niet mag vragen. Niet kán vragen. Natuurlijk, ze kunnen dingen in de vragende vorm formuleren en er bij zeggen dat het geen verplichting is et cetera et cetera. Maar uiteindelijk blijft het een uitspraak van een overheidsinstantie die een paar stevige knuppels in de kast heeft staan. En dan komt het toch een heel eind over als een bevel.

Dat is dus waarom we die constructie hebben van besluiten, bezwaar en beroep bij de rechter. Net als in het strafrecht, waar de politie geen dingen vraagt maar ze vordert. Bij die vorderingen staan grenzen en procedures in de wet (met name het wetboek van Strafvordering), en die heeft men dan te volgen. Zo weten we dat de gevorderde zaken legaal zijn en netjes verlopen. En als dat niet gebeurt, dan kan de rechter daar wat mee doen.

Hier gaat het mis. De aanbieders van de apps kunnen niets doen tegen de Ksa, want formeel is er geen besluit tegen ze genomen dat die apps illegaal zijn. Ook kunnen ze niet protesteren bij Apple, want Apple mag immers doen wat haar goeddunkt zo staat in de voorwaarden (en bij zakelijke partijen is dat in principe legaal om in je voorwaarden te zetten). Maar raar is het wel.

Arnoud

Schoolcomputer says no tegen ruilverzoek inschrijving, mag dat?

computer-says-noAmsterdamse scholieren die vanwege het matchingssysteem hun schoolplek wilden ruilen, mogen dit niet. Dat meldde Nu.nl vorige week, waarop ik diverse mails kreeg van lezers of dit een verboden gevalletje “computer says no” is. Amsterdam heeft namelijk een matching-algoritme ontwikkeld dat scholieren probeert te koppelen aan hun favoriete school, maar aan de uitkomst mag niet worden getornd, ook niet als je een andere scholier kunt vinden die met jou wil ruilen waardoor je beiden op je eerste keuze terechtkomt.

De voortgezet-onderwijsscholen in Amsterdam hebben gezamenlijk genoeg plaatsen voor alle achtstegroepers die de overstap naar de middelbare school maken, ook voor een aantal leerlingen uit omliggende gemeenten. Er bestaat echter al jaren een discrepantie tussen het aantal aanmeldingen en het aantal plaatsen per school, met name voor havo en vwo. Dat gaf veel onvrede bij leerlingen en ouders, vandaar dat besloten werd een nieuw algoritme te ontwikkelen.

In het nieuwe systeem moet je niet één voorkeursschool kiezen maar een lijst maken. Er wordt dan geprobeerd je zo hoog mogelijk op de lijst te zetten en om de pijn van de lotingen zo eerlijk mogelijk te verdelen door iedere leerling gelijke kansen te bieden. Dat viel tegen: na de eerste keer gebruik ontstond er weer veel onvrede, onder meer omdat leerlingen ineens hun vierde keuze hadden gekregen in plaats van de top 3, of omdat ze een school 17 kilometer verderop hadden gekregen.

Belangrijkste pijnpunt was echter dat minstens 400 leerlingen hadden ontdekt dat ze door onderling ruilen alle 400 hun eerste keuze hadden kunnen krijgen. Had daar dan niet even rekening mee gehouden worden? Nee, sorry, computer says no aldus de gemeente.

Of nou ja, er zat wel iets meer achter dan dat, zo blijkt uit het vonnis:

In de eerste plaats werkt het systeem dan niet consistent. Op dit moment is het zo dat het lotnummer of rangnummer dat een leerling voor een bepaalde school is toegekend bepaalt of hij of zij op een school komt. Ook de reservelijst is samengesteld op volgorde van lotnummers. Op die manier heeft iedere leerling voor iedere school gelijke kansen. Indien ruilen zou worden toegestaan zou de plaats van een leerling op de reservelijst weliswaar niet veranderen, maar het zou er wel toe kunnen leiden dat een leerling met een ongunstiger lotnummer een leerling met een gunstiger lotnummer passeert. Op die manier is er geen sprake meer van gelijke kansen. Zo zijn er leerlingen die toevallig geen aantrekkelijke plaats te bieden hebben, en leerlingen die zich tot op heden buiten de ‘ruilhandel’ hebben gehouden en genoegen hebben genomen met hun tweede of derde keuze, maar die wellicht ook zouden willen ruilen. Het toelatingssysteem voldoet dan niet meer aan de vereisten van consistentie en transparantie.

Ook heeft het systeem strategisch kiezen tot gevolg, en dat wilde men nu juist elimineren. Met strategisch kiezen verlies je het zicht op welke scholen nu écht aantrekkelijk zijn, en dupeer je zoals gezegd leerlingen die niet mee willen of kunnen doen (denk aan een leerling die net uit Brabant verhuist en nog niemand kent in Amsterdam om mee te ruilen).

Vanwege al deze redenen is het begrijpelijk dat de scholen dit nieuwe systeem willen en daarbij geen ruil willen toestaan. De rechter keurt het systeem dan ook goed, en de ouders zullen moeten accepteren dat hun kinderen niet naar de school van hun eerste voorkeur kunnen, ook al hád dat gekund met 200 ruilparen. Die mogelijkheid mag de gemeente uitsluiten in haar reglement, omdat daar een legitieme grond voor is.

En wat het stuk “computer says no” betreft: dat gaat (art. 42 Wbp) over geautomatiseerde beslissingen gebaseerd op “persoonsgegevens bestemd om een beeld te krijgen van bepaalde aspecten van zijn persoonlijkheid” oftewel profiling. Het is niet zo dat iedere automatische “no” strikt verboden is.

Meelezende wiskundigen: is er een systeem waarmee je wél 7.500 leerlingen allemaal in een school uit hun top 3 kunt plaatsen?

Arnoud

Gemeente Groningen publiceert volledige vergunningen online

aanvraag-bouwvergunning-groningen.pngDe gemeente Groningen publiceert volledige aanvragen voor bouwvergunningen online, inclusief de persoonsgegevens van de aanvrager, zo tipte een lezer mij. En inderdaad, als je zoekt in Bouwdossiers groningen krijg je de complete aanvraag te zien. Wel als plaatje en in een of ander raar formaat (DjVu), maar toch. Onderzoeker Eric Hennekam ontdekte dit. De lokale media OOGtv meldt dat dit in strijd zou zijn met een uitspraak die het College Bescherming Persoonsgegevens (CBP) in 2008 deed. Update: Groningen meldt per direct alle gegevens te verwijderen.

Het CBP oordeelde in 2008 namelijk over het archief van de gemeente Nijmegen, waarbij persoonsgegevens van individuele burgers online in te zien waren. Gemeenten zijn op grond van de Woningwet verplicht een openbaar register bij te houden met aantekening van alle aangevraagde en verleende bouwvergunningen. Dat mag best een online register zijn, maar de gemeente moet dan wel rekening houden met de privacy van de burger, oftewel men mag niet meer gegevens online zetten dan anderen echt nodig hebben in verband met die vergunning. Het adres waar iets gebouwd gaat worden is essentieel, maar telefoonnummer of e-mailadres van de aanvrager niet bijvoorbeeld.

Naar aanleiding van dat oordeel heeft Nijmegen de nodige wijzigingen doorgevoerd. Het is alleen nog mogelijk om voor een specifiek adres een vergunning op te vragen, dus je moet al weten om welk adres het gaat voordat je iets kan. De robots.txt bevat een uitsluiting voor deze databank. En de vergunningen en dergelijke die je kunt vinden, zijn niet-doorzoekbare PDF bestanden. Wel valt me op dat je de resultaatpagina kan dieplinken, hoewel Google en consorten nog steeds tegen de robots.txt zullen aanlopen als het goed is. Deze wijzigingen waren voor het College acceptabel.

In de databank van de gemeente kun je zoeken op straat of met een kaart (een lelijke kloon van Google Maps) navigeren door de stad. Er is geen robots.txt, hoewel er ook maar weinig tekstuele informatie is die een zoekmachinerobot (spider) zou kunnen indexeren. Het navigeren gaat dus iets verder dan wat Nijmegen destijds heeft gedaan, je kunt nu iets eenvoudiger zien in welke straten mensen vergunningen aanvragen. Maar of dat nou een schending van de wet bescherming persoonsgegevens oplevert? Mwa. In ieder geval kun je niet zoeken op namen van bewoners.

In juli vorig jaar blogde ik over de Handreiking publicatie van bouwvergunningen van het ministerie van VROM. Hierin wordt onder andere aanbevolen om irrelevante persoonsgegevens (BSN, e-mailadres, telefoonnummer en dergelijke) weg te poetsen voordat zo’n document online gaat. Dat lijkt niet gebeurd te zijn bij alle ingescande documenten in Groningen – en ook niet in Nijmegen, hoewel het me niet duidelijk is of dat nu beleid is of een foutje.

De opmerking van OOG dat “Net als Groningen trekt ook Nijmegen zich hier nog steeds niets van aan” gaat me wat ver, het is voor 90% binnen het advies dus “niets” vind ik een onjuiste kwalificatie.

Arnoud

Bezwaar tegen bezwaarschrift op internet

stellage-steiger-gebouw-bouwen-bouwbesluit-vergunning-bezwaar-beroep.jpgEen lezer mailde me:

Vorig jaar heb ik een bezwaarschrift ingediend tegen het plan van de gemeente om een nieuw gemeentehuis te gaan bouwen op ons dorpsplein. Nu blijkt dat de gemeente mijn bezwaarschrift, plus vele andere, ingescand heeft en op internet heeft gezet. Hierdoor ziet iedereen die mijn naam via Google opzoekt dat ik dit bezwaarschrift heb ingediend. En mijn adres staat er ook nog bij! Nu weigert de gemeente dit te verwijderen. Kan dat zomaar?

Het lijkt me dat je hier met een beroep op de Wet Bescherming Persoonsgegevens wel tegen op moet kunnen treden. Een bezwaarschrift bevat persoonsgegevens van de betrokkene, en publicatie daarvan op internet is dus juridisch gezien een ‘verwerking van persoonsgegevens’. Er is een vrijstelling voor zulke verwerkingen in het kader van beroep en bezwaar maar die zegt niets over publicatie op internet. Verstrekking aan “anderen” dan de betrokken ambtenaren mag volgens dit besluit alleen als:

– de betrokkene zijn ondubbelzinnige toestemming heeft verleend voor de gegevensverwerking, of
– de gegevensverwerking noodzakelijk is voor de nakoming van een wettelijke plicht door de verantwoordelijke, of
– de gegevensverwerking noodzakelijk is vanwege een vitaal belang van de betrokkene (bijvoorbeeld een dringende medische noodzaak), of
– de gegevens verder worden verwerkt voor historische, statistische of wetenschappelijke doeleinden. Voorwaarde hierbij is dat de verantwoordelijke ervoor zorgt dat de gegevens ook alleen voor deze specifieke doeleinden verder worden verwerkt.

Artikel 7:4 lid 2 van de Algemene Wet Bestuursrecht bevat zo’n wettelijke plicht:

Het bestuursorgaan legt het bezwaarschrift en alle verder op de zaak betrekking hebbende stukken voorafgaand aan het horen gedurende ten minste één week voor belanghebbenden ter inzage.

Alleen is voor zover ik kan zien, nergens uitgewerkt hoe een gemeente (een bestuursorgaan) deze stukken ter inzage moet leggen. Op zich lijkt me weinig mis met terinzagelegging via internet. Dat is snel en goedkoop, en maakt het voor anderen veel eenvoudiger om te kijken of een eigen bezwaar nog iets toe zou voegen.

Wel moet je bij publicatie op internet zeker rekening houden met de persoonsgegevens in het bezwaarschrift. Toevallig vond ik een handreiking voor publicatie van bouwvergunningen van het ministerie van VROM. Bij bouwvergunningen blijkt hetzelfde probleem te bestaan: ook die moeten worden gepubliceerd en ook dat kan op internet. In deze handrekening wordt onder andere aanbevolen om PDF-bestanden niet doorzoekbaar te maken voor zoekmachines, en om gegevens zoals het BSN van de aanvrager altijd weg te laten voordat je publiceert. Dat lijkt mij een prima manier om dit op te lossen.

Arnoud