Toch nog even over die uitlegbaarheid van AI uitspraken

| AE 9974 | Innovatie | 33 reacties

Analyses van AI’s zijn niet meteen naar uitleg of verklaringen om te zetten, schreef ik in oktober. En dat is best wel een probleem, zeker waar die analyses leiden tot juridisch bindende besluiten. Een veelgehoorde eis aan AI’s is dan ook dat zij in staat zijn tot uitleg – in het jargon moeten AI’s white boxed zijn. Maar dat is niet genoeg. Er zit volgens mij een heel fundamentele foute aanname onder die eis, namelijk dat een AI-uitspraak uitlegbaar kán zijn zoals een menselijke uitspraak.

Een grote zwakte van AI analyses is dat ze meestal zonder uitleg komen. Deze mail is spam en die niet, je kunt beter linksaf gaan want dat is sneller, of als je in het spel nu schiet dan heb je de meeste kans om te winnen. Zelden tot nooit krijg je erbij te horen waarom dan. Maar omdat het heel vaak klopt, vinden we dat ook niet erg.

Vanuit juridisch perspectief kan dat toch eens best vervelend zijn, zeker als sprake is van een AI die juridisch bindende besluiten neemt. Uw bouwvergunning wordt afgewezen, u komt niet in aanmerking voor verkorte screening, u dient een extra cursus te volgen voordat u mag beginnen met deze studie. Die zorg gaat zo ver dat in de AVG expliciet is opgenomen dat dergelijke besluiten niet genomen mogen worden maar dat er altijd een mens tussen moet zitten, én dat er uitleg over de onderliggende logica van het besluitondersteunende systeem moet komen.

Dit veronderstelt dat de AI kán uitleggen hoe zhij tot het besluit is gekomen. En volgens mij kán dat fundamenteel eigenlijk niet.

Veel nadruk is de afgelopen jaren gekomen voor zogeheten white box AI’s, oftewel systemen die geen zwarte doos zijn maar juist inzicht geven in hoe men tot een besluit komt. BigML, het bedrijf waar mijn AI NDA Lynn op draait, heeft bijvoorbeeld de feature dat een analysemodel aangeleverd wordt als een beslisboom. Je kunt dan van stap tot stap precies zien welke criteria er zijn overwogen en wat de doorslag gaf bij twijfel. Daarmee is de uitlegbaarheid een feit, zou je denken.

Een oude computergrap luidt, don’t anthropomorphize computers, they don’t like that. In feite is dit het nadeel van “statistische analysetechnieken” het labeltje “kunstmatige intelligentie” te geven. Want de ‘uitleg’ die je uit zo’n witte doos krijgt, is eigenlijk niet meer dan een stack trace, een lijst van stappen die de software nam om door de data heen te komen. Je krijgt bijvoorbeeld te horen “als Venue bevat niet Californië en lengte < 800 woorden en Aansprakelijkheid bevat niet Dientengevolge dan goedgekeurd”. Ja, dat is een uitleg maar geen mens die ooit op die manier zou uitleggen waarom het contract goedgekeurd is. Plus je mist zo wat er met andere informatie is gebeurd, was die niet belangrijk?

Ik denk dat dit uiteindelijk geen oplosbaar probleem is, want een AI werkt nu eenmaal op deze manier. Gegeven een heleboel voorbeelden, analyseer op welk voorbeeld het beste de input lijkt. Daarbij kun je moeilijk afdwingen dat de AI dezelfde criteria hanteert als de mens, vaak héb je die eigenlijk niet. Je gebruikte immers AI omdat je met gewoon menselijk redeneren er niet goed uit komt.

Arnoud

Apple haalt tientallen gokapps uit Nederlandse App Store

| AE 9001 | Innovatie | 18 reacties

onlinegokken.jpgTientallen apps voor casino’s en sportweddenschappen zijn door Apple uit de App Store verwijderd, meldde de NOS vorige week. Dit naar aanleiding van verzoeken van de Nederlandse Kansspelautoriteit; kansspelen organiseren is immers verboden en een app die dat faciliteert dus ook. Maar toch vind ik dit gek: hoezo vráág je zoiets als toezichthouder, en dan ook nog eens aan een andere partij dan de aanbieder van die kansspelen?

In Nederland is het organiseren van kansspelen al heel lang wettelijk verboden. Er komt verandering aan, met name ten voordele van internetgokken, maar dat duurt nog even. Tot die tijd mag je dus Nederlanders niet laten gokken (althans niet als er geld te winnen is, behalve als promotioneel kansspel).

Daar kun je van alles van vinden, maar juridisch gezien lijkt het me in de haak dat de Kansspelautoriteit op zoek gaat naar overtreders en ze vervolgens een last onder dwangsom oplegt om daarmee te stoppen. Dat is immers de geëigende weg: er is een wet, er is een toezichthouder die iets een overtreding vindt en dan komt er een last (besluit met verplichting). Daar kun je dan tegen in bezwaar bij de Ksa zelf, en daarna naar de bestuursrechter.

De route die hier wordt gekozen, doet bepaald raar aan. In plaats van een besluit te nemen tegen de aanbieders van de app of het achterliggende spel, zegt de Ksa tegen Apple “volgens ons is dit illegaal, wilt u daar wat aan doen” en dan haalt Apple die apps uit de store. Ja, notice en takedown bestaat en Apple verbiedt in haar voorwaarden apps die in strijd zijn met toepasselijke wetgeving. Dus Apple staat in haar recht, volgens mij.

Alleen: ik blijf erbij dat een overheidsinstantie niet mag vragen. Niet kán vragen. Natuurlijk, ze kunnen dingen in de vragende vorm formuleren en er bij zeggen dat het geen verplichting is et cetera et cetera. Maar uiteindelijk blijft het een uitspraak van een overheidsinstantie die een paar stevige knuppels in de kast heeft staan. En dan komt het toch een heel eind over als een bevel.

Dat is dus waarom we die constructie hebben van besluiten, bezwaar en beroep bij de rechter. Net als in het strafrecht, waar de politie geen dingen vraagt maar ze vordert. Bij die vorderingen staan grenzen en procedures in de wet (met name het wetboek van Strafvordering), en die heeft men dan te volgen. Zo weten we dat de gevorderde zaken legaal zijn en netjes verlopen. En als dat niet gebeurt, dan kan de rechter daar wat mee doen.

Hier gaat het mis. De aanbieders van de apps kunnen niets doen tegen de Ksa, want formeel is er geen besluit tegen ze genomen dat die apps illegaal zijn. Ook kunnen ze niet protesteren bij Apple, want Apple mag immers doen wat haar goeddunkt zo staat in de voorwaarden (en bij zakelijke partijen is dat in principe legaal om in je voorwaarden te zetten). Maar raar is het wel.

Arnoud

Schoolcomputer says no tegen ruilverzoek inschrijving, mag dat?

| AE 7800 | Informatiemaatschappij | 85 reacties

computer-says-noAmsterdamse scholieren die vanwege het matchingssysteem hun schoolplek wilden ruilen, mogen dit niet. Dat meldde Nu.nl vorige week, waarop ik diverse mails kreeg van lezers of dit een verboden gevalletje “computer says no” is. Amsterdam heeft namelijk een matching-algoritme ontwikkeld dat scholieren probeert te koppelen aan hun favoriete school, maar aan de uitkomst mag niet worden getornd, ook niet als je een andere scholier kunt vinden die met jou wil ruilen waardoor je beiden op je eerste keuze terechtkomt.

De voortgezet-onderwijsscholen in Amsterdam hebben gezamenlijk genoeg plaatsen voor alle achtstegroepers die de overstap naar de middelbare school maken, ook voor een aantal leerlingen uit omliggende gemeenten. Er bestaat echter al jaren een discrepantie tussen het aantal aanmeldingen en het aantal plaatsen per school, met name voor havo en vwo. Dat gaf veel onvrede bij leerlingen en ouders, vandaar dat besloten werd een nieuw algoritme te ontwikkelen.

In het nieuwe systeem moet je niet één voorkeursschool kiezen maar een lijst maken. Er wordt dan geprobeerd je zo hoog mogelijk op de lijst te zetten en om de pijn van de lotingen zo eerlijk mogelijk te verdelen door iedere leerling gelijke kansen te bieden. Dat viel tegen: na de eerste keer gebruik ontstond er weer veel onvrede, onder meer omdat leerlingen ineens hun vierde keuze hadden gekregen in plaats van de top 3, of omdat ze een school 17 kilometer verderop hadden gekregen.

Belangrijkste pijnpunt was echter dat minstens 400 leerlingen hadden ontdekt dat ze door onderling ruilen alle 400 hun eerste keuze hadden kunnen krijgen. Had daar dan niet even rekening mee gehouden worden? Nee, sorry, computer says no aldus de gemeente.

Of nou ja, er zat wel iets meer achter dan dat, zo blijkt uit het vonnis:

In de eerste plaats werkt het systeem dan niet consistent. Op dit moment is het zo dat het lotnummer of rangnummer dat een leerling voor een bepaalde school is toegekend bepaalt of hij of zij op een school komt. Ook de reservelijst is samengesteld op volgorde van lotnummers. Op die manier heeft iedere leerling voor iedere school gelijke kansen. Indien ruilen zou worden toegestaan zou de plaats van een leerling op de reservelijst weliswaar niet veranderen, maar het zou er wel toe kunnen leiden dat een leerling met een ongunstiger lotnummer een leerling met een gunstiger lotnummer passeert. Op die manier is er geen sprake meer van gelijke kansen. Zo zijn er leerlingen die toevallig geen aantrekkelijke plaats te bieden hebben, en leerlingen die zich tot op heden buiten de ‘ruilhandel’ hebben gehouden en genoegen hebben genomen met hun tweede of derde keuze, maar die wellicht ook zouden willen ruilen. Het toelatingssysteem voldoet dan niet meer aan de vereisten van consistentie en transparantie.

Ook heeft het systeem strategisch kiezen tot gevolg, en dat wilde men nu juist elimineren. Met strategisch kiezen verlies je het zicht op welke scholen nu écht aantrekkelijk zijn, en dupeer je zoals gezegd leerlingen die niet mee willen of kunnen doen (denk aan een leerling die net uit Brabant verhuist en nog niemand kent in Amsterdam om mee te ruilen).

Vanwege al deze redenen is het begrijpelijk dat de scholen dit nieuwe systeem willen en daarbij geen ruil willen toestaan. De rechter keurt het systeem dan ook goed, en de ouders zullen moeten accepteren dat hun kinderen niet naar de school van hun eerste voorkeur kunnen, ook al hád dat gekund met 200 ruilparen. Die mogelijkheid mag de gemeente uitsluiten in haar reglement, omdat daar een legitieme grond voor is.

En wat het stuk “computer says no” betreft: dat gaat (art. 42 Wbp) over geautomatiseerde beslissingen gebaseerd op “persoonsgegevens bestemd om een beeld te krijgen van bepaalde aspecten van zijn persoonlijkheid” oftewel profiling. Het is niet zo dat iedere automatische “no” strikt verboden is.

Meelezende wiskundigen: is er een systeem waarmee je wél 7.500 leerlingen allemaal in een school uit hun top 3 kunt plaatsen?

Arnoud

Gemeente Groningen publiceert volledige vergunningen online

| AE 2062 | Privacy | 8 reacties

De gemeente Groningen publiceert volledige aanvragen voor bouwvergunningen online, inclusief de persoonsgegevens van de aanvrager, zo tipte een lezer mij. En inderdaad, als je zoekt in Bouwdossiers groningen krijg je de complete aanvraag te zien. Wel als plaatje en in een of ander raar formaat (DjVu), maar toch. Onderzoeker Eric Hennekam ontdekte dit. De lokale… Lees verder

Bezwaar tegen bezwaarschrift op internet

| AE 1694 | Informatiemaatschappij, Privacy | 5 reacties

Een lezer mailde me: Vorig jaar heb ik een bezwaarschrift ingediend tegen het plan van de gemeente om een nieuw gemeentehuis te gaan bouwen op ons dorpsplein. Nu blijkt dat de gemeente mijn bezwaarschrift, plus vele andere, ingescand heeft en op internet heeft gezet. Hierdoor ziet iedereen die mijn naam via Google opzoekt dat ik… Lees verder