Weten hoe de computer werkt, is een mensenrecht

| AE 10587 | Innovatie | 48 reacties

Gemeenten gebruiken data over hun inwoners om problemen op te sporen voor ze uit de hand lopen, las ik in NRC Handelsblad. Handig dat datagedreven beleid, maar voor de burger stijgt de kans te worden afgerekend op voorspeld gedrag. En dat is een probleem, zelfs als je betoogt dat de gemeente zo gerichter kan handhaven omdat ze aan die data kan zien wie ze moet hebben in plaats van ongericht overal te gaan kijken. Want – bekend thema ondertussen – probeer maar eens te achterhalen wát de regels zijn waarop je dan afgerekend wordt. Toch een niet onbelangrijk thema binnen een rechtsstaat.

Datagedreven beleid, heet het. Het onbekende in kaart brengen als gemeente met data, en dat kan variëren van het voorspellen van de vervangingstermijn van vuilniswagens tot de tijd tussen schoonmaakacties. Maar meestal gaat het over mensen: kans op depressies, armoede en “leefbaarheidsproblemen”.

Uniek aan dit beleid is dat het vaak voor iedereen een black box is. Ook voor de ambtenaren zelf: er is data genoeg en de uitkomsten blijken bruikbaar, maar hoe het systeem nu precies van data tot uitkomst komt, blijft in het ongewisse.

Maxim Februari, filosoof en columnist van NRC, vindt dat kwalijk. „Een belangrijk principe van de rechtsstaat is dat burgers weten welke regels er zijn. Zo kunnen ze zich er ook tegen verweren, bijvoorbeeld door ze met een rechtszaak of met nieuwe wetgeving te veranderen.”

Het blijkt echter hardnekkig om te achterhalen hoe die algoritmes en datastromen werken in de praktijk. Onder de Wob slaagde Februari en consorten er niet in om hierachter te komen. Misschien dat het met een beroep op de AVG wel lukt: die eist immers uitlegbaarheid van je algoritmes die tot persoonsgebonden besluiten komen.

Ik blijf twijfels houden over de impact daarvan. Want AI en machine analyses werken niet zoals mensen. Het voelt dan ook wat onlogisch om te verwachten dat er uitleg uit komt die past bij wat mensen verwachten.

Een ding waar machine learning heel goed in is, is het vinden van correlaties. Vaak blijken dat ook zeer relevante correlaties en zal het aanpakken langs die as er ook voor zorgen dat problemen verminderen. Maar bewijs dat de correlatie ook een causatie is, is er vaak niet. Dus dan kom je niet verder dan “we zien opvallend vaak dat mensen met duizend volgers op Instagram en likes van de hangplek vroege schoolverlaters zijn”. Dat is waarschijnlijk wel wáár en ik kan achteraf ook wel een redenering daarbij verzinnen, maar bewijs is het niet.

Ik hoop heel erg dat ik het mis heb en dat we wel in staat blijken om causale redeneringen toe te voegen aan zulke systemen. Het nut van geautomatiseerde analyses zie ik namelijk wel bij beslisondersteuning en preselectie van overheidshandelen, maar zolang de uitleg afwezig of onbegrijpelijk blijkt, heb je er niets aan.

Arnoud

Juridische beslissystemen zijn helemaal niet zelflerend

| AE 10549 | Innovatie | 16 reacties

Mooie column van Karin Spaink (dank Bram): Ondermijning als verdienmodel, over het AI-softwarepakket van Totta Datalab waarmee gemeenten de pakkans van fraudeurs kunnen vergroten. Zou je denken, maar het systeem is 50% accuraat oftewel wijst in de helft van de gevallen mensen onterecht als fraudeur aan die vervolgens een heel onderzoekstraject voor de neus krijgen. Spaink voelde Totta aan de tand daarover, maar kreeg “Mooi toch dat we fraude zo beter kunnen opsporen? En hun datamodel was zelflerend, dan haal je die systeemfoutjes er toch uiteindelijk vanzelf uit?” als reactie. En dat hoor ik vaker, dus daar ga ik eens wat over zeggen, dat zelflerende.

Een belangrijke belofte van Artificial Intelligence is dat systemen zelflerend zijn. Dat wil zeggen dat ze leren van fouten in hun uitvoer, zodat het de volgende keer beter gaat. Een bekend voorbeeld is de klokthermostaat die ik thuis heb. Daarop stel ik in dat het om zeven uur 19 graden warm moet zijn. Standaard begint hij dan om half zeven te verwarmen, en om zeven uur vergelijkt hij de werkelijke temperatuur met de ingestelde 19 graden. Afhankelijk van het verschil wordt dat begintijdstip aangepast. Het systeem ‘leert’ op die manier hoe snel mijn huis verwarmt.

Veel systemen zijn complexer dan dit. Een auto met zelflerende inparkeermogelijkheid of automatisch rem heeft tientallen sensoren die meten hoe de omgeving verandert tijdens het bewegen, en is in staat ook dit met de gewenste eindtoestand (geparkeerd staan in dat vak of stilstaan vóór het object) te vergelijken om zo tot aangepast rijgedrag te komen voor de volgende keer. Maar het principe blijft hetzelfde: er is een gewenste eindtoestand, er is informatie over het verschil met de werkelijke eindtoestand en er is een mogelijkheid het gedrag aan te passen om die twee dichter bij elkaar te brengen.

In juridische advies- of beslissystemen snap ik werkelijk niet hoe je van een zelflerend systeem kunt spreken. Daar is er geen gewenste eindtoestand die je als computersysteem uit kunt lezen. Het beste dat je kunt doen, is dat een mens achteraf analyses als fout markeert, hopelijk met indicaties waarom. Je kunt dan je analysesysteem aanpassen op basis van de nieuwe informatie. Maar in heel veel gevallen krijg je die input niet, omdat je zelden hoort hoe het vervolgtraject is opgelost zeker wanneer er wordt geschikt of via mediation een oplossing wordt getroffen. Is iemand dan een fraudeur of gewoon een persoon die koos voor betalen om van het gedoe af te zijn?

Meer fundamenteel zit je bij juridische systemen met het probleem dat er geen objectieve waarheid is. Een juridische stelling is waar omdat de rechter als orakel zégt dat deze waar is, en zelfs dan is het alleen maar waar totdat in hoger beroep de uitspraak anders blijkt. En die feedbacklus kan zomaar een paar jaar duren ook. Dus je kunt je systeem wel verbeteren op basis van nieuwe constateringen en nieuwe gegevens, maar om dat zelflérend te noemen gaat me echt veel te ver.

Arnoud

Waarom moeten robots rechten krijgen?

| AE 10536 | Innovatie | 14 reacties

Geef robots alsjeblieft geen aparte juridische status, las ik bij NRC Handelsblad. In een open brief waarschuwen 150 prominente onderzoekers op het gebied van robots, kunstmatige intelligentie en rechtsgeleerdheid de Europese Commissie. Het argument om robots rechtspersoonlijkheid te geven hoor ik vaker de laatste tijd. Het zou aansprakelijkheidsproblemen oplossen, ethische dilemma’s kortsluiten en een belangrijke stap voorwaarts zijn in de volwassenwording van de Vierde Revolutie van onze samenleving. U hoort aan de ietwat sarcastische toon dat ik dat niet helemaal zie.

Recent nam het Europees Parlement een resolutie aan, waarin onder meer de aanbeveling stond:

Creating a specific legal status for robots in the long run, so that at least the most sophisticated autonomous robots could be established as having the status of electronic persons responsible for making good any damage they may cause, and possibly applying electronic personality to cases where robots make autonomous decisions or otherwise interact with third parties independently;

Door robots rechtspersoonlijkheid te geven (zeg maar net zoals een bv of een vereniging dat heeft) kunnen zij zelf rechtshandelingen verrichten, geld bezitten en aansprakelijkheid dragen voor schade of wanprestatie. Daarmee los je, op papier dan, een hoop problemen op. Immers als er schade is, dan heb je nu een rechtspersoon bij wie je de claim kunt neerleggen. Alle bestaande regels over aansprakelijkheid, toerekenbaarheid et cetera gelden automatisch, en we hebben 100 jaar jurisprudentie om die regels toe te passen op een rechtspersoon.

De onderzoekers dragen hier een aantal stevige bezwaren tegen aan. Allereerst vind ik een mooie dat je hiermee robots zwaar overschat. Er loopt nog lang geen Daneel Olivaw door de straten om de stoep te vegen of een medische behandeling uit te voeren. Het soort robots dat we wel hebben, is zo basaal en beperkt dat het altijd evident is welke mens of welk bedrijf erachter zit, en het ook zeer logisch is om díe dan gewoon aansprakelijk te houden.

Nog sterker vond ik het tweede argument: als je iemand een (rechts-)persoon maakt, geef je hem ook rechten, en wat betekent dát dan?

A legal status for a robot can’t derive from the Natural Person model, since the robot would then hold human rights, such as the right to dignity, the right to its integrity, the right to remuneration or the right to citizenship, thus directly confronting the Human rights. This would be in contradiction with the Charter of Fundamental Rights of the European Union and the Convention for the Protection of Human Rights and Fundamental Freedoms.

Die laatste zin lijkt te zeggen dat mensenrechten aan robots geven in strijd is met de mensenrechten voor mensen, wat ik niet helemaal volg. Maar het eerste punt zie ik wel: als je een robot rechtspersoonlijkheid geeft, mag je hem niet meer uitzetten als dat in het belang van mensen is. Dat is dan immers zeg maar moord. Ook zou je niet zomaar meer ín de robot mogen kijken zonder medische behandelovereenkomst (herstelovereenkomst?). Ja, dat krijg je er van als je 100 jaar standaardregels op een nieuwe situatie plakt.

Hoe het dan wel moet, laten de onderzoekers een beetje in het midden. Er moet goed over nagedacht worden en zonder vooringenomenheid naar een oplossing worden gestreefd. Daar kan niemand het mee oneens zijn, maar opschieten doet het natuurlijk ook weer niet. Toch maar dat aansprakelijkheidsfonds?

Arnoud

Hoe aansprakelijk is die Uber-auto voor die dodelijke aanrijding?

| AE 10468 | Innovatie | 60 reacties

Uber stopt in alle steden met zijn testen met zelfrijdende auto’s na een dodelijk ongeval, las ik bij Nu.nl. Een zelfrijdende auto van het bedrijf heeft in Arizona een vrouw aangereden, waarna zij overleed. Uit het voorlopige onderzoek bleek dat de aanrijding waarschijnlijk overmacht was vanwege beperkt zicht, maar het is natuurlijk mogelijk dat uiteindelijk… Lees verder

Artificial intelligence is eigenlijk gewoon maar mensenwerk

| AE 10451 | Innovatie | 5 reacties

Het stiekeme verhaal achter artificial intelligence: eigenlijk drijft het volledig op mensenkracht, aldus de Indian Express. Al die AI-systemen moeten leren wat wat is, en daarvoor is vooralsnog een heleboel mensenkracht nodig: in foto’s omcirkelen wat een chihuahua is en wat een muffin, teksten labelen als positief of negatief of aangeven of een actie terecht… Lees verder

Hoe kunnen we transparantie toevoegen aan besluitvormende algoritmen?

| AE 10424 | Innovatie | 16 reacties

Bestuursrecht en bestuursrechtspraak zijn onvoldoende in staat om ketenbesluiten te toetsen omdat onbekend is hoe een beslisregel exact is opgebouwd en tot welke resultaten deze leidt. Dat las ik in juristenblad NJB. Steeds meer beslisregels en algoritmes worden ingezet om tot formele besluitvorming te komen, maar daarbij is volstrekt onduidelijk hoe dat besluit tot standkomt…. Lees verder

Wie gaat er nou zijn NDA’s in de blockchain stoppen?

| AE 10422 | Innovatie | 7 reacties

Powered by AI and blockchain, het nieuwe boek van Willem Vermeend en Rian van Rijbroek? Nee, de tagline van het World NDA project van het Global Legal Blockchain Consortium, blockchainprovider Integra en AI-leverancier IBM. Het project heeft als doel “the reduction of burden, cost, and risk associated with the current NDA lifecycle”, wat kennelijk betekent… Lees verder

Worden advocaten ooit door robots vervangen?

| AE 10412 | Innovatie | 2 reacties

“Siri, maak een exclusieve licentieovereenkomst in dossier X.” Dat las ik bij IE-Forum als quote uit de speech van professor Bernd Hugenholtz over de opkomst van de robot-advocaat. Hij gelooft er geen bal van; een goede mens-advocaat heeft immers onmiskenbaar kwaliteiten zoals door de juridisch bomen het bos kunnen zien, goed kunnen onderhandelen en zelfs… Lees verder

AI-lawyerbot visualiseert gebruiksvoorwaarden

| AE 10397 | Innovatie | 5 reacties

Onderzoekers van de Zwitserse technische Universiteit EPFL hebben een ai-bot online gezet die gebruiksvoorwaarden leest en omzet in een overzichtelijk stroomdiagram, las ik bij Tweakers. Er is ook een chatbot-interface waarmee je vragen kunt stellen, en de bot zoekt de meest relevante zinen er dan bij. Het nut van het stroomdiagram ontgaat me, maar het… Lees verder