De rechtspraak en de bedrijfsgeheime bewijsanalyse

| AE 10685 | Innovatie | 28 reacties

Steeds meer bedrijven leunen zwaar op de wettelijke bescherming voor bedrijfsgeheimen, en dat heeft grote impact op de strafrechtspraak. Dat las ik bij Boing Boing een tijdje terug. Het gaat om software die analyses doet op data gebruikt als bewijs, of inschattingen van vluchtgevaar of recidive. Wie als verdachte de bevindingen van die software wil aanvechten, moet eigenlijk wel de broncode en/of brondata er bij hebben. En dat mag dus niet, omdat die bedrijven zich beroepen op de bescherming van handelsgeheimen. Een erg zorgelijke ontwikkeling.

Software in de rechtspraak is de laatste paar jaar aan een forse opmars bezig. Steeds vaker wordt software daarbij ingezet die adviezen of analyses doet waar rechters, advocaten en officieren op kunnen werken. Een bekend (berucht?) voorbeeld is COMPAS, dat recidivisme voorspelt. Daarmee kan een rechter makkelijker bepalen of iemand op vrije voeten gesteld moet worden of liever toch niet.

Het grote probleem met al deze software is dat ze vaak moeilijk (of gewoon helemaal niet) aangeven hoe ze tot hun analyse komen. Steeds vaker proberen gedaagden dan ook inzage te krijgen in de broncodes en achterliggende algoritmes. En dat lukt dus niet, omdat de leveranciers zich kunnen beroepen op bescherming van handelsgeheimen. De definitie van een handelsgeheim is immers dat iets waarde heeft omdat het geheim is, en dat past goed bij zo’n algoritme.

Het wringt natuurlijk enorm met het vereiste van transparantie in de rechtspraak. Wat mij betreft zou het dus een goede zaak worden als het verboden wordt software-analyses als bewijsondersteunend middel te gebruiken tenzij de werking transparant is en er een externe analyse op eventuele bias geweest is.

Arnoud

AI rechters en het juridische novum

| AE 10674 | Innovatie | 10 reacties

“De doker begraaft zijn vergissingen; die van de rechter worden tot wet”. Met die tekst opende Coen Drion een blog over de koersvastheid van de rechter. Dat is namelijk een dingetje in het recht: mag een rechter afwijken van eerdere uitspraken van collega’s of zelfs hogere rechtbanken? In het Engelse en Amerikaanse common law systeem is dat een doodzonde, het principe van “stare decisis” vereist daar dat de rechtbank doet wat hoger is bepaald, en dat alleen hogere rechtbanken “om” kunnen gaan. Nu steeds meer stemmen opgaan om rechtspraak door AI of robots te laten doen, is het goed daar nog eens over na te denken want AI-gevoede rechtspraak gaat heel anders om met precedenten dan mensenrechtspraak.

Artificial Intelligence wordt binnen de juridische wereld nu vooral ingezet voor analyse en adviseren. Maar in theorie is er weinig technisch bezwaar tegen een AI systeem dat uitspraken gaat doen over daadwerkelijke zaken. Het infameuze E-court heeft al een robotrechter, die op basis van een hele stapel eerdere uitspraken analyseert hoe kansrijk een geldvordering is, en deze dan toe- of afwijst.

Dat is ook precies hoe AI werkt. Een robotrechter leert geen rechtsregels zoals menselijke juristen doen, en leert zelfs niet het analyseren van eerdere jurisprudentie wat belangrijke factoren zijn. AI’s zijn goed in het vergelijken: gegeven een dataset waarin elk item (elk vonnis dus) in een zit, bepaal welke factoren per item essentieel zijn om in een bepaald bakje te horen. Dat is een beetje hoe een ervaren menselijke rechter ook werkt: oké, een standaard-incassozaakje of daar heb je weer een fotoclaim met het bekende verhaal over citaatrecht. Maar niet helemaal: een AI kijkt blind naar alle factoren die hij ziet, en dat kunnen ook onbedoelde factoren zijn (als advocaat X pleit of de eiser in Amstelveen woont, dan is dat een indicatie dat de zaak niet sterk is).

Uiteindelijk is de kern echter wel dat een AI alléén afgaat op de eerdere dataset. Hij leert immers alleen daaruit hoe er recht gesproken moet worden. Een afwijking van die dataset is daarbij niet te verwachten. Computers zijn immers niet creatief, en niet gevoelig voor ongewone omstandigheden, nieuwe feiten of het overtuigendste pleidooi. Dat is ook de reden waarom robotrechters alleen voor standaardwerk ingezet moeten kunnen worden, én dat er altijd ruimte moet zijn om die ongewone omstandigheden te kunnen stellen waarna een mensenrechter en aar kijkt.

Complex daarbij vind ik wel dat je robotrechters inzet om standaardwerk te doen, en dat je wilt voorkomen dat iedereen alsnog naar de mensenrechter wil. Maar hoe toets je of iemands beroep op bijzondere omstandigheden legitiem is en dus naar de mensenrechter mag? Per definitie kan een robotrechter dat niet bepalen.

Arnoud

Juridische beslissystemen zijn helemaal niet zelflerend

| AE 10549 | Innovatie | 16 reacties

Mooie column van Karin Spaink (dank Bram): Ondermijning als verdienmodel, over het AI-softwarepakket van Totta Datalab waarmee gemeenten de pakkans van fraudeurs kunnen vergroten. Zou je denken, maar het systeem is 50% accuraat oftewel wijst in de helft van de gevallen mensen onterecht als fraudeur aan die vervolgens een heel onderzoekstraject voor de neus krijgen. Spaink voelde Totta aan de tand daarover, maar kreeg “Mooi toch dat we fraude zo beter kunnen opsporen? En hun datamodel was zelflerend, dan haal je die systeemfoutjes er toch uiteindelijk vanzelf uit?” als reactie. En dat hoor ik vaker, dus daar ga ik eens wat over zeggen, dat zelflerende.

Een belangrijke belofte van Artificial Intelligence is dat systemen zelflerend zijn. Dat wil zeggen dat ze leren van fouten in hun uitvoer, zodat het de volgende keer beter gaat. Een bekend voorbeeld is de klokthermostaat die ik thuis heb. Daarop stel ik in dat het om zeven uur 19 graden warm moet zijn. Standaard begint hij dan om half zeven te verwarmen, en om zeven uur vergelijkt hij de werkelijke temperatuur met de ingestelde 19 graden. Afhankelijk van het verschil wordt dat begintijdstip aangepast. Het systeem ‘leert’ op die manier hoe snel mijn huis verwarmt.

Veel systemen zijn complexer dan dit. Een auto met zelflerende inparkeermogelijkheid of automatisch rem heeft tientallen sensoren die meten hoe de omgeving verandert tijdens het bewegen, en is in staat ook dit met de gewenste eindtoestand (geparkeerd staan in dat vak of stilstaan vóór het object) te vergelijken om zo tot aangepast rijgedrag te komen voor de volgende keer. Maar het principe blijft hetzelfde: er is een gewenste eindtoestand, er is informatie over het verschil met de werkelijke eindtoestand en er is een mogelijkheid het gedrag aan te passen om die twee dichter bij elkaar te brengen.

In juridische advies- of beslissystemen snap ik werkelijk niet hoe je van een zelflerend systeem kunt spreken. Daar is er geen gewenste eindtoestand die je als computersysteem uit kunt lezen. Het beste dat je kunt doen, is dat een mens achteraf analyses als fout markeert, hopelijk met indicaties waarom. Je kunt dan je analysesysteem aanpassen op basis van de nieuwe informatie. Maar in heel veel gevallen krijg je die input niet, omdat je zelden hoort hoe het vervolgtraject is opgelost zeker wanneer er wordt geschikt of via mediation een oplossing wordt getroffen. Is iemand dan een fraudeur of gewoon een persoon die koos voor betalen om van het gedoe af te zijn?

Meer fundamenteel zit je bij juridische systemen met het probleem dat er geen objectieve waarheid is. Een juridische stelling is waar omdat de rechter als orakel zégt dat deze waar is, en zelfs dan is het alleen maar waar totdat in hoger beroep de uitspraak anders blijkt. En die feedbacklus kan zomaar een paar jaar duren ook. Dus je kunt je systeem wel verbeteren op basis van nieuwe constateringen en nieuwe gegevens, maar om dat zelflérend te noemen gaat me echt veel te ver.

Arnoud

Hoe aansprakelijk is die Uber-auto voor die dodelijke aanrijding?

| AE 10468 | Innovatie | 60 reacties

Uber stopt in alle steden met zijn testen met zelfrijdende auto’s na een dodelijk ongeval, las ik bij Nu.nl. Een zelfrijdende auto van het bedrijf heeft in Arizona een vrouw aangereden, waarna zij overleed. Uit het voorlopige onderzoek bleek dat de aanrijding waarschijnlijk overmacht was vanwege beperkt zicht, maar het is natuurlijk mogelijk dat uiteindelijk… Lees verder

Artificial intelligence is eigenlijk gewoon maar mensenwerk

| AE 10451 | Innovatie | 5 reacties

Het stiekeme verhaal achter artificial intelligence: eigenlijk drijft het volledig op mensenkracht, aldus de Indian Express. Al die AI-systemen moeten leren wat wat is, en daarvoor is vooralsnog een heleboel mensenkracht nodig: in foto’s omcirkelen wat een chihuahua is en wat een muffin, teksten labelen als positief of negatief of aangeven of een actie terecht… Lees verder

AI net zo goed als willekeurige mensen in het voorspellen van recidive

| AE 10360 | Innovatie | 22 reacties

AI-software blijkt net zo goed als een groep willekeurige mensen in het voorspellen van recidive bij Amerikaanse veroordeelden, las ik bij Ars Technica. Onderzoekers van Dartmouth College vergeleken de uitkomsten van de COMPAS software (die met machine learning technieken recidive probeert te voorspellen) met de inschatting van willekeurige mensen geworven via Amazon’s Mechanical Turk. Beiden… Lees verder

Nee, kunstmatige intelligentie zal nooit gaan rechtspreken (of pleiten)

| AE 10195 | Innovatie | 21 reacties

Een computer kan rechtspreken, als wij met zijn allen denken en willen dat hij het kan. Dat las ik bij Sargasso in een gastbijdrage van strafrechtadvocaat Vasco Groeneveld. AI komt eraan, ook in de rechtspraktijk. Die lijn doortrekkend betekent dat er over tien, twintig jaar robotrechters aan het werk zijn, niet gehinderd door emotie, hoofdpijn,… Lees verder

Het onderbelichte probleem van dataverzameling in de artificial intelligence

| AE 9913 | Innovatie | 14 reacties

Jaja, vrijdag wordt machine learning/AI dag, maar ik vond vrAIdag zo’n rare hashtag. Deze week een netelige en vaak onderbelichte kwestie: hoe kom je aan je data? Veel mensen denken dat het bij AI vooral gaat om het bouwen van het netwerk, maar dat is in feite niet meer dan op de “Generate” knop drukken… Lees verder