Moeten advocaten nu ook allemaal programmeur worden?

| AE 10649 | Innovatie | 8 reacties

Steeds vaker lees ik dat de juridische sector sterk achterloopt bij het adopteren van technologische innovaties – legal tech – en dat een belangrijke factor daarbij is dat advocaten en juristen te weinig kunnen programmeren. Daar zit in theorie wat in: wie niet weet hoe software werkt of wat het kan, zal niet snel geneigd zijn naar een software-oplossing te gaan. En zeker als de dienstverlening zelf steeds meer geautomatiseerd wordt, dan blijven de mensen achter die alleen maar met vulpen een pleitnota weten te produceren. Maar toch is het complexer dan dat.

Dat de juridische sector sterk achterloopt, staat buiten kijf. Het is pas vrij recent dat er grote aandacht is voor technologische innovatie, onder de hippe term “legal tech”. Van apps voor tijdschrijven tot Artificial Intelligence contractsanlyse. Veel van die legal tech is op zichzelf niet heel bijzonder: ze automatiseert alleen wat er al bestaat. Dat is handig en efficiënt maar maakt dingen niet fundamenteel anders. Tijdschrijven blijft tijdschrijven.

Er zijn natuurlijk wel echte vernieuwingen, zoals die automatische contractsanalyse. Laat een computer speuren naar opvallende clausules of rare combinaties, en dan kan een mens daar gericht naar kijken wat het juridisch voor problemen (of aansprakelijkheden) geeft. Zo gebruik je van beiden het beste. Het grappige is, hier loopt de juridische sector dan weer een heel eind voorop – ik zie nauwelijks aandacht voor bijvoorbeeld AI om broncode te analyseren of fraude in wetenschappelijk onderzoek aan te tonen.

Leren programmeren geeft je relevante skills en inzichten over hoe programmeren werkt en wat software kan. (“Dat was wel een beetje een desillusie” aldus een juridische kennis van me na een summercamp op dat gebied.) Dat kan erg nuttig zijn als je klanten daarover wilt adviseren, of na wilt denken over nieuwe diensten of de manier van aanbieden daarvan.

Veel belangrijker lijkt me kunnen zien wat de sector nodig heeft, beter gezegd wat de klant nodig heeft. Want uiteindelijk zal die het worst wezen of het een AI is die zijn contract doorvlooide of een mens dat er met 20 jaar ervaring snel naar keek. Die wil weten of hij kan tekenen, of dat zijn schadeclaim goede kans van slagen heeft en hoe die claim te gaan halen.

Dat op een effectieve manier doen vereist veel meer dan alleen een nieuwe app of kunnen programmeren. Dat vereist een nieuwe manier van werken, de bereidheid om te zeggen, we gaan het helemaal anders doen. En juist dát is de grote uitdaging in de juridische sector.

Arnoud

Weten hoe de computer werkt, is een mensenrecht

| AE 10587 | Innovatie | 48 reacties

Gemeenten gebruiken data over hun inwoners om problemen op te sporen voor ze uit de hand lopen, las ik in NRC Handelsblad. Handig dat datagedreven beleid, maar voor de burger stijgt de kans te worden afgerekend op voorspeld gedrag. En dat is een probleem, zelfs als je betoogt dat de gemeente zo gerichter kan handhaven omdat ze aan die data kan zien wie ze moet hebben in plaats van ongericht overal te gaan kijken. Want – bekend thema ondertussen – probeer maar eens te achterhalen wát de regels zijn waarop je dan afgerekend wordt. Toch een niet onbelangrijk thema binnen een rechtsstaat.

Datagedreven beleid, heet het. Het onbekende in kaart brengen als gemeente met data, en dat kan variëren van het voorspellen van de vervangingstermijn van vuilniswagens tot de tijd tussen schoonmaakacties. Maar meestal gaat het over mensen: kans op depressies, armoede en “leefbaarheidsproblemen”.

Uniek aan dit beleid is dat het vaak voor iedereen een black box is. Ook voor de ambtenaren zelf: er is data genoeg en de uitkomsten blijken bruikbaar, maar hoe het systeem nu precies van data tot uitkomst komt, blijft in het ongewisse.

Maxim Februari, filosoof en columnist van NRC, vindt dat kwalijk. „Een belangrijk principe van de rechtsstaat is dat burgers weten welke regels er zijn. Zo kunnen ze zich er ook tegen verweren, bijvoorbeeld door ze met een rechtszaak of met nieuwe wetgeving te veranderen.”

Het blijkt echter hardnekkig om te achterhalen hoe die algoritmes en datastromen werken in de praktijk. Onder de Wob slaagde Februari en consorten er niet in om hierachter te komen. Misschien dat het met een beroep op de AVG wel lukt: die eist immers uitlegbaarheid van je algoritmes die tot persoonsgebonden besluiten komen.

Ik blijf twijfels houden over de impact daarvan. Want AI en machine analyses werken niet zoals mensen. Het voelt dan ook wat onlogisch om te verwachten dat er uitleg uit komt die past bij wat mensen verwachten.

Een ding waar machine learning heel goed in is, is het vinden van correlaties. Vaak blijken dat ook zeer relevante correlaties en zal het aanpakken langs die as er ook voor zorgen dat problemen verminderen. Maar bewijs dat de correlatie ook een causatie is, is er vaak niet. Dus dan kom je niet verder dan “we zien opvallend vaak dat mensen met duizend volgers op Instagram en likes van de hangplek vroege schoolverlaters zijn”. Dat is waarschijnlijk wel wáár en ik kan achteraf ook wel een redenering daarbij verzinnen, maar bewijs is het niet.

Ik hoop heel erg dat ik het mis heb en dat we wel in staat blijken om causale redeneringen toe te voegen aan zulke systemen. Het nut van geautomatiseerde analyses zie ik namelijk wel bij beslisondersteuning en preselectie van overheidshandelen, maar zolang de uitleg afwezig of onbegrijpelijk blijkt, heb je er niets aan.

Arnoud

Camera’s Britse politie herkenden duizenden mensen onterecht als crimineel

| AE 10573 | Privacy | 21 reacties

De politie van Wales zette tijdens de Champions League-finale van 2017 in Cardiff technologie met gezichtsherkenning in om criminelen op te sporen, maar het systeem zat in 92 procent van de gevallen fout. Dat meldde Nu.nl onlangs. De technologie scande van 170.000 mensen het gezicht en vond daarbij 2.470 potentiële gelijkenissen tussen bezoekers en bekende criminelen, maar 2.297 van die gelijkenissen was ten onrechte. Er zou geen enkele persoon zijn gearresteerd na foutief herkend te zijn door het systeem, en dus is het no big deal aldus de politie. Als dat de toekomst wordt van handhavingstech dan belooft het interessante tijden te worden.

Natuurlijk is geen enkel systeem perfect. Mensen kunnen zich vergissen, en computers kunnen fouten maken. Het is dan ook onrealistisch om te verwachten dat systemen altijd de juiste uitvoer leveren. En zeker als (zoals hier) de inputbeelden van slechte kwaliteit zijn, dan moet je niet te veel verwachten.

Er zijn diverse maten voor de kwaliteit van dit soort systemen. Allemaal komen ze neer op een conclusie afgaande op twee factoren:

  • Vals positief: een uitkomst wordt als positief (juist) aangemerkt, maar is eigenlijk negatief (onjuist). Bij deze gezichtsherkenning dus dat iemand wordt aangemerkt als voetbalcrimineel, terwijl hij dat niet is.
  • Vals negatief: een uitkomst wordt als negatief (onjuist) aangemerkt, maar is eigenlijk positief (juist). Hier dus dat een voetbalcrimineel wordt overgeslagen en gewoon naar binnen kan.

Beide onjuiste uitkomsten zijn onwenselijk, maar om verschillende redenen. Een vals positief zorgt ervoor dat je meer energie in iemand steekt dan nodig is: je gaat iemand langer opsluiten of intensiever begeleiden om recidive te voorkomen terwijl dat helemaal niet speelt. En een vals negatief kost je meer achteraf, je hebt immers een nieuw misdrijf van die recidivist en dat had je nu net willen voorkomen.

De belangrijkste hier van afgeleide factoren zijn precisie en vangst (‘recall’). De precisie is het percentage juiste uitkomsten ten opzichte van het totaal aantal uitkomsten, en de vangst is het percentage gevonden matches ten opzichte van het totaal aantal mogelijke matches. Als je dus tien voetbalcriminelen correct herkent, heb je een precisie van 100% maar als er tienduizend criminelen rondliepen dan is je vangst dus behoorlijk slecht. Vang je alle tienduizend criminelen door iederéén (170.000 bezoekers) als crimineel aan te merken, dan is je vangst 100% maar je precisie slechts 5,9%.

Het liefst heb je natuurlijk dat je alle tienduizend criminelen correct herkent en verder niemand fout herkent (vals positief). Maar het probleem is dat wanneer je het aantal matches (je vangst) verhoogt, je precisie vaak omlaag gaat. Wat je meestal namelijk doet, is de matching criteria omlaag doen en dus eerder tot een match besluiten. Dat is bij het detecteren van rot fruit in je magazijn tot daar aan toe, maar bij juridische systemen is het niet gepast dat je mensen onterecht als verdachte aanmerkt.

Een manier om dat te voorkomen, is door er een mens tussen te zetten. Je laat het systeem dan snel matchen en je accepteert dat een mens vervolgens veel van de uitkomsten weggooit als vals positief. Dat is beter dan een mens laten kijken, want de computer kan veel sneller die groep van 170.000 mensen doorscannen en een mens kan snel vals positieven elimineren. Een risico is wel dat de mens erg skeptisch wordt over het systeem – als je 92% van de alerts weg moet klikken als niet relevant, dan krijg je een reflex om élke alert weg te klikken.

Er waren dus geen personen ten onrechte gearresteerd, maar ik ben dan heel benieuwd of dat daaraan ligt.

Arnoud

Goh, lawyerbots zijn beter dan juristen in het lezen van saaie juridische documenten

| AE 10505 | Informatiemaatschappij | 6 reacties

Alweer ietsje langer geleden maar toch: in een ‘wedstrijd’ tussen een lawyerbot van het Israëlische LawGeex en twintig Amerikaanse advocaten bleek de eerste een stuk beter in staat om juridische fouten in NDA’s en andere documenten te vinden. Om precies te zijn: de AI was 94% accuraat waar de mensen rond de 85% scoorden. Dit… Lees verder

Hoe terecht is de kritiek op legal tech vanuit de juridische sector?

| AE 10497 | Informatiemaatschappij | 3 reacties

Legal tech proponenten doen er goed aan lering te trekken uit het Theranos debacle, las ik bij Above The Law. Dat bedrijf heeft een serieus probleem nu de Amerikaanse SEC haar beweerdelijk innovatieve technologie voor niet-invasief bloedonderzoek serieus betwist – nog lang niet klaar voor de markt. Maar lange tijd kwam men ermee weg, omdat… Lees verder

Artificial intelligence is eigenlijk gewoon maar mensenwerk

| AE 10451 | Innovatie | 5 reacties

Het stiekeme verhaal achter artificial intelligence: eigenlijk drijft het volledig op mensenkracht, aldus de Indian Express. Al die AI-systemen moeten leren wat wat is, en daarvoor is vooralsnog een heleboel mensenkracht nodig: in foto’s omcirkelen wat een chihuahua is en wat een muffin, teksten labelen als positief of negatief of aangeven of een actie terecht… Lees verder

Hoe kunnen we transparantie toevoegen aan besluitvormende algoritmen?

| AE 10424 | Innovatie | 16 reacties

Bestuursrecht en bestuursrechtspraak zijn onvoldoende in staat om ketenbesluiten te toetsen omdat onbekend is hoe een beslisregel exact is opgebouwd en tot welke resultaten deze leidt. Dat las ik in juristenblad NJB. Steeds meer beslisregels en algoritmes worden ingezet om tot formele besluitvorming te komen, maar daarbij is volstrekt onduidelijk hoe dat besluit tot standkomt…. Lees verder

Wie gaat er nou zijn NDA’s in de blockchain stoppen?

| AE 10422 | Innovatie | 7 reacties

Powered by AI and blockchain, het nieuwe boek van Willem Vermeend en Rian van Rijbroek? Nee, de tagline van het World NDA project van het Global Legal Blockchain Consortium, blockchainprovider Integra en AI-leverancier IBM. Het project heeft als doel “the reduction of burden, cost, and risk associated with the current NDA lifecycle”, wat kennelijk betekent… Lees verder

Worden advocaten ooit door robots vervangen?

| AE 10412 | Innovatie | 2 reacties

“Siri, maak een exclusieve licentieovereenkomst in dossier X.” Dat las ik bij IE-Forum als quote uit de speech van professor Bernd Hugenholtz over de opkomst van de robot-advocaat. Hij gelooft er geen bal van; een goede mens-advocaat heeft immers onmiskenbaar kwaliteiten zoals door de juridisch bomen het bos kunnen zien, goed kunnen onderhandelen en zelfs… Lees verder