Categorie: Innovatie

About Innovatie

Subscribe Feeds

Moeten advocaten nu ook allemaal programmeur worden?

Geplaatst op in Innovatie, 8 reacties

Steeds vaker lees ik dat de juridische sector sterk achterloopt bij het adopteren van technologische innovaties – legal tech – en dat een belangrijke factor daarbij is dat advocaten en juristen te weinig kunnen programmeren. Daar zit in theorie wat in: wie niet weet hoe software werkt of wat het kan, zal niet snel geneigd zijn naar een software-oplossing te gaan. En zeker als de dienstverlening zelf steeds meer geautomatiseerd wordt, dan blijven de mensen achter die alleen maar met vulpen een pleitnota weten te produceren. Maar toch is het complexer dan dat.

Dat de juridische sector sterk achterloopt, staat buiten kijf. Het is pas vrij recent dat er grote aandacht is voor technologische innovatie, onder de hippe term “legal tech”. Van apps voor tijdschrijven tot Artificial Intelligence contractsanlyse. Veel van die legal tech is op zichzelf niet heel bijzonder: ze automatiseert alleen wat er al bestaat. Dat is handig en efficiënt maar maakt dingen niet fundamenteel anders. Tijdschrijven blijft tijdschrijven.

Er zijn natuurlijk wel echte vernieuwingen, zoals die automatische contractsanalyse. Laat een computer speuren naar opvallende clausules of rare combinaties, en dan kan een mens daar gericht naar kijken wat het juridisch voor problemen (of aansprakelijkheden) geeft. Zo gebruik je van beiden het beste. Het grappige is, hier loopt de juridische sector dan weer een heel eind voorop – ik zie nauwelijks aandacht voor bijvoorbeeld AI om broncode te analyseren of fraude in wetenschappelijk onderzoek aan te tonen.

Leren programmeren geeft je relevante skills en inzichten over hoe programmeren werkt en wat software kan. (“Dat was wel een beetje een desillusie” aldus een juridische kennis van me na een summercamp op dat gebied.) Dat kan erg nuttig zijn als je klanten daarover wilt adviseren, of na wilt denken over nieuwe diensten of de manier van aanbieden daarvan.

Veel belangrijker lijkt me kunnen zien wat de sector nodig heeft, beter gezegd wat de klant nodig heeft. Want uiteindelijk zal die het worst wezen of het een AI is die zijn contract doorvlooide of een mens dat er met 20 jaar ervaring snel naar keek. Die wil weten of hij kan tekenen, of dat zijn schadeclaim goede kans van slagen heeft en hoe die claim te gaan halen.

Dat op een effectieve manier doen vereist veel meer dan alleen een nieuwe app of kunnen programmeren. Dat vereist een nieuwe manier van werken, de bereidheid om te zeggen, we gaan het helemaal anders doen. En juist dát is de grote uitdaging in de juridische sector.

Arnoud

Het gaat bij AI niet om algoritmes, het gaat om de data die je erin stopt

Geplaatst op in Innovatie, 15 reacties

Steeds vaker lees ik over aandacht voor AI en algoritmes bij de politiek. Een goeie ontwikkeling, zeker omdat AI software steeds vaker ingezet wordt om bestuur te ondersteunen. Bijvoorbeeld het selecteren van cold cases waar potentie in zit of herkennen van potentiële onrust zodat je de geweldprotesten voor kunt zijn. Steeds vaker lees ik daarbij ook dat men inzicht wil in de algoritmes, en dát voelt voor mij als de verkeerde insteek. It’s the data, stupid.

Om een of andere reden is het woord ‘algoritme’ recent populair geworden als korte omschrijving voor computeranalyses waarmee dit soort zaken worden geregeld. Van het customizen van een newsfeed tot het detecteren van criminaliteit in historische politiegegevens, het heet allemaal “algoritme”. Ergens klopt dat ook wel: een algoritme is “een eindige reeks instructies die vanuit een gegeven begintoestand naar een beoogd doel leidt” (Wikipedia), en al die systemen gebruiken een serie instructies om gegeven een bak met data te komen tot het beoogde doel van een voorspelling.

Alleen: die stappenplannen of reeksen instructies zijn op zichzelf helemaal niet zo spannend of bijzonder. Meestal gaat het om machine learning algoritmes, die op zoek gaan naar samenhang tussen factoren in een groot databestand om zo tot voorspellingen te komen. We zien dat terechte klachten over partnermishandeling samengaan met het wonen in een rijtjeshuis, deze klacht komt uit een rijtjeshuis dus grote kans dat ie terecht is, ga er maar heen. (De achterliggende factor is dan dat buren het horen en bellen, wat meer zekerheid geeft.)

Het algoritme dat dit doet, is echter volstrekt niet ontworpen of aangepast om specifiek die samenhang te zoeken. Gooi je er honderdduizend telecomcontracten in inclusief opzegdatum, dan kan hij met dezelfde instructies uitrekenen welke klanten waarschijnlijk gaan verlengen en welke niet. Het algoritme hoef je daarvoor niet aan te passen, meer dan aangeven wat de uitvoervariabele moet zijn is het in de praktijk eigenlijk niet.

Het gaat om de data. Wat erin gaat, bepaalt wat eruit komt. Daar hebben we het al vaker over gehad: foute data erin is natuurlijk foute data eruit, of dat nu vooringenomenheid is, kortzichtige selectiviteit of typefouten doet er dan verder niet toe. Maar als je als politiek wat wilt doen aan de betrouwbaarheid en vooral de eerlijkheid van AI, dan moet je het niet hebben over de algoritmes maar over de data. De data bepaalt voor 100% wat het systeem gaat zeggen. Je wilt dus inzicht in de data, en regels over de data.

Arnoud

Weten hoe de computer werkt, is een mensenrecht

Geplaatst op in Innovatie, 48 reacties

Gemeenten gebruiken data over hun inwoners om problemen op te sporen voor ze uit de hand lopen, las ik in NRC Handelsblad. Handig dat datagedreven beleid, maar voor de burger stijgt de kans te worden afgerekend op voorspeld gedrag. En dat is een probleem, zelfs als je betoogt dat de gemeente zo gerichter kan handhaven omdat ze aan die data kan zien wie ze moet hebben in plaats van ongericht overal te gaan kijken. Want – bekend thema ondertussen – probeer maar eens te achterhalen wát de regels zijn waarop je dan afgerekend wordt. Toch een niet onbelangrijk thema binnen een rechtsstaat.

Datagedreven beleid, heet het. Het onbekende in kaart brengen als gemeente met data, en dat kan variëren van het voorspellen van de vervangingstermijn van vuilniswagens tot de tijd tussen schoonmaakacties. Maar meestal gaat het over mensen: kans op depressies, armoede en “leefbaarheidsproblemen”.

Uniek aan dit beleid is dat het vaak voor iedereen een black box is. Ook voor de ambtenaren zelf: er is data genoeg en de uitkomsten blijken bruikbaar, maar hoe het systeem nu precies van data tot uitkomst komt, blijft in het ongewisse.

Maxim Februari, filosoof en columnist van NRC, vindt dat kwalijk. „Een belangrijk principe van de rechtsstaat is dat burgers weten welke regels er zijn. Zo kunnen ze zich er ook tegen verweren, bijvoorbeeld door ze met een rechtszaak of met nieuwe wetgeving te veranderen.”

Het blijkt echter hardnekkig om te achterhalen hoe die algoritmes en datastromen werken in de praktijk. Onder de Wob slaagde Februari en consorten er niet in om hierachter te komen. Misschien dat het met een beroep op de AVG wel lukt: die eist immers uitlegbaarheid van je algoritmes die tot persoonsgebonden besluiten komen.

Ik blijf twijfels houden over de impact daarvan. Want AI en machine analyses werken niet zoals mensen. Het voelt dan ook wat onlogisch om te verwachten dat er uitleg uit komt die past bij wat mensen verwachten.

Een ding waar machine learning heel goed in is, is het vinden van correlaties. Vaak blijken dat ook zeer relevante correlaties en zal het aanpakken langs die as er ook voor zorgen dat problemen verminderen. Maar bewijs dat de correlatie ook een causatie is, is er vaak niet. Dus dan kom je niet verder dan “we zien opvallend vaak dat mensen met duizend volgers op Instagram en likes van de hangplek vroege schoolverlaters zijn”. Dat is waarschijnlijk wel wáár en ik kan achteraf ook wel een redenering daarbij verzinnen, maar bewijs is het niet.

Ik hoop heel erg dat ik het mis heb en dat we wel in staat blijken om causale redeneringen toe te voegen aan zulke systemen. Het nut van geautomatiseerde analyses zie ik namelijk wel bij beslisondersteuning en preselectie van overheidshandelen, maar zolang de uitleg afwezig of onbegrijpelijk blijkt, heb je er niets aan.

Arnoud

Juridische beslissystemen zijn helemaal niet zelflerend

Geplaatst op in Innovatie, 16 reacties

Mooie column van Karin Spaink (dank Bram): Ondermijning als verdienmodel, over het AI-softwarepakket van Totta Datalab waarmee gemeenten de pakkans van fraudeurs kunnen vergroten. Zou je denken, maar het systeem is 50% accuraat oftewel wijst in de helft van de gevallen mensen onterecht als fraudeur aan die vervolgens een heel onderzoekstraject voor de neus krijgen. Spaink voelde Totta aan de tand daarover, maar kreeg “Mooi toch dat we fraude zo beter kunnen opsporen? En hun datamodel was zelflerend, dan haal je die systeemfoutjes er toch uiteindelijk vanzelf uit?” als reactie. En dat hoor ik vaker, dus daar ga ik eens wat over zeggen, dat zelflerende.

Een belangrijke belofte van Artificial Intelligence is dat systemen zelflerend zijn. Dat wil zeggen dat ze leren van fouten in hun uitvoer, zodat het de volgende keer beter gaat. Een bekend voorbeeld is de klokthermostaat die ik thuis heb. Daarop stel ik in dat het om zeven uur 19 graden warm moet zijn. Standaard begint hij dan om half zeven te verwarmen, en om zeven uur vergelijkt hij de werkelijke temperatuur met de ingestelde 19 graden. Afhankelijk van het verschil wordt dat begintijdstip aangepast. Het systeem ‘leert’ op die manier hoe snel mijn huis verwarmt.

Veel systemen zijn complexer dan dit. Een auto met zelflerende inparkeermogelijkheid of automatisch rem heeft tientallen sensoren die meten hoe de omgeving verandert tijdens het bewegen, en is in staat ook dit met de gewenste eindtoestand (geparkeerd staan in dat vak of stilstaan vóór het object) te vergelijken om zo tot aangepast rijgedrag te komen voor de volgende keer. Maar het principe blijft hetzelfde: er is een gewenste eindtoestand, er is informatie over het verschil met de werkelijke eindtoestand en er is een mogelijkheid het gedrag aan te passen om die twee dichter bij elkaar te brengen.

In juridische advies- of beslissystemen snap ik werkelijk niet hoe je van een zelflerend systeem kunt spreken. Daar is er geen gewenste eindtoestand die je als computersysteem uit kunt lezen. Het beste dat je kunt doen, is dat een mens achteraf analyses als fout markeert, hopelijk met indicaties waarom. Je kunt dan je analysesysteem aanpassen op basis van de nieuwe informatie. Maar in heel veel gevallen krijg je die input niet, omdat je zelden hoort hoe het vervolgtraject is opgelost zeker wanneer er wordt geschikt of via mediation een oplossing wordt getroffen. Is iemand dan een fraudeur of gewoon een persoon die koos voor betalen om van het gedoe af te zijn?

Meer fundamenteel zit je bij juridische systemen met het probleem dat er geen objectieve waarheid is. Een juridische stelling is waar omdat de rechter als orakel zégt dat deze waar is, en zelfs dan is het alleen maar waar totdat in hoger beroep de uitspraak anders blijkt. En die feedbacklus kan zomaar een paar jaar duren ook. Dus je kunt je systeem wel verbeteren op basis van nieuwe constateringen en nieuwe gegevens, maar om dat zelflérend te noemen gaat me echt veel te ver.

Arnoud

Waarom moeten robots rechten krijgen?

Geplaatst op in Innovatie, 14 reacties

Geef robots alsjeblieft geen aparte juridische status, las ik bij NRC Handelsblad. In een open brief waarschuwen 150 prominente onderzoekers op het gebied van robots, kunstmatige intelligentie en rechtsgeleerdheid de Europese Commissie. Het argument om robots rechtspersoonlijkheid te geven hoor ik vaker de laatste tijd. Het zou aansprakelijkheidsproblemen oplossen, ethische dilemma’s kortsluiten en een belangrijke stap voorwaarts zijn in de volwassenwording van de Vierde Revolutie van onze samenleving. U hoort aan de ietwat sarcastische toon dat ik dat niet helemaal zie.

Recent nam het Europees Parlement een resolutie aan, waarin onder meer de aanbeveling stond:

Creating a specific legal status for robots in the long run, so that at least the most sophisticated autonomous robots could be established as having the status of electronic persons responsible for making good any damage they may cause, and possibly applying electronic personality to cases where robots make autonomous decisions or otherwise interact with third parties independently;

Door robots rechtspersoonlijkheid te geven (zeg maar net zoals een bv of een vereniging dat heeft) kunnen zij zelf rechtshandelingen verrichten, geld bezitten en aansprakelijkheid dragen voor schade of wanprestatie. Daarmee los je, op papier dan, een hoop problemen op. Immers als er schade is, dan heb je nu een rechtspersoon bij wie je de claim kunt neerleggen. Alle bestaande regels over aansprakelijkheid, toerekenbaarheid et cetera gelden automatisch, en we hebben 100 jaar jurisprudentie om die regels toe te passen op een rechtspersoon.

De onderzoekers dragen hier een aantal stevige bezwaren tegen aan. Allereerst vind ik een mooie dat je hiermee robots zwaar overschat. Er loopt nog lang geen Daneel Olivaw door de straten om de stoep te vegen of een medische behandeling uit te voeren. Het soort robots dat we wel hebben, is zo basaal en beperkt dat het altijd evident is welke mens of welk bedrijf erachter zit, en het ook zeer logisch is om díe dan gewoon aansprakelijk te houden.

Nog sterker vond ik het tweede argument: als je iemand een (rechts-)persoon maakt, geef je hem ook rechten, en wat betekent dát dan?

A legal status for a robot can’t derive from the Natural Person model, since the robot would then hold human rights, such as the right to dignity, the right to its integrity, the right to remuneration or the right to citizenship, thus directly confronting the Human rights. This would be in contradiction with the Charter of Fundamental Rights of the European Union and the Convention for the Protection of Human Rights and Fundamental Freedoms.

Die laatste zin lijkt te zeggen dat mensenrechten aan robots geven in strijd is met de mensenrechten voor mensen, wat ik niet helemaal volg. Maar het eerste punt zie ik wel: als je een robot rechtspersoonlijkheid geeft, mag je hem niet meer uitzetten als dat in het belang van mensen is. Dat is dan immers zeg maar moord. Ook zou je niet zomaar meer ín de robot mogen kijken zonder medische behandelovereenkomst (herstelovereenkomst?). Ja, dat krijg je er van als je 100 jaar standaardregels op een nieuwe situatie plakt.

Hoe het dan wel moet, laten de onderzoekers een beetje in het midden. Er moet goed over nagedacht worden en zonder vooringenomenheid naar een oplossing worden gestreefd. Daar kan niemand het mee oneens zijn, maar opschieten doet het natuurlijk ook weer niet. Toch maar dat aansprakelijkheidsfonds?

Arnoud

Wat is nu echt het juridisch nut van de blockchain?

Geplaatst op in Innovatie, 10 reacties

De blockchain afserveren als een hype, het begint op zichzelf een hype te worden volgens mij. Maar ergens wel terecht: als iets ondertussen de oplossing voor alles begint te worden, dan moet je daar ook kritisch tegenover kunnen staan: wat is dan nu echt het nut van die blockchain? Het systeem is technisch zeer vernuftig en bitcoin was een heel goed idee, maar wie deze blog volgt weet dat ik de overige toepassingsgebieden niet perse nuttig vindt. En na deze rant wordt het tijd daar ook eens juridisch op te reflecteren.

Eerste en lastigste vraag is wat mensen nu precies bedoelen als ze “de blockchain” zeggen. De meest gehoorde omschrijving is dat het een gedistribueerd grootboek is, wat dan wordt gezegd alsof iedereen wel eens zo’n administratieve verzamelmap met documenten in de hand heeft gehad. Iets praktischer is “multiple copies of a giant Excel spreadsheet”, maar ik geef toe dat dat in je investeringspitch iets minder sjiek staat. Maar in de kern is het dat wel – een registratie van transacties, waarbij er niet één authentiek origineel is maar een hoop mensen elk een kopie hebben en middels consensus vaststellen of een nieuwe transactie klopt met de geregistreerde geschiedenis.

Er zit een heleboel technologie achter om dit te laten werken, vervalsingen tegen te houden en mensen te stimuleren hieraan mee te werken (zoals het minen of delven van bitcoins, in dat blockchainsysteem). Maar uiteindelijk gaat het daar niet om. De kern is dat je het idee van een centrale autoriteit of een authentiek origineel loslaat en in plaats daarvan consensus over de administratie haalt bij een grote groep mensen. Gedistribueerde consensus in plaats van autoriteit. Grote voordeel daarvan is dat die grote groep mensen veel lastiger (of eigenlijk onmogelijk) te manipuleren is om informatie aan te passen.

Nu is het natuurlijk een probleem dat registraties van van alles en nog wat aan te passen zijn als je niet uitkijkt. Foutjes worden overal gemaakt, en beheerders kun je omkopen, bedreigen en wat al niet meer. Het blockchainsysteem voorkomt dat inderdaad. Maar dan dringt zich de vraag op, is dat voordeel zo veel groter dat we over moeten stappen?

In de juridische wereld kennen we dat probleem natuurlijk al veel langer. En er zijn dan ook al lang oplossingen voor bedacht, zoals de notaris die als taak heeft als vertrouwde derde te fungeren. Als de notaris het zegt, dan is het waar (art. 156 Rechtsvordering). Idem voor bijvoorbeeld de constatering door een deurwaarder, of de registratie bij het Kadaster van perceelgrenzen. Natuurlijk zitten hier zwakke punten, in theorie is een notaris omkoopbaar of te foppen, maar dit is uiterst zeldzaam en vrijwel altijd te detecteren als het toch speelt. Het voelt dan wat zwaar om dat hele systeem af te schaffen.

Daar komt bij dat de blockchain net als elk nieuw systeem last heeft van het rewrite syndrome. Laten we het opnieuw bouwen, want het huidige systeem is rommelig, oud en zit vol met rare constructies waarvan we de helft niet snappen. Dit is een bekende reflex bij software-ontwikkelaars, en het is zeer begrijpelijk maar het probleem is dat dat oude systeem zo rommelig en raar is omdat het tien jaar aan bug fixes en ondersteuning voor randgevallen heeft meegekregen. Dat nieuwe systeem wordt dan strak en fris opgezet en blijkt vervolgens al die randgevallen en bugs niet te kunnen adresseren, wat dan de komende tien jaar weer allemaal opnieuw toegevoegd moet worden.

We hebben het hier dan over juridische randgevallen. Zaken waarover geen consensus is, moet je niet met een consensusmechanisme beslissen. Neem de situatie dat iemand met een ernstige ziekte een grote transactie doet. Het is goed denkbaar dat dat niet de bedoeling was, en dat die dus teruggedraaid moet worden. In het oude systeem ga je dan naar de rechter, die toetst aan redelijkheid, billijkheid en verwachtingen over en weer en hakt dan een knoop door. Zulk maatwerk krijg je niet in een blockchainsysteem geïmplementeerd. Dat systeem kent alleen de binaire optie dat het klopt en de optie dat het niet klopt.

Natuurlijk, dit is een randgeval en de overgrote meerderheid van de gevallen zijn prima te automatiseren. Maar als ik één ding heb geleerd van het recht, dan is het wel dat iedere situatie een uitzondering of randgeval kent en dat het recht al zesduizend jaar lang daar rekening mee probeert te houden. Dát lijkt me de grote uitdaging voor de blockchain.

Arnoud

Hoe aansprakelijk is die Uber-auto voor die dodelijke aanrijding?

Geplaatst op in Innovatie, 60 reacties

Uber stopt in alle steden met zijn testen met zelfrijdende auto’s na een dodelijk ongeval, las ik bij Nu.nl. Een zelfrijdende auto van het bedrijf heeft in Arizona een vrouw aangereden, waarna zij overleed. Uit het voorlopige onderzoek bleek dat de aanrijding waarschijnlijk overmacht was vanwege beperkt zicht, maar het is natuurlijk mogelijk dat uiteindelijk blijkt dat de auto of haar bestuurder toch meer te verwijten valt. En meer algemeen, wat doen we met de aansprakelijkheid van zelfrijdende voertuigen?

Het ongeval van afgelopen maandag lijkt een lastig te voorkomen incident geweest te zijn. Een vrouw stak op een onverwacht moment plotseling over met een fiets waar een hoop tassen aan hingen. De auto remde niet (en bleek iets te hard te rijden). “Het is duidelijk dat het moeilijk was geweest om een aanrijding te voorkomen, afgaand op de manier waarop het slachtoffer uit de schaduw de weg op liep.” Aldus de voorlopige conclusie van de politie.

In die omstandigheden zou denk ik in Nederland voor een gewone auto met bestuurder denk ik toch wel aansprakelijkheid ontstaan. De lat ligt namelijk erg hoog, en je moet altijd rekening houden met onverwachte zaken zoals overstekende personen. Een strafrechtelijke vervolging lijkt me uitgesloten maar de schade zul je (via de verzekering) toch denk ik wel moeten betalen.

Hoe een autonome auto precies in dat plaatje past, is nog niet echt duidelijk. Onze wetgeving kent het concept niet van een auto die zelf rijdt, maar gaat er vanuit dat er altijd een mens het stuur vasthoudt en de pedalen bedient (behalve indien relevante ontheffingen zijn verleend bij gehandicapte bestuurders). Het zou dus geen argument zijn dat de auto zelf besloot te remmen of juist door te rijden.

Ik ben er nog niet uit wat voor wetswijziging nodig zou zijn om dit op te lossen. Het voelt raar dat we een autonome auto aansprakelijkheidstechnisch anders behandelen dan een mensenbestuurde auto. Maar ze hetzelfde behandelen voelt óók gek want de werking is wezenlijk anders.

Misschien moeten we gewoon de hele vraag van aansprakelijkheid loslaten. We eisen dat auto’s zorgvuldig geprogrammeerd zijn maar verklaren auto-ongelukken te allen tijde als overmacht, waarbij de schade wordt betaald uit een fonds waar iedereen verplicht aan meebetaalt. Dan ben je de hele discussie kwijt én is iedereen zeker van zorg en vergoeding bij schade.

Arnoud

Artificial intelligence is eigenlijk gewoon maar mensenwerk

Geplaatst op in Innovatie, 5 reacties

Het stiekeme verhaal achter artificial intelligence: eigenlijk drijft het volledig op mensenkracht, aldus de Indian Express. Al die AI-systemen moeten leren wat wat is, en daarvoor is vooralsnog een heleboel mensenkracht nodig: in foto’s omcirkelen wat een chihuahua is en wat een muffin, teksten labelen als positief of negatief of aangeven of een actie terecht genomen is. Al dit labelen of taggen blijkt een steeds groter deel van thuiswerken en extra inkomsten in landen als India of Venezuela te worden. Interessant weetje of essentieel voor de toekomst van AI?

Artificial intelligence of iets specifieker machine learning is het vakgebied waarbij een computer op basis van een heleboel voorbeelden leert algemene regels te formuleren en daarmee weer conclusies te trekken. Dit is te onderscheiden in twee categorieën, supervised en unsupervised, waarbij het supervised learning momenteel het populairst is. Hierbij geef je de computer een hoop geclassificeerde voorbeelden (goed/fout, hond/cake, tumor/gezwel, rood/oranje/groen) waarna hij gaat zoeken naar onderscheidende kenmerken. Op basis van die kenmerken kan hij dan nieuwe voorbeelden interpreteren en daar een uitspraak over doen.

Er zijn ook andere manieren om van data te leren. Bij unsupervised learning verzint de computer zelf combinaties en clusters. Je hebt dan geen labels meer nodig. Nadeel is dan weer wel dat je niet op voorhand kunt inprogrammeren wat met welke cluster moet gebeuren – je weet immers niet wat er precies in zit.

Het is natuurlijk een gigantische berg werk om al die labeltjes in te typen, dus het verrast me niet dat dat massaal wordt uitbesteed aan lagelonenwerkers. Per labeltje betaalt het natuurlijk erg weinig, maar als je een paar dagen stevig doorwerkt dan kan het toch een leuke extra inkomstenbron zijn. En het lijkt betrouwbaarder dan oude publieke datasets gebruiken waar ik recent over blogde.

Maar het houdt natuurlijk wel een stevig risico in dat de toegevoegde labels toch een bepaalde onderliggende bias bevatten, hét grote probleem bij machine learning. Want mensen die je zo min mogelijk geld betaalt, hebben vooral een stimulus om zo veel mogelijk labels te plakken in plaats van de kwaliteit zo hoog mogelijk te krijgen. Dat lijkt me een fundamentele zorg bij het gebruik van dit soort systemen. Het is natuurlijk voor een deel op te lossen, bijvoorbeeld door meerdere mensen dezelfde data te laten labelen en alleen identieke labels te gebruiken, maar ideaal is ook dat niet.

Arnoud

Hoe kunnen we transparantie toevoegen aan besluitvormende algoritmen?

Geplaatst op in Innovatie, 16 reacties

Bestuursrecht en bestuursrechtspraak zijn onvoldoende in staat om ketenbesluiten te toetsen omdat onbekend is hoe een beslisregel exact is opgebouwd en tot welke resultaten deze leidt. Dat las ik in juristenblad NJB. Steeds meer beslisregels en algoritmes worden ingezet om tot formele besluitvorming te komen, maar daarbij is volstrekt onduidelijk hoe dat besluit tot standkomt. Dit op gezag van Marlies van Eck die promoveerde op dit probleem. En ja, dat is een groot probleem want juist bij juridische besluitvorming wil je weten hoe men tot de conclusie is gekomen.

Toevallig las ik vorige week ook nog een Amerikaans artikel waarin wordt voorgesteld een Algorithmic Impact Assessment in te voeren, vergelijkbaar met de milieuimpactanalyse die in de VS al verplicht is. Het doel van een AIA is het begrijpelijk maken van de besluitvorming (bij overheidsinstanties). Dit kent vier aspecten:

First, it would require any government agency that wants to use an algorithm to publish a description of the system and its potential impact. Second, agencies would give external researchers access to the system so they can study it. Third, it would require agencies to publish an evaluation of how the algorithm will affect the public and how it plans to address any biases or problems. And lastly, an AIA would require the agency to create a system for regular people to hold agencies accountable when they fail to disclose important pieces of information about an algorithm.

Deze eisen klinken zeer redelijk, maar het zijn behoorlijk pittige voorwaarden om als bedrijf aan te voldoen. Zeker omdat de techbedrijven die deze AI’s leveren, de werking van hun systemen als een onschatbaar waardevol handelsgeheim zien en daar dus geen inzicht in zullen willen geven. Dat geeft een patstelling: zonder disclosure geen mogelijkheid om te toetsen wat eruit komt, maar met disclosure geen bereidheid het systeem in te zetten voor de publieke taak.

Ik ben er nog niet uit hoe dat dilemma op te lossen. Dat Amerikaans artikel zegt dat het juist een prikkel tot innovatie geeft om een fairder systeem te ontwikkelen. Als je wel moet om überhaupt te mogen leveren, dan wordt het ineens een kans. Klinkt leuk, maar waarom zouden bedrijven die nu hun AI geheim houden dan ineens een open, transparant systeem opzetten?

Arnoud

Wie gaat er nou zijn NDA’s in de blockchain stoppen?

Geplaatst op in Innovatie, 7 reacties

Powered by AI and blockchain, het nieuwe boek van Willem Vermeend en Rian van Rijbroek? Nee, de tagline van het World NDA project van het Global Legal Blockchain Consortium, blockchainprovider Integra en AI-leverancier IBM. Het project heeft als doel “the reduction of burden, cost, and risk associated with the current NDA lifecycle”, wat kennelijk betekent dat je je geheimhoudingscontracten makkelijker beheert en overziet als je ze in de blockchain hangt. Voor mij is het duidelijk, de blockchain is nu écht een hype geworden.

Ik blijf het moeilijk door marketingreutel heen te komen, maar als ik het goed begrijp dan is het idee dat je metadata van je geheimhoudingscontracten (NDA’s) in de blockchain stopt, bijvoorbeeld de namen van partijen en de datum van tekenen. Dan kan daar achteraf geen discussie over zijn. Tevens stop je de NDA zelf in de AI van IBM, waarna die kan adviseren over hoe handig het was om die te tekenen. (“Welcome IBM, seriously” zegt NDA Lynn.)

Het kennelijke idee is dat je daar makkelijk informatie in terug kunt vinden en dat er geen discussie kan zijn over de vastgelegde zaken. Wat ik dus niet snap, is waarom dat een probleem is – ik ken weinig tot geen zaken waarbij de discussie was “hadden wij nou een NDA of niet” dan wel “stond mijn naam daar onder”. Het gaat eigenlijk altijd over de inhoud en scope – valt wat hier is gebeurd onder de NDA, en in hoeverre ben ik daar voor aansprakelijk.

En ja, het klopt dat vrijwel ieder bedrijf er een zootje van maakt in hoe ze met NDA’s omgaan. Veel meer dan andere contracten; waar een beetje service agreement nog wel netjes een approvaltraject doorgaat en wordt geadministreerd inclusief alert op het verlengmoment, heb je mazzel als iemand de getekende NDA nog terug kan vinden in zijn Sent Mail van drie jaar geleden. Het is immers een fire-and-forget documentje, je moet het tekenen en daarna kun je praten. Ik heb alleen serieuze twijfels bij het idee dat je het oplost door een nieuw administratief systeem. Als men het niet in het oude officiële systeem stopt, waarom dan wel in de AI Blockchain?

Het ligt vast aan mij maar ik begrijp niet hoe dit een oplossing is.

Arnoud