Tag: artificial intelligence

About artificial intelligence

Subscribe Feeds

Met RPA klikt een robot op je knopjes #legaltechtuesday

Geplaatst op in Innovatie, 3 reacties

Legal tech gaat het juridische werk transformeren, lijkt mijn mantra te gaan worden. Nieuwe tools maken nieuwe manieren van werken mogelijk, en dat zal uiteindelijk zorgen voor een heel andere juridische sector. Waarschijnlijk met minder advocaten en meer andersoortige dienstverleners die juridische zaken erbij doen. In ieder geval de standaardzaken. Maar zo ver zijn we nog niet: voordat we zo ver kunnen transformeren, moeten we eerst maar eens goed automatiseren wat we doen als juristen en zij die daar omheen diensten leveren. En het nieuwe toverwoord daarbij is robotic process automation.

Robotgestuurde procesautomatisering (Robotic process automation, RPA) is een techniek die gebruikt wordt voor het automatiseren van bedrijfsprocessen, met behulp van software-robots. Dat zijn hele simpele robotjes: ze herhalen de standaardstappen die u en ik elke dag nemen, zoals het tijdschrijven na een telefoontje of het opbergen van een e-mail in het CRM-systeem.

Klinkt handig, nietwaar? Iets dat de leverancier van zulke spullen misschien zelf in moet bouwen. Waarom moet ik als dure kenniswerken immers tien minuten bezig zijn met een mail opbergen of klikken wie ik gebeld heb, als goedkope software dat ook kan? En hela, als u die kant op gaat dan bent u ineens bereid uw firma te robotiseren. (Ja, vroeger had u hier een secretaresse voor, maar sinds we allemaal eigen laptops hebben doen we dit administratieve werk zelf. Ik weet ook niet waarom.)

Maar het kan verder gaan. Dit soort software kan ook bestanden bewerken of informatievelden invullen in uw bedrijfsapplicaties. Daarmee zijn dus eenvoudige taken volledig te automatiseren, zoals een intake per mail van een nieuwe klant. En dan wordt het nog interessanter: dan kun je dus méér werk doen, meer klanten aannemen dan al je mensen samen kunnen. Want als een robot het druk heet, dan koop je een processor erbij en dan kan hij weer verder. Kom daar maar eens om bij een menselijke werknemer.

Wanneer een robot op dat niveau kan opereren, dan kan dat een bedrijf behoorlijk wat schelen. Een robot is consistent en minutieus: hij vult bij elke klant het formulier op dezelfde manier in, en bergt dezelfde type documenten altijd op dezelfde manier in de juiste dossiers op. Iets waar menig jurist maar wat blij mee zou zijn: wat een gedoe elke keer, de juiste code erbij zoeken, goed opletten dat je de juiste map aanklikt en hoe krijg je een gesleept document terug als je de verkeerde bestemming selecteert?

Veel legal tech oplossingen worden nu gemarket met een AI sausje. Dat is logisch want daar gaat alle aandacht naartoe, maar ik zie wel dat mensen daar risico’s in zien. Want AI systemen zijn vaak onvoorspelbaar: nee, ze gaan niet ineens de robotrevolutie uitroepen of het kantoor transformeren naar een accountancyfirma, maar hun gedrag wordt afgeleid uit data-analyse, uit statistiek. RPA systemen werken op de ‘klassieke’ manier met als/dan-regels en vooraf geprogrammeerde keuzes. Ze doen dus precies wat je ze zegt, en gaan niet zelf bedenken dat je beter naar andere velden kunt kijken of dat er een snellere manier is om het gewenste resultaat te bereiken.

Het blijft me verbazen dat mensen zo veel bezig zijn met taken die computers veel beter kunnen. RPA technologie komt dan ook als geroepen, wat mij betreft. Want dat is legal tech in action: mensen steunen bij hun werk, door ze het standaardwerk, het saaie, het routinematige uit handen te nemen.

Vergeet dus dat beeld van die robot in toga, of zelfs maar die legal tech oplossing die een pleitnota produceert of volautomatisch een contract samenstelt. Die creatieve keuzes, die inschatting wat er in het contract moet of welke plechtstatige volzin de zaak gaat redden, die maakt u en die blijft u maken. Maar de details, de opbouw en de check op het aantal pagina’s, dat kan een robot beter. Dus laat die lekker dat klusje doen. Dát is wat legal tech gaat doen.

Arnoud

AI is enorm dom en daarom is ethiek in AI zo enorm belangrijk

Geplaatst op in Informatiemaatschappij, 12 reacties

Ethiek en AI, twee begrippen die steeds vaker samen genoemd worden. Want als we overal AI gaan inzetten, met name voor besluitvorming en automatische systemen, dan moeten we wel vooraf nadenken wat voor impact dat heeft en of het wel ethisch wenselijk is dat dat zo werkt. Goed dat daar steeds meer aandacht voor komt, maar het blijft wel opletten dat de juiste ethische discussie wordt gevoerd. AI is namelijk ontzettend dom, en je moet het dus vooral niet hebben over de ethische overwegingen die de AI maakt bij de besluitvorming. Het gaat om de ethiek van mensen overlaten aan AI systemen.

Wat precies AI is, weet volgens mij niemand. Ik houd het bij de cynische constatering dat AI die inzet van statistiek-gedreven voorspellingen is die griezelig lijkt op hoe mensen zouden handelen. De weersvoorspelling is dus geen AI, een machine learning systeem dat tumoren herkent is op het randje (want nieuw en computer dus griezelig) maar een humanoïde robot die contextuele grappen maakt die is AI.

De technologie achter AI is op zich vaak verrassend simpel. Meestal gaat het om machine learning, analysetechnieken op grote bakken data waarmee het systeem regels afleidt om voorspellingen te doen. Heb je een stapel met een miljoen spamberichten en een miljoen niet-spamberichten, dan komt daar een griezelig accurate herkenning voor spam uit. Ondanks dat niemand vooraf harde regels stelt (“als het uit China komt en Viagra noemt, dan is het spam”). Die regels worden “van onderaf”, uit de data dus, afgeleid. “90% van de spam komt uit China, en slechts 1% van de nietspam, dus als het uit China komt dan is het spam”.

AI kun je gebruiken om ‘echte’ beslissingen te maken. Grofweg sloop je dan de mens uit het proces en koppel je de uitkomst van de AI aan de input van het vervolgsysteem. Kom hier met die stapel financiële gegevens, laat de AI zeggen of een hypotheek risicovol is en gebruik de ja/nee om de afwijsbrief dan wel het contract te genereren. En dát is waar je die ethiek zo broodnodig hebt.

AI is dom. Althans, doet rechtlijnig wat er uit de data volgt. Dat klinkt heel logisch en fair, maar veronderstelt dat die data-analyse op een faire manier gebeurt. En dat is een risicovolle veronderstelling, want die data is vaak niet fair – en daarmee de AI ook niet. Wees je in het verleden vaak hypotheken af van mensen die Achmed heten, dan doet de AI dat net zo braaf. Dat het bij jou toeval was, doet er niet eens meer toe. Maar die AI is niet onethisch omdat die zo blind aan het discrimineren is. Die doet gewoon wat de data hem ingeeft. De AI is a-ethisch.

Ethiek bij AI komt dus altijd pas een stap later. De AI zegt nee, wat gaan we daarmee doen? Is het wenselijk om die uitvoer te vertrouwen, kunnen we randgevallen herkennen en wat gaan we doen als achteraf een besluit niet in orde blijkt te zijn?

Op mijn congres The Future is Legal gaat prof. Natali Helberger (UvA/IvIR) dieper in op deze en aanverwante kwesties rond AI.

Algoritmische agenten doordringen ons online bestaan. Op basis van onze digitale profielen – ontstaan door massale surveillance – rangschikken algoritmische agenten zoekresultaten, verbergen en tonen nieuwsitems op sociale netwerken en proberen te raden welke producten we zouden kunnen kopen. Opkomende algoritmische agenten zijn in staat content te bieden die speciaal voor ons is gemaakt en kunnen contact met ons opnemen via unieke, gepersonaliseerde interacties. Het bestuderen van deze algoritmische agenten biedt tal van methodologische, ethische en logistieke uitdagingen.

Meediscussiëren? Leuk! Maar je moet er wel snel bij zijn want de kaarten vliegen de deur uit.

Arnoud

Google-medewerkers luisteren Nederlandse gesprekken mee, is dat erg?

Geplaatst op in Informatiemaatschappij, 16 reacties

Medewerkers van Google luisteren gesprekken mee die Nederlanders voeren met hun slimme Google-assistent, zonder dat Google daar vooraf duidelijkheid over geeft. Dat meldde de NOS vorige week. Het gaat om fragmenten van gesprekken die door de AI-assistent niet werden verstaan; een mens maakt dan een transcriptie waar de AI van kan leren. Vanuit technisch perspectief volkomen normaal, als een AI een fout maakt dan is menselijk bijleren de enige manier om dat op te lossen. En zo te lezen gaat het om fragmenten zonder verdere koppeling aan Google ID of feedback naar je interesseprofiel. Desondanks een relletje, ik denk omdat mensen zich nu beseffen dat zo’n kastje niet gewoon een slim ding is dat je verstaat, maar een microfoon met héle lange kabel waar gewoon mensen een koptelefoon bij opzetten. Is dat nou erg?

De zaak is aan het rollen gekomen omdat een Google-medewerkers fragmenten deelde met de NOS, omdat “het belangrijk is dat mensen beseffen dat er mensen meeluisteren”, zo stelt de anonieme Google-medewerker. Nieuwswaardig was dat zeker: een hoop mensen blijkt ineens zeer verbaasd en geschokt dat er dus kennelijk meegeluisterd wordt.

Maar zoals gezegd, “meeluisteren” is een groot woord. Er zit niet ineens een man met gleufhoed en koptelefoon de hele dag gezellig te luisteren. Er worden fragmenten geüpload naar Google waar medewerkers dan een transcriptie van maken, zodat de spraakherkenning-engine opnieuw getraind kan worden. Daarbij gaat het echt alleen om algemene, veel gebruikte termen – met de bijnaam voor je geliefde of de geluiden van het ontbijt kan Google Home toch niets.

Maar ja, meeluisteren is het. Want er is dus wel een mens dat dat gesprek beluistert, ook al is dat met complete desinteresse en uitsluitend gericht op een betere herkenning van “uitsluitend” met Goois of Limburgs accent, of iets dergelijks. Ik snap dus desondanks de ophef wel. Je koopt zo’n kastje inderdaad omdat je wil dat er iemand meeluistert en dingen doet met wat je zegt – dat is de sales pitch van het apparaat. Maar de ‘iemand’ is dan een kastje, een apparaatje, een digitale butler. Niet een medewerker. In een winkel vind ik het ook fijn om de prijs van een pot pindakaas te kunnen scannen, maar dan wil ik niet een medewerker achter me hebben staan die zegt “oh de pot van een liter is in de bonus”. Of zelfs maar die glazig meekijkt. Dat is niet de afspraak bij het gebruik van zo’n apparaat.

Mag dat? De NOS vertelt:

Mensen die Google Home of Assistent installeren worden er niet op gewezen dat mensen de spraakopdrachten af kunnen luisteren. Wel staat in de algemene voorwaarden van Google dat het bedrijf “audiogegevens” verzamelt. Dat deze kunnen worden afgeluisterd door mensen, en dat er per ongeluk ook andere gesprekken kunnen worden opgeslagen, blijft onvermeld.

De juridische discussie is dan, is hiermee mensen “duidelijk en in eenvoudige taal” uitgelegd dat dit kon gebeuren? Ja zal Google zeggen, het staat in de privacyverklaring en die moet je gewoon even lezen. Plus je weet dat die apparaten meeluisteren dus dan is het raar om ineens te zeggen, ik wilde niet dat hij meeluisterde.

Hier wreekt zich dan het verschil tussen juridische compliance en de praktijk. Ik geloof graag dat die zin over audiogegevens verzamelen voldoet aan taalniveau B2 van het Europees Referentiekader Talen en dus “duidelijk en eenvoudig” is, in de zin dat mensen de term “audiogegevens” kennen. Maar het gaat natuurlijk om de implicaties, kunnen overzien hoe ver het gaat met dat verwerken van audiogegevens. En dat is waar de ophef vandaan komt, ook bij mensen die superveel delen op social media (de standaard tegenwerping als mensen bij Google klagen over privacy), je hebt een bepaalde verwachting van privacy en die wordt geschonden.

Arnoud

De rechtspraak en de bedrijfsgeheime bewijsanalyse

Geplaatst op in Innovatie, 28 reacties

Steeds meer bedrijven leunen zwaar op de wettelijke bescherming voor bedrijfsgeheimen, en dat heeft grote impact op de strafrechtspraak. Dat las ik bij Boing Boing een tijdje terug. Het gaat om software die analyses doet op data gebruikt als bewijs, of inschattingen van vluchtgevaar of recidive. Wie als verdachte de bevindingen van die software wil aanvechten, moet eigenlijk wel de broncode en/of brondata er bij hebben. En dat mag dus niet, omdat die bedrijven zich beroepen op de bescherming van handelsgeheimen. Een erg zorgelijke ontwikkeling.

Software in de rechtspraak is de laatste paar jaar aan een forse opmars bezig. Steeds vaker wordt software daarbij ingezet die adviezen of analyses doet waar rechters, advocaten en officieren op kunnen werken. Een bekend (berucht?) voorbeeld is COMPAS, dat recidivisme voorspelt. Daarmee kan een rechter makkelijker bepalen of iemand op vrije voeten gesteld moet worden of liever toch niet.

Het grote probleem met al deze software is dat ze vaak moeilijk (of gewoon helemaal niet) aangeven hoe ze tot hun analyse komen. Steeds vaker proberen gedaagden dan ook inzage te krijgen in de broncodes en achterliggende algoritmes. En dat lukt dus niet, omdat de leveranciers zich kunnen beroepen op bescherming van handelsgeheimen. De definitie van een handelsgeheim is immers dat iets waarde heeft omdat het geheim is, en dat past goed bij zo’n algoritme.

Het wringt natuurlijk enorm met het vereiste van transparantie in de rechtspraak. Wat mij betreft zou het dus een goede zaak worden als het verboden wordt software-analyses als bewijsondersteunend middel te gebruiken tenzij de werking transparant is en er een externe analyse op eventuele bias geweest is.

Arnoud

AI rechters en het juridische novum

Geplaatst op in Innovatie, 10 reacties

“De doker begraaft zijn vergissingen; die van de rechter worden tot wet”. Met die tekst opende Coen Drion een blog over de koersvastheid van de rechter. Dat is namelijk een dingetje in het recht: mag een rechter afwijken van eerdere uitspraken van collega’s of zelfs hogere rechtbanken? In het Engelse en Amerikaanse common law systeem is dat een doodzonde, het principe van “stare decisis” vereist daar dat de rechtbank doet wat hoger is bepaald, en dat alleen hogere rechtbanken “om” kunnen gaan. Nu steeds meer stemmen opgaan om rechtspraak door AI of robots te laten doen, is het goed daar nog eens over na te denken want AI-gevoede rechtspraak gaat heel anders om met precedenten dan mensenrechtspraak.

Artificial Intelligence wordt binnen de juridische wereld nu vooral ingezet voor analyse en adviseren. Maar in theorie is er weinig technisch bezwaar tegen een AI systeem dat uitspraken gaat doen over daadwerkelijke zaken. Het infameuze E-court heeft al een robotrechter, die op basis van een hele stapel eerdere uitspraken analyseert hoe kansrijk een geldvordering is, en deze dan toe- of afwijst.

Dat is ook precies hoe AI werkt. Een robotrechter leert geen rechtsregels zoals menselijke juristen doen, en leert zelfs niet het analyseren van eerdere jurisprudentie wat belangrijke factoren zijn. AI’s zijn goed in het vergelijken: gegeven een dataset waarin elk item (elk vonnis dus) in een zit, bepaal welke factoren per item essentieel zijn om in een bepaald bakje te horen. Dat is een beetje hoe een ervaren menselijke rechter ook werkt: oké, een standaard-incassozaakje of daar heb je weer een fotoclaim met het bekende verhaal over citaatrecht. Maar niet helemaal: een AI kijkt blind naar alle factoren die hij ziet, en dat kunnen ook onbedoelde factoren zijn (als advocaat X pleit of de eiser in Amstelveen woont, dan is dat een indicatie dat de zaak niet sterk is).

Uiteindelijk is de kern echter wel dat een AI alléén afgaat op de eerdere dataset. Hij leert immers alleen daaruit hoe er recht gesproken moet worden. Een afwijking van die dataset is daarbij niet te verwachten. Computers zijn immers niet creatief, en niet gevoelig voor ongewone omstandigheden, nieuwe feiten of het overtuigendste pleidooi. Dat is ook de reden waarom robotrechters alleen voor standaardwerk ingezet moeten kunnen worden, én dat er altijd ruimte moet zijn om die ongewone omstandigheden te kunnen stellen waarna een mensenrechter en aar kijkt.

Complex daarbij vind ik wel dat je robotrechters inzet om standaardwerk te doen, en dat je wilt voorkomen dat iedereen alsnog naar de mensenrechter wil. Maar hoe toets je of iemands beroep op bijzondere omstandigheden legitiem is en dus naar de mensenrechter mag? Per definitie kan een robotrechter dat niet bepalen.

Arnoud

Juridische beslissystemen zijn helemaal niet zelflerend

Geplaatst op in Innovatie, 16 reacties

Mooie column van Karin Spaink (dank Bram): Ondermijning als verdienmodel, over het AI-softwarepakket van Totta Datalab waarmee gemeenten de pakkans van fraudeurs kunnen vergroten. Zou je denken, maar het systeem is 50% accuraat oftewel wijst in de helft van de gevallen mensen onterecht als fraudeur aan die vervolgens een heel onderzoekstraject voor de neus krijgen. Spaink voelde Totta aan de tand daarover, maar kreeg “Mooi toch dat we fraude zo beter kunnen opsporen? En hun datamodel was zelflerend, dan haal je die systeemfoutjes er toch uiteindelijk vanzelf uit?” als reactie. En dat hoor ik vaker, dus daar ga ik eens wat over zeggen, dat zelflerende.

Een belangrijke belofte van Artificial Intelligence is dat systemen zelflerend zijn. Dat wil zeggen dat ze leren van fouten in hun uitvoer, zodat het de volgende keer beter gaat. Een bekend voorbeeld is de klokthermostaat die ik thuis heb. Daarop stel ik in dat het om zeven uur 19 graden warm moet zijn. Standaard begint hij dan om half zeven te verwarmen, en om zeven uur vergelijkt hij de werkelijke temperatuur met de ingestelde 19 graden. Afhankelijk van het verschil wordt dat begintijdstip aangepast. Het systeem ‘leert’ op die manier hoe snel mijn huis verwarmt.

Veel systemen zijn complexer dan dit. Een auto met zelflerende inparkeermogelijkheid of automatisch rem heeft tientallen sensoren die meten hoe de omgeving verandert tijdens het bewegen, en is in staat ook dit met de gewenste eindtoestand (geparkeerd staan in dat vak of stilstaan vóór het object) te vergelijken om zo tot aangepast rijgedrag te komen voor de volgende keer. Maar het principe blijft hetzelfde: er is een gewenste eindtoestand, er is informatie over het verschil met de werkelijke eindtoestand en er is een mogelijkheid het gedrag aan te passen om die twee dichter bij elkaar te brengen.

In juridische advies- of beslissystemen snap ik werkelijk niet hoe je van een zelflerend systeem kunt spreken. Daar is er geen gewenste eindtoestand die je als computersysteem uit kunt lezen. Het beste dat je kunt doen, is dat een mens achteraf analyses als fout markeert, hopelijk met indicaties waarom. Je kunt dan je analysesysteem aanpassen op basis van de nieuwe informatie. Maar in heel veel gevallen krijg je die input niet, omdat je zelden hoort hoe het vervolgtraject is opgelost zeker wanneer er wordt geschikt of via mediation een oplossing wordt getroffen. Is iemand dan een fraudeur of gewoon een persoon die koos voor betalen om van het gedoe af te zijn?

Meer fundamenteel zit je bij juridische systemen met het probleem dat er geen objectieve waarheid is. Een juridische stelling is waar omdat de rechter als orakel zégt dat deze waar is, en zelfs dan is het alleen maar waar totdat in hoger beroep de uitspraak anders blijkt. En die feedbacklus kan zomaar een paar jaar duren ook. Dus je kunt je systeem wel verbeteren op basis van nieuwe constateringen en nieuwe gegevens, maar om dat zelflérend te noemen gaat me echt veel te ver.

Arnoud

Hoe aansprakelijk is die Uber-auto voor die dodelijke aanrijding?

Geplaatst op in Innovatie, 60 reacties

Uber stopt in alle steden met zijn testen met zelfrijdende auto’s na een dodelijk ongeval, las ik bij Nu.nl. Een zelfrijdende auto van het bedrijf heeft in Arizona een vrouw aangereden, waarna zij overleed. Uit het voorlopige onderzoek bleek dat de aanrijding waarschijnlijk overmacht was vanwege beperkt zicht, maar het is natuurlijk mogelijk dat uiteindelijk blijkt dat de auto of haar bestuurder toch meer te verwijten valt. En meer algemeen, wat doen we met de aansprakelijkheid van zelfrijdende voertuigen?

Het ongeval van afgelopen maandag lijkt een lastig te voorkomen incident geweest te zijn. Een vrouw stak op een onverwacht moment plotseling over met een fiets waar een hoop tassen aan hingen. De auto remde niet (en bleek iets te hard te rijden). “Het is duidelijk dat het moeilijk was geweest om een aanrijding te voorkomen, afgaand op de manier waarop het slachtoffer uit de schaduw de weg op liep.” Aldus de voorlopige conclusie van de politie.

In die omstandigheden zou denk ik in Nederland voor een gewone auto met bestuurder denk ik toch wel aansprakelijkheid ontstaan. De lat ligt namelijk erg hoog, en je moet altijd rekening houden met onverwachte zaken zoals overstekende personen. Een strafrechtelijke vervolging lijkt me uitgesloten maar de schade zul je (via de verzekering) toch denk ik wel moeten betalen.

Hoe een autonome auto precies in dat plaatje past, is nog niet echt duidelijk. Onze wetgeving kent het concept niet van een auto die zelf rijdt, maar gaat er vanuit dat er altijd een mens het stuur vasthoudt en de pedalen bedient (behalve indien relevante ontheffingen zijn verleend bij gehandicapte bestuurders). Het zou dus geen argument zijn dat de auto zelf besloot te remmen of juist door te rijden.

Ik ben er nog niet uit wat voor wetswijziging nodig zou zijn om dit op te lossen. Het voelt raar dat we een autonome auto aansprakelijkheidstechnisch anders behandelen dan een mensenbestuurde auto. Maar ze hetzelfde behandelen voelt óók gek want de werking is wezenlijk anders.

Misschien moeten we gewoon de hele vraag van aansprakelijkheid loslaten. We eisen dat auto’s zorgvuldig geprogrammeerd zijn maar verklaren auto-ongelukken te allen tijde als overmacht, waarbij de schade wordt betaald uit een fonds waar iedereen verplicht aan meebetaalt. Dan ben je de hele discussie kwijt én is iedereen zeker van zorg en vergoeding bij schade.

Arnoud

Artificial intelligence is eigenlijk gewoon maar mensenwerk

Geplaatst op in Innovatie, 5 reacties

Het stiekeme verhaal achter artificial intelligence: eigenlijk drijft het volledig op mensenkracht, aldus de Indian Express. Al die AI-systemen moeten leren wat wat is, en daarvoor is vooralsnog een heleboel mensenkracht nodig: in foto’s omcirkelen wat een chihuahua is en wat een muffin, teksten labelen als positief of negatief of aangeven of een actie terecht genomen is. Al dit labelen of taggen blijkt een steeds groter deel van thuiswerken en extra inkomsten in landen als India of Venezuela te worden. Interessant weetje of essentieel voor de toekomst van AI?

Artificial intelligence of iets specifieker machine learning is het vakgebied waarbij een computer op basis van een heleboel voorbeelden leert algemene regels te formuleren en daarmee weer conclusies te trekken. Dit is te onderscheiden in twee categorieën, supervised en unsupervised, waarbij het supervised learning momenteel het populairst is. Hierbij geef je de computer een hoop geclassificeerde voorbeelden (goed/fout, hond/cake, tumor/gezwel, rood/oranje/groen) waarna hij gaat zoeken naar onderscheidende kenmerken. Op basis van die kenmerken kan hij dan nieuwe voorbeelden interpreteren en daar een uitspraak over doen.

Er zijn ook andere manieren om van data te leren. Bij unsupervised learning verzint de computer zelf combinaties en clusters. Je hebt dan geen labels meer nodig. Nadeel is dan weer wel dat je niet op voorhand kunt inprogrammeren wat met welke cluster moet gebeuren – je weet immers niet wat er precies in zit.

Het is natuurlijk een gigantische berg werk om al die labeltjes in te typen, dus het verrast me niet dat dat massaal wordt uitbesteed aan lagelonenwerkers. Per labeltje betaalt het natuurlijk erg weinig, maar als je een paar dagen stevig doorwerkt dan kan het toch een leuke extra inkomstenbron zijn. En het lijkt betrouwbaarder dan oude publieke datasets gebruiken waar ik recent over blogde.

Maar het houdt natuurlijk wel een stevig risico in dat de toegevoegde labels toch een bepaalde onderliggende bias bevatten, hét grote probleem bij machine learning. Want mensen die je zo min mogelijk geld betaalt, hebben vooral een stimulus om zo veel mogelijk labels te plakken in plaats van de kwaliteit zo hoog mogelijk te krijgen. Dat lijkt me een fundamentele zorg bij het gebruik van dit soort systemen. Het is natuurlijk voor een deel op te lossen, bijvoorbeeld door meerdere mensen dezelfde data te laten labelen en alleen identieke labels te gebruiken, maar ideaal is ook dat niet.

Arnoud

Natuurlijk gaat AI ook weer voor porno gebruikt worden

Geplaatst op in Innovatie, 14 reacties

Al jaren is het devies dat porno innovatie stimuleert. Niet heel gek, want het is goed geld verdienen daarmee en wie de concurrentie voor kan blijven met een nieuw trucje, zal dan ook niet aarzelen. Ergens zou je dan ook niet verbaasd moeten zijn dat ook kunstmatige intelligentie zijn opmars maakt in de porno-wereld. Meer specifiek: het fenomeen “deep fakes” zoals door Vice gerapporteerd, door AI gemaakte nep-porno met willekeurig gekozen personen in de hoofdrol.

Op zich is het niet nieuw, het idee dat je het gezicht van persoon A plakt op het lijf van persoon B die met een seksueel expliciete handeling bezig is. Dat was alleen altijd relatief bewerkelijk, helemaal als je dat met videobeelden wilde doen. Er is niet echt software daarvoor, behalve hele grote dure pakketten waar de filmindustrie scenes mee bewerkt.

Enige tijd geleden maakte een Reddit-gebruiker een creatieve toepassing van AI waarmee dit ineens wél kan op video, althans videootjes tot een seconde of tien. Heel kort door de bocht: de AI wordt getraind op het gezicht van het doelwit, en corrigeert in de bronvideo dan het aangewezen gezicht totdat het genoeg lijkt op het doelwit. Dit soort correcties zijn technisch niet heel nieuw, ze worden ook gebruikt om gewone foto’s op te knappen. De toepassing is natuurlijk wel vernieuwend, en dat was mijn punt uit de eerste alinea: porno is een sterke driver om nieuwe technologie populair te maken en verder te ontwikkelen. Want nu dit mogelijk blijkt, wordt het interessant om ook eens naar andere toepassingen te kijken: concurrenten of politieke tegenstanders voor gek zetten, of vals bewijs in burenruzies maken, om eens wat te noemen.

Specifiek bij porno, kun je er wat aan doen als je jezelf hierin terugziet? In Amerika niet, maar bij ons wel: dit is natuurlijk een geautomatiseerde verwerking van persoonsgegevens (en ook nog eens bijzondere, immers seksualiteit) en daar is gewoon uitdrukkelijke toestemming voor nodig. Zonder toestemming zou alleen het legitiem eigen belang een grondslag kunnen zijn, maar bij pornografie kan ik me dat belang gewoon niet voorstellen.

In Amerika ligt dit iets moeilijker, omdat ze het daar niet als privacyschending zien omdat het beeld niet over jou gaat maar over een ander (de acteur/actrice). Een klacht daarover is dus juridisch lastiger afdwingbaar, en platforms zoals Reddit zijn niet verplicht erop in te grijpen. Dat maakt het in de praktijk moeilijk om er wat aan te doen.

Arnoud

AI net zo goed als willekeurige mensen in het voorspellen van recidive

Geplaatst op in Innovatie, 22 reacties

AI-software blijkt net zo goed als een groep willekeurige mensen in het voorspellen van recidive bij Amerikaanse veroordeelden, las ik bij Ars Technica. Onderzoekers van Dartmouth College vergeleken de uitkomsten van de COMPAS software (die met machine learning technieken recidive probeert te voorspellen) met de inschatting van willekeurige mensen geworven via Amazon’s Mechanical Turk. Beiden bleken ongeveer even accuraat (65 en 62% respectievelijk), opmerkelijk genoeg inclusief de vooringenomenheid die eerder bij de software tot controverse leidde.

De COMPAS software (Correctional Offender Management Profiling for Alternative Sanctions) berekent op basis van een hele berg factoren de kans dat een bepaald persoon in recidive zou vervallen. Deze uitkomst wordt in Californië meegenomen in het besluit welke straf aan een veroordeelde op te leggen. In 2016 bleek uit onderzoek dat de software enige bias oftewel vooringenomenheid vertoonde, namelijk dat gekleurde mensen vaker ten onrechte als recidivist werden gesignaleerd en witte juist vaker ten onrechte als géén recidivist.

Accuratesse in AI en machine learning is een heel lastig onderwerp. Wat betekent het dat je software 94,1% nauwkeurig is (de huidige score van mijn NDA Lynn geheimhoudingscontractenanalyserobot)? Meestal wordt ermee bedoeld dat in 94,1% van de gevallen de uitkomst van de AI gelijk is aan de verwachte of correcte uitkomst. En 5,9% van de gevallen is dus onjuist. Maar dat kan twee kanten op:

  1. Vals positief: een uitkomst wordt als positief (juist) aangemerkt, maar is eigenlijk negatief (onjuist). Bij de COMPAS software dus dat iemand recidivist zou zijn terwijl hij dat niet is.
  2. Vals negatief: een uitkomst wordt als negatief (onjuist) aangemerkt, maar is eigenlijk positief (juist). Bij COMPAS dus dat iemand recidive pleegt terwijl de software voorspelde dat hij dat niet zou doen.

Beide onjuiste uitkomsten zijn onwenselijk, maar om verschillende redenen. Een vals positief zorgt ervoor dat je meer energie in iemand steekt dan nodig is: je gaat iemand langer opsluiten of intensiever begeleiden om recidive te voorkomen terwijl dat helemaal niet speelt. En een vals negatief kost je meer achteraf, je hebt immers een nieuw misdrijf van die recidivist en dat had je nu net willen voorkomen.

Het is niet goed mogelijk beiden tegelijk te minimaliseren. Vaak zie je dat wanneer je de één in aantallen terugdringt, de ander groter wordt. Je kunt bijvoorbeeld eerder concluderen dat mensen recidive zullen plegen, waardoor je de vals negatieven vermindert. Er worden immers minder mensen vrijgelaten die recidivist blijken. Maar je hebt nu wel meer mensen ten onrechte als recidivist aangemerkt. En omgekeerd zou precies hetzelfde gebeuren, als je strenger bent in je beoordeling zul je minder mensen ten onrechte als recidivist aanmerken, maar daardoor ook eerder recidivisten laten gaan.

De kritiek op de COMPAS software richtte zich natuurlijk op de bias die de valse uitkomsten zou baseren op etnische afkomst. De vergelijking met gewone mensen laat nu zien dat dit niet perse de oorzaak is. Deze kregen namelijk de gegevens zónder indicatie van etnische afkomst, en gaven grofweg dezelfde voorspelling over recidive. Inclusief een hogere vals positief bij gekleurde mensen en een hogere vals negatief bij witte mensen. Dat zou dan eerder de conclusie rechtvaardigen dat die software er ook maar een gooi naar doet. Geen bias dus maar ook geen inhoudelijke analyse.

Arnoud