AI is enorm dom en daarom is ethiek in AI zo enorm belangrijk

| AE 11521 | Internetrecht | 12 reacties

Ethiek en AI, twee begrippen die steeds vaker samen genoemd worden. Want als we overal AI gaan inzetten, met name voor besluitvorming en automatische systemen, dan moeten we wel vooraf nadenken wat voor impact dat heeft en of het wel ethisch wenselijk is dat dat zo werkt. Goed dat daar steeds meer aandacht voor komt, maar het blijft wel opletten dat de juiste ethische discussie wordt gevoerd. AI is namelijk ontzettend dom, en je moet het dus vooral niet hebben over de ethische overwegingen die de AI maakt bij de besluitvorming. Het gaat om de ethiek van mensen overlaten aan AI systemen.

Wat precies AI is, weet volgens mij niemand. Ik houd het bij de cynische constatering dat AI die inzet van statistiek-gedreven voorspellingen is die griezelig lijkt op hoe mensen zouden handelen. De weersvoorspelling is dus geen AI, een machine learning systeem dat tumoren herkent is op het randje (want nieuw en computer dus griezelig) maar een humanoïde robot die contextuele grappen maakt die is AI.

De technologie achter AI is op zich vaak verrassend simpel. Meestal gaat het om machine learning, analysetechnieken op grote bakken data waarmee het systeem regels afleidt om voorspellingen te doen. Heb je een stapel met een miljoen spamberichten en een miljoen niet-spamberichten, dan komt daar een griezelig accurate herkenning voor spam uit. Ondanks dat niemand vooraf harde regels stelt (“als het uit China komt en Viagra noemt, dan is het spam”). Die regels worden “van onderaf”, uit de data dus, afgeleid. “90% van de spam komt uit China, en slechts 1% van de nietspam, dus als het uit China komt dan is het spam”.

AI kun je gebruiken om ‘echte’ beslissingen te maken. Grofweg sloop je dan de mens uit het proces en koppel je de uitkomst van de AI aan de input van het vervolgsysteem. Kom hier met die stapel financiële gegevens, laat de AI zeggen of een hypotheek risicovol is en gebruik de ja/nee om de afwijsbrief dan wel het contract te genereren. En dát is waar je die ethiek zo broodnodig hebt.

AI is dom. Althans, doet rechtlijnig wat er uit de data volgt. Dat klinkt heel logisch en fair, maar veronderstelt dat die data-analyse op een faire manier gebeurt. En dat is een risicovolle veronderstelling, want die data is vaak niet fair – en daarmee de AI ook niet. Wees je in het verleden vaak hypotheken af van mensen die Achmed heten, dan doet de AI dat net zo braaf. Dat het bij jou toeval was, doet er niet eens meer toe. Maar die AI is niet onethisch omdat die zo blind aan het discrimineren is. Die doet gewoon wat de data hem ingeeft. De AI is a-ethisch.

Ethiek bij AI komt dus altijd pas een stap later. De AI zegt nee, wat gaan we daarmee doen? Is het wenselijk om die uitvoer te vertrouwen, kunnen we randgevallen herkennen en wat gaan we doen als achteraf een besluit niet in orde blijkt te zijn?

Op mijn congres The Future is Legal gaat prof. Natali Helberger (UvA/IvIR) dieper in op deze en aanverwante kwesties rond AI.

Algoritmische agenten doordringen ons online bestaan. Op basis van onze digitale profielen – ontstaan door massale surveillance – rangschikken algoritmische agenten zoekresultaten, verbergen en tonen nieuwsitems op sociale netwerken en proberen te raden welke producten we zouden kunnen kopen. Opkomende algoritmische agenten zijn in staat content te bieden die speciaal voor ons is gemaakt en kunnen contact met ons opnemen via unieke, gepersonaliseerde interacties. Het bestuderen van deze algoritmische agenten biedt tal van methodologische, ethische en logistieke uitdagingen.

Meediscussiëren? Leuk! Maar je moet er wel snel bij zijn want de kaarten vliegen de deur uit.

Arnoud

Google-medewerkers luisteren Nederlandse gesprekken mee, is dat erg?

| AE 11388 | Informatiemaatschappij | 16 reacties

Medewerkers van Google luisteren gesprekken mee die Nederlanders voeren met hun slimme Google-assistent, zonder dat Google daar vooraf duidelijkheid over geeft. Dat meldde de NOS vorige week. Het gaat om fragmenten van gesprekken die door de AI-assistent niet werden verstaan; een mens maakt dan een transcriptie waar de AI van kan leren. Vanuit technisch perspectief volkomen normaal, als een AI een fout maakt dan is menselijk bijleren de enige manier om dat op te lossen. En zo te lezen gaat het om fragmenten zonder verdere koppeling aan Google ID of feedback naar je interesseprofiel. Desondanks een relletje, ik denk omdat mensen zich nu beseffen dat zo’n kastje niet gewoon een slim ding is dat je verstaat, maar een microfoon met héle lange kabel waar gewoon mensen een koptelefoon bij opzetten. Is dat nou erg?

De zaak is aan het rollen gekomen omdat een Google-medewerkers fragmenten deelde met de NOS, omdat “het belangrijk is dat mensen beseffen dat er mensen meeluisteren”, zo stelt de anonieme Google-medewerker. Nieuwswaardig was dat zeker: een hoop mensen blijkt ineens zeer verbaasd en geschokt dat er dus kennelijk meegeluisterd wordt.

Maar zoals gezegd, “meeluisteren” is een groot woord. Er zit niet ineens een man met gleufhoed en koptelefoon de hele dag gezellig te luisteren. Er worden fragmenten geüpload naar Google waar medewerkers dan een transcriptie van maken, zodat de spraakherkenning-engine opnieuw getraind kan worden. Daarbij gaat het echt alleen om algemene, veel gebruikte termen – met de bijnaam voor je geliefde of de geluiden van het ontbijt kan Google Home toch niets.

Maar ja, meeluisteren is het. Want er is dus wel een mens dat dat gesprek beluistert, ook al is dat met complete desinteresse en uitsluitend gericht op een betere herkenning van “uitsluitend” met Goois of Limburgs accent, of iets dergelijks. Ik snap dus desondanks de ophef wel. Je koopt zo’n kastje inderdaad omdat je wil dat er iemand meeluistert en dingen doet met wat je zegt – dat is de sales pitch van het apparaat. Maar de ‘iemand’ is dan een kastje, een apparaatje, een digitale butler. Niet een medewerker. In een winkel vind ik het ook fijn om de prijs van een pot pindakaas te kunnen scannen, maar dan wil ik niet een medewerker achter me hebben staan die zegt “oh de pot van een liter is in de bonus”. Of zelfs maar die glazig meekijkt. Dat is niet de afspraak bij het gebruik van zo’n apparaat.

Mag dat? De NOS vertelt:

Mensen die Google Home of Assistent installeren worden er niet op gewezen dat mensen de spraakopdrachten af kunnen luisteren. Wel staat in de algemene voorwaarden van Google dat het bedrijf “audiogegevens” verzamelt. Dat deze kunnen worden afgeluisterd door mensen, en dat er per ongeluk ook andere gesprekken kunnen worden opgeslagen, blijft onvermeld.

De juridische discussie is dan, is hiermee mensen “duidelijk en in eenvoudige taal” uitgelegd dat dit kon gebeuren? Ja zal Google zeggen, het staat in de privacyverklaring en die moet je gewoon even lezen. Plus je weet dat die apparaten meeluisteren dus dan is het raar om ineens te zeggen, ik wilde niet dat hij meeluisterde.

Hier wreekt zich dan het verschil tussen juridische compliance en de praktijk. Ik geloof graag dat die zin over audiogegevens verzamelen voldoet aan taalniveau B2 van het Europees Referentiekader Talen en dus “duidelijk en eenvoudig” is, in de zin dat mensen de term “audiogegevens” kennen. Maar het gaat natuurlijk om de implicaties, kunnen overzien hoe ver het gaat met dat verwerken van audiogegevens. En dat is waar de ophef vandaan komt, ook bij mensen die superveel delen op social media (de standaard tegenwerping als mensen bij Google klagen over privacy), je hebt een bepaalde verwachting van privacy en die wordt geschonden.

Arnoud

De rechtspraak en de bedrijfsgeheime bewijsanalyse

| AE 10685 | Innovatie | 28 reacties

Steeds meer bedrijven leunen zwaar op de wettelijke bescherming voor bedrijfsgeheimen, en dat heeft grote impact op de strafrechtspraak. Dat las ik bij Boing Boing een tijdje terug. Het gaat om software die analyses doet op data gebruikt als bewijs, of inschattingen van vluchtgevaar of recidive. Wie als verdachte de bevindingen van die software wil aanvechten, moet eigenlijk wel de broncode en/of brondata er bij hebben. En dat mag dus niet, omdat die bedrijven zich beroepen op de bescherming van handelsgeheimen. Een erg zorgelijke ontwikkeling.

Software in de rechtspraak is de laatste paar jaar aan een forse opmars bezig. Steeds vaker wordt software daarbij ingezet die adviezen of analyses doet waar rechters, advocaten en officieren op kunnen werken. Een bekend (berucht?) voorbeeld is COMPAS, dat recidivisme voorspelt. Daarmee kan een rechter makkelijker bepalen of iemand op vrije voeten gesteld moet worden of liever toch niet.

Het grote probleem met al deze software is dat ze vaak moeilijk (of gewoon helemaal niet) aangeven hoe ze tot hun analyse komen. Steeds vaker proberen gedaagden dan ook inzage te krijgen in de broncodes en achterliggende algoritmes. En dat lukt dus niet, omdat de leveranciers zich kunnen beroepen op bescherming van handelsgeheimen. De definitie van een handelsgeheim is immers dat iets waarde heeft omdat het geheim is, en dat past goed bij zo’n algoritme.

Het wringt natuurlijk enorm met het vereiste van transparantie in de rechtspraak. Wat mij betreft zou het dus een goede zaak worden als het verboden wordt software-analyses als bewijsondersteunend middel te gebruiken tenzij de werking transparant is en er een externe analyse op eventuele bias geweest is.

Arnoud

Juridische beslissystemen zijn helemaal niet zelflerend

| AE 10549 | Innovatie | 16 reacties

Mooie column van Karin Spaink (dank Bram): Ondermijning als verdienmodel, over het AI-softwarepakket van Totta Datalab waarmee gemeenten de pakkans van fraudeurs kunnen vergroten. Zou je denken, maar het systeem is 50% accuraat oftewel wijst in de helft van de gevallen mensen onterecht als fraudeur aan die vervolgens een heel onderzoekstraject voor de neus krijgen…. Lees verder

Hoe aansprakelijk is die Uber-auto voor die dodelijke aanrijding?

| AE 10468 | Innovatie | 60 reacties

Uber stopt in alle steden met zijn testen met zelfrijdende auto’s na een dodelijk ongeval, las ik bij Nu.nl. Een zelfrijdende auto van het bedrijf heeft in Arizona een vrouw aangereden, waarna zij overleed. Uit het voorlopige onderzoek bleek dat de aanrijding waarschijnlijk overmacht was vanwege beperkt zicht, maar het is natuurlijk mogelijk dat uiteindelijk… Lees verder

Artificial intelligence is eigenlijk gewoon maar mensenwerk

| AE 10451 | Innovatie | 5 reacties

Het stiekeme verhaal achter artificial intelligence: eigenlijk drijft het volledig op mensenkracht, aldus de Indian Express. Al die AI-systemen moeten leren wat wat is, en daarvoor is vooralsnog een heleboel mensenkracht nodig: in foto’s omcirkelen wat een chihuahua is en wat een muffin, teksten labelen als positief of negatief of aangeven of een actie terecht… Lees verder

AI net zo goed als willekeurige mensen in het voorspellen van recidive

| AE 10360 | Innovatie | 22 reacties

AI-software blijkt net zo goed als een groep willekeurige mensen in het voorspellen van recidive bij Amerikaanse veroordeelden, las ik bij Ars Technica. Onderzoekers van Dartmouth College vergeleken de uitkomsten van de COMPAS software (die met machine learning technieken recidive probeert te voorspellen) met de inschatting van willekeurige mensen geworven via Amazon’s Mechanical Turk. Beiden… Lees verder

Nee, kunstmatige intelligentie zal nooit gaan rechtspreken (of pleiten)

| AE 10195 | Innovatie | 21 reacties

Een computer kan rechtspreken, als wij met zijn allen denken en willen dat hij het kan. Dat las ik bij Sargasso in een gastbijdrage van strafrechtadvocaat Vasco Groeneveld. AI komt eraan, ook in de rechtspraktijk. Die lijn doortrekkend betekent dat er over tien, twintig jaar robotrechters aan het werk zijn, niet gehinderd door emotie, hoofdpijn,… Lees verder