De AI Hall of Shame laat zien waarom AI compliance officers nodig zijn

| AE 12742 | Innovatie | 4 reacties

Heb je je wel eens afgevraagd hoe deze innovatie bijdraagt aan een afschuwelijke dystopie? Zo prikkelt machine learning engineer Sean McGregor zijn collega’s als die weer eens enthousiast doen over de inzet van AI voor het een of ander. Want maar al te vaak blijkt een goed idee uiteindelijk vooral nadelen voor kwetsbare mensen op te leveren of nodeloze rechtlijnigheid te introduceren in een op zich prima werkend menselijk proces. En om dat kracht bij te zetten, onderhoudt hij sinds een tijdje de AI Incident Database.

Zoals de site het zelf toelicht:

The AI Incident Database is a collection of harms or near harms realized in the real world by the deployment of intelligent systems. You are invited to submit reports to the database, whereupon accepted incidents will be indexed and made discoverable to people developing and deploying the next generation of AI technology to the world. Artificial intelligence will only be a benefit to people and society if we collectively record and learn from its failings. Learn more about the database, or read about it on the PAI BlogVice NewsVenture Beat, and arXiv among other outlets.
Soms gaat het om gewoon hilarische storingen, zoals een surveillancerobot die zichzelf de fontein in rijdt omdat hij water niet van tegels kon onderscheiden. Wat ook weer heel naar kan uitpakken, zoals bij de lasrobot die niet geprogrammeerd was om mensen te vermijden – en iemand doodde toen die een losgelaten metalen plaat wilde verwijderen.

De pijn zit hem vaker niet in zulke extreme dingen, maar in de vaak schimmige manier waarop een AI tot haar conclusie komt. Bijvoorbeeld omdat je geen uitleg krijgt, zoals bij incident 96 waar een door de fabrikant geheimgehouden algoritme leraren beoordeelt en laat ontslaan. Of bij incident 78, waar een studente geweigerd werd bij geneeskunde in Duitsland omdat de AI had ingeschat dat ze lage cijfers zou halen. Of bij incident 95 waarin gezichts- en stemanalyse ertoe leidt dat sollicitanten geweigerd worden.

Die laatste is interessant omdat de gebruikte data is geanalyseerd en vrij van bias zou zijn bevonden. Ja, ik ben skeptisch want ik geloof dat niet – bijvoorbeeld omdat ik me niet kan voorstellen dat men bij stemanalyses de moeite neemt om stotteraars of mensen met slokdarmspraak te vragen om een representatieve hoeveelheid data aan te leveren.  (De kans is groter dat men het ding op porno getraind heeft, daar is immers veel sneller een grote hoeveelheid data voor te krijgen.)

Dat gebrek aan representativiteit zie je vaak opduiken. Bijvoorbeeld in incident 48, waarbij paspoortfoto’s worden gescreend op “ogen volledig open” wat natuurlijk misgaat bij Aziatische mensen. Die overigens ook niet hoog scoren in beauty contests waarbij een AI de jury speelt. Op het gorilla-incident van Google hoef ik al helemaal niet op in te gaan. Het aantal voorbeelden is talrijk.

De vraag is, hoe moet het dan wel. Daar zijn alweer eventjes geleden de EU Ethics Guidelines for trustworthy AI voor geformuleerd. Deze bevatten geen juridische eisen (die komen er wel aan, de Verordening AI) maar juist ethische kaders: hoe moet het wel, wat mag de burger verwachten en wat moet een bouwer of gebruiker van AI aan verplichtingen op zich nemen.

Wie wil leren hoe dat werkt: op 20 september start mijn tienweekse cursus AI Compliance in de praktijk weer. Leer in je eigen tijd (ongeveer 4 uur per week) de techniek én de ethische kaders rondom AI, met echte cases en echte data. Ik laat je zoeken naar bias in een dataset met leningaanvragen of puzzelen over waarom een snel en vrijwillig AI-loket bij de gemeente in strijd is met de mensenrechten. En ondertussen zet je je ook in om de gemeente Juinen met haar miljoenen kostende AI initiatieven hoog in de wereldranglijst te krijgen. Wees er snel bij!

Arnoud

 

Dronter gezin al jaren bedreigd vanwege geografische coördinaten

| AE 12466 | Informatiemaatschappij | 23 reacties

Veel mensen die digitaal opgelicht zijn, komen in hun zoektocht naar het postadres van een internetsite vaak uit bij de coördinaten 52°30 0 N, 5°45 0 E. Dat meldde de NOS onlangs. En dat is vervelend voor een gezin uit Dronten, want dat is waar hun huis staat. De coördinaten blijken de algemene plaatsbepaling van Nederland te zijn, deze Dronters wonen dus exact in het midden van het land. Maar het lastige is dus dat allerlei databases dit geven als de locatie van degene die je zocht, in plaats van “geen idee, maar ergens in dit land”. Wat is daar nu aan te doen?

Het verhaal deed me denken aan een zaak uit 2016 in Amerika, waar een stel uit Kansas vergelijkbare problemen had:

As any geography nerd knows, the precise center of the United States is in northern Kansas, near the Nebraska border. Technically, the latitudinal and longitudinal coordinates of the center spot are 39°50?N 98°35?W. In digital maps, that number is an ugly one: 39.8333333,-98.585522. So back in 2002, when MaxMind was first choosing the default point on its digital map for the center of the U.S., it decided to clean up the measurements and go with a simpler, nearby latitude and longitude: 38°N 97°W or 38.0000,-97.0000.
En natuurlijk woonden de eisers in deze zaak exact op die locatie. Er is geschikt, en het midden van de VS ligt nu in een meertje daar in de buurt. De Dronters met ditzelfde probleem hopen dat het midden van Nederland nu het Markermeer gaat worden, wat inderdaad de makkelijke oplossing zou moeten zijn.

Maar het probleem is wel iets fundamenteler. Er zijn dus kennelijk hele hordes systemen die deze coördinaten opvatten als gewoon een locatie, in plaats van als een default “we weten het niet”. Wie had er ooit het onzalige idee dat je een land kon aanduiden als een GPS locatie van een plekje in dat land?

Nou, dat blijkt dus de CIA te zijn geweest. Die publiceren het World Factbook, en daarin staat onder Geographic coordinates opgegeven “52 30 N, 5 45 E” en dat is de Haringweg in Dronten. Echt fout is dat niet perse te noemen, want ik zie in Maps wel hoe je dat soort van het midden van het land kunt noemen. Maar gezien het beoogde gebruik was het Drontermeer of voor mijn part het gemeentehuis van Dronten een minstens zo goede keuze.

Dit lijkt ergens een probleem van valse precisie te zijn, want je wekt de indruk dat deze coördinaten de straat zijn die je zoekt, maar het gaat alleen om het land waar je moet wezen, bepaald niet hetzelfde antwoord.  Maar het is lastig één actor in de keten aan te wijzen die het fout doet. De CIA heeft een algemene locatie zodat je het land met de grootste zekerheid vindt. Sites die dit herpubliceren, doen dit ook om over Nederland wat te melden. Diensten die beweren IP-adressen naar locaties te vertalen, gaan in goed vertrouwen af op de databases die ze hanteren. En daar is het ergens ooit misgegaan, want in plaats van (null) is daar dus die algemene locatie in gekomen. Maar om nu te zeggen dat dat een fóut is?

Arnoud

Grote kosten gemaakt voor werkgever, heb ik een probleem?

| AE 12362 | Ondernemingsvrijheid | 18 reacties

“Ik zat dit weekend nog eens te lezen maar kwam er toen achter dat deze api helemaal niet gratis is en dat elke call een paar centen kost. Nu zijn alle calls al gemaakt en heb ik berekend dat er ongeveer $40.000 in rekening gebracht zal worden… oeps”. Dat las ik bij Tweakers. Denk je een leuk testprogrammaatje te hebben gemaakt dat tegen een gratis API van Google aan praat, blijk je een paar cent per call gerekend te krijgen. Leuke rekening voor de werkgever. En leuke discussie natuurlijk, maar diverse mensen mailden me: moet deze persoon Koptelefoontje dit zelf betalen?

‘Koptelefoontje’ was als werknemer aan de slag gegaan om een aantal data zaken voor het werk te verbeteren. Zhij had daarvoor een gratis Google API gevonden, en ingezet in combinatie met een bestaand Google cloud account. Tabel aanmaken, script uitwerken en de boel lekker laten lopen. Voor wie het nu technisch duizelt: 100.000 bedrijfsadressen opvragen bij de KVK om te controleren of de eigen klantadministratie nog op orde is.

Alleen, die API (Google Places) bleek niet gratis maar enkele centen per aanroep. Dus dan zit je achteraf met een rekening van 40.000 dollar, hoewel dat na enig naspeuren ‘slechts’ 15.000 Euro bleek te zijn. Die dus niet goedgekeurd was door de werkgever maar wel binnenkort geïncasseerd zal worden door Google.

Een stevige fout dus, dat is duidelijk. Maar hoe veel pijn gaat dit doen bij de werknemer?

Om met het goede nieuws te beginnen, je hoeft je als werknemer geen zorgen te maken dat jij dit bedrag gekort krijgt op je salaris. Dat kan gewoon niet in het arbeidsrecht. De kosten van fouten bij het werk worden gedragen door de werkgeverwerknemer.

Het slechte nieuws is natuurlijk dat (een beetje afhankelijk van de omvang van het bedrijf) een fout van 15.000 euro arbeidsrechtelijk wel een forse is. Ontslag zal er niet in zitten, maar het riekt naar een stukje slecht inschatten van wat je mag en kan op het werk en dat kost je punten op je volgende beoordelingsgesprek. Bij een klein bedrijf kan ik me voorstellen dat je iemands contract dan niet verlengt.

Daar staat wel tegenover dat je ook als werkgever wel enige stappen moet nemen om zulke dingen te voorkomen. Zo kan een organisatie budgetten instellen bij Google’s clouddiensten, die werknemers dan niet kunnen overschrijden. Ook zou je de toegang tot die API’s kunnen beperken of loggen zodat je toezicht hebt op wie wat doet. Dat maakt dat ik het nogal cru zou vinden om dit zonder meer te zien als alleen maar een fout van de werknemer.

Ik kan niet zeggen zelf ooit zo’n dure fout te hebben gemaakt. Enkele duizenden euro’s uitgeven en dan concluderen dat iets niet werkt, dat wel. De verkeerde backup terugzetten op mijn home server, ja dat ook.

Arnoud

Ben ik nog aansprakelijk als ik het IE op mijn software overdraag?

| AE 9038 | Intellectuele rechten, Ondernemingsvrijheid | 8 reacties

Een lezer vroeg me: Voor een klant heb ik maatwerksoftware ontwikkeld. Zij willen nu het intellectueel eigendom daarop verkrijgen. Op zich prima, alleen wil ik dan geen aansprakelijkheid meer voor fouten. Ik heb er dan immers geen controle meer over. Daar reageerden ze heel verbaasd op. Maar dit is toch geen gekke vraag? Nee, een… Lees verder

Hoe rechtsgeldig is een foutief toegepaste kortingscode?

| AE 7248 | Ondernemingsvrijheid | 58 reacties

Diverse lezers wezen me op een Tweakersdiscussie over een kortingscode van het Duitse bedrijf Teufel. Die code gaf 50% korting op je bestelling, maar Teufel meldde zich achteraf in de mail met dat dit een vergissing was en of men de spullen even terug wilde sturen. Hoe werkt die variant op het Otto-arrest eigenlijk? Een… Lees verder

Mijn router heeft een backdoor, mag ik mijn geld terug?

| AE 6278 | Ondernemingsvrijheid, Security | 21 reacties

Een lezer vroeg me: Ik las op Tweakers dat mijn oude router een backdoor bevat. Dat is natuurlijk niet wat ik mocht verwachten, dus kan ik nu bij de winkel mijn geld terug vragen? Een product zoals een router moet aan de redelijkerwijs gewekte verwachtingen voldoen. Dat heet de conformiteitseis, soms ook wel de wettelijke… Lees verder

Ben ik aansprakelijk voor de fouten in mijn software?

| AE 2693 | Intellectuele rechten, Ondernemingsvrijheid | 41 reacties

Een lezer vroeg me: Ik heb als freelancer een stukje software gemaakt voor een groot bedrijf. Nu melden ze me dat er een bug in zit waardoor ze maanden aan data kwijt zijn, en ze willen mij aansprakelijk stellen voor de schade! Ik werk eigenlijk altijd zonder algemene voorwaarden, omdat ik niet houd van dat… Lees verder