EU test nepwetenschappelijke leugendetector bij grenscontroles

| AE 10949 | Regulering | 16 reacties

Wat bizar: in Griekenland, Hongarije en Letland begint een test van de Europese Unie met een leugendetector bij de grenscontrole, las ik bij Tweakers. Het iBorderCtrl-systeem analyseert ‘microgezichtsuitdrukkingen’ van reizigers om te controleren of ze de waarheid vertellen. Niet alleen is deze test gebaseerd op onderzoek waarbij slechts 32 vrijwilligers betrokken waren als proefpersonen, er is ook geen wetenschappelijke onderbouwing dat microexpressies überhaupt iets zeggen over leugenachtigheid. Maar ja, er zit een Artificial Intelligence in en uiteindelijk zegt het systeem alleen maar dat iemand verder moet worden gecontroleerd, dus niets aan de hand toch? Nou, dus wel.

In de kern komt het erop neer dat je als potentiële bezoeker online een aanvraag doet om de EU in te mogen. Je uploadt dan een foto van je paspoort en doet een intake met een virtuele douanebeambte in jouw taal, waarbij je wordt gefilmd met je eigen webcam. Software bij de douane analyseert die beelden (van 640×480 pixels bij 30 frames per seconde) op ‘microexpressies’, zeer kleine veranderingen in het gelaat die worden gekoppeld aan emotionele reacties. Een Machine Learning model (“een AI”) trekt daar statistische gegevens uit en legt deze langs een berg met proefpersoondata om zo te bepalen of je waarschijnlijk een leugenaar bent. Je komt dan in aanmerking voor extra controle.

Bedoeling van het systeem is natuurlijk om de douanebeambten aan de grens te ontlasten. Als een AI kan filteren op de verdachte personen, dan kan de douane daar haar aandacht op richten en de ‘gewone’ bezoekers doorlaten. Dat concept (dat ik eerder besprak) ondersteunt slechts de werkprocessen, en is daarmee juridisch geen probleem.

Het is ook niet verboden onder de AVG (die ook geldt bij grenscontroles, omdat hij geldt voor alle verwerkingen die in Europa gebeuren, en de dienst van het pre-screenen gebeurt in Europa). Weliswaar mag een computer geen besluiten nemen, maar een aanwijzing of iemand gecontroleerd moet worden, telt niet als besluitvorming in de zin van de AVG. Deze actie raakt je niet “in aanzienlijke mate”, zoals de wettelijke formulering is.

Inhoudelijk is dit natuurlijk behoorlijk problematisch. Natuurlijk is het geen robot die je bij de grens tegenhoudt. Er gaat een rood lampje branden bij de menselijke douanecontroleur, maar die moet vervolgens nog wel iets van bewijs te voorschijn krijgen. Alleen, in mijn ervaring is er altijd wel iets als je goed zoekt, in bureaucratische en voor gebruikers onbekende situaties. Zeker wanneer de controleur het onderzoek in gaat met “er is iets aan de hand”. Je krijgt dan een heel andere insteek van het gesprek en de doorzoeking dan bij een “Persoon geselecteerd voor willekeurige controle”. Dat vind ik ernstig.

In het paper van het onderzoek lees ik dat de insteek is dat van 32 participanten datasets op basis van beelddata werden gemaakt (die fameuze micro-expressies); een webcam van 640×480 pixels op 30 fps, elk frame is een data-vector. Koppel de beelden aan een vraag (“Wat zit er in uw koffer” of “Wat is de naam van iemand die uw verhaal kan bevestigen”) en je hebt je dataset. Het lijkt een standaard neural network met 20 verborgen lagen, waarbij inderdaad accuratesse van 76% werd gerapporteerd op de test-set. Nou is dat al niet hoog, maar het is dus gebaseerd op twee-en-dertig mensen. Dat vind ik bizar weinig. Ik ken natuurlijk de training voor douanebeambten niet, maar ik mag hopen dat die meer dan 32 trainingssituaties krijgen voordat ze ‘los’ mogen aan de grens?

Vervolgens vind ik deze Powerpoint (met wat zorgelijke dingen, zoals dat in de lijst van risicofacturen op slide 16 mensen hun Twitter(???) genoemd wordt. En wat ik volledig mis is hoe het systeem uitlegt waarom je in de verhoogdrisicorij terecht gekomen bent, een AVG eis. Ik denk dat ze denken dat dat niet hoeft omdat het systeem rule-based is, maar dat is onterecht.

Daar komt dan bij dat microexpressies helemaal niets zeggen, aldus UvA-professor Bruno Verschuere. Dus zelfs als je wel een representatief model hebt, dan slaat het aan op features die niets zeggen over de werkelijkheid. Effectief heb je daarmee een hele dure (4,5 miljoen Euro) random nummer generator gebouwd, maar met de pretentie dat het iets zegt dat het lampje rood werd. Dat lijkt me bepaald niet de bedoeling.

Arnoud

Mag een AI gaan bellen voor een afspraak bij de kapper?

| AE 10682 | Innovatie | 9 reacties

Restaurants en kapsalons kunnen zich afmelden voor Duplex, waarin digitale assistent Google Assistant belt met restaurants en kapsalons. Dat meldde Tweakers onlangs. De digitale assistent is ontworpen om afspraken en dergelijke telefoontjes te regelen, zodat mensen dat niet zelf hoeven te doen. De gesprekservaring vind ik indrukwekkend, maar het roept natuurlijk wel wat juridische vragen op. Mag dat wel, zomaar als robot een mens gaan bellen? En is het bindend, zo’n afspraak?

De Assistant kan op verzoek van gebruikers op de achtergrond met de telefoon van de gebruiker bellen met bijvoorbeeld een restaurant of kappersalon om een afspraak te maken, schreef Tweakers in mei. Zo kun je met een simpele steminstructie aan een robot er voor zorgen dat het gewenste bedrijf wordt gebeld en dat die afspraak er komt, ook als het jou dan even niet handig uitkomt of je geen zin hebt in de sociale interactie die hoort bij een afspraak maken. Dergelijke afspraken zijn vaak gedoe, dus het is fijn als een computer je werk uit handen neemt.

Maar is het bindend? Ik zou zeggen van wel. Die robot maakt de afspraak op jouw instructie, en ten behoeve van jou. In feite is dit niets anders dan wanneer jij een webformulier invult of via de app op een knopje drukt. Afspraak is afspraak, dus als de robot dat zo regelt dan gá je donderdag om 9.45 naar de kapper. Ook al bedoelde jij eigenlijk 19.45. Jouw assistent zegt het, jij stuurde hem naar de kapper dus jij hangt voor het resultaat. Ook als je dat niet zo had bedoeld. Jouw assistent, jouw risico.

Natuurlijk kun je het gros van zulke afspraken probleemloos verzetten of annuleren, dus heel veel impact zal het niet hebben. Maar zodra we nog een stapje verder gaan, wordt het interessant voor juristen. Stel je assistent belt om een pizza te laten bezorgen, of regelt een kapper of stucadoor aan huis. Daar zitten wél kosten aan, al zijn het maar annuleringskosten of no-show fees als je er niet bent donderdag 9.45. Ik heb er geen twijfel over dat je er dan ook aan hangt. Ook als je dat niet zo had bedoeld. Afspraak is afspraak, en dat jij een onbetrouwbare assistent inschakelt is écht jouw risico.

Interessant vond ik nog het puntje dat we hier ineens weer robots hebben die mensen bellen. Dat hadden we twintig jaar terug ook, totdat de Telecommunicatiewet het verbood. Mensen werden gek van bandjes die je belden, waarna jij maar bezwaar moest maken als je dat niet leuk vond. Naar de letter van de wet zit zo’n Google AI volgens mij echt fout:

Het gebruik van automatische oproep- en communicatiesystemen zonder menselijke tussenkomst, faxen en elektronische berichten voor het overbrengen van ongevraagde communicatie voor commerciële, ideële of charitatieve doeleinden aan abonnees of gebruikers is uitsluitend toegestaan, mits de verzender kan aantonen dat de desbetreffende abonnee of gebruiker daarvoor voorafgaand toestemming heeft verleend

Zo’n robocall is een automatische oproep met communicatie zonder menselijke tussenkomst. De twijfel zou hem zitten in of het ongevraagd is. Is het zeg maar spam als je een reserveringslijn belt om een reservering te maken? Of valt dat nummer onder “contactgegevens die door de gebruiker daarvoor zijn bestemd en bekendgemaakt”, waar een uitzondering op dat belverbod op geldt?

Arnoud

Het gaat bij AI niet om algoritmes, het gaat om de data die je erin stopt

| AE 10622 | Innovatie | 15 reacties

Steeds vaker lees ik over aandacht voor AI en algoritmes bij de politiek. Een goeie ontwikkeling, zeker omdat AI software steeds vaker ingezet wordt om bestuur te ondersteunen. Bijvoorbeeld het selecteren van cold cases waar potentie in zit of herkennen van potentiële onrust zodat je de geweldprotesten voor kunt zijn. Steeds vaker lees ik daarbij ook dat men inzicht wil in de algoritmes, en dát voelt voor mij als de verkeerde insteek. It’s the data, stupid.

Om een of andere reden is het woord ‘algoritme’ recent populair geworden als korte omschrijving voor computeranalyses waarmee dit soort zaken worden geregeld. Van het customizen van een newsfeed tot het detecteren van criminaliteit in historische politiegegevens, het heet allemaal “algoritme”. Ergens klopt dat ook wel: een algoritme is “een eindige reeks instructies die vanuit een gegeven begintoestand naar een beoogd doel leidt” (Wikipedia), en al die systemen gebruiken een serie instructies om gegeven een bak met data te komen tot het beoogde doel van een voorspelling.

Alleen: die stappenplannen of reeksen instructies zijn op zichzelf helemaal niet zo spannend of bijzonder. Meestal gaat het om machine learning algoritmes, die op zoek gaan naar samenhang tussen factoren in een groot databestand om zo tot voorspellingen te komen. We zien dat terechte klachten over partnermishandeling samengaan met het wonen in een rijtjeshuis, deze klacht komt uit een rijtjeshuis dus grote kans dat ie terecht is, ga er maar heen. (De achterliggende factor is dan dat buren het horen en bellen, wat meer zekerheid geeft.)

Het algoritme dat dit doet, is echter volstrekt niet ontworpen of aangepast om specifiek die samenhang te zoeken. Gooi je er honderdduizend telecomcontracten in inclusief opzegdatum, dan kan hij met dezelfde instructies uitrekenen welke klanten waarschijnlijk gaan verlengen en welke niet. Het algoritme hoef je daarvoor niet aan te passen, meer dan aangeven wat de uitvoervariabele moet zijn is het in de praktijk eigenlijk niet.

Het gaat om de data. Wat erin gaat, bepaalt wat eruit komt. Daar hebben we het al vaker over gehad: foute data erin is natuurlijk foute data eruit, of dat nu vooringenomenheid is, kortzichtige selectiviteit of typefouten doet er dan verder niet toe. Maar als je als politiek wat wilt doen aan de betrouwbaarheid en vooral de eerlijkheid van AI, dan moet je het niet hebben over de algoritmes maar over de data. De data bepaalt voor 100% wat het systeem gaat zeggen. Je wilt dus inzicht in de data, en regels over de data.

Arnoud

Goh, lawyerbots zijn beter dan juristen in het lezen van saaie juridische documenten

| AE 10505 | Informatiemaatschappij | 6 reacties

Alweer ietsje langer geleden maar toch: in een ‘wedstrijd’ tussen een lawyerbot van het Israëlische LawGeex en twintig Amerikaanse advocaten bleek de eerste een stuk beter in staat om juridische fouten in NDA’s en andere documenten te vinden. Om precies te zijn: de AI was 94% accuraat waar de mensen rond de 85% scoorden. Dit… Lees verder

Wie gaat er nou zijn NDA’s in de blockchain stoppen?

| AE 10422 | Innovatie | 7 reacties

Powered by AI and blockchain, het nieuwe boek van Willem Vermeend en Rian van Rijbroek? Nee, de tagline van het World NDA project van het Global Legal Blockchain Consortium, blockchainprovider Integra en AI-leverancier IBM. Het project heeft als doel “the reduction of burden, cost, and risk associated with the current NDA lifecycle”, wat kennelijk betekent… Lees verder

AI-lawyerbot visualiseert gebruiksvoorwaarden

| AE 10397 | Innovatie | 5 reacties

Onderzoekers van de Zwitserse technische Universiteit EPFL hebben een ai-bot online gezet die gebruiksvoorwaarden leest en omzet in een overzichtelijk stroomdiagram, las ik bij Tweakers. Er is ook een chatbot-interface waarmee je vragen kunt stellen, en de bot zoekt de meest relevante zinen er dan bij. Het nut van het stroomdiagram ontgaat me, maar het… Lees verder

Hoe AI een rol kan spelen in juridische besluitvorming

| AE 10025 | Innovatie | 9 reacties

De rol van AI voor juridische toepassingen is snel aan het groeien. Steeds meer diensten onderzoeken de mogelijkheden om kunstmatige intelligentie adviezen te laten geven of zelfs juridische besluiten te nemen. Welke mogelijkheden zijn daar voor organisaties zoals overheden, verzekeraars of keurende instanties om hun organisatie efficiënter te laten werken? En welke juridische risico’s zitten… Lees verder

Het onderbelichte probleem van dataverzameling in de artificial intelligence

| AE 9913 | Innovatie | 14 reacties

Jaja, vrijdag wordt machine learning/AI dag, maar ik vond vrAIdag zo’n rare hashtag. Deze week een netelige en vaak onderbelichte kwestie: hoe kom je aan je data? Veel mensen denken dat het bij AI vooral gaat om het bouwen van het netwerk, maar dat is in feite niet meer dan op de “Generate” knop drukken… Lees verder