Compliance en risicomanagement bij Artificiële Intelligentie leren? #legaltechtuesday

Steeds meer organisaties zetten Artificial Intelligence (AI) in. Dit versnelt beslissingsprocessen en schept nieuwe inzichten omtrent risico’s, klanteigenschappen en commerciële kansen. Deze techniek is zeer nieuw en haar inzet roept dan ook vele vragen op over de juridische en ethische randvoorwaarden. Mag dat wel, een computer laten beslissen? Welke kaders hanteer je om een verantwoorde inzet van AI te realiseren? Wordt het tijd voor een AI Compliance Officer?

De inzet van AI biedt nieuwe mogelijkheden. Bestaande processen kunnen fors worden versneld door menselijke tussenkomst te vervangen door een AI. Zo zou een AI-bewaker bagage van bezoekers kunnen screenen op ongewenste voorwerpen, en deze doet dat dan veel sneller dan een mens (en is bovendien om vijf uur niet moe en afgeleid). Een verzekeraar zou een AI in kunnen zetten om claims te kunnen analyseren.

Dergelijke analyses hebben echter ook diverse risico’s. Zo staan AI’s er om bekend dat zij bestaande vooringenomenheid (bias) uit de onderliggende data sterk uitvergroten, wat kan leiden tot ongewenst gedrag zoals discriminatie. Ook is het vaak lastig duidelijke uitleg te krijgen over hoe een AI tot zijn conclusie komt: dergelijke data-analyse is volkomen onvergelijkbaar met een menselijk gedachteproces.

Deze risico’s maken organisaties nog steeds huiverig over de inzet van AI. Ook de wetgever heeft niet stilgezeten: in de Europese privacywet GDPR is een expliciet verbod opgenomen om mensen aan besluiten te onderwerpen die door een AI zijn genomen. Hoe dan ook grip te krijgen op AI, en te zorgen voor een nette, ethisch verantwoorde inzet, is een lastige vraag voor veel organisaties.

In 2019 publiceerde de Europese Commissie de Ethics Guidelines for trustworthy AI. Onder “ethisch” verstaat men niet alleen het voldoen aan wettelijke regels, maar ook aan meer algemene ethische principes. Ethische AI bestaat uit drie componenten, waaraan gedurende de volledige levenscyclus van het systeem moet worden voldaan: de AI moet

  1. wettig zijn, door te voldoen aan alle toepasselijke wet- en regelgeving,
  2. ethisch zijn, door naleving van ethische beginselen en waarden te waarborgen, en
  3. robuust zijn uit zowel technisch als sociaal oogpunt, aangezien KI-systemen ongewild schade kunnen aanrichten, zelfs al zijn de bedoelingen goed.
Uitgaande van deze drie componenten komen de richtsnoeren tot zeven vereisten voor AI-systemen:
  1. Menselijke controle en toezicht
  2. Diversiteit, non-discriminatie en rechtvaardigheid
  3. Technische robuustheid en veiligheid
  4. Transparantie en verklaarbaarheid
  5. Privacy en datagovernance
  6. Maatschappelijk en milieuwelzijn
  7. Verantwoording en controleerbaarheid
Het toetsen aan deze vereisten komt in de praktijk neer op het welbekende proces van compliance: formuleer criteria waarmee naleving kan worden gemeten, zorg dat mensen doordrongen zijn van het belang van naleving en toets op de criteria. Dat dan ook nog eens op een positieve manier; nee zeggen is altijd makkelijk, maar technologie op een compliant en werkbare manier de markt op krijgen is een stuk lastiger.

Omdat het hier ook nog eens gaat om geavanceerde technologie en vaak vele partijen betrokken zijn, is AI compliance een uitdagende kwestie. Een AI compliance officer moet dan ook behoorlijk thuis zijn in wetgeving, techniek en de toepassingspraktijk.

Ik vond dit zo’n leuke dat ik de afgelopen weken eigenlijk alleen heb gewerkt aan mijn nieuwe leergang AI in de praktijk: compliance & governance. Deze online leergang is speciaal ontwikkeld voor informatieprofessionals, juristen en compliance officers die aan de slag moeten of willen met AI en de toetsing daarvan. Geen blokkades opwerpen, maar zorgen dat bedrijven en instanties aan de slag kunnen. Weten wat er wel kan en hoe dat wordt bereikt.

De stof wordt volledig online aangeboden. Met geavanceerde vormen van elearning kan de cursist eenvoudig werken en effectief de stof tot zich nemen. De docent is online beschikbaar voor 1-op-1 overleg, en via een discussieforum kunnen cursisten met elkaar overleggen en brainstormen.

Met dat forum is trouwens iets bijzonders: het wordt aangeboden door een fictief Nederlands dorp. De leergang kent namelijk een serious game element, waarbij deelnemers optreden voor bedrijfsleven en overheid in dat dorp om te zorgen dat AI-initiatieven volledig compliant én bruikbaar worden. Hoe beter men het spel speelt, hoe hoger het dorp scoort in de wereldwijde competitie van de Most AI-focused city in the world, bijgehouden door het fictieve United Nations Office for Global AI (UNOGAI). Bij pittige onderwerpen als deze is serious gaming een bewezen techniek om leren effectiever te maken.

Durf jij de uitdaging aan? Op 1 februari gaat de eerste ronde van start. Meer informatie en de inschrijfmogelijkheid vindt u bij ICTRecht.

Arnoud

 

 

 

Studenten raken diploma kwijt na haperend online tentamentoezicht

Denk je jouw tentamen met een mooi cijfer gehaald te hebben, krijg je twee maanden later een mailtje van de universiteit dat het tentamen toch ongeldig is, omdat het online toezicht haperde. Zo opende de NOS vorige week over een incident bij de Erasmus Universiteit School of Law. Deze had proctoring ingezet bij een aantal tentamens, maar bleek achteraf de webcambeelden niet terug te kunnen kijken door een interne fout. Daardoor kunnen vermoedens van fraude niet worden geverifieerd, waardoor de tentamens nu alsnog ongeldig zijn verklaard. En ja, dan raak je dus ook je tentamen kwijt.

Ik weet niet wat de verjaringstermijn is van ongeldigverklaring van tentamens, maar bij mij zullen die angstdromen van ineens weer tentamen moeten doen dat wel blijven. Want ik deed het allemaal op papier, en fraudecontrole was een rondlopende meneer die door je wettenbundel bladerde.

Dat kan natuurlijk nu niet meer, vandaar die proctoringsoftware en de bijbehorende zoektocht naar de balans tussen privacy en betrouwbare tentamens. Omdat we vinden dat studenten hun privacy maar even moeten parkeren tot na hun bul, wordt op grote schaal proctoring ingezet. Maar geen zorgen: weliswaar word je het hele tentamen gefilmd en wordt alles gelogd dat je doet, alleen bij een vermoeden van fraude (zoals besloten door “het algoritme” van de proctoringleverancier) kan de universiteit de beelden gaan bekijken. En ze worden echt niet ingezet om het algoritme te verbeteren, dat staat in de verwerkersovereenkomst.

Oké ja ik doe alweer zakelijk. In ieder geval, het punt is dus dat je als universiteit een seintje krijgt en dan de beelden kunt bekijken: was iemand aan het hoesten of aan het overleggen? Keek iemand opzij omdat er werd gesouffleerd of moest ze even de ogen rusten? Dat controleert een mens, en zo hoort het ook lijkt me.

Alleen: als die beelden dan weg zijn, dan heb je een probleem. “Wat er precies is gebeurd en of het gaat om technische problemen of de verbinding, is niet duidelijk” maar het is niet mogelijk om nu te verifiëren wat er is geregistreerd. Mogelijk heeft de software de beelden niet kunnen uploaden, zo lees ik tussen de regels door, terwijl de studenten geen foutmelding over hun internetverbinding kregen.

Dit voelt wel erg cru en dat is het natuurlijk ook. Want je bent op deze manier echt overgeleverd aan de techniekleverancier, en jij krijgt een herkansing omdat die zijn zaakjes niet op orde heeft. Een analogie is moeilijk voorstelbaar, dat de menselijke proctor zijn bril kapot ging halverwege en toen niet meer de hele zaal kon overzien? Ga je daarvoor een tentamen ongeldig verklaren? Of hebben we daarvoor noodprocedures zoals een reservebril of een collega die het overneemt?

Ik denk dat de universiteit dit wel mag doen: er was een redelijk vermoeden van fraude en dat kon niet worden nagegaan. Dan heb je denk ik weinig keus anders dan het tentamen (voor die studenten dus) ongeldig verklaren. Maar ik zou als student nu wel de studievertraging gaan verhalen bij de technologieleverancier.

Arnoud

Mag je een aankomende trein eigenlijk wel filmen?

ns-trein-station-foto-filmenEen vraag via Twitter:

Even een vraag, is het verboden om zonder toestemming van weet ik veel wie een trein te filmen die aankomt op een station? / Ik kreeg namelijk net een conducteur over mij heen, die ik overigens niet gefilmd heb.

In principe niet, zou je denken: je mag toch op de openbare weg filmen wie en wat je wilt? Maar hier ligt het subtiel anders, want de stations van de NS zijn privébezit (NS Stations). En de eigenaar van een stuk privéterrein mag regels stellen over wat daar gebeurt, inclusief regels die botsen met de rechten die je normaal hebt.

De NS heeft dan ook huisregels over wanneer en hoe je mag fotograferen of filmen op hun terreinen. Journalisten mogen hun gang gaan, mits ze maar een persvoorlichter erbij vragen “om de opnamen in goede banen te leiden”.

Voor particulieren lijkt het simpeler:

Een particulier die voor privégebruik op voor het publiek toegankelijke gedeelten van het station en in treinen opnamen wil maken, heeft geen toestemming nodig.

Inderdaad. Echter, vervolgens komt er anderhalf kantje A4 met randvoorwaarden die gelden als je geen toestemming nodig hebt, waar ik een juridische wenkbrauw van optrek. Maar dat zijn logische zaken: niet flitsen richting een machinist, die kan dan verblind raken. Of uitkijken met een hoge microfoon want als die tegen de bovenleiding komt, ga je dood. En natuurlijk dat je niet in de weg mag staan voor passagiers. Niets zo ergerlijk als een bruidsstel dat romantisch op de roltrap op de foto wil (“Onderweg naar hun nieuwe leven”) terwijl jij de 9:02 wilt halen, immers.

Men vermeldt in de voorwaarden ook nog dat “reizigers of NS-medewerkers niet zonder hun toestemming herkenbaar [mogen] worden afgebeeld”, maar dat is een bekend misverstand: portretrecht gaat niet over het afbeelden van mensen maar over het publiceren van de beelden. Op grond van portretrecht kun je niet tegenhouden dat je op de foto wordt gezet.

Volgens deze regels zou een conducteur dus niet behoren in te grijpen als je een particulier bent die zonder mensen te hinderen staat te filmen op het station. Maar helaas blijkt de praktijk nog wel eens weerbarstig: iemand heeft half onthouden dat “fotograferen niet mag” of denkt dat een telelens betekent “commerciële cameraploeg” en gaat hard ingrijpen. Een voorbeeld van je recht hebben versus het krijgen, denk ik.

Hoe zouden jullie reageren als je de vraagsteller was met een conducteur in zijn nek?

Arnoud

Een admin die zomaar illegaal materiaal wist, mag dat?

delete.pngEen lezer vroeg me:

Ik werk als systeembeheerder bij een middelgroot bedrijf. Na klachten over volgelopen netwerkschijven ben ik eens gaan onderzoeken waar dat door kwam, en ik trof grote verzamelingen illegaal gedownloade films, muziek en software aan. (Plus de nodige porno die ik bepaald niet hoefde te zien.) Dat mag natuurlijk niet, dus dat heb ik direct gewist. Maar nu krijg ik boze gebruikers in de mail die mij verwijten de wet te schenden. Dat is toch de wereld op zijn kop?!

Eh, nou, niet helemaal. Dit gaat vast niet goed vallen bij systeembeheerders, maar: een netwerkaccount met eigen opslag is een privéruimte net als de locker bij de ingang of de bureaulades op kantoor. Daar mag je als BOFH dus niet zomaar in gaan snuffelen en al zéker niet zomaar dingen uit weggooien, ook niet als jij denkt dat ze illegaal zijn.

En nee, het is niet illegaal om op je werk muziek of films, of zelfs porno te hebben staan die je hebt gedownload uit illegale bron. Dat staat daar voor je eigen, ahem, gebruik, en daar heeft de werkgever dus in principe niets mee te maken. Pas als collega’s er last van krijgen zou je daarop aangesproken kunnen worden. Maar wie met koptelefoon op een muziekje wil luisteren, mag dat met een mp3-verzameling uit illegale bron.

Verder mag monitoren in principe alleen op anonieme basis, en moet dit gericht zijn op werkgeversbelangen als overlast, schade of storingen. Als ik 20MB aan MP3-tjes in mijn account heb, heeft niemand daar last van. Daar moet het beheer afblijven. Wordt het 20GB, dan lopen er schijven vol en dat kan wellicht een onderzoekje rechtvaardigen. Of als je heel veel inlogs op mijn account ziet vanaf IP’s over de hele wereld. Dat is een aanwijzing dat ik aan filesharing doe (of dat mijn account gecompromitteerd is) en dan mag je ingrijpen.

Zo’n onderzoek zou in eerste instantie anoniem moeten gebeuren. Waarom is die schijf vol, en bij wie kunnen we de vraag neerleggen “ruim eens wat bestanden op”? Persoonsgericht monitoren (wat spookt die Engelfriet uit op ons systeem) mag alleen bij concrete aanwijzingen dat die persoon iets fout doet, en het hoe en wat wordt dan gedocumenteerd in het IT-reglement. Bijvoorbeeld: als uit het maandelijks dataverkeer-rapport blijkt dat er zeer overmatig wordt gedownload, dan mogen we gaan kijken wie daarvoor verantwoordelijk is en die persoon daarop aanspreken. Wel zou ik dan een waarschuwing verwachten naar alle medewerkers toe.

Het verbaast me soms hoe makkelijk sommige systeembeheerders omgaan met data van medewerkers. Maar in dit geval verbaast het me nóg meer dat mensen gaan klagen dat hun porno is gewist.

Arnoud