Kun je een algoritme wel racistisch noemen?

| AE 12229 | Informatiemaatschappij | 84 reacties

Twitter lijkt witte mensen op foto’s eerder uit te lichten dan zwarte mensen, bleek deze week uit tests van gebruikers. Dat meldde Nu.nl onlangs. Het gaat om een experiment van Tony Arcieri, die ontdekte dat Twitter inzoomt op grote afbeeldingen en daarbij witte gezichten de voorkeur geeft, zoals hier naast kort te zien is. Dat sloot mooi aan op andere bevindingen, zoals dat Zoom bij het vervangen van de schermachtergrond gekleurde gezichten niet herkent, of in het verleden dat een gekleurde vinger door sensoren niet herkend wordt zodat je een droogblazer niet kunt activeren. En dan lees ik dus dat “algoritmes niet racistisch zijn”, wat ik een beetje gezocht-juridisch vind.

Het argument is dan natuurlijk dat een algoritme gewoon doet wat het gezegd is, en daarbij niet nadenkt en al helemaal geen intenties heeft. Net zo min als een deur kan discrimineren, kan een algoritme dat, even gechargeerd. Een deur kan open en dicht, en het zijn mensen die bepalen wanneer dat gebeurt. Die kunnen daarbij discriminerende criteria hanteren, die de deur dan uitvoert, maar dat maakt de deur niet zélf een racist.

Ehm, ja. Ik snap de noodzaak voor die discussie niet zo, want volgens mij is het wel algemeen duidelijk dat algoritmes niet kunnen denken. Maar “mensen die het Twitter-gezichtsherkenningsalgoritme hebben gebouwd, hebben daarbij racistische keuzes gemaakt” is gewoon onhandig veel langer, waarom zou je dat in vredesnaam op willen schrijven?

Een iets diepere zorg is dat er kennelijk een groep mensen is die denkt dat een algoritme per definitie niet discriminerend kan zijn. In die visie drijft een algoritme op feiten, namelijk wat het uit de data geconcludeerd heeft. En omdat data objectief is, en het algoritme niets meer doet dan objectief feiten analyseren en daaruit conclusies trekken, is de uitkomst van zo’n algoritme dus onmogelijk discriminerend te noemen. Twee plus twee is gewoon vier, ook voor waarden van twee die gelijk zijn aan een 80.000 x 80.000 matrix met informatie uit afbeeldingen.

Dat laatste is wat mij betreft écht onzin. Dat een computer iets doet, maakt het nog niet objectief. Zeker niet wanneer het algoritme drijft op een dataset waarvan allerminst is vastgesteld dat deze representatief is voor het gehele probleemgebied. Als je dataset alleen witte mannen bevat, en je laat de gehele bevolking werken met het daaruit verkregen algoritme, dan is die uitkomst niet objectief. Ik wil best geloven dat er geen intentie was om andersoortige mensen buiten te sluiten, achter te stellen of op andere wijze negatief te benaderen. Maar de uitkomst komt daar desondanks wel op neer. En juridisch gezien noemen we dat nog steeds discriminatie; intentie is niet van belang, alleen de uitkomst in de praktijk.

Uit het Nu.nl artikel:

Media spraken van “racistische algoritmes”, maar met dat label moeten we oppassen, zegt neuro-informaticus Sennay Ghebreab van de Universiteit van Amsterdam. “Effecten kunnen discriminerend zijn. Het probleem met refereren aan algoritmes die racistisch zijn, is dat je het probleem van de maatschappij naar het algoritme verschuift.”
Dit voelt voor mij als een totale drogreden. Er is niets mis met het algoritme, de maatschappij is fout dus wilt u even de maatschappij corrigeren zodat ik het algoritme met rust kan laten. Dat kan niet de bedoeling zijn, lijkt me zo. Helemaal omdat in de praktijk het zelden gaat om een diepgaand moeilijk te zien probleem dat pas door zo’n AI algoritme blootgelegd wordt: de datasets die men gebruikt, bevatten gewoon te weinig diversiteit in hun afbeeldingen. Dat is een zeer bekend probleem, en iets dat je dus gewoon moet fixen voordat je algoritmes gaat trainen op zulke datasets.

Ik blijf er bij: het gaat niet om de algoritmes, het gaat om de dataset.

Arnoud

 

Als ik in de winkel bij een zuil koop, heb ik dan een internetkoop gedaan?

| AE 12205 | Informatiemaatschappij | 24 reacties

Een lezer vroeg me:

In retailland is een trend gaande waarbij retailers kosten willen besparen op hun winkel ruimte. Je ziet dan dat ze in de winkel slechts een beperkt assortiment aanhouden en dat ze in plaats daarvan een zuil in de winkel hebben met een PC en internet verbinding. De consument kan in de winkel browsen voor een bepaald artikel en als de keuze is gemaakt dit toevoegen aan het winkelmandje. Bij het uitchecken kan de consument ervoor kiezen om in de winkel te betalen met een fysieke EMV+PIN pas. (dus niet dmv een 3DS transactie). Valt dit nu onder de Wet koop op afstand, oftewel heb ik dan bijvoorbeeld 14 dagen retourtermijn?
Voor deze vraag moeten we even helemaal terug naar de wet, want dit wordt een definitiespelletje. Daarbij maak ik gelijk van de gelegenheid gebruik om op te merken dat de Wet koop op afstand eigenlijk niet meer bestaat maar dat we eigenlijk spreken van “Overeenkomsten op afstand”. Maar op grote lijnen komt het nog steeds op hetzelfde neer. Goed, de definitie dan (art. 6:230g lid 1 item e BW):
overeenkomst op afstand: de overeenkomst die tussen de handelaar en de consument wordt gesloten in het kader van een georganiseerd systeem voor verkoop of dienstverlening op afstand zonder gelijktijdige persoonlijke aanwezigheid van handelaar en consument en waarbij, tot en met het moment van het sluiten van de overeenkomst, uitsluitend gebruik wordt gemaakt van een of meer middelen voor communicatie op afstand;
Onder het begrip “middelen voor communicatie op afstand” valt wat mij betreft zeer zeker zo’n zuil, dat is gewoon een computer met internetverbinding die naar de website van deze handelaar gaat, waar je dan uitzoekt wat je wilt hebben en dat afrondt tot een winkelmandje. Het gaat er dus om of er “tot en met het sluiten van de overeenkomst” alleen van die zuil gebruik gemaakt wordt. (Wat het “zonder gelijktijdige aanwezigheid betreft”, ik ga er vanuit dat het winkelpersoneel zich niet bemoeit met je online uitzoekgedrag.)

Wanneer sluit je dan de overeenkomst? Nou ja, volgens de wet is dat wanneer je aangeeft dat je akkoord bent. Niet relevant is wanneer je betaalt of wanneer je het product krijgt (weet u nog). Dus dat je bij het uitchecken kiest voor betalen in de winkel bij het pinapparaat in plaats van online betalen, dat is niet relevant. De locatie van de zuil ook niet. De enige vraag is of er een stap in het proces zit waarmee de bestelling definitief wordt. Zou de winkel jou eraan kunnen houden, even kort gezegd.

Zonder het proces te kennen met screenshots (ik houd me aanbevolen) is het lastig, maar ik neig er algemeen altijd naar om de knop “Bestelling met betalingsverplichting” als zwaarwegende aanwijzing te zien. Van de wet (art. 6:230v lid 3 BW) moet die stap er zijn vóórdat je eraan vast zit, dus lijkt het mij logisch dat de overeenkomst pas tot stand komt nadat je daarop geklikt hebt:

De handelaar richt zijn elektronische bestelproces op zodanige wijze in dat de consument een aanbod niet kan aanvaarden dan nadat hem op niet voor misverstand vatbare wijze duidelijk is gemaakt dat de bestelling een betalingsverplichting inhoudt.
Ik weet (hoi Alex) dat er achteraan in dat lid staat “Een overeenkomst die in strijd met dit lid tot stand komt, is vernietigbaar.” Het is dus mogelijk dat je op een andere manier aangeeft dat je deze bestelling wil, en dat er dan een overeenkomst is ontstaan. Ik vind het wat moeilijk om in de internetomgeving me voor te stellen wat zo’n manier kan zijn. Desondanks, dan ben je dus per definitie online de overeenkomst aangegaan en dan gelden de regels voor overeenkomsten op afstand.

De enige uitzondering die ik zie is als die zuil als een soort van reserveer-systeem fungeert: haal dit product naar deze vestiging, dan ga ik het bekijken en dan beslis ik of ik het wil hebben. Als het zo werkt – en je dus inderdaad van de regels na bekijken gewoon mag weglopen zonder product – dan levert die zuil geen overeenkomst op afstand op.

Arnoud

Mogen mensen je kind buiten fotograferen en op Facebook zetten?

| AE 12181 | Informatiemaatschappij, Privacy, Uitingsvrijheid | 8 reacties

Een lezer tipte me over deze Viva-forumdiscussie:

Vorige week werd ik getagged op Facebook in een bericht van een winkelcentrum in de buurt. Hierop staat mijn kind in het midden met verder alleen een ander persoon die je alleen van De achterkant ziet weglopen. Mijn kind zie je vanaf de zijkant en precies midden in de foto. Nu hebben ze de foto “bewerkt” en heeft mijn kind accessoires op zichzelf gefotoshopt gekregen van de fotograaf. Dit als onderdeel van het onderwerp van het Facebook bericht. Mag dit zomaar geplaatst worden zonder mijn toestemming?
De foto blijkt dus te zijn gemaakt door een fotograaf die ingeschakeld was door het winkelcentrum, en de accessoires zijn dingen die in het winkelcentrum te koop zijn. Daarmee werd niet geprobeerd het kind anoniem te maken, het lijkt veeleerder te zijn gegaan om de foto lekker grappig te maken.

Juridisch gezien is dit een typisch gevalletje “portretrecht niet in opdracht”, of onder de AVG een belangenafweging-legitiem-belang (u weet het, portretrecht bestaat niet meer sinds de AVG). Inhoudelijk komt het altijd op het zelfde neer: hoe groot was het belang van het winkelcentrum om deze foto zo te mogen tonen, en hoe groot is het privacybelang van het kind waar de ouders voor verantwoordelijk zijn?

Het gaat wat ver om te zeggen dat een winkelcentrum géén belang heeft. Ook een bedrijf heeft vrijheid van meningsuiting, maar hoe meer het naar zuiver commerciële reclame neigt hoe minder dat belang mee zal wegen. Zeker in situaties als deze waarin je makkelijk even kunt vragen aan geportretteerden wat ze ervan vinden, of lokale acteurs vragen, enzovoorts.

De privacy op de openbare weg is niet heel groot, maar zeker ook niet nul. Weliswaar mag iedereen je fotograferen op de openbare weg – en zo’n winkelcentrum is openbare weg ook al is ‘ie in privé eigendom – maar de publicatie daarvan moet nog steeds door die belangenafweging heen. En zeker bij kinderen mag je meer dan normaal verwachten dat ze met rust gelaten worden.

Een interessante zijsprong is nog of fotograferen in het winkelcentrum verboden is, zie de stickers bij de deur. Dan zou ik zeggen, dan heb je een hógere privacyverwachting. En dan maakt het niet uit dat de fotograaf voor het winkelcentrum werkte; je mag je onbefotografeerd wanen na zo’n sticker en het winkelcentrum moet dan meer dan normaal waarschuwen en opvolgen.

Alles bij elkaar neig ik naar: nee, deze publicatie moet eraf want er is niet even gevraagd of het kan.

Arnoud

Bedrijven gehackt door bij NCSC bekend lek, had men dit moeten delen?

| AE 12155 | Informatiemaatschappij | 21 reacties

Aanbieders van digitale infrastructuur verenigd in de Stichting DINL zijn gefrustreerd over het opnieuw achterhouden van informatie over een belangrijke hack door het NCSC. Dat las ik bij Computable.nl. Het Nationaal Cyber Security Centrum (NCSC) had actuele en gerichte informatie over de hack maar deelde die niet met de bedreigde organisaties, omdat data niet binnen haar wettelijke… Lees verder

Een notaris is toch een stuk duidelijker dan een blockchain voor een authenticiteitsverklaring

| AE 12153 | Informatiemaatschappij | 7 reacties

Programmadirecteur Sylvia Bronmans krijgt de eerste notarisverklaring dat de coronameldersoftware in de appstore dezelfde is als de open source software op github. Dat meldde Brenno de Winter op Twitter. De software die recent uitkwam, is als open source ontwikkeld vanuit het oogpunt van transparantie. Hartstikke leuk, maar daarna moet deze vanuit de appwinkels van Apple… Lees verder

Techgiganten beloven banden met leveranciers te verbreken bij dwangarbeid, een wassen neus?

| AE 12125 | Informatiemaatschappij | 5 reacties

Techbedrijven Apple, Facebook, Amazon en Google hebben tegen het Amerikaanse Congres beloofd om de banden met bedrijven te verbreken als die gebruik maken van dwangarbeid. Dat las ik voor mijn vakantie bij Tweakers. Klinkt leuk, maar omdat er niet echt definities zijn van “dwangarbeid” (is een Foxconn-werknemer gedwongen, gezien je aldaar vrijwel zeker dood gaat van de… Lees verder

De lawyerbot van de toekomst wijzigt gewoon zelf je documenten even #ndalynnweek

| AE 12114 | Informatiemaatschappij | 2 reacties

Artificial Intelligence is wat een computer bijna kan, las ik ooit als definitie van die term. Want op het moment dat de computer het kan, is het gewoon een ding dat een computer kan. Er is maar een korte periode waarin een computer iets kan laten zien dat we nog echt nieuw vinden. Ik heb… Lees verder

Mag je openbaar toegankelijke databases wissen omdat het datalekken zijn?

| AE 12123 | Informatiemaatschappij | 15 reacties

Een lezer vroeg me: Recent kwam in het nieuws dat duizenden onbeveiligde databases worden gewist door een aanvaller die alleen het woord “Meow” achterlaat. Het gaat om per abuis onbeveiligd toegankelijke databases, soms met en soms zonder persoonsgegevens. Het motief is onduidelijk, dus nu vroeg ik me af of je dit zou kunnen rechtvaardigen vanuit… Lees verder

Moeten mensen bij een horecareservering hun contactgegevens opgeven?

| AE 12086 | Informatiemaatschappij | 24 reacties

Een lezer vroeg me: Vanwege de coronacrisis is het bij restaurants, pretparken en dergelijke verplicht om je naam en/of adres op te geven. Geldt daarvoor ook de AVG en wat moeten ze je hierover informeren? En mogen die gegevens voor marketing worden gebruikt? Als hygiënemaatregel geldt inderdaad sinds kort dat men verplicht is vooraf te… Lees verder

Ik krijg zo’n jeuk van dat “iedereen zet toch alles al op Facebook”-kulargument tegen privacy

| AE 12066 | Informatiemaatschappij | 19 reacties

Toen tijdens een van de persconferenties minister Hugo de Jonge (Volksgezondheid, CDA) alleen al het voornemen van een corona-app uitsprak, haalde men bijna collectief de neus op. Zo karakteriseerde Rosanne Hertzberger de ophef over de corona-app in een recente column in NRC. Zo raar he mensen, iedereen zet alles op Facebook maar als de overheid… Lees verder