Wat is het verschil tussen AI, algoritmes en beslisregel? Die vraag krijg ik steeds vaker langs, onder meer bij die recente discussie over het DUO-algoritme dat neerkwam op R1*(R2+R3) en wat vuistregels over die drie variabelen. Is dat wezenlijk anders dan een data-analyse op een set met miljoenen datapunten en maakt het nog uit of je het door ChatGPT haalt voordat je het besluit communiceert?
De wet doet niet echt uitspraken over de technische complexiteit van je systeem. Grofweg zijn er twee wetten die inhoudelijk relevant zijn:
- De AI Act, die een systeem “AI” noemt als dat zelfstandig afleidt wat de regels zijn en wat de uitvoer moet zijn gegeven de invoer.
- De AVG, die “geautomatiseerde besluitvorming” verbiedt, wat dan weer neerkomt op geen (betekenisvolle) menselijke tussenkomst bij een besluit. Maar niet perse dat dat besluit door AI moet zijn genomen.
Mijn eigen grove schets:
- Besluiten kunnen via regels worden genomen, waarbij de uitkomst uit een berekening volgt. “Wie meer dan 100 euro besteedt krijgt gratis verzending” is zo’n regel. Dit ter onderscheid van vagere regels als “vaste klanten krijgen korting”.
- Een samenstel van regels noemen we algoritmes als ze complex beginnen te klinken (ja, zeer subjectief) maar wel via berekeningen tot uitkomsten leiden. Het belastingaangifteformulier is een algoritme: je stopt er allerlei gegevens in, het systeem weegt dit af tegen grenswaarden en criteria en er komt een aangiftebedrag uit. Het dikkeduimsysteem van DUO met hun R1*(R2+R3) is ook een algoritme.
- Een algoritme noemen we AI als de regels niet door mensen zijn geformuleerd maar door de computer zijn afgeleid. Dat kan bij het bouwen van het systeem (een ML model) of bij het toepassen van het systeem op een casus.
Een bestelling afwijzen wegens fraude met deze regels is dus algoritmisch, en als daar geen mens bij komt kijken dan loopt dat onder het verbod van de AVG. De regels zijn via data-analyse tot stand gekomen, dus noemen we dat een AI systeem. (Fraude-detectie bij ecommerce is geen hoogrisico-toepassing dus daar komt men mooi weg onder die wet.)
Ik zie in de praktijk veel systemen waarbij die regels door mensen geformuleerd zijn – zoals die regel hierboven – maar wel uit data komen. Dat is dan nog steeds een AI-model in de zin van de AI Act, ook al heeft een mens de exacte grenzen getrokken. Enige menselijke tussenkomst maakt niet dat je systeem geen AI meer is.
Arnoud
De subjectiviteit in wat een algoritme en verboden AI zou zijn is een onmogelijke paradox zoals je het hierboven netjes beschrijft. Je hebt net belastingheffing als een verboden AI algoritme neergezet.
Voor je het weet komen er vele suggestieve aannames welke als onvoldongen waarheden een eigen leven gaan leiden. Een betere omschrijving wat een algoritme en AI is is hoog nodig om er iets werkbaars van te maken.
Ik zou opteren voor een beschrijving van een te bereiken doel met het accepteren van onzekerheidsmarges en een veilige toestand als alternatieve wachttoestand bij onduidelijkheid. In je voorbeeld is het niet meteen doorvoeren van een bestelling de te maken overweging op gevolgen. Bij andere situaties andere overwegingen met de overwogen gevolgen.
Hoe zijn de belastingregels “niet door mensen [] geformuleerd maar door de computer [] afgeleid.”? Ik kan nergens wat vinden over data-analyse op basis waarvan de wettelijke criteria worden vastgelegd.
Maar zoiets als https://en.wikipedia.org/wiki/K-means_clustering waarmee je ook zo’n mooi fraude plaatje kan maken is geen AI dat is gewoon een algoritme
Wat volgens mij een essentiële toevoeging is, is dat AI-systemen vaak een black box zijn. Je kunt dus niet met terugwerkende kracht achterhalen hoe een besluit tot stand is gekomen. Bij algoritmes (zoals die van de belastingdienst) kan dat wel. Ook is het bij AI mogelijk dat de uitkomst verschilt, als je een casus nogmaals er doorheen haalt.
Deze uitspraak is onjuist. Vrijwel elk AI systeem is deterministisch. Als je dezelfde invoer geeft krijg je dezelfde uitvoer. Er zijn wel wat systemen die op basis van invoer het model bijstellen als duidelijk is dat het antwoord juist of onjuist was. Maar dat zijn de uitzonderingen.
De AI plaatjes generatoren omzeilen dit door de plaatjes te starten met random noise, waardoor de input gerandomiseert is. Stop je dezelfde input erin, zonder noise, dan krijg je dezelfde output. ChatGPT gaat er vanuit dat als je dezelfde vraag twee keer stelt dat de eerste keer niet goed/volledig was en tweakt de input. Ook kan in sommige modellen een internet search op de achtergrond gebeuren die kan veranderen omdat de search engine continu wordt bijgewerkt.
De ‘randomness’ van een AI model is vrijwel altijd randomness in de input, bewust of onbewust gegenereerd.
Misschien moet je eens opzoeken wat ’temperature’ betekent in de context van (generatieve) AI.
Het punt is juist dat genAI de beperkte uitzondering is op de hoofdregel dat “vrijwel elk AI systeem deterministisch is”. Men heeft daar bewust dingetjes ingebouwd zoals temperature, het meer random maken van de keuze van het volgende token. Het is wat filosofisch of dat deel uitmaakt van het ‘model’. Maar een gewoon statistiekgedreven model (zoals mijn eigen NDALynn.com contractenscanner) produceert dezelfde classificatie voor dezelfde invoer, iedere keer weer.
“Het belastingaangifteformulier is een algoritme: je stopt er allerlei gegevens in, het systeem weegt dit af tegen grenswaarden en criteria en er komt een aangiftebedrag uit. Het dikkeduimsysteem van DUO met hun R1*(R2+R3) is ook een algoritme.”
Hallo Arnoud, Er is een groot verschil tussen de algoritmes van de Belastingdienst en die van DUO. Het algoritme van de belastingdienst is de automatisering van de regels zoals vastgelegd in wet- en regelgeving. Het is deterministisch. Op basis van de data komt er een vastgestelde uitkomst uit. De uitkomst is alleen fout als de input data fout zijn (tenzij er een bug in de programmatuur zit :-)). Het algoritme van DUO is probabilistisch. De uitkomst van het algortme voor een individu kan goed of fout zijn. Er zijn false positives en false negatives. Deze 2 typen algoritmes gelijkschakelen lijkt mij niet correct. Groet,
Jaap
Beiden zijn algoritmes. Of een algoritme goed de werkelijkheid modelleert dan wel tot schade leidt, is voor de definitie van ‘algoritme’ niet van belang. Een slecht algoritme is nog steeds een algoritme.
1 Wat het “aangifteprogramma” voor de Inkomstenbelasting allemaal laat zien aan berekeningen is dienstverlening en heeft geen invloed op de inhoud van de aangifteverplichting en het te verzenden bericht. Die verplichting is in feite een berichtspecificatie die naast vragen, met aanvullende regels de mogelijke onjuistheid en consistentie van de te verzenden gegevensset in evenwicht houdt.
De “berekening en verdeling” zijn slechts een indicatie van de mogelijke aanslag.
2 Als ik als ondernemer online een klant wil weigeren, zie ik niet in waarom dat niet zou kunnen. Er is nog geen rechtsverhouding en die komt er dan ook niet. Ik ken ondernemers zat die ’s nachts aanvragen krijgen voor diensten in het Nederlands, afkomstig uit India of Cambodia. Die gaan als spam, hop de vuilnisbak is.
Ik zie dat er ook groene bolletjes in de ‘rode clusters’ zitten. Wat als jouw bestelling er zo een is? Pech gehad, we accepteren uw
verzoek om een toeslagbestelling niet?Dat klopt en is inherent aan datagedreven beslissen. Ik zit nog wel met de twijfel of dit écht fundamenteel anders is dan klassiek bureaucratisch regelgedreven beslissen. “Sorry meneertje, maar dit subsidiepotje is voor groente en tomaten zijn fruit”. Elke regel kent randgevallen en mensen die er net buiten vallen. Alleen is een belangrijk verschil dat je bij mensenregels je vaak een hardheidsclausule kent of wellicht een welwillende beslisser die de regel voor je buigt. Algoritmes zijn onbuigzaam en worden geprogrammeerd zonder hardheidsclausule.
Daar gaat het niet om. Randgevallen zijn er inderdaad altijd.
Het gaat erom dat een situatie die inhoudelijk totaal geen randgeval is (Het groene bolletje zegt immers: geen fraude) toch, onterecht, als ‘nee’ wordt aangemerkt.
Zeg maar: Dat mensen geen zaken met je willen doen omdat je achternaam toevallig Poetin is.
Of iets een randgeval is, hangt toch af van hoe ik de regel formuleer? Functioneel is een randgeval voor mij een geval dat er naar de letter in valt, maar naar de geest/bedoeling/omstandigheden daar niet zou behoren te vallen. Jij woont weliswaar in postcodegebied 1012 RJ maar op basis van jouw dossier blijkt dat jij geen fraudeur bent. Dat is dan een randgeval binnen de postcodecheck voor fraude.
Als we even bij het plaatsje dat je als illustratie gebruikt hebt blijven:
Je trekt een ellips rond het rode cluster. Dat kun je ruimer en minder ruim doen, en dat is inderdaad jouw keuze.
Een randgeval is dan iets wat op, of vlakbij, de scheidingslijn ligt.
Maar er liggen ook (enkele) groene bolletjes midden in het rode cluster. Jij zult die nooit als randgeval interpreteren, want ze liggen midden in jouw ‘fraudegebied’. Je hebt niet eens de nodige info om ze te identificeren als randgeval.
Stel ik ben zo’n bolletje? Een sollicitant die al tien generaties Nederlands is maar toevallig wel de naam Vladimir Poetin heeft. Wordt ik uitgenodigd? Of wordt ik er bij de eerste screening al uitgegooid als grappenmaker en/of persoon waarmee je je niet wenst te associeren?
Merk op: Ik interpreteer dit plaatje als: x-as en y-as zijn scores die in de praktijk relatief gemakkelijk bepaald kunnen worden. Groen en rood zijn scores die in het kader van deze studie bepaald zijn, maar die in de praktijk niet gemakkelijk/snel genoeg bepaald kunnen worden. De info met betrekking tot de kleur van de bolletjes heb je dus, in een normale situatie, niet als criterium om een beslissing op te baseren.
Het is ook mogelijk om “hardheidsclausules” aan een automatisch beslisproces toe te voegen. Je kunt voor vaste klanten zonder betalingsachterstand(*) het resultaat van het gegevensgestuurde fraudemodel negeren.
(*) Of verzin je eigen criterium hier.
Ik gebruik de term als een clausule die regelt hoe een bepaling geheel of gedeeltelijk buiten toepassing kan worden gelaten als de toepassing ervan zou leiden tot uitzonderlijk onbillijke of onredelijke gevolgen. Dit is haast per definitie pas achteraf in te schatten.
Je ziet een standaard fraudegeval bij een toets, je schorst de student voor de standaard één jaar maar deze moet nu terug naar Rusland (verblijsvergunning vervalt zodra je geen student bent) en zal daar naar het front in Oekraïne gestuurd worden. Het reglement voorziet daar niet in, maar dit is wel érg hard als gevolg en verdient dus een herbeoordeling. Ik weet niet hoe je dit in je automatisch proces toevoegt.
Hardheidsclausules kunnen geïmplementeerd worden met een tabel waarin je de “klanten” zet die je (deels) handmatig wilt afhandelen. Dat kan een simpele keus tussen “volledig handmatig” en “volledig automatisch” zijn, of een meer subtiele waarbij per verificatiestap bekeken wordt of die handmatig gedaan (of genegeerd) kan worden.
Het hoeft niet semi-automatisch of handmatig. Als je een goed systeem hebt kun je uitzonderingen toevoegen voor automatische verwerking.
Een voorbeeld uit de oude doos: Mijn ouders werden voor een niuewe auto geweigerd voor een all-risk verzekering, Dit terwijl ze altijd all-risk verzekerd waren. Een grond voor de weigering werd niet gegeven.
Ik werkte zelf indertijd voor één van de grootste insurance brokers in Nederland en de wereld. Ik heb toen heel brutaal een contactpersoon bij die verzekeraar gebeld en gevraagd waarom de verzekering werd geweigerd. Het bleek dat er een nieuwe lijst met postcodes was waar ofwel veel fraude ofwel veel schade voorkwam en die uitgesloten waren van all-risk verzekering. De postcode van mijn ouders stond niet op de oude lijst, maar wel op de nieuwe.
Ze hebben mijn ouders toegevoegd aan een uitzonderingen lijst in het systeem, waardoor ze alsnog verzekerd konden worden. Die lijst was geen uitzondering op de postcode check, maar letterlijk een auto approval lijst die de hele check omzeilde.
Het probleem zit hem in hoe je op een uitzonderingen lijst kan komen. Als het systeem jou weigert en je geen optie geeft om de weigering te betwisten heb je behoudens achterdeurtjes geen mogelijkheid om dat voor elkaar te krijgen.
Het wordt nog vervelender als online shops dezelfde criteria gebruiken (wat bij een data driven approach niet ondenkbaar is) en je zonder mogelijkheid van bezwaar opeens uitgesloten wordt van online shoppen. Dat betekent ook dat het leven voor jou in de huidige markt duurder wordt. Dan is de kwalificatie dat het geen hoog risico is niet meer te verdedigen.