Oh jee, geen enkel LLM foundation model voldoet aan de AI Act, wat nu?

“Do Foundation Model Providers Comply with the Draft EU AI Act?”, zo kopte een onderzoek van Stanford universiteit recent. Iedereen weet dan dat het antwoord ‘nee’ is, dus dat gaf veel herrie in de AI-tent: gaat dat gekke Europa nou wetten maken waarmee de bekende populaire startblokken voor grote taalmodellen per direct van de markt moeten? Dat kan toch niet waar wezen. Wat is hier aan de hand?

Zeer recent nam het Europees Parlement de AI Act aan. Of nou ja: formeel keurde men de voorgestelde aanpassingen uit haar eigen AI-commissie goed voor de onderhandelingen met de Raad van Ministers. Maar die onderhandelingen zijn de laatste jaren zo voorgekookt dat de kans klein is dat er héle andere dingen uit gaan komen. Op hoofdlijnen weten we dus wel wat er in de AI Act komt te staan, en de schatting dat deze begin 2024 ingevoerd wordt (met een overgangsperiode van 2 jaar, net als de AVG) is dus zeer reëel.

Foundation models oftewel basismodellen zijn taalmodellen die niet voor een specifieke toepassing ontwikkeld zijn. Ze hebben enorme hoeveelheden data en complexiteit, maar zijn vrij eenvoudig te fine-tunen oftewel bij te stellen naar iedere gewenste toepassing, van een klantenservicebot tot een contractenreviewer of een improvisatieverhaaltjesverteller, om eens wat te noemen.

De AI Act gaat uit van risicobeheersing, en dat kan eigenlijk alleen als je weet wat iemand gaat doen. Sollicitanten screenen geeft heel andere risico’s dan een auto ongecontroleerd, pardon autonoom laten rijden, en dat pakt weer anders uit dan live souffleren bij een pleidooi voor de Hoge Raad. Toch heeft het Parlement ervoor gekozen om ook basismodellen mee te nemen, omdat deze zo’n belangrijke rol spelen in de ontwikkeling van specifieke AI-systemen. Bovendien hebben die ontwikkelaars allerlei documentatie en feitelijke informatie nodig bij hún compliance die alleen de beheerder van het basismodel heeft. Zoals het Parlement het formuleert in concept-overweging 60g:

[F]oundation models should assess and mitigate possible risks and harms through appropriate design, testing and analysis, should implement data governance measures, including assessment of biases, and should comply with technical design requirements to ensure appropriate levels of performance, predictability, interpretability, corrigibility, safety and cybersecurity and should comply with environmental standards. These obligations should be accompanied by standards. Also, foundation models should have information obligations and prepare all necessary technical documentation for potential downstream providers to be able to comply with their obligations under this Regulation.

Dat is inderdaad nogal een trits aan eisen. Ze komen neer op een samenvatting van de eisen van downstream afnemers, maar dan beperkt tot het algemene stuk wat ook een basismodel kan realiseren. Dat betekent in de praktijk met name duidelijk en transparant zijn over waar je data vandaan komt, je proces voor bestrijden van risico’s illustreren en documentatie verzorgen.

De mensen van Stanford vertaalden dit naar 12 eisen, waarbij ze elk foundation model beoordeelden op basis van publieke informatie op een schaal van 0 tot 4. Dat levert dan deze grafiek op (klik voor groot):

Het best scorende model is BLOOM, een open en vrij taalmodel dat vergelijkbaar presteert met GPT-3. Dat is niet zo gek als je hun uitgangspunten leest over transparantie, omgang en beheer met data en rigide testen op kwaliteit. Toch scoort ook BLOOM niet bepaald goed op zaken als gebruik van auteursrechtelijk beschermde bronnen of efficiënt energiegebruik. Is dat erg? Ik zou zeggen van niet, want er is nu geen enkele eis om daar formele procedures en rapportages over te hebben. Natuurlijk, straks met de AI Act wel, dus er is werk aan de winkel voor deze organisaties.

Betekent dit nu dat de EU eigenlijk modellen zoals BLOOM illegaal wil verklaren? Natuurlijk niet. Een nieuwe wet kan en mag regels bevatten die nu nog niet gevolgd worden. Daarom is er dat overgangsrecht, die periode van 2 jaar waarin bedrijven en organisaties kunnen zien wat de nieuwe regels zijn en hoe je je daarin aan moet passen.

Arnoud