Een UvA-student liet zich met zijn huiswerk helpen door ChatGPT. Dat meldde vakblad Quote onlangs. Het betrof uiteraard een opdracht jurisprudentie- en literatuuronderzoek, waarbij de stochastische papegaai met redeneeraspiraties vier nepliteratuurverwijzingen oplepelde. En dat ging tot aan de Raad van State.
De opdracht hoorde bij het vak Amsterdam Law Firm 2.1 (“In dit het unieke onderwijsprogramma oefen je in kleine groepen je vaardigheden met voorbeelden uit echte zaken”). Zo te lezen in de uitspraak ging dat niet geheel conform de instructie:
De werkgroepdocent heeft geconstateerd dat de in de opdracht gebruikte bronnen 2 tot en met 5 niet bestaan. [appellant] heeft op navraag van de docent te kennen gegeven deze bronnen te hebben toegevoegd aan de lijst van de geannoteerde bibliografie. Nadat de docent [appellant] te kennen heeft gegeven dat zij de bronnen niet kon vinden, heeft hij later op de dag links naar alternatieve bronnen aangeleverd. Bij de examinator is daardoor het vermoeden gerezen dat de bronnen zijn gegenereerd door kunstmatige intelligentie (hierna: AI) of zijn verzonnen.De examencommissie oordeelde dat dit fraude is, waardoor hij zijn portfolio volledig opnieuw kon maken. Ook werd hij uitgesloten voor de vakken Goederenrecht en Europees recht. Het College van Beroep bevestigde de uitspraak, ondanks alle door de student (rechtsgeleerdheid, immers) uit de kast gehaalde argumenten waaronder dat hem niet de cautie was verleend of gewezen werd op het recht tot bijstand.
Daarop stapte de student naar de Raad van State, wat voor de rechtsvorming fijn is want zo hebben we nu de eerste uitspraak over de vraag of gebruik van AI kan tellen als fraude. (En de student kan het als “realistische zaken uit de rechtspraktijk” opvoeren bij sollicitaties.)
Het onderliggende juridische probleem: moet de examencommissie of docent aantonen dat een AI-dienst is gebruikt, of moet de student aantonen van niet?
Hoofdregel is dat de student eigen werk moet inleveren, dus als er een vermoeden rijst dat dat niet het geval is, heeft de student de bewijslast dat zhij het wél zelf gemaakt heeft. Of het nu gaat om AI, copypasteplagiaat of een medestudent laten schrijven.
In dit geval stelde de student ChatGPT alleen te hebben gebruikt om de bronnen netjes conform de Leidraad laten herschrijven. Plausibel, daar is die tool goed in en ik doe dat zelf ook. Alleen: er is een niet-verwaarloosbare kans dat de uitvoer meer of andere bronnen bevat dan je er in stopte.
Volgens de student was dat hier ook gebeurd. Na de eerste signalering had hij de bronnen zelf opgezocht, en daarbij alternatieve links gegeven. Maar de examencommissie vond dat niet overtuigend, dit waren geen “slordigheden” zoals een typefout of verkeerd paginanummer.
Een moeilijke dus. Enerzijds wil ik best geloven dat de lijst die er in ging, wél keurig uit juridische bronnen was samengesteld en dat het taalmodel er statistisch mooier klinkende tekst van maakte. Het heeft immers geen taalbegrip en maakt dus iets dat lijkt op een Leidraad-conforme versie van een bron.
Anderzijds zou iedereen die deze diensten gebruikt moeten weten dat dit gebeurt, en dus alle bronnen in detail nog eens na moeten lopen. Het voelt wat heftig om dat nalaten “fraude” te noemen, maar het is wel het soort detail waar juristen slecht op gaan.
Derderzijds: dat dit gebeurt, is weinig intuïtief voor velen. De dienst is er zelf ook niet bepaald expliciet hierover (vage generieke disclaimers tellen niet). Dit is waarom de AI Act geletterdheid verplicht stelt. Ik zou wel durven stellen dat een vak over bronnen onderzoeken toch minstens een slide moet besteden aan dit probleem.
Arnoud
Helemaal akkoord
Niet akkoord. De default-positie is dat het werk van de student eigen werk is. Als de docent meent dat dat niet zo is, zal zhij toch echt met meer dan ‘gerezen vermoeden’ moeten komen.
(staat er ergens in de regels dat de student voorbereidende aantekeningen, incomplete eerdere versies (gedateerd en al) en een wijziging-log moet bijhouden en op aanvraag presenteren? Ik betwijfel het. En ook die kun je trouwens ongetwijfeld door AI laten maken)
Ik weet wel dat AI een probleem is in het onderwijs. Maar je kunt principiele punten, fundamentele grondbeginselen, niet aan de kant schuiven omdat de uitkomst je niet aanstaat.
Waarom is het de default dat ingeleverd werk eigen werk is? Wie zich op het rechtsgevolg beroept, heeft de bewijslast. De student wil een beoordeling, dat is een (rechts)gevolg.
Vaak staat inderdaad in opdrachtinstructies dat je tussenversies, schema’s, opzetten en dergelijke moet laten goedkeuren.
Omdat dat al 200 jaar, met extreem weinig uitzonderingen, het geval is.
Van een serieuze student mag een serieus opleidingsinstituut verwachten dat zhij een voldoende haalt. Als de student met voldoende aandacht de lessen gevolgd heeft, inclusief de benodigde vooropleidingen die blijk geven van voldoende intelligentie, zou het vreemd zijn, een fout van het onderwijsinstituut, als de student NIET de stof voldoende beheerst. Daarom is het de default.
Niet akkoord.
De student wil een positief getuigschrift na het voldoende beheersen van de diverse opleidingsonderdelen. Een dergelijk getuigschrift is een normaal en te verwachten onderdeel van het opleidingstraject, geen gunst waarvoor de student zich in bochten moet wringen.
De manier waarop het opleidingsinstituut ‘voldoende beheersen’ beoordeelt is aan het opleidingsinstituut (met redelijkheid en billijkheid natuurlijk). Het feit dat het opleidingsinstituut daar een sub-optimale methode (schriftelijk, thuis te maken, werk) voor gebruikt, is niet voldoende om de bewijslast voor ‘voldoende beheersen’ om te keren.
Het gevolg van een opleiding succesvol volgen is het verwerven van kennis en vaardigheden. Het getuigschrift is maar een papiertje dat bevestigd dat dat naar de mening van de school gebeurd is.
Er is, naar mijn mening, geen direct rechtsgevolg aan het krijgen van het getuigschrift. De vermeende rechtsgevolgen volgen namelijk uit verdere wetgeving die aan het hebben van het getuigschrift bepaalde rechten (en soms plichten) toekent.
Als er referenties naar niet bestaande literatuur in het door de student ingeleverde werkstuk staan, dan heeft de student daarmee een probleem. Zoiets is voor mij een “rode vlag” en grond tot uitsluiting. (Het maakt mij dan niet uit of de literatuurlijst door een AI of met een ander luizig proces gemaakt is.)
Basisaanname blijft “eigen werk”, maar wanneer er indicaties van fraude zijn dan dienen die uitgezocht te worden. Als ik de uitspraak van de RvS lees, heeft de UvA dat gedaan, met uitgebreide mogelijkheid voor de student om weerwoord te geven.
Dus als iemand een foute referentie opgeeft is dat grond voor uitsluiting? – 2 door elkaar halen : uitsluiting – Bij refereren naar internet en link bestaat niet meer : uitsluiting
De consequentie is dan, mijns inziens, wel dat elke verkeerde referentie in rechtbankstukken tot gevolg heeft dat het volledige stuk wordt geweigerd/genegeerd en -bij professionele partijen- de betrokkene geschorst wordt.
Ik heb het zeer moeilijk met de classificatie “fraude”, het zijn fouten maar waarschijnlijk niet de enige in het stuk.
Dat van de classificatie is omdat men het makkelijker vond dit in de bestaande regeling in te passen, vermoedelijk omdat men denkt aan situaties waarin je lappen tekst uit ChatGPT in je paper stopt. Dat is inderdaad fraude, net zoals een medestudent dingen laten schrijven.
Als het specifiek gaat over enkel niet-bestaande bronnen, dan is dat een fout en in de wetenschap een doodzonde. Maar de term “fraude” vind ik niet helemaal kloppen, want als je ‘gewoon’ een verkeerde bron opvoerde (per abuis Jansen (2010a) geplakt waar je Jansen (2010b) moest hebben) dan is dat ook geen fraude volgens mij. Het is fout, je moet het herstellen, maar dat is ‘gewoon’ een onvoldoende.
Tegelijkertijd: het niet noemen van een bron is wél een vorm van fraude, namelijk plagiaat. Door geen bron te noemen, doe je impliciet of het van jezelf is. Maar het voelt gezocht om te stellen dat een nepbron hetzelfde is als geen bron.
Er is een verschil tussen “slordigheden en tikfouten” en artikelen compleet “uit je duim zuigen”. De eerste categorie fouten kan verrekend worden in de beoordeling van het werkstuk, de latere categorie vergt onderzoek (voordat je er een etiket fraude op mag plakken).
In rechtbankstukken geldt dat de rechter zhaar consequenties mag verbinden aan “foutieve” referenties. Als de fout simpel hersteld kan worden hoeft dat geen ernstige gevolgen te hebben. Maar het is terecht wanneer een rechter een advocaat persoonlijk aanspreekt op door hem/haar ingediende AI-hallucinaties.
Wat er in het geval van deze student precies speelde zal waarschijnlijk voorgoed onduidelijk blijven. Zhij heeft in ieder geval niet laten zien de betreffende opdracht zelfstandig tot een goed einde te kunnen brengen.
Gedachtenexperiment. Ik laat mijn spellingscontrole mijn juridisch essay controleren. Het verandert “nrechtmatig” naar “rechtmatig”, terwijl ik “onrechtmatig” had bedoeld. Heb ik nu gefraudeerd?
Als jouw spellingscontrole stelt gebruik te maken van AI wel, anders niet 😉
Als je het heel formeel wil gaan spelen moet “spellingscontrole” genoemd zijn bij de toegestane hulpmiddelen om het essay te maken. Aangezien het gebruik van een “Office pakket” heden ten dage algemeen geaccepteerd is (en vaak als eis gesteld wordt) en spellingscontrole een standaard onderdeel van het pakket is, zie ik (in alle billijkheid) geen reden om het gebruik van spellingscontrole als “fraude” aan te merken. De resulterende fout in het ingeleverde essay kan je nog steeds aangerekend worden als serieuze slordigheid.
Omdat er op het ogenblik nog een discussie gaande is over hoe “AI” ingepast kan worden in het onderwijs, is het volstrekt redelijk dat een onderwijsinstelling het gebruik van “generatieve AI” verbiedt. Het zou goed zijn om dat expliciet zo op de opdracht te zetten. (En wanneer het doel van de opdracht is om juist met AI iets te produceren, dat ook te vermelden.)
Fraude heeft voor mij ten minste twee elementen: effect en intentie. Effect is of de tegenpartij (lezer) misleid is. Bij alleen deze fout is dat niet waarschijnlijk (de logica van de zin/paragraaf is waarschijnlijk inconsistent). Daarnaast is de universiteit bij juridische essays meer geïnteresseerd in de juridische argumenten dan de spelling. Er is ook geen intentie om een gedeelte van het verwachte werk niet zelf uit te voeren (tenzij het expliciet is aangegeven dat spellingscontrole niet mag – de redelijke verwachting is dat het toegestaan is – als het verboden is, is het inderdaad fraude).
Vanuit een academisch perspectief is het essay een proeve van bekwaamheid waarmee de student aantoont want zijn/haar bekwaamheid is (aan de hand van de beoordelingsverwachtingen als aangegeven). Als student het werk niet zelf doet dan tast dat het fundamentele karakter van de proeve aan.
Als ik de uitspraak lees dan begrijp ik niet waarom de school wel wordt veroordeeld tot het vergoeden van de proceskosten?
Ik vermoed omdat de Afdeling heeft geoordeeld dat het initiële besluit van de examencommissie onzorgvuldig was omdat hierbij geen motivering en rechtsmiddelenverwijzing is gegeven, zie r.o. 11.3, en dat het CBE het verbod van reformatio in peius heeft geschonden, zie r.o. 13.1. Dat zijn formele gebreken waarbij de Afdeling heeft geoordeeld dat er geen noodzaak is om de materiële gevolgen van het besluit te vernietigen, maar die het wel rechtvaardigen dat de betreffende student in beroep is gegaan tegen deze besluiten.
Op z’n minst zou hij de originele input bewaard moeten hebben en dus aan moeten kunnen leveren.
Het is een schooltaak. Het is geen documentatie van de productie van een medicijn.
De universiteit is geen school.
Maar de input zou er desondanks moeten zijn toch?
Als je iets maakt en dat vervolgens laat herschrijven, dan gooi je toch niet daarna hetgeen je initieel gemaakt hebt meteen weg? Ik zou het behoorlijk onzorgvuldig vinden, zeker voor een aanstaande jurist/advocaat. Zorgvuldigheid is een van de kenmerken waarvan je zou verwachten dat die in de advocatuur hoog in het vaandel staan.
Stel je voor dat een advocaat informatie wegdoet omdat hij denkt het niet meer nodig te hebben, en later blijkt dat het cruciaal is voor het verloop van een casus.
De student had dit gewoon kunnen aantonen aangezien ChatGTP de geschiedenis van je bevragingen bewaard, en hij had ze zelfs publiek kunnen linken, persoonlijk denk ik: Vertelt niet de hele waarheid.
Daarmee bevestigt de student het gebruik van niet-toegestane hulpmiddelen. (ChatGPT.)
Wat een mooie definitie voor ChatGTP (Kunstmatige Intelligentie [KI] dus), Arnoud:
In principe werkt ook ons brein (soms) op deze wijze, het grote verschil: wij weten van de toevalligheden, zetten die meestentijds bewust in en doen dat vaak om efficiëntie redenen. De (onervaren) gebruikers van ChatGTP dan wel KI echter; volgen regelmatig slaafs de uitkomsten, doen dat automatisch en vanwege het gemak.Daarom staat AI niet alleen voor “Artificiële Intelligentie” maar ook voor