Een lezer vroeg me:
Ik zit op het vwo en moest een paper inleveren. Dat heb ik netjes gedaan, alleen zegt mijn docent nu dat dit uit ChatGPT komt en dat ik dus gefraudeerd heb. Dat is zeer zeker niet waar (ik haat die clichéformuleringen), maar hoe moet ik dat nu aantonen?Ik hoop dat die beschuldiging van fraude met iets meer bewijs werd gedaan dan wat ik ooit las “ik vroeg het ChatGPT zelf en die zei van wel”. Want dat was klinkklare onzin.
Tegelijkertijd weet ik dat veel docenten overspoeld worden met ChatGPT-uitvoer, van werkstukken tot mails, voorstellen en wat heb je nog meer. Daar krijg je dan een neus voor, zeker als je het fors ziet afwijken van wat de leerling produceert wanneer deze geen directe internettoegang heeft. En dan snap ik dat een docent er bovenop springt.
Lastiger is de vraag wat voor bewijs er nodig is in de context van zo’n schoolopdracht. Enerzijds mag je van docenten verwachten dat ze meer aandragen dan “ik herken ChatGPT intuïtief”, anderzijds mag je van scholieren verwachten dat ze meer kunnen laten zien dan enkel hun finale paper.
Mijn voorstel zou dus zijn dat deze lezer zhaar bronnen, concepten en eerdere versies overlegt om te laten zien hoe de tekst tot stand gekomen is. Als dat niet lukt, dan zou een mondelinge discussie over de inhoud een alternatief kunnen zijn: wie zelf ergens een paper over schrijft, moet dat mondeling kunnen toelichten lijkt me. Dit is in ieder geval hoe het bij universiteiten lijkt te werken.
Jullie andere suggesties? Een betrouwbaar werkende genAI-detector ben ik nog niet tegengekomen. (Grammarly’s detector geeft mij zeer wisselende resultaten.)
Arnoud
Mooie gebalanceerde analyse denk ik. Het blijft heel ingewikkeld, eigenlijk zou je als onderwijzer willen overstappen naar onderwijsvormen waar de examinering minder afhankelijk is van ‘AI vrij werken’. Wat mooie achtergrond hierover: https://educational-innovation.sydney.edu.au/teaching@sydney/program-level-assessment-two-lane/
Bij ChatGPT detectietools zou ik voorlopig uit de buurt blijven. Ook dat blijven waarschijnlijkheids-benadering. En er is bijv wat ouder onderzoek dat laat zien dat die onevenredig studenten met Engels als tweede taal verdacht van fraude (Engels onderzoek natuurlijk)
Als we studenten willen voorbereiden op de maatschappij van morgen dan zullen ze moeten leren om met AI en door AI gegenereerde uitvoer om te gaan. Slim en correct gebruik van AI tools mag beloond worden, dom en incorrect gebruik hoort bestraft te worden. Dat impliceert dat de docenten hiervoor al getraind horen te zijn.
Ik ben bekend met “onderwijsfraude”. Bij de computerpractica waar ik (lang geleden) student-assistent was, was het gebruikelijk dat studenten uitwerkingen van opgaven kopieerden. Ons antwoord daarop was om met onze vinger een punt in het ontwerp aan te wijzen en te vragen: “Leg maar uit waarom je dit zo aangepakt hebt.” Bij een vlot antwoord wist je dat de student tijd genomen had om te begrijpen wat er moest gebeuren; teveel gestamel leidde ertoe dat de student teruggestuurd werd (en er een aantekening op zijn kaart gemaakt werd.)
Een vrij simpele test of een student zhaar werkstuk zelf gemaakt heeft is een 10 minuten interview waarbij de docent uitleg vraagt over twee of drie passages uit het werkstuk. Kan de student verdedigen (verklaren waarom) wat er geschreven is?
Dat overnemen van elkaars programmeer opgave herken ik van heel vroeger. Alleen waren er ook mensen die wel de namen van de variabelen aanpasten, maar vergaten de comment statement met de auteur aan te passen.
Tja; ik heb wel computeropdrachten nagekeken waar studenten een vaste code die een random graaf genereerde moesten uitvoeren. Dat leverde elke keer dat je de code uitvoerde een andere graaf op (nu ja, als je op de milliseconde dezelfde tijd had bij het uitvoeren zal het misschien uitvoer geven, omdat de random seed geloof ik gebaseerd was op de systeemklok, maar vooruit). En dan leverden studenten werk in met dezelfde gegenereerde random graaf.
Kun je in de comments wel jouw naam neerzetten in plaats van je medestudent, maar dan ga je toch nat.
Set “track changes” aan in je tekstverwerker als je je werkstuk schrijft. Als er twijfel over het ingeleverde werk ontstaat, lever je die versie met de complete geschiedenis aan.
Voor gevorderden met een technische achtergrond: gebruik een account op GitHub, installeer git, en commit regelmatig je werk. Geef de docent toegang tot het project.
Misschien kan de docent er rekening mee houden dat Chatgpt gebruikt gaat worden, dat ok vinden en de opdracht daardoor wat uitdagender maken voor de leerling, die veel kan leren van Chatgpt?
Nee. Er valt niets te leren van ChatGPT en vergelijkbare systemen, omdat die geen concept van feiten of waarheid hebben. Het enige waar die systemen goed in zijn, is het schrijven van plausibele teksten. Heel erg plausibele teksten. Zo plausibel, dat ze vaak overeenstemmen met de waarheid. Maar vaak is niet altijd, en dat is waar het dan fout gaat.
Dat is erg overtrokken. Er valt misschien geen waarheid te halen bij ChatGPT, maar er valt voldoende te leren. Je kan bijvoorbeeld vragen “Ik heb deze tekst geschreven, kan je helpen om deze duidelijker te maken voor een doelgroep van kinderen”, of “Ik heb dit geschreven, kan je helpen dit poetischer om meer meeslepend te verwoorden”. Er zijn mee toepassingen van die LLM’s, het hoeft niet alleen te gaan om het uit handen geven van het maken van werkstukken. Je kan het gebruiken voor reflectie, of voor allerlei creatieve projecten, voor het vinden van de juiste woorden en termen om gevoelens of indrukken te omschrijven. Er zijn legio mogelijkheden om heel veel te leren van de verzamelde kennis en informatie die in die modellen zijn gestopt.
Precies, of je kunt iets leren over een onderwerp en de AI vragen om je te overhoren en opgaven voor te maken om te oefenen. Ook kan een AI uitleg geven waarom je antwoord niet (helemaal) correct is. Het gaat er dus om, dat je de goede vragen stelt aan AI. Garbage in, is garbage out. Het is een stuk gereedschap. We gebruiken AutoCad en Excel toch ook om het werk gemakkelijker te maken?
Ik heb wel eens met een beta van een Groot Taal Model gespeeld. Gevraagd om een route tussen twee steden te plannen, het model zoog snelwegen uit zijn duim. (En als er een rijdbare route uit kwam dan was het iets als Rotterdam naar Den Haag via Utrecht.)
Op de vraag “Hoeveel kinderen heeft Mark Rutte” kreeg ik te horen dan onze voormalig minister president getrouwd was en twee kinderen had. Namen werden erbij verzonnen.
Wees je ervan bewust dat bij een GTM er gevallen “vraag in -> onzin uit” bestaan.
Ben ik de enige die “beste docent, bewijs het maar” get enige juiste beleid vindt? Als een leerling het werkstuk niet mondeling kan toelichten dan prima, dat is bewijs. Maar een situatie waarin de bewijslast bij de leerling ligt om aan te tonen dat hzij het zelf geschreven heeft lijkt me de wereld op zijn kop. In het strafrecht vinden we een omgekeerde bewijslast waarbij een verdachte zijn/haar onschuld moet bewijzen absurd onrechtvaardig; ik zie dat in deze situatie niet anders.
Het is vreemd dat er in het onderwijs zo weinig rechtsbescherming bestaat voor studenten/leerlingen.
Consumentenrecht, huurrecht voor woonruimte en arbeidsrecht is door de wetgever nadrukkelijk ingericht met allerlei waarborgen voor consumenten, huurders en werknemers. In het onderwijs zijn studenten/leerlingen veel minder goed beschermd tegen willekeur.
Waar het hier mis gaat is dat een docent willekeurige software gebruikt en daar hele vergaande conclusies aan verbindt.
Hoewel je de reactie van docenten en onderwijsinstellingen kunt raden, zouden studenten/leerlingen zélf ook moeten kunnen controleren of bepaalde teksten als ‘AI gegenereerd’ worden aangemerkt vóórdat ze een tekst inleveren. Waarom zou dat eenzijdig aan een docent of onderwijsinstelling voorbehouden zijn?
Als een tekst door een onafhankelijke tool (die door beide partijen wordt vertrouwd!) wordt goedgekeurd, dan is het klaar. En ja, dat kán betekenen dat er teksten via AI worden gegenereerd, maar kom op: het is 2024. Als je competentie gaat aantonen via een AI tekst, reken er dan maar op dat het in het dagelijks leven ook wordt gedaan. Het lijkt dus meer een toetsingsprobleem te zijn dan een AI probleem.
Ik zie een fundamentele probleem in de aanname dat het gebruik van AI fout is. (Een rekenmachine gebruiken was ooit ook fout, je moest kunnen hoofdrekenen; nu is gebruik van rekenmachines ingeburgerd.) Mijn verwachting is dat VWO leerlingen geleerd wordt om AI op een verstandige wijze te gebruiken. Toetsen of de leerling begrijpt en kan verdedigen wat er in zijn werkstuk staat.
Tja, jij gaat er van uit dat er een tool kan bestaan die met enige betrouwbaarheid kan vertellen dat of een tekst door een AI gegenereerd is. Laat ik dan net een AI gaan schrijven die er voor zorgt dat AI gegenereerde teksten door die tool als “menselijk” worden gezien.
En ja, scholieren/studenten verdienen rechtsbescherming. Op veel onderwijsinstellingen zijn er mogelijkheden om te klagen over docenten, maar de student moet dan wel met een stevige motivatie komen. In dit geval zou ik verwachten dat een klacht bij de directie leidt tot een opdracht aan de docent om tot een verbeterde motivatie te komen. (Beter dan “onderbuikgevoel”.)
Maar het is ook fout om ervan uit te gaan dat AI gebruiken dan meteen overal maar moet kunnen. Ik hoop dat mijn dochter straks op school wel leert hoe zelf een nette tekst te schrijven. En daarnaast, als ze het zelf kan, ook hoe je de AI kan inzetten om dat sneller en efficiënter te doen.
Net als dat we, ondanks rekenmachines, nog steeds het tafeldiploma hebben. En bij de toets voor het tafeldiploma is een rekenmachine verboden. Bij het leren van dingen moet het gewoon soms verboden zijn om tools te gebruiken, die je later wel kan gebruiken, puur omdat als we het zelf helemaal niet kunnen, we ook geen begrip hebben van wat wel en niet goed of fout is.
En dus moet AI verboden kunnen blijven worden; niet voor alle opdrachten, maar wel voor sommige. En dus zal detectie of iets met AI gedaan is altijd nodig blijven.
Eens dat je bij sommige opdrachten het gebruik van een AI wilt verbieden. Daar is een vrijwel waterdichte oplossing voor: Zet de leerling in een lokaal, voorzie hem/haar van lijntjespapier en een pen en laat hem/haar ter plekke de opdracht maken. Kijk tussendoor of niet even stiekem een laptop of telefoon uit de tas gehaald is.
In mijn tijd was Het argument tegen rekenmachines “je hebt niet altijd een rekenmachine bij je dus je moet het ook zonder kunnen”, met de komst van de smartphone waar we tegenwoordig bijna mee vergroeid zijn is dat argument komen te vervallen. Ik zie dat argument niet terugkomen voor AI.
Ik denk dat dat hem erin zit dat AI op een hoger cognitief niveau dingen overneemt. Dat ik van 82 boodschappen niet de totaalprijs uit mijn hoofd kan berekenen, voelt niet als een cognitieve tekortkoming. Prima dat een calculator/kassa dat doet. Maar dat de AI een blog schrijft (getraind op mijn tone of voice) en ik alleen maar “ja best aardig, publish” doe, dat voelt een ander niveau. Waar ben ik dan nog voor nodig?
Het zal niet direct gaan over het schrijven van een blog, maar er wordt serieus gekeken naar toepassingen van taalmodellen in de klantenservice.
- Is de ontvangen brief/email positief of negatief?
- Wat zijn de kernpunten (in een geschikt formaat voor ons statistiekpakket)?
- Is een reactie op de brief/email nodig?
- Schrijf een (concept-) reactie op de binnengekomen brief of email.
Dit alles met het doel om routinewerk sneller en beter te kunnen doen.Mee eens, maar ik denk dat het wel belangrijk is om dat te nuanceren:
Ik vind dat je van die 82 boodschappen wel uit je hoofd de totaalprijs moet kunnen inschatten met een marge van, laten we zeggen, plus of min een kwart. Prima dat de calculator/kassa het exacte bedrag doet, maar als er iemand per ongeluk een komma verplaatst moet dat wel meteen opvallen.
Als een leerling/student recent een paper over een onderwerp zelf heeft geschreven, dan kan hij/zij prima tijdens de les (of in een kwartiertje erna) met pen en papier de hoofdlijnen daarvan samenvatten op een half A4-tje. Als dit niet lukt en zelfs de belangrijkste lijnen uit het paper niet gerepliceerd kunnen worden, dan is de kans groot dat er fraude in het spel is, lijkt mij. Of daar nou een GPT-tool bij betrokken was of dat het huiswerk door iemand anders gemaakt werd, maakt dan geen verschil.
Dat is waar. Vind je dan dat de docent dit op basis van willekeur moet kunnen doen, of moet de docent iets van een onderbouwing geven als deze zegt “volgens mij heb jij dit niet zelf geschreven”?
Deze methode is een variant op “bewijs je eigen onschuld”.
De Afdeling bestuursrechtspraak denkt daar toch anders over: “Dat bij twijfel aan de authenticiteit van het ingeleverde werk van de student wordt gevraagd om het werk toe te lichten en eventueel ook een nadere opdracht te maken, betekent dus ook niet dat sprake is van een omkering van de bewijslast, zoals [appellante] aanvoert.” (ABRvS 26 juli 2023, ECLI:NL:RVS:2023:2874, r.o. 5)
Geef chatgpt de opdracht “genereer een samenvatting van deze tekst in x woorden” en leer die uit je hoofd.
Misschien dat AI een aanleiding kan zijn dat onderwijs weer meer op kennis gaat inzetten, omdat kennis het enige is waarmee we zin van onzin kunnen onderscheiden. Gaat ook beter klassikaal. En dat we het aanleren van toepassingsgerichte zaken meer aan stagebedrijven overlaten.
Voor de student heb ik als tip: “Ga naar je docent en vraag: Ik heb dit echt zelf geschreven en wil graag dat u mij geloofd. Wat kan ik nu nog doen om u hiervan te overtuigen?”
Grote kans dat hij een paar onzin vragen stelt en dan zegt: ? ik geloof je.
Ik lees hierboven veel reacties over bewijs je eigen onschuld… Maar onderwijs is geen strafzaak. Het werkt andersom: Studenten moeten laten zien dat ze klaar zijn voor een examen(jaar) voor ze daaraan mogen deelnemen.
Examenopdrachten zijn vaak wel goed geregeld, voor alle andere dingen is er inderdaad vaak sprake van een bepaalde mate van subjectiviteit en willekeur… Zie het maar zo: in het echte leven krijg je soms ook te maken met diverse pipo’s (kan een leidinggevende zijn, of een ambtenaar bv) die onredelijk of onrechtvaardig kunnen zijn. Moet je mee om kunnen gaan. Het onderwijs bereidt je daar goed op voor.
Oh, vraag het gewoon aan AI zelf! 😀
Dit is een interessant stuk van Arnoud Engelfriet over een actueel probleem: hoe ga je om met de verdenking van fraude met ChatGPT in het onderwijs?
Engelfriet schetst de situatie van een leerling die ten onrechte wordt beschuldigd van plagiaat, en de lastige positie waarin zowel de leerling als de docent zich bevinden. Hij benadrukt terecht dat er meer bewijs nodig is dan alleen een vermoeden van de docent.
Zijn suggesties voor de leerling om de beschuldiging te weerleggen zijn nuttig:
Het probleem van de betrouwbaarheid van genAI-detectors wordt ook aangekaart. Dit is een belangrijk punt, want valse beschuldigingen kunnen grote gevolgen hebben voor leerlingen.
Aanvullende suggesties:
Het is belangrijk dat er een open gesprek plaatsvindt tussen docenten en leerlingen over de mogelijkheden en de beperkingen van AI. AI kan een waardevol hulpmiddel zijn in het onderwijs, maar het is essentieel dat het op een verantwoorde manier wordt gebruikt.