‘Indrukwekkend’, noemt universitair docent cognitieve robotica en kunstmatige intelligentie Roy de Kleijn ChatGPT. ‘Dit is een doorbraak. Tot twee jaar geleden waren dit soort taalmodellen slecht en snapte je meteen dat de teksten niet door mensen waren geschreven. Maar met ChatGPT zijn we een nieuwe fase ingegaan. De kwaliteit is heel goed, het maakt natuurlijk klinkende zinnen.’

Gevolg: docenten worden zenuwachtig, merkt De Kleijn. ‘Ze reageren vrij paniekerig: wat gaan we nu krijgen?’ Zelf blijft hij er neutraal onder. ‘Net als rekenmachines rekenwerk hebben overgenomen, kan ChatGPT schrijfwerk wegnemen. Laat mensen doen waar ze goed in zijn: innovatief denken, en laten we de rest uitbesteden aan technologie.’

Hoogleraar journalistiek en retorica-expert Jaap de Jong is nog wat huiverig. ‘Ik denk niet dat dit goed is voor het onderwijs. Het is belangrijk dat studenten zelf een tekststructuur kunnen verzinnen. Ook originaliteit is belangrijk, maar door voorbeeldteksten te genereren wordt dat ingedamd. Ga maar eens creatief om iets heen denken als er al een heel stuk staat.’

Onbegonnen werk

‘Het verwoorden van een gedachte en argumenten is een vaardigheid waarvan ik vind dat studenten het moeten leren’, zegt Francien Dechesne, onderwijscoördinator van het eLaw-centrum voor recht en digitale technologie en universitair docent ethiek en digitale technologie. ‘ChatGPT confronteert ons met de vraag of onze manier van toetsen nog wel robuust genoeg is. Iedereen heeft veel vragen, maar er zijn nog geen antwoorden.’

Volgens De Kleijn is het echter ‘onbegonnen werk’ om ChatGPT tegen te houden. ‘In de eindtermen staat dat studenten een goed stuk tekst moeten kunnen produceren, misschien moeten we dat aanpassen. Studenten gaan er natuurlijk gebruik van maken, dus we moeten het omarmen.’

Maar: hoe dan? Moet de manier van toetsen op de schop? En kunnen docenten hun studenten nog wel schrijfopdrachten geven?

‘Dit legt een bom onder ons toetsingsmodel’, zegt voorzitter van de examencommissie politicologie en hoogleraar crisismanagement Arjen Boin. ‘Wij moeten de examenkwaliteit borgen, en papers zijn daar, zeker ook bij politicologie, een groot onderdeel van. ChatGPT vormt een directe bedreiging voor die vorm van toetsing. Maar we kunnen niet alles in een keer stilleggen of alleen meerkeuzetentamens geven. En we kunnen docenten ook niet ineens vragen om het hele onderwijsprogramma overboord te gooien.’

Mare benaderde ook andere examencommissies met vragen, maar die wilden hun werkwijze ‘niet in het openbaar bespreken’ of verwezen door naar de woordvoering.

Bespreken en bekritiseren

Leerdoelen aanpassen is volgens Boin nog niet aan de orde. ‘Wij willen onze studenten blijven leren argumenteren. Dat er software is die dat voor hen kan doen, vinden wij nog geen reden om het leerdoel aan te passen. Als ze later politici gaan adviseren, moeten ze dat met eigen argumenten kunnen doen. We zullen wel andere manieren moeten verzinnen om na te gaan of ze hun leerdoel hebben bereikt.’

Dechesne heeft een idee hoe dat kan. Al vóór de komst van ChatGPT maakte ze in haar rechtencolleges gebruik van voorloper GPT-3. ‘Ik haalde het antwoord op een vraag uit GPT-3 en vroeg aan de studenten wat ze van dat antwoord vonden’, legt Dechesne uit. Volgens haar leren studenten juist van het klassikaal bespreken en bekritiseren van argumenten die de chatbot aandraagt. ‘Dus ik ga vanaf nu elk jaar een geautomatiseerd antwoord van ChatGPT op mijn scherm laten zien.’

Universitair docent taalbeheersing Alex Reuneker pleit ook voor die aanpak. ‘Het moet niet de hoofdmoot van je onderwijs worden, maar je zorgt er dan wel voor dat je studenten met dit soort technologie in aanraking laat komen. We kunnen wel doen of het er niet is, maar dat is ook gek.’

Toch schuilt in deze manier van lesgeven ook een probleem, waarschuwt Dechesne. ‘Voor deze methode is veel menselijk contact en feedback nodig. Maar we hebben te maken met grote studentenaantallen, en het kost heel veel tijd die er niet is.’ Bovendien leren studenten dan niet meer om zelf argumenten te bedenken en te verwoorden.

‘Er zullen aanpassingen moeten worden verzonnen’, zegt Dechesne. Maar pen en papier terug in het leven roepen zoals bijvoorbeeld aan Australische universiteiten gebeurt, ziet ze niet zitten. ‘Dan denk je wel heel erg vanuit hoe we kunnen voorkomen dat de status quo zo min mogelijk wordt bedreigd. Ik geloof daar niet in, niet alleen omdat er wantrouwen jegens studenten van uitgaat, maar ook omdat met de hand schrijven niet past bij hun latere werkende leven.’ Daarnaast is het nadelig voor docenten. ‘Het levert een hoop extra werk op omdat het moeilijker leesbaar is en je kan minder goed geanonimiseerd nakijken.’

‘Met pen en papier een scriptie schrijven wordt nogal een probleem’, zegt De Kleijn. ‘Je kunt studenten niet de hele tijd opsluiten tot ze het afhebben.’

Vaardigheden

‘Traditionele leerdoelen zijn sowieso aan het veranderen’, zegt universitair hoofddocent filosofie Jan Sleutels. ‘Er ligt nog wel nadruk op geschreven werk, maar samenwerkingsvaardigheden en mondelinge presentaties worden steeds belangrijker.’

Volgens hem hoeven schrijfopdrachten niet te worden verbannen, maar kunnen ze bijvoorbeeld worden aangevuld met een mondeling tentamen. ‘Dat ze in eigen woorden nog eens vertellen hoe iets in elkaar zit, als reality check. Dat is een perfecte manier om fraude tegen te gaan.’

‘Dan kunnen ze ter plekke laten zien dat ze de stof hebben begrepen en kunnen verwoorden’, beaamt Dechesne. ‘Presenteren en direct reageren op vragen van studiegenoten is een vaardigheid die we kunnen blijven toetsen.’ Maar ook hier geldt weer: ‘Het kost meer tijd.’ Sleutels noemt nog een ander nadeel: ‘De beoordeling is subjectief en nattevingerwerk.’

Overigens is hij nog niet erg onder de indruk van de tekstkwaliteit van de bot. ‘Ik heb laatst wat korte essayopdrachten ingevoerd, maar wat eruit kwam rollen zou ik geen voldoende geven. De tekst is clichématig, oppervlakkig en machinaal.’

‘Wat ik zag, was nogal basaal’, zegt ook hoogleraar rechtsgeschiedenis Egbert Koops. ‘Vermoedelijk merk ik het wanneer een student een tekst van ChatGPT inlevert, maar misschien is dat zelfoverschatting.’ Wel verwachten de docenten dat het op termijn ‘moeilijker of onmogelijk wordt’ om het onderscheid te kunnen maken.

In de ban

Tegen die tijd ‘kun je schrijfopdrachten in tentamensetting laten maken op laptops van de universiteit waarbij de toegang tot ChatGPT is afgesloten’, denkt Reuneker. ‘Dat is op korte termijn op te lossen. De docenten moeten eerst een beetje op de rem staan en niet halsoverkop alles in regels gaan vatten.’

Toch zijn het de docenten zelf die moeten bedenken of en wat er anders moet, zegt universiteitswoordvoerder Caroline van Overbeeke. ‘Opleidingen kunnen dat zelf het beste inschatten. We ondersteunen ze door de informatie van onze interne experts te delen over wat ChatGPT wel en niet kan en wat er tegen fraude kan worden gedaan. We gaan geen tentamenvormen in de ban doen.’

Het gebruik van ChatGPT is volgens haar niet verboden, maar alleen toegestaan als de opleiding daar geen beperking op heeft gelegd. Er is ‘sprake van fraude’ als voor de beoordelaar niet duidelijk is of een gemaakte opdracht van een student of een bot is, of als studenten ‘in eigen woorden een gedachtegang overschrijven’.

Maar: hoe detecteer je dat? Volgens De Kleijn is dat nooit te bewijzen, maar zijn er wel hulpmiddelen die herkennen of iets door een mens of door zogenoemde large language models is geschreven. ‘Zo is er een tool die dat op twee dimensies test: complexiteit, zoals woordvolgorde en hoe waarschijnlijk het is dat het ene woord op het andere volgt, en burstiness: de lengte van de zinnen. Mensen gebruiken lange en korte zinnen door elkaar, terwijl taalmodellen steeds ongeveer dezelfde lengte gebruiken. Op basis van die dimensies kun je bepalen hoe waarschijnlijk het is dat het door een bot is geschreven.’

Maar dat is geen bewijs. ‘Als je tachtig procent zeker weet dat een tekst door een bot is geschreven, kan ik me niet voorstellen dat de examencommissie dat voldoende vindt voor een straf.’

Paniekmodus

De examencommissie van politicologie verwacht een toename van (verdenkingen van) fraude, zegt Boin. ‘Als een docent een klacht indient, moet de betreffende student bij ons aannemelijk maken dat er niet is gefraudeerd, bijvoorbeeld door drafts, savingsdata en aantekeningen te laten zien. Kan een student dat niet, dan kun je als commissie besluiten de klacht gegrond te verklaren. Maar ik ga ervan uit dat de meeste studenten zelf iets willen leren. Bovendien maken zij ook een afweging: word ik gepakt of niet?’

Ook Sleutels verwacht bij de eerstvolgende scriptieronde botteksten te lezen. ‘Maar als je de student en zijn schrijfstijl persoonlijk kent, heb ik er vertrouwen in daar doorheen te prikken.’

‘We moeten niet in de paniekmodus schieten’, zegt Reuneker. ‘Er zal ongetwijfeld eens iets tussendoor glippen, maar ik denk niet dat het tot meer fraude zal leiden dan nu het geval is. Vroeger dacht men dat fotografie de ziel uit de mens zou halen en dat auto’s lopen overbodig zouden maken. Toen Wikipedia kwam, waren we bang dat studenten hun informatie alleen nog maar daarvandaan zouden halen. Dat is allemaal niet gebeurd. Die angsten zijn van alle tijden.’