Een van de nieuwe ‘buzzwords’ die je bijna overal hoort, is evidence-based policy, oftewel beleid bepaald op basis van gedegen wetenschappelijk onderzoek en feiten. De universiteit – de plek waar de zoektocht naar ‘evidence’ de topprioriteit heeft – blijft echter achter. Hier voeren we soms beleid waarvan de wetenschap allang bewezen heeft dat het ineffectief is. Mijn grote frustratie: vakevaluaties door studenten.

Deze zogeheten SETs (Student Evaluations of Teaching) – zijn de grootschalige vragenlijsten die studenten na ieder vak moeten invullen. Er wordt gevraagd of de docent goed lesgeeft, of ze vinden dat ze veel hebben geleerd, en of het vak bijdraagt aan het leren kritisch na te denken. Daarnaast is er altijd nog open ruimte, waar studenten overige opmerkingen kunnen maken of tips kunnen geven.

Op het eerste gezicht lijkt dit misschien heel nuttig, maar de wetenschap heeft afgelopen decennia laten zien dat dit fors tegenvalt. Het doel van vakevaluaties door studenten is tweeledig. Enerzijds moeten ze docenten handvatten geven om het onderwijs te verbeteren. Anderzijds gelden ze als beoordeling van het geleverde onderwijs en de docent. Evaluaties zijn daarmee belangrijk voor docenten om hun baan te behouden en bepalen mede welke docenten worden bevorderd naar een nieuwe salarisschaal en functie.

De studentevaluatie als middel om de prestatie van docenten te meten is het meest problematisch. Diverse studies laten zien dat de correlatie tussen de kwaliteit van de docent en de score op evaluatie bijna nul is. Met andere woorden: een hogere evaluatie hangt nauwelijks samen met beter onderwijs. Een goede evaluatie hangt echter wel samen met andere dingen: het zijn van een man, het doceren van meer gespecialiseerde vakken (master in plaats van bachelor) en etniciteit (witte docenten scoren hoger) – allemaal criteria die niet zijn gerelateerd aan onderwijskwaliteit, maar wel helpen bij het krijgen van een vast contract of een promotie.

Docenten kunnen de scores ook indirect manipuleren. Bijvoorbeeld door minder streng na te kijken of door de evaluatie af te laten nemen voor het eindtentamen in plaats van erna. Immers, studenten verwachten vaak dat ze een tentamen beter zullen maken dan ze in werkelijkheid doen. Hierdoor zijn ze geneigd slechtere cijfers te geven na tentamenafname dan ervoor.

Al met al geeft dit erg weinig reden om de studentenevaluatie serieus te nemen bij de beoordeling van een docent. Daarnaast leiden deze evaluaties ook wel eens tot ruzie: bij Leidse statistici waren ze de aanleiding voor een conflict dat leidde tot de leegloop van het Mathematisch Instituut.

En de evaluatie als middel om je onderwijs te verbeteren? Laat ik voorop stellen dat luisteren naar studenten nooit kwaad kan, en ze soms echt punten hebben die het onderwijs kunnen verbeteren. Echter, een evaluatie achteraf en zonder goede mogelijkheid van terugkoppeling maken de huidige werkwijze weinig waardevol.

Tussentijdse evaluaties waarin studenten feedback kunnen geven zijn bijvoorbeeld veel effectiever. Waarom universiteiten niet juist deze tussentijdse feedback faciliteren is mij een raadsel.

Daarom ben ik het zelf gaan doen. Studenten geven hier geen cijfer aan mij, maar ik vraag ze wel om anoniem minstens één ding te noemen dat ze goed vinden aan het vak, en minstens één ding dat beter kan. De reacties zijn niet alleen veel inhoudelijker dan kritiek achteraf, maar geven ook de mogelijkheid om nog verbeteringen door te voeren bij dezelfde groep. Dit helpt mij als docent, en zorgt er ook voor dat studenten zich serieus genomen voelen. Maar of ik er ook een betere beoordeling door krijg? Ik heb geen flauw idee.

Max van Lent is universitair docent economie aan de Universiteit Leiden