‘Wij willen graag weten hoe jij je werk ervaart. Juist in deze tijden is jouw inbreng van belang.’

Aldus het college van bestuur in een oproep om mee te doen aan het werkbelevingsonderzoek 2025. Inderdaad: we leven, buiten maar niet minder binnen de academie, in onzekere tijden. En werkbeleving is van belang. Inzicht krijgen in de tevredenheid van medewerkers om knel- en daarmee verbeterpunten te identificeren, is belangrijk.

Dus wij doen mee! Alhoewel… De vragenlijst blijkt een rijke bron van ergernis en misverstand. Resultaat: een stellige indruk dat de kwaliteit van het onderzoek ernstig te wensen overlaat.

Voor elk vragenlijstonderzoek is het essentieel dat deze zorgvuldig wordt opgesteld. Alleen dan is het mogelijk om valide, betrouwbare gegevens te verzamelen, die een juiste reflectie zijn van onderliggende houdingen en opvattingen en de spreiding ervan in de populatie (hier: stafleden universiteit). Dit geldt te meer voor werkbelevingsonderzoek, dat immers mede dient om beleidsbeslissingen te nemen. De uitkomsten doen ertoe voor de Leidse universitaire praktijk van morgen.

Ellenlange vragenlijst

Maar in dit geval liever niet. De door uitvoerder Welliba geconstrueerde vragenlijst is een zo gemankeerd meetinstrument, dat de resultaten geen input mogen zijn van te (her)vormen beleid.

Dan hebben we het niet over smileys om aan te geven hoe we ons hebben gevoeld de afgelopen week, of afbeeldingen van batterijen om ons energieniveau aan te geven. Aardige gimmicks, maar in serieus beleidsgericht onderzoek onder academici niet de meest geëigende techniek, zeker als niet wordt aangegeven waar afbeeldingen voor staan.

En we hebben het ook niet over de herhaalde aanmoediging door een citroen (?) met zonnebril op een skateboard (You are doing well so far, please proceed). Voor de ellenlange vragenlijst, waarvan de weergave van de voortgang ondeugdelijk is, is een dergelijke aanmoediging begrijpelijk, maar dat zou toch op een minder debiliserende manier moeten kunnen. Goed, dit alles zou nog de onhandige verpakking kunnen zijn van een prima inhoud. Maar nee.

De problemen gaan dieper en illustreren de dataverzamelingswet GIGO: garbage in, garbage out. Ten eerste mankeert de uitwerking van cruciale concepten. Zonder heldere concepten waarover wordt gevraagd, kunnen ondervraagden niet begrijpen wat er van hen wordt verwacht, met onduidelijkheid of meerduidigheid als resultaat. Wat is ‘doing quality work’, waar moeten we aan denken bij ‘the culture of your company’, waaraan worden we geacht te refereren bij het aangeven van onze (on)tevredenheid met ‘processes & policies’, etc.? Gevolg: vaagheid, dubbelzinnigheid, en onvergelijkbare gegevens.

Niet alleen bepaalde termen zijn te glibberig om vast te pakken, ook hele vragen zijn zo vaag en multi-interpretabel, dat duister is welk beeld van werkbeleving eruit kan worden gevormd. ‘Do you develop your job-related skills by working on them?’ Welke ‘ze’? ‘Are you optimistic about your future?’ Tja. Over dubbelloopse vragen, die tegelijkertijd op uiteenlopende aspecten betrekking hebben, zullen we niet ingaan. Oké, een enkel voorbeeld: ondervraagden moeten aangeven hoe tevreden zij zijn - hoe ontevreden zij zijn wordt niet gevraagd, omdat kennelijk niet tevreden identiek is met ontevreden – met ‘purpose, impact & meaningfulness of work’. In één moeite door.

Blanco

Tot overmaat van methodologische ramp, is het ook onmogelijk, bij de meeste vragen, om een antwoord schuldig te blijven. Ondervraagden worden gedwongen een inhoudelijke mening te geven, ook wanneer dat in hun ogen onmogelijk of onwenselijk is. U moet iets vinden, en weet niet, niet van toepassing of wil ik niet zeggen doen niet mee. Dit is problematisch, omdat het medewerkers geen ruimte laat om weloverwogen twijfel of terughoudendheid te uiten. Maar wie geen inhoudelijk antwoord geeft, mag niet meer meedoen. Ondervraagden hebben een lastige keuze: mee blijven doen na het geven van een ongeldig antwoord, of afhaken. Voor de kwaliteit van het onderzoek zijn beide opties even desastreus.

Het is nog gekker, eigenlijk. Navraag bij Welliba heeft duidelijk gemaakt dat de vragen waarop gedwongen moet worden geantwoord de kern vormen van hun beschrijvings- en verklaringsmodel van werkbeleving. Aldus bestaat het hart van het werkbelevingsonderzoek uit vragen die of mensen doen aanhaken of doen liegen…

Een erg wankele basis voor beleid.

Extra wrang is het, dat de vele onvolkomenheden in de vragenlijst – in maximaal 1.000 woorden lang niet alle te beschrijven – onnodig zijn. Zeker als het gaat om onderzoek in de categorie werkbeleving. In 2022, bijvoorbeeld, is in de Faculteit der Sociale Wetenschappen de zogeheten personeelsmonitor uitgezet. Op basis hiervan had een van de auteurs samen met collega’s in de betreffende faculteitsraad een overzicht gemaakt van gebreken in de vragenlijst. Die gebreken zijn voorgelegd aan en besproken met de verantwoordelijken. En er werd beloofd dat hiermee bij het opstellen van toekomstige versies van de vragenlijst rekening zou worden gehouden.

Negeren

Het lijkt er sterk op dat dit niet is gebeurd bij het werkbelevingsonderzoek, dat toch in vele opzichten de opvolger is van de personeelsmonitor van toen. Een gewaarschuwde organisatie telt blijkbaar niet voor twee. Of dit gebrek aan lerend vermogen een gevolg is van moedwil of misverstand, laten we hier in het midden. Maar triest is het, dergelijk onvolkomen onderzoek in een universiteit met meer dan voldoende relevante kennis en expertise in huis.

Het is duidelijk: de vragenlijst die gebruikt is voor het werkbelevingsonderzoek voldoet niet aan de vereisten voor een valide en betrouwbare dataverzameling of meting. Voor dit moment is het dan ook zaak de uitkomsten ervan te negeren: uithuilen en opnieuw beginnen, met een grondige herziening van de vragenlijst. Juist omdat onderzoek naar werkbeleving zo belangrijk is.

In de woorden van het college van bestuur: ‘Jouw input geeft waardevolle inzichten voor de organisatie én je team. Zo kunnen we gericht werken aan een prettige werkomgeving.’ Als dat eens zou kunnen, op basis van degelijk onderzoek!

Tim Mickler en Joop van Holsteyn zijn respectievelijk universitair docent en hoogleraar bij het Instituut Politieke Wetenschap