Opinie: Waarom geen wedje leggen?

Hoe een oud idee replicatieonderzoek overbodig maakt

Onderzoek repliceren is universitaire ballast geworden: alleen onthechte idealisten doen er nog aan. Fenna Poletiek stoft daarom een oud idee af dat uitkomst kan bieden: wetenschappers moeten met elkaar gaan wedden.

Voor niet-repliceerbaarheid zijn uiteenlopende verklaringen en appreciaties te geven; maar feit is dat het bericht in Science over de slechte repliceerbaarheid van psychologisch top-onderzoek de psychologie –maar ook andere disciplines- opnieuw confronteert met een hardnekkige paradox.
Moedwillig slecht onderzoek publiceren is niet goed te praten, en gebeurt ook bijna nooit. Maar liever véél publiek-aansprekend dan weínig innovatief en zorgvuldig gerepliceerd onderzoek publiceren, is wel begrijpelijk. Zeker als je met véél en leuk, maar niet met spaarzaam en degelijk werk, een carrière opbouwt, subsidies verwerft en media-aandacht krijgt. En waarom zouden psychologen, méér dan gemiddelde professionals, heilige boontjes zijn?
Een moderne academie heeft een zakelijk belang. Van de wetenschappelijke psychologie en van psychologen wordt geen abstractie meer verwacht, maar bruikbare en begrijpelijke resultaten zonder nuancerende onzekerheden, waarmee de concurrentie met andere onderzoekers en andere universiteiten kan worden uitgevochten. Replicatieonderzoek is in deze moderniseringsslag ballast geworden: alleen onthechte idealisten doen er nog aan. Dat is de paradox: het wetenschapsdoel van betrouwbaarheid en duurzaamheid van kennis is niet altijd ook het persoonlijk belang van de mensen die wetenschap bedrijven. Niemand wil immers op een tijdelijk contract in die ivoren toren. Wat nu te doen?
Hier kan het uiterst ingenieuze ‘Weddenschapsmodel voor Wetenschapsbeoefening’ van dienst zijn, in de jaren tachtig ontworpen door de Groningse hoogleraar psychologie Wim Hofstee: Wetenschap begint pas als twee wetenschappers van vlees en bloed met elkaar van mening verschillen over een te voorspellen effect. Bijvoorbeeld dr. A. beweert dat getrouwde vrouwen rond de eisprong vaak contact zoeken met vrijgezellen. Dr. B. denkt van niet. Ze wedden. Samen zetten ze een onderzoek op dat voor beiden een acceptabele arbitrage van hun weddenschap is, en voeren het onderzoek uit.
Het wedstrijdje - of laten we zeggen: serieus spel - ruimt zonder dwang of moraal twee nijpende problemen op.
1. Triviaal en voorspelbaar onderzoek vindt niet meer plaats omdat niemand erover van mening verschilt. Géén onderzoek meer dus naar de invloed van ambitieniveau op loopbaanontwikkeling…. tot dat, natuurlijk, een onderzoeker opstaat met een theorie die voorspelt dat ambitie (onder omstandigheden) géén invloed heeft op de loopbaan, met die voorspelling het forum op gaat, en een opponent vindt die het met haar oneens is. Dan is dat onderzoek niet langer triviaal.
2. Omgekeerd: hoe spectaculairder de onderzoekshypothesen, hoe betrouwbaarder het onderzoeksontwerp en -resultaat, omdat beide ‘spelers’ elke suspecte poging van de tegenstander om het eigen Gelijk een voordeeltje te geven, onmiddellijk zullen corrigeren. Wie wint krijgt de pot (in eenheden Gelijk of Reputatie). Wie vaak wint krijgt onderzoeksubsidies en een snelstijgende loopbaan.
Het model heeft nog een paar andere aantrekkelijke neveneffecten. De publicatie waarin verslag wordt gedaan van het onderzoek, beschrijft een controverse, en niet, zoals nu gebruikelijk, een theoretische motivatie van de onderzoeksvraag en onderzoekontwerp, een verhandeling die – hoe kun je anders verwachten? – is ingericht op het stutten van de data die verderop staan. In het weddenschapsmodel zijn beide spelers bezig elkaar te overtuigen, en de lezer kijkt mee. Een heel ander format dat de wetenschappelijke schrijfstijl danig kan opfrissen.
Een tweede neveneffect betreft de status van de uitslag van het onderzoek. Ten eerste ligt het onderzoeksresultaat naar verwachting dichter bij de waarheid dan in de vertrouwde gang van zaken, omdat onzuiverheden in het onderzoeks-ontwerp eruit zijn onderhandeld. Tegelijk is een conclusie altijd tijdelijk, want de winnaar kan onmiddellijk weer betrokken worden in een nieuwe weddenschap. Replicatie, alleen om te kijken of het resultaat wel klopt, is niet meer nodig of zinvol: de nieuwste stand van zaken geeft de best beschikbare kennis weer, maar altijd voor zolang als het duurt. Dat wil zeggen: zolang niemand zich meldt die haar Reputatie-Index op het spel wil zetten voor haar betere idee.
Voor de hedendaagse crisis ligt dus misschien een veertig jaar-oude oplossing klaar. Wetenschap als spelletje, voor spelers die willen winnen, en, en passant zulke betrouwbare kennis leveren, dat niemand meer taalt naar een replicatie.

Fenna Politiek is universitair docent bij de sectie cognitieve psychologie

Deel dit bericht:

Voorpagina

Het werkt wel

Wat er allemaal niet deugt aan ontgroeningen weten we nu wel. Maar kan een KMT niet juist …

Achtergrond

Wetenschap

Half aap, half papier

In een stoffige loods in Parijs vond bioloog en Boerhaave-conservator Bart Grob wat al …

Rubrieken

De diepte in

Sander van Hoorn, NOS-correspondent Midden-Oosten en Journalist Fellow van het Leiden …

English page