Een van die artikelen was van de Leidse hoogleraar psychologie Bernhard Hommel.
Waar ging uw artikel over?
‘Heel in ’t kort: tweetalige mensen zijn uiteraard beter in taal-gerelateerde taken. Soms zijn ze dat ook in taken die niets met taal te maken hebben. Wij hebben een aantal mogelijke verklaringen daarvoor onderzocht, en bij eentje daarvan vonden we een effect.’
Maar de mensen van dit Science-artikel niet.
‘Inderdaad. Die replicatie-poging is heel netjes verlopen, net als het contact met de onderzoekers. Zij hebben het volgens mij heel goed gedaan.’
Is het vervelend, als dit gebeurt?
‘Nou, wij waren geen enthousiaste voorstanders van die bilingual benefits, wij waren daar kritisch over. Nu is er aanleiding om nog kritischer te zijn. Overigens had een Belgische studie eerder al onze resultaten wèl gerepliceerd, met een groter aantal proefpersonen. Dus het is één keer wel gerepliceerd, en één keer niet gerepliceerd. Deze studie toont niet aan dat onze bevinding niet bestaat, alleen dat ‘ie niet gerepliceerd is. Als ik daar ongelukkig over was, zou ik wel een erg slechte wetenschapper zijn.’
Valt er desondanks iets aan te merken op het stuk in Science?
‘Stel: ik zit in dat replicatieteam. Dan hoop ik natuurlijk dat ik kan aantonen dat de grote mensen in het vak het misschien niet zo goed gedaan hebben. Dat werd in de hand gewerkt door de opzet: ze kozen er niet voor om honderd willekeurige studies over te doen, de onderzoekers mochten kiezen. Dat maakt de kans op niet-replicaties natuurlijk stukken groter.’
Zouden wetenschappers elkaars proeven vaker moeten overdoen?
‘Sure. Dat is ook wat de initiatiefnemers van dit onderzoek zeggen: mensen vinden het vaak minder wetenschappelijk om een proef over te doen. Daar zou meer waardering voor moeten zijn. Aan de andere kant: als ik op mijn eigen vakgebied – dat weinig met tweetaligheid te maken heeft – een echt interessante bevinding heb, dan kan ik er voor honderd procent vanuit gaan dat iemand in de VS dat gaat nadoen. In die zin is bijna al mijn onderzoek wel eens gerepliceerd. Er zijn echter ook vakgebieden waarin dat veel moeilijker gaat, omdat het onderzoek kostbaar en tijdrovend is, de sociale psychologie bijvoorbeeld.’
In veel wetenschapsgebieden vinden we de uitkomst statistisch significant als de kans op toeval vijf procent is. Dat is nog best hoog. Zouden we de eisen niet wat moeten opschroeven?
‘Nee. Als je dat doet, verlaag je weliswaar de kans op een vals-positieve uitkomst, maar het is onzin om die kans heel klein te willen houden. Je wil namelijk ook de kans op een vals-negatieve uitkomst klein hebben. We zijn nieuwsgierig, en we willen geen effecten missen die er in werkelijkheid wel zijn. Dus is het een balans. En dus is het goed om studies te repliceren.’
BB