Het is nog niet eens zo heel lang geleden dat wetenschappers stapels met papieren tijdschriften moesten bewaren en studenten in kaartenbakken op zoek gingen naar bronnen. Met hulpsoftware als Mendeley en Zotero is literatuur bijhouden een stuk makkelijker geworden.

Maar toch vormt de nieuwe generatie hulpmiddelen een gevaar, schrijft wetenschapssocioloog Serge Horbach samen met collega’s in Research Evaluation.

Bronnenonderzoek niet vereist

Waar de huidige hulpmiddelen de onderzoeker alleen helpen met het zoeken naar relevante literatuur, zijn computerwetenschappers bezig om nieuwe tools te maken die nog een stap verder gaan. Deze citatiesoftware is in staat om zelf een tekst te analyseren en die automatisch te voorzien van relevante bronvermeldingen. Je voert een zin, een alinea of zelfs een heel artikel in, en je computer suggereert bij welke alinea je goed ‘Jansen 2020’ of ‘Pieterse 2015’ zou kunnen citeren om je punt te onderbouwen. Eigen bronnenonderzoek is niet meer vereist.

Zo’n uitvinding zou voor onderzoekers veel tijd en moeite schelen, maar volgens Horbach schuilt in dat gemak een groot gevaar, omdat het raakt aan de kern van de wetenschap. ‘Je wil in je literatuur laten zien waar je ideeën vandaan komen en waarop je voortbouwt’, aldus de gastonderzoeker bij het Centre for Science and Technology Studies. ‘Zo verbind je je ook aan bepaalde wetenschappelijke stromingen, of wetenschappers in het bijzonder.

'Daarnaast spelen citaties in het beloningssysteem van wetenschap ook een grote rol. Artikelen noemen vergroot de aandacht voor de auteurs, wat het aantrekkelijk maakt om jezelf of je naaste collega’s te citeren. Met citatiesoftware gaat het op al deze vlakken mis. Je kan de suggesties van de software natuurlijk gewoon gebruiken voor inspiratie, maar de drempel om dat niet te doen, om het gewoon rechtstreeks over te nemen, wordt wel erg laag.’

'Gaming the system'

Dan ligt gemakzucht op de loer, betoogt hij. ‘Deze tools kunnen het schrijfproces gedeeltelijk uit handen nemen, terwijl literatuur bijhouden en begrijpen een van de hoofdtaken is die je als wetenschapper hebt. Je moet het werk van anderen beoordelen en samen met je eigen bijdrage iets nieuws maken. Als je daar de helft van weglaat, dan blijft er toch een vrij schraal iets over. Je wordt er een minder goede wetenschapper van.’

Maar naast dat het onderzoekers mogelijk lui maakt, heeft de automatische bronnenzoeker nog meer problemen. ‘Mensen gaan op den duur snappen hoe ze hun artikelen bovenaan krijgen in de suggesties van dit soort tools, net als bij zoekresultaten in Google. En als we wetenschappers belonen op het aantal citaties hebben we een probleem. Dan wordt het aantrekkelijk om je artikelen zodanig te schrijven dat ze in deze tools naar boven drijven, misschien wel meer dan dat wetenschappers gaan proberen om hun tekst aantrekkelijk en leesbaar te maken. Dat geeft nog meer aanleiding voor bepaalde vormen van gaming the system.’

Ook kan de software het zogeheten Mattheus-effect van wetenschappelijke artikelen versterken. Die positieve feedbackloop is ook te zien bij het uitreiken van beurzen en prijzen. Wie eenmaal een beurs heeft gekregen, heeft in een volgende ronde een veel grotere kans om wederom in de prijzen te vallen. Omgekeerd geldt dat ook: val je vanaf het begin buiten de boot, dan is de kans klein dat je later nog kunt instappen. Zo zullen ook papers waarnaar vaker is verwezen weer sneller door het algoritme worden voorgedragen om opnieuw te worden geciteerd.

En wie denkt dat een algoritme afrekent met de huidige vooroordelen in de wetenschap heeft het volgens Horbach mis. ‘Deze tools baseren hun suggesties op huidig citatiegedrag. De biases die er nu al zijn in de wetenschappelijke literatuur zullen hierdoor enorm worden uitvergroot. Het werkt in het voordeel van mensen die werken bij beroemde instituten en artikelen met positieve resultaten. Ook genderbiases worden versterkt.’

Nog een nadeel: ‘De computer geeft alleen suggesties voor bronnen die je punt ondersteunen en veel minder of geen suggesties voor artikelen die je werk tegenspreken of een nuance laten zien. Dat werkt weer positive citation bias in de hand.’

Peer review

Wie nog enige hoop koestert dat tijdschriften de matige, geautomatiseerde bronvermeldingen zullen filteren mag daar van Horbach ook mee stoppen. ‘Ik heb de afgelopen jaar veel onderzoek gedaan naar de effectiviteit van peer review op het corrigeren van de wetenschap, en acht de kans praktisch nul. Het checken van referenties wordt door maar heel weinig mensen gezien als taak van reviewers, in de laatste plaats door reviewers zelf.’

De citatiesoftware is op dit moment nog niet algemeen beschikbaar, maar Horbach hoopt met zijn oproep het brede gebruik voor te zijn en mogelijk de ontwikkelaars nog in een andere richting te sturen. ‘Laten we niet wachten tot het kwaad is geschied.’