Het is de klacht van veel boekenschrijvende wetenschappers: hun soms vuistdikke pennenvruchten vallen buiten de radar van citatie-indexen. Leids hoogleraar Ton van Raan wil nu een index speciaal voor boeken ontwikkelen.
Vooral alfawetenschappers kunnen profiteren van zo’n geavanceerde boeken top-tien. Boeken zijn voor veel alfa’s - anders dan bij bijvoorbeeld bčta’s - een normale manier om wetenschappelijke ontdekkingen wereldkundig te maken. Maar de huidige citatie-indexen turven alleen de impact van tijdschriftartikelen. En die indexen bepalen vaak weer waar geld heen gaat.
Van Raan, hoogleraar van het Centrum voor Wetenschap- en Technologie Studies, doet mee aan een internationaal Book Citation Index-project. Initiatiefnemer is Steven Harnad van de universiteit van Southampton, expert op het gebied van Open Access. Een subsidieaanvraag is reeds ingediend bij de Amerikaanse National Science Foundation. Als de boekcitatieindex er komt zou dat een primeur zijn.
Van Raan denkt dat het mogelijk is om de kwaliteit van boeken te meten door ‘boek-naar-boek verwijzingen’ te tellen in de voetnoten en literatuurlijsten in een boek. Niet handmatig, maar met speciaal te ontwikkelen software die losgelaten kan worden op gedigitaliseerde boeken. Obstakel is dat de literatuurverwijzingen in boeken niet uniform zijn, anders dan bijvoorbeeld de citatie-gewoonten in de belangrijkste tijdschriften. Toch denkt de hoogleraar dat technisch mogelijk is.
Juist vorige week startte er een speciale commissie van de Koninklijke Nederlandse Akademie van Wetenschappen die eerlijke meetinstrumenten moet gaan ontwikkelen voor de kwaliteit van de alfawetenschap. De commissie ‘Kwaliteitsindicatoren Geesteswetenschappen’, met daarin onder meer de Leidse hoogleraar Paul Rutten, wil binnen een jaar een ‘eenvoudig en adequaat systeem van kwaliteistindicatoren’ hebben ontworpen. Er wordt een onderzoeker aangetrokken die de komende tijd op pad gaat om gegevens uit het veld te verzamelen.
Het kabinet hoeft een minder grote inhaalslag te maken op het gebied van overheidsinvesteringen in het onderwijs dan werd verwacht.
Probleem is niet enkel de kwestie van het medium (boek of tijdschrift); het gaat ook over de taal. Nu kijken kwaliteitsmetingen vooral naar Engelse publicaties, terwijl er bij de alfa’s juist veel Duitse en Franse toptijdschriften bestaan. Daarnaast wil de commissie ook kijken of de maatschappelijke impact van wetenschappers valt te meten. Denk aan publieksoptredens of opiniestukken in NRC Handelsblad. De redenering is dat alfa’s niet voldoende waardering krijgen voor die publieksfunctie.
De kwestie is geen specifiek alfa-probleem. Ook, bijvoorbeeld, bouwkundigen uit Delft worden afgerekend op Engelstalige tijdschriftartikelen, terwijl die in hun vakgebied geen prominente rol spelen. Andersom geldt dat sommige alfa’s juist wel in Engelstalige tijdschriften publiceren, zoals bijvoorbeeld de linguďsten. Ook zijn de publicatiegewoonten aan het verschuiven: alfa’s schrijven steeds minder boeken.
Het ontwerpen van een eerlijk meetinstrument voor een zo divers vakgebied is dus een schier onmogelijke klus. Daarbij komt dat het meetinstrument – zodra het gezag heeft - onvermijdelijk datgene wat het meet gaat beďnvloeden. Nu staat er een bonus op het publiceren van zoveel mogelijk artikelen in tijdschriften. Dus gebeurt het dat wetenschappers hun vondsten in stukjes knippen om maar zoveel mogelijk tijdschriftartikelen te produceren. Als je straks credits krijgt voor het schrijven van boeken, is het juist denkbaar dat wetenschappers die artikelen samenvoegen en juist ISBN-nummers gaan verzamelen. Een meetinstrument is in dit geval ook een stuurmiddel.
Discutabel is het plan van de KNAW-commissie om ook maatschappelijke impact van de Geesteswetenschap te honoreren. Waarom zou een alfa die op tv komt wel een bonus krijgen en een sterrenkundige niet? Professor Van Raan waarschuwt dat het lastig te bepalen is wat wel en wat niet meetelt. Een optreden bij Pauw & Witteman? Een lezing in een zaaltje in Winschoten? Bovendien dat je moet oppassen voor het ‘cumulatieve effect’ van publieksoptredens.
Uit zijn onderzoek blijkt dat wetenschappers die al een keertje door de krant zijn gevraagd, relatief steeds vaker worden gevraagd. Ze zaten in de kaartenbakken als expert. ‘Dat werkt vertekenend.’ Toch zal de commissie iets met die maatschappelijke relevantie moeten doen, meent de citatie-expert, anders denken wetenschappers dat ze voor die taken niet worden gewaardeerd. ‘De ultieme test dat de commissie met een meetinstrument komt dat acceptabel is voor diegenen die het betreft, de geesteswetenschappers in het veld. Er moet een brede consensus zijn. Ontbreekt die, dan werkt het niet.’
