Stuntelen met statistiek | Geen strenger, maar beter beleid | Open Acces | Open Acces (2)
Stuntelen met statistiek
Het onderzoek van Hoekstra (Mare, 15 oktober) over het gebruik van statistiek in psychologisch onderzoek onthult een prangend dilemma van onderzoekers in de psychologie. De opleiding psychologie is tot en met de Research Master gericht op het aanleren van de beste manier om wetenschap te beoefenen en daarmee het vergroten van onze kennis op het gebied van menselijk gedrag. Daarbij hoort bijvoorbeeld, het inzicht dat de significantietoets een suboptimaal middel is om je conclusies over te brengen, en bovendien tot foute interpretaties leidt. Zoals Heiser en Meulemans laten zien, geeft het presenteren van een effectmaat een juister beeld van de onderzoeksresultaten.
Maar dan wordt de student promovendus, en vanaf dat moment richt zij zich samen met haar begeleider nog maar aan drie dingen: publiceren, publiceren en publiceren. Nu is er onderzoek dat onze kennis vergroot over menselijk gedrag, en er is onderzoek dat publicaties genereert. Die twee vallen grotendeels samen, maar niet helemaal; statistisch gezegd: ze correleren, maar ze correleren niet één. Dat komt bijvoorbeeld omdat redacteuren van wetenschappelijke tijdschriften – ook en vooral de prestigieuze tijdschriften- nog steeds significante effecten willen zien; en niet-significante, kleine, maar misschien wel relevante effecten, afwijzen voor publicatie. Eenmaal afgestudeerd en aio geworden, moet niet alleen de degelijke achtergrond in de statistiek maar ook wat de student allemaal had geleerd over het opzetten van onderzoek, het doorlopen van de empirische cyclus en zelfs welke vragen interessant zijn om te onderzoeken, opnieuw worden geapprecieerd in het licht van het nieuwe doel: maximalisatie van het aantal publicaties. Dat is vaak een schokkende ervaring voor de beginnend onderzoeker. Een ‘goede’ begeleider heeft het beste met zijn eigen en de carričre van zijn aio voor, en weet dat een proefschrift vol met baanbrekende nul-effecten, en zonder significantietoetsen, dáárin geen vooruitgang zal brengen.
Het belonen van publicatie-aantallen met carričrekansen, vaste banen, en subsidies is overheersend in alle lagen van de wetenschap: de departementen, NWO, etc. Het is daarom teveel gevraagd aan onderzoekers om het beste voor de wetenschap te doen, zoals ze hebben geleerd in de opleiding, als dat afwijkt van wat het beste is voor hun eigen welzijn. Als we van dat dilemma afwillen en eisen dat succesvol onderzoek ook altijd het beste onderzoek is, moeten we de beloningsstructuur voor carričres herzien op de universiteiten, en de redacties van wetenschappelijke tijdschriften bewerken. Maar dat zal niet meevallen, als je weet, zoals Hoekstra schrijft, dat belangrijke statistici al jaren kritiek leveren op de significantietoets, maar die toets zich daar ook al decennia lang niks van aantrekt.
Dr. Fenna Politiek, medewerker sectie cognitieve psychologie
Geen strenger, maar beter beleid
De Groningse studentenpartijen SOG en GSb zijn onlangs demonstratief opgestapt tijdens een vergadering van de Groningse universiteitsraad over de invoering van het bindend studieadvies (bsa). ‘Het had weinig zin om hier nog te blijven,’ zei Thomas Wagenaar (GSb) in de Groningse universiteitskrant UK. ‘Het besluit was eigenlijk al genomen in een onderonsje.’
Het besluit om het BSA door te voeren wordt volgens de studentenpartijen overhaast doorgevoerd. Er wordt zo bijvoorbeeld niet gewacht op een rapport over het bsa van de Landelijke Studenten Vakbond dat in december uitkomt. Tevens lijkt het college van bestuur zich niets aan te trekken van de tegenvallende resultaten van het bsa op andere universiteiten. De GSb stelt daarom ook terecht dat het bsa een wel erg makkelijke maatregel is om onder studenten uit te komen die wat meer begeleiding nodig hebben.
Wat dit betreft lijkt er ook een sterke parallel te bestaan tussen het Leidse en het Groningse college, want ook hier zijn, en worden, veel maatregelen doorgevoerd met een zelfde strekking: als je het onderwijs niet aankan, dan mag je vertrekken. Denk hierbij aan het bsa, de Leidse ‘Harde Knip’, dat er minder herkansingsmogelijkheden zijn, of dat de cijfers van studenten rechten na vier jaar vervallen. Het zijn voornamelijk maatregelen die kijken hoe de studenten die hun opleiding met minder succes volgen (door bijvoorbeeld het afleidende studentenleven) zo snel en goed mogelijk van hun opleiding weg te krijgen. De maatregelen gaan voorbij aan de vraag hoe het onderwijs zou kunnen worden verbeterd.
Maar naast dat de maatregelen voorbij gaan aan het kijken naar de oorzaken van het lage studierendement, lijken zij ook niet de gewenste resultaten te boeken. Zo geeft ook de taskforce Studiesucces aan: ‘Ondanks de verschillende maatregelen die de afgelopen jaren in gang zijn gezet laat het onderwijsrendement (…) universiteitsbreed sterk te wensen over.’ Echter in plaats van dat men de eigen houding kritisch onder de loep neemt, blijven het college en het merendeel van de faculteiten dergelijke repressieve maatregelen nemen.
Dat repressieve maatregelen niet of zelden werken, is uit de criminologie bekend. Mensen denken namelijk snel dat het wel goed met hen komt en dat de maatregel niet voor hen bedoeld is. (‘Weliswaar heb ik mijn tentamen nu niet gehaald, maar bij de herkansingen moet het zeker wel lukken. Die bsa gaat dus niet op voor mij’) Maar tegen de tijd dat zij de dupe worden van de regeling is het al te laat, er is geen tijd meer om van houding te wisselen. Mensen denken er simpelweg niet maanden van te voren over na of ze wel een goede studiehouding hebben.
Kortom, het voornaamste wat maatregelen als het beperken van het aantal herkansingsmogelijkheden hebben is dat zij de studie alleen maar ontoegankelijker maken. In het bijzonder geldt dit voor mensen die minder gefortuneerd zijn, aangezien zij hun verloren collegegeld harder zullen missen. Integendeel, er zou moeten worden gekeken naar hoe het onderwijs kan worden verbeterd; hoe studenten beter bij de les kunnen worden gehouden.
Veel studenten hebben zo bijvoorbeeld maar erg weinig colleges waardoor het voor veel studenten moeilijk is om een gezond studieritme vol te houden. Tevens schiet de begeleiding van studenten vaak tekort doordat studieadviseurs te kampen hebben met een hoge werkdruk of dat collegezalen vaak massaal zijn. Men zou hierna moeten kijken eer men met harde maatregelen komt aanzetten.
Maar boven alles zou men zich in het verbeteren van het onderwijs allereerst moeten laten leiden door empirische gegevens en niet simpelweg zich er van af maken door te zeggen, zoals de taskforce Studiesucces dat doet, ‘niet praten maar doen.’ Integendeel: ‘eerst denken, dan doen.’
Stefan Beck, Leidse Studenten Unie
Open Acces
In het interview met NWO-voorlichter David Redeker (Mare, 5 nov) beaamt hij de stelling: ‘op dit moment kan ik onderzoek dat met mijn belastinggeld is betaald niet zomaar inzien.’
Juist dit punt komt altijd naar voren in het betoog als reden voor het gebruik van Open Access-tijdschriften: een gratis internet tijdschrift als alternatief voor een (veel te) duur abonnement op een wetenschappelijk tijdschrift. Opmerkelijk! Want sinds decennia hebben wij toch al een UB, waar elke Nederlander lid van kan worden; op dit moment voor 20 euro per jaar, studenten en medewerkers zelfs gratis. De UB is een instelling die met ‘mijn belastinggeld’ wordt betaald en waar ik zomaar alle publicaties kan inzien!
Wat overigens niet wegneemt dat juist die UB's worden kaalgeplukt met de torenhoge abonnementsgelden die uitgeverijen (zonder motivatie) durven te vragen. Als gevolg hiervan moeten abonnenmenten worden opgezegd, of kunnen er minder boeken worden aangeschaft omdat het budget opgesoupeerd wordt door de tijdschriften. Dus Open Access is een prima ontwikkeling om de dominante monopoliepositie van de uitgeverijen te ondergraven.
Maar het feitelijke probleem is dus niet dat het aanbod op dit moment ontoegankelijk is, maar dat de hoge abonnementsprijzen ervoor zorgen dat het publiek toegankelijke aanbod steeds schraler wordt.
Marian Klamer, Leiden University Centre for Linguistics (LUCL)
Open Acces (2)
Een ander steeds urgenter argument is de hoge kosten die de gesloten tijdschriften rekenen aan de universiteitsbibliotheken voor de abonnementen. Daardoor kunnen die - ook in rijke landen als NL- zich alllang niet meer alle nodige abonnementen permitteren. NWO wil het OA proces versnellen niet door zijn subsidianten te verplichten zoals NIH, de Welcome Trust en andere fondsen al doen, maar door gevestigde onderzoekers aan te moedigen in OA tijdschriften te publiceren en door de kosten verbonden aan OA publishing te betalen.
De eerste methode lijkt redelijk maar werkt in de praktijk niet. Immers, de toppers publiceren niet in hun eentje, maar samen met hen die ze het werk laten verrichten En OA gaat in het algemeen nog niet gepaard met een hoge c.i. Het is derhalve niet genoeg dat de onderzoekers worden aangemoedigd, ook hun werkgevers en financiers moeten hun gedrag veranderen en wel door de c.i. als maatstaf voor prestatie en kwaliteit los te laten Wat niet gauw zal gebeuren want de c.i. score is zo comfortabel omdat de beoordelaar er niet op kan worden aangesproken. Voor dit probleem is gelukkig een eenvoudige en kosteloze oplossing. Vermenigvuldig de c.i. van OA tijdschriften met een factor 10, geef de jonge OA tijdschriften voorlopig een hoge c.i. en NWO kan zijn OA potje van € 5 miljoen aan onderzoek subsidies besteden.
Dat potje is sowieso volstrekt overbodig
Niet alleen zijn er zoals gezegd voldoende OA tijdschriften, maar bovendien zijn er in ons land de laatste jaren tenminste 27 zogenaamde institutional repositories ingericht door universiteiten en dergelijke instellingen ( http://roar.eprints.org). Iedereen kan daar gratis zijn publicaties/data archiveren en ze zijn daar voor iedereen via internet gratis toegankelijk.
De bekendste zijn DARE, NARCIS en DANS (KNAW&NWO). De kosten uit belastinggeld) die daarvoor zijn gemaakt en nog jaarlijks worden gemaakt zijn niet bekend, maar ik schat dat ze de 5 miljoen aanzienlijk overstijgen. NWO gaat dus betalen voor wat al betaald wordt en dat in een tijd van deplorabele bezuinigingen aan de universiteiten.
Tenslotte meent men bij NWO dat verplicht OA publiceren nog wel een paar jaar op zich zal laten wachten "omdat de peer review en archivering in goede handen zijn bij de gevestigde uitgevers en dat moet zo blijven”
Daarmee geeft NWO de indruk dat deze functies bij de OA uitgevers minder goed zouden zijn, doch daar zijn geen bewijzen voor. Door dergelijke ongefundeerde uitspraken kan OA worden vertraagd en worden het publiek en de vele toch al weinig “OA minded “onderzoekers misleid.
In het licht van het bovenstaande zou het te wensen zijn dat de media waaronder MARE eens wat dieper gaan spitten bijvoorbeeld in het onderzoekveld zelf in plaats van te volstaan met het opschrijven van wat woordvoerders en beleidsmakers hen vertellen.
Er is grote behoefte aan meer goed gedocumenteerde voorlichting over OA publishing richting onderzoekers en aankomende onderzoekers want die zijn gemiddeld slecht geinformeerd en wat de boer niet kent dat eet ie niet. Nog een prachtige taak voor MARE!
D.W. van Bekkum, emeritus hoogleraar Leiden & Rotterdam
