De stelling: Hoge impact ≠ hoge kwaliteit

In een zogeheten journal club besprak Jip Ramakers tijdens zijn promotietraject geregeld wetenschappelijke artikelen met collega’s. Hij ontdekte dat belangrijke tijdschriften soms ook matige studies publiceren en maakte daar een provocerende stelling over: ‘The higher the impact factor of a journal the more suspicious one should be of its content.’
Promovendi moeten bij hun proefschrift ook een handvol stellingen voegen. In deze rubriek geven ze uitleg bij hun prikkelendste stelling. Ditmaal Jip Ramakers, die op 8 mei cum laude promoveerde op zijn onderzoek naar de invloed van klimaatverandering op evolutionaire processen bij wilde (koolmees)populaties.

De stelling:

 The higher the impact factor of a journal the more suspicious one should be of its content. 

‘In een journal club kiezen de leden elke week bij toerbeurt een artikel uit dat we samen bediscussiëren. Niemand wil graag dertig pagina’s lezen, dus vaak worden kortere, in het oog springende artikelen gekozen uit high- impacttijdschriften als Nature en Science. Als beginnend PhD’er ben je makkelijk geïntimideerd en dan ziet zo’n artikel er al snel goed uit. Maar tijdens de discussies ontdekten we geregeld dat de data de hypothese niet volledig steunden of ontoereikend waren om goede conclusies te trekken. Met name bij de grote tijdschriften gaat nieuwswaarde soms boven kwaliteit. Hun populariteit wekt de indruk dat de artikelen van hogere kwaliteit zijn, maar dat is niet per definitie zo.

Wetenschappers zijn ook mensen en we willen allemaal publiceren in grote tijdschriften. Ik ook. Een van de hoofdstukken uit mijn proefschrift is gepubliceerd in Nature Ecology and Evolution. Dat komt doordat het een grootschalig data-onderzoek was en doordat we open science hebben gebruikt, iets wat nu hot is. Ik durf te wedden dat het anders niet in dat tijdschrift was gekomen, want we vonden maar een heel klein effect. Dergelijke nulresultaten zijn moeilijk te publiceren. Door op specifieke, modieuze aspecten te focussen, wisten we het artikel toch te verkopen. Ik heb daar geen moeite mee, omdat ik weet dat het kwalitatief goed onderzoek is. Daarnaast vind ik dat nulresultaten gepubliceerd moeten worden, anders krijg je een bias in de literatuur.’

Leave a Reply


Je moet inloggen om een comment te plaatsen.