Citatieteller mogelijk naar rechter om ‘rekenfout’

Het Leidse Centrum voor Wetenschaps- en Technologiestudies overweegt juridische stappen wegens smaad tegen twee critici. Het verwijt dat het centrum jarenlang een rekenfout zou hebben gemaakt, schiet in het verkeerde keelgat.

Het is prima om een methodologische discussie te voeren”’, zegt directeur Ton van Raan van het CWTS. ‘Maar dit gaat over de grenzen van de collegialiteit heen. In de Volkskrant opperde Loet Leydesdorff zelfs dat er kamervragen gesteld zouden moeten worden. Bespottelijk.’

De twist tussen Leydesdorff en Van Raan gaat over het berekenen van de impact van wetenschappelijke artikelen middels de zogeheten ‘citatiescore’. Het CWTS turft hoe vaak wetenschappers naar een bepaald artikel verwijzen en deelt dat door het gebruikelijke aantal verwijzingen binnen het vakgebied. Daar volgt een getal uit dat iets zegt over het artikel: is het opgepikt of zakt het weg in de vergetelheid?

Tot zover kan iedereen het volgen. Maar de meningen lopen uiteen als verschillende artikelen op een hoop worden geveegd om hun gezamenlijke impact te berekenen. Het CWTS telt eerst alle citaten bij elkaar op, telt daarna de gemiddelde aantallen citaten in de bijbehorende vakgebieden bij elkaar op en deelt vervolgens die twee sommen.

Volgens Leydesdorff en zijn medeauteur is dat een rekenfout. Het druist in tegen ‘Meneer van Dalen wacht op antwoord’. Je moet eerst delen, en dan pas optellen en aftrekken. Dus eerst het aantal citaten delen door het gemiddelde aantal citaten per artikel in het desbetreffende vakgebied, en daarna van die uitkomsten het gemiddelde berekenen.

Ridicuul om zoiets een rekenfout te noemen, antwoordt Van Raan. ‘Meneer van Dalen wacht op antwoord’ is een ezelsbruggetje voor het lezen van wiskundige formules. Het is geen natuurwet, laat staan een voorschrift. ‘Dan zou ook de thermodynamica rekenfouten maken.’

Het lijkt op laster, vindt Van Raan. Hij vermoedt ook troebele motieven. ‘In Amsterdam lijkt alles wel voorzien van een politiek labeltje. Daar houden wij in Leiden niet zo van. Ik kan het van mijn schouders laten glijden, maar als het onze reputatie beschadigt, moeten we er misschien iets aan doen. Het kan ook zijn dat we het laten overwaaien, want de meeste collega’s snappen wel dat het niet om een rekenfout gaat.’

Maar toegegeven: los van de polemiek heeft Leydesdorff wel een punt en het CWTS was naar eigen zeggen al bezig met een omschakeling naar een andere ‘crown indicator’. Voorlopig gaat het de uitkomsten van de twee rekenmethodes naast elkaar publiceren, alleen al om de lijn met het verleden niet te verliezen. ‘En sommige buitenlandse groepen werken ook volgens de oude methode’, zegt Van Raan. ‘Daar wil je de uitkomsten ook mee kunnen vergelijken.’

Voor individuele wetenschappers kan het verschil flink zijn, maar op het niveau van instituten, universiteiten en landen maakt de methode weinig uit. ‘De ranglijsten veranderen niet’, aldus Van Raan.

Volgens hem hebben beide methoden hun voor- en nadelen. In de berekening van Leydesdorff kan het laatste jaar voor een enorme uitschieter zorgen, als iemand meteen na publicatie twee of drie citaten scoort. ‘Dat kun je oplossen door het laatste jaar weg te laten, maar dan ben je minder actueel. Onze methode dempt het effect uit zichzelf.’