Impact van wetenschap anders berekend
Hoeveel impact hebben de verzamelde artikelen van een wetenschappelijke vakgroep precies? Veel bestuurders laten het Leidse CWTS daar antwoord op geven. Maar de gezaghebbende onderzoekers gaan nu hun methode aanpassen.
De twist laait hoog op in het tijdschrift Onderzoek Nederland. Daarin stellen twee wetenschappers dat het CWTS (Centrum voor Wetenschaps- en Technologiestudies) al jarenlang verkeerd bezig is. Een fout zou de uitkomsten van de berekeningen onbetrouwbaar maken. CWTS-directeur Ton van Raan noemt de kritiek “ronduit ridicuul” en schreef een antwoord.
Maar daarin – evenals in een uitgebreider artikel dat hij deze week online heeft gezet – blijkt dat hij ze op een belangrijk punt gelijk geeft. De ‘crown indicator’ van het CWTS gaat op de helling en wordt vervangen door een andere. Daar dachten ze zelf al langer over na, schrijven de CWTS-onderzoekers. Het kan vooral de citatiescore van individuele wetenschappers in sommige gevallen drastisch veranderen.
Hoe berekent het CWTS tot nu toe de impact van wetenschappelijke artikelen? Door te turven hoe vaak andere wetenschappers naar de artikelen verwijzen en dat aantal te vergelijken met het gemiddelde aantal verwijzingen in het vakgebied. Dus als een artikel tien keer wordt geciteerd, terwijl dat bij andere artikelen in dat vakgebied gemiddeld vijftien keer gebeurt, dan scoort het onderzochte artikel onder het wereldgemiddelde.
Tot zover kunnen het CWTS en haar critici elkaar de hand schudden. Maar wat te doen, als je artikelen uit verschillende vakgebieden op één hoop wilt vegen en je de impact van een hele faculteit in één getal wilt vangen? Het CWTS telt dan alle citaten op en neemt daarvan het gemiddelde. Daarna telt het CWTS de gebruikelijke aantallen citaten uit de diverse vakgebieden bij elkaar op en nemen ook daarvan het gemiddelde. Die twee gemiddelden delen zij door elkaar.
Fout, zeggen criticasters Tobias Opthof en Loet Leydesdorff in een artikel. Je moet niet optellen en daarna de gemiddelden delen. Je moet eerst kijken hoeveel impact elk afzonderlijk artikel heeft en daarna de gemiddelde impact berekenen. Dus eerst het aantal citaten per artikel vergelijken met het gemiddelde van het vakgebied en daarna berekenen hoe vaak de artikelen boven- of ondergemiddeld scoren.
Eerder zeiden andere wetenschappers dat ook al, stelt het CWTS. En kennelijk niet geheel ten onrechte. Het CWTS gaat de ‘crown indicator’ aanpassen, omdat de nieuwe berekening ‘consistenter’ is.
Overigens is dit niet de enige kritiek van Opthof en Leydesdorff. Ze hekelen ook de definitie van ‘vakgebied’, waarbinnen het gemiddelde aantal citaten per artikel wordt berekend. Zo’n vakgebied laat zich lastig afbakenen, waardoor volgens hen ook de zeggingskracht van de gemiddelde citatiescore dubieus is. Daarnaast vinden ze het bedenkelijk dat de resultaten van het CWTS normaal gesproken niet repliceerbaar zijn, omdat de data noch de software van het CWTS publiek toegankelijk zijn.
HOP, Bas Belleman
-
23 mei 2012 - 15:04Een minderheid van senatoren in de Eerste Kamer wil de leeftijdsgrens voor alcoholgebruik verhogen van zestien naar achttien jaar. Ook UT-onderzoeker...0 reactie(s) -
23 mei 2012 - 14:36Ruim duizend middelbare scholieren bevolken vandaag het Atrium van Ravelijn. Zij presenteren daar tijdens de finale van de EurekaCup hun ontwerp voor...0 reactie(s) -
23 mei 2012 - 13:21Het college van bestuur steunt de Visie Sport die de Student Union dit voorjaar presenteerde. Dat betekent dat de prijs van de Xtra-card niet omhoog g...2 reactie(s) -
23 mei 2012 - 10:19Hoogleraar design engineering Fred van Houten van de Universiteit Twente krijgt maandag 4 juni de Gold Medal uitgereikt van de Amerikaanse Society of...2 reactie(s) -
23 mei 2012 - 09:07De een zijn dood is de ander zijn brood. Nederland zou hoogopgeleide Grieken, Portugezen en Spanjaarden hierheen moeten halen, nu er in hun eigen land...1 reactie(s) -
23 mei 2012 - 09:01Staatssecretaris Zijlstra vindt het belangrijk dat studenten goed worden voorgelicht over een lening bij DUO, maar hij wil het ook niet overdri...0 reactie(s) -
23 mei 2012 - 08:48Formeel heeft de Tweede Kamer nog steeds geen beslissing genomen over het afschaffen van de basisbeurs voor masterstudenten. Het debat hierover...0 reactie(s) -
22 mei 2012 - 16:14De redactie van UT Nieuws organiseerde in samenwerking met Studium Generale vandaag, dinsdag 22 mei, in het Theatercafé een talkshow. Aan...0 reactie(s) -
22 mei 2012 - 15:19Op het grasveld naast het Capitool organiseerden studentenvereniging ASV Taste en Kennispark Twente op dinsdag 22 mei de jaarlijkse jazzlunch. Medewer...0 reactie(s) -
22 mei 2012 - 15:02Vrouwen, muggen, politiek en de liefde; het kwam allemaal voorbij in de grote tipitent voor de Vrijhof. De drie mannen van de theatergroep Piepschuim...0 reactie(s) -
22 mei 2012 - 11:40Dan Shechtman, Nobelprijswinnaar Chemie 2011, geeft op woensdag 30 mei in gebouw Carre een lezing over zijn ontdekking van quasikristallen. In 1982 de...0 reactie(s) -
22 mei 2012 - 10:56Hoe groen is het gras bij de buren? Dat is het thema van de loopbaanvierdaagse, georganiseerd door de gemeente Enschede, Saxion, Regio Twente, Medisch...1 reactie(s) -
21 mei 2012 - 16:2721 mei 2012 – De twee Amsterdamse universiteiten UvA en VU willen hun bètafaculteiten samenvoegen tot het grootste b...0 reactie(s) -
21 mei 2012 - 15:10De landsadvocaat beweert tijdens de zojuist beëindigde rechtszaak over de langstudeerboete dat er helemaal geen deeltijdopleidingen bestaa...0 reactie(s) -
21 mei 2012 - 15:04En eindelijk was het eens mooi weer voor een voorstelling in de buitenlucht. Vanmiddag konden medewerkers en studenten genieten van een optred...0 reactie(s) -
21 mei 2012 - 11:04Een derde van de studenten leent bij DUO: gemiddeld 365 euro per maand. Toch heeft zeventig procent 4500 euro spaargeld achter de hand....0 reactie(s) -
21 mei 2012 - 10:55Het Musica Silvestra Orkest, onder leiding van dirigent Frans-Aert Burghgraef, geeft twee zomerconcerten om haar muzikale seizoen af te sluiten...0 reactie(s) -
21 mei 2012 - 10:34Studentondernemersdag In The Corridor, aan de Hengelosestraat, vindt morgen een Studentondernemersdag plaats voor ondernemende studenten van de UT en...0 reactie(s) -
19 mei 2012 - 17:25Green Team Twente heeft zaterdagmiddag in Rotterdam de Shell Eco Marathon gewonnen in de urban concept-klasse met als brandstof waterstof. H...0 reactie(s) -
18 mei 2012 - 12:30Tijdens hemelvaart kun je natuurlijk gaan dauwtrappen met een stel vrienden, op bezoek bij familie of gaan picknicken, maar als je bekend bent met de...0 reactie(s) -
18 mei 2012 - 12:24De jaarlijkse studentondernemersdag is aankomende dinsdag, 22 mei, en is bedoeld voor ondernemende studenten van de UT en Saxion Hogeschool. De dag wo...0 reactie(s) -
16 mei 2012 - 17:11Buitenlandse studenten dragen misschien wel 740 miljoen euro per jaar bij aan de overheidsfinanciën in Nederland. Dat stelt het Centraal P...0 reactie(s) -
16 mei 2012 - 15:42Medezeggenschap is niet hip, en maar weinig medewerkers en studenten zijn op de hoogte van de naderende verkiezingen voor de Universiteitsraad. Maar v...0 reactie(s) -
16 mei 2012 - 15:20‘Een dag voor studenten door studenten’, zo kondigt Unionbestuurder Max Haspels de SOFA 2012 aan. Deze studentendag, die op donder...0 reactie(s) -
16 mei 2012 - 13:22Pas volgende week zullen Kamerleden officieel bepalen welke onderwijswetten ze doorschuiven naar het volgende kabinet. Toch is het al ze...0 reactie(s) -
16 mei 2012 - 11:09Na maanden steggelen heeft de universteitsraad woensdagochtend ingestemd met het opheffen van de bachelor onderwijskunde als zelfstandige opleiding. V...3 reactie(s) -
16 mei 2012 - 10:48Buitenlandse studenten krijgen in de toekomst een jaar lang gegarandeerd een kamer in Enschede. Nu hanteert de UT nog een kamerga...0 reactie(s) -
16 mei 2012 - 10:42Aspersies sop, tamaties sop, lenteslaai. De menukaart van de Happietaria klinkt Zuid-Afrikaans. Eten doen we echter voor h...0 reactie(s) -
16 mei 2012 - 09:36Vanuit het project Gezond & Sterk op het Werk worden volgende week allerlei activiteiten georganiseerd onder de noemer ‘Voorjaar@UT’....0 reactie(s) -
15 mei 2012 - 11:35De trend zet door: universitaire studenten halen steeds sneller hun bachelordiploma. Vrouwen doen het nog altijd beter dan mannen, en technici...1 reactie(s) -
15 mei 2012 - 10:00De UT heeft tot en met de eerste week van mei 5 procent meer vooraanmeldingen van eerstejaars dan in dezelfde periode vorig jaar. Vooral bedrijfsinfor...0 reactie(s) -
14 mei 2012 - 14:48De uitbraak van legionella afgelopen donderdag in de douches van het Sportcentrum heeft vermoedelijk te maken met een defect in het systeem rondom de...3 reactie(s) -
14 mei 2012 - 13:22Cabezota organiseert op woensdag 23 mei het flat beach handbaltoernooi, ofwel het Fla-BH. Het is de zomerse variant van zaalhandbal en wordt buiten op...0 reactie(s) -
14 mei 2012 - 12:52Britse universiteitsvoorzitters verdienen gemiddeld zo’n 265 duizend euro, exclusief pensioenvergoeding. Nederlandse bestuurders moeten het vana...0 reactie(s) -
14 mei 2012 - 11:44De Europese studentenbond ESU is boos op het conservatieve Spaanse dagblad La Razón. Die krant had de Spaanse studentenleiders niet aan de...0 reactie(s) -
14 mei 2012 - 11:29Volg ons door het konijnenhol en ontdek de bijzondere wereld die Wonderland heet. Maak kennis met de excentrieke bewoners van Wonderland, leer de wijz...0 reactie(s) -
11 mei 2012 - 15:46De UT wil door het ministerie van Onderwijs, Cultuur en Wetenschappen voor de financiering beoordeeld worden op onder andere het aantal spin-of...0 reactie(s) -
11 mei 2012 - 14:15Van 27 naar slechts twee. Dat is de opzet voor de straatlantaarns aan de Viermarkenweg, een veel gebruikte (fiets)route naar de campus. De gemeenten i...6 reactie(s) -
11 mei 2012 - 13:50Het sportcentrum van de UT gaat morgen (zaterdag) weer open. Donderdag en vandaag was het complex dicht vanwege een legionella-uitbraak. Alle leidinge...0 reactie(s) -
11 mei 2012 - 11:32De organisatie van de afgelopen Batavierenrace maakt zich grote zorgen om de race van 2013. De reden: er zijn geen commissieleden te vinden die het ev...1 reactie(s) -
10 mei 2012 - 16:01Green Team Twente heeft vanmiddag in de Vrijhof haar zelfgebouwde en ‘extreem duurzame’ auto onthuld. Het team doet volgende...0 reactie(s) -
10 mei 2012 - 14:33Het Sportcentrum op de campus is vandaag per direct gesloten nadat er een legionellabesmetting geconstateerd is. Tijdens een periodieke routinecontrol...0 reactie(s) -
10 mei 2012 - 10:05Op de Vrije Universiteit heerst onrust over bezuinigingsplannen en een reorganisatie waarbij vierhonderd banen moeten verdwijnen....0 reactie(s) -
10 mei 2012 - 09:07Sjoerd Ligthart van onderzoeksinstituut MIRA heeft voor zijn promotieonderzoek een computerprogramma ontwikkeld dat het bloedbeeld...0 reactie(s) -
9 mei 2012 - 19:10De 21ste eeuw moet een groene eeuw worden. Die boodschap had Atzo Nicolaï, directeur van DSM Nederland, woensdagmiddag in de jaarlijkse innovatie...0 reactie(s) -
9 mei 2012 - 16:53Het Enschedese hightech bedrijf Axiom IC ontving vanmiddag tijdens de Innovatielezing de Van den Kroonenbergprijs 2012 voor jong ondernemerschap. De p...0 reactie(s) -
9 mei 2012 - 16:46De Marina van Damme-beurs gaat dit jaar naar Aisha van den Abeelen (25), die vorig jaar aan de UT afstudeerde bij de opleiding technische geneeskunde...1 reactie(s) -
9 mei 2012 - 13:36Als Henk Bleker lijsttrekker wordt voor het CDA wil hij het collegegeld voor technische studies 'aanzienlijk' verlagen. Dat is nodig om de Ned...1 reactie(s) -
9 mei 2012 - 11:37UT-hoogleraar tissue-engineering Clemens van Blitterswijk treedt toe tot de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW). De KNAW...0 reactie(s) -
9 mei 2012 - 11:15Ook al is het kabinet gevallen, de Eerste Kamer gaat binnenkort gewoon debatteren over het wetsvoorstel om de topsalarissen voor onder meer onderwijsb...0 reactie(s)
Talkshow U-raad
Mijn outfit
Recente reacties
- Twee sportmomenten kunnen
15 uur 32 min geleden - Graag nog meer informatie en
15 uur 48 min geleden - Inderdaad! Aangepast.
21 uur 24 min geleden - dedign -> design (inleiding)
21 uur 26 min geleden - Is er wel echt een tekort aan
21 uur 45 min geleden - Weer een goed verhaal Beer!
1 dag 9 uur geleden - Attention: most of the
1 dag 12 uur geleden - Volledig programma:
4
1 dag 18 uur geleden - Dank allen voor de fijne en
2 dagen 8 uur geleden - Inderaad. Toevallig met die
2 dagen 15 uur geleden
Reacties
Nieuwe reactie inzenden