FoodPro Preloader

Gjennomsiktighet lovet for vitenskapens mest misbrukte og mest villige metriske


For å hjelpe bibliotekarer til å velge tidsskrifter, er den ærverdige effektfaktoren nå mye misbruk som en proxy for kvaliteten på forskningsartikler. Den mest misbrukte metriske i vitenskapen er å få en sminke - selv om mange forskere vil gjerne forsvinne helt. Informasjonsfirmaet Thomson Reuters sier at det vil bli mer gjennomsiktig over hvordan det beregner påvirkningsfaktorer, en årlig rangering av mer enn 10 900 vitenskapelige tidsskrifter som den publiserte 29. juli, s

For å hjelpe bibliotekarer til å velge tidsskrifter, er den ærverdige effektfaktoren nå mye misbruk som en proxy for kvaliteten på forskningsartikler.

Den mest misbrukte metriske i vitenskapen er å få en sminke - selv om mange forskere vil gjerne forsvinne helt.

Informasjonsfirmaet Thomson Reuters sier at det vil bli mer gjennomsiktig over hvordan det beregner påvirkningsfaktorer, en årlig rangering av mer enn 10 900 vitenskapelige tidsskrifter som den publiserte 29. juli, sammen med navnene på 39 tidsskrifter som det utelukker fra listen.

Firmaet, som har hovedkvarter i New York, oppdaterer også sitt kommersielle analyseprodukt, InCites, for å legge til beregninger basert på individuelle artikler, og tillate brukere å lage egne beregninger. Men kritikere sier at det er behov for mer endring.

Effektfaktoren ble oppfunnet for å hjelpe biblioteker til å avgjøre hvilke tidsskrifter som skal kjøpes: Grovt sett tiltrekker en journal med en høyere effektfaktor flere citater. Men det har blitt en forførende målestokk for å dømme forskernes kvalitet og deres papirer - sinne forskere som sier at de dømmes av hvor de publiserer, snarere enn hva de publiserer.

Resultatet er et løp om å komme inn i tidsskrifter med høye konsekvenser, og nesten alle er fornøyd med denne situasjonen, sier Stefano Bertuzzi, administrerende direktør for American Society for Cell Biology i Bethesda, Maryland.

Thomson Reuters sier at problemet ligger i hvordan effektfaktoren blir brukt, ikke i metriske seg selv. Men selv bibliotekarer og journal redaktører er ikke fornøyd, fordi de sier at firmaet ikke er klart om hvordan det beregner metriske. "Vi er ikke sikre på hvor pålitelige dataene deres er, " sier Bernd Pulverer, sjefredaktør for EMBO Journal i Heidelberg, Tyskland, som sier at han har slitt seg for å få sine poeng til å matche firmaets.

Klarere innvirkning?
I fjor koordinert Bertuzzi en uttalelse signert av hundrevis av forskningsorganisasjoner og mer enn 11 000 forskere, San Francisco-erklæringen om forskningsvurdering (DORA), som beklaget misbruk av effektfaktoren og krevde bedre måter å evaluere forskning på. Men han og Pulverer sendte også et privatbrev til Thomson Reuters og ba om å forbedre måten å beregne påvirkningsfaktorer på. Det brev ble aldri besvart, de sier, så videre fredag ​​25. juli, gjorde de det offentlig på DORAs nettside.

Nå sier Thomson Reuters , som sier at det besvarte brevet, at det er "å ta betydelige skritt for å øke gjennomsiktigheten rundt beregningen av Journal Impact Factors". For eksempel vil det tillate (betalende) brukere å se hvert element som er inkludert i beregningen.

Det gir også referansemålinger for artikler, ikke bare tidsskrifter. Nå skal det være mulig for en abonnent å beregne virkningen av en hvilken som helst samling av artikler - enten for en journal, et universitet eller en forsker - og å normalisere disse tellingen, noe som er viktig fordi noen disipliner sier tyngre enn andre, så det er urettferdig å sammenligne biologiske artikler med matematikkartikler, for eksempel.

Er det nok til å hylle kritikken som ligger i Thomson Reuters? "Vi setter pris på disse nye evnene, men Thomson Reuters legger på brukeren, " sier Bertuzzi. Det er et problem, sier han, fordi forskerne fortsatt vil foretrekke et "offisielt" nummer. Han vil at firmaet skal forbedre sine publiserte beregninger - for eksempel, unntatt gjennomgangsartikler fordi de inneholder mange flere sitater enn forskningsartikler.

Sitat stabling
Thomson Reuters annonserte også at 39 tidsskrifter ikke vil få en effektfaktor i år - et rekordnummer for tidsskrifter som er sperret i ett år - på grunn av overdreven selvbetegnelse eller citationstablering fra papirer i andre tidsskrifter.

En journal som nå er tatt ut i to påfølgende år for citationstablering, er International Journal of Sensor Networks ( IJSN ). Thomson Reuters fant at det var tungt sitert i artikler publisert i Prosedyrene i 2013 IEEE Consumer Communications and Networking Conference. Og to artikler i de saksbehandlingene som siterte IJSN tungt var medforfatter av IJSNs redaktør, Yang Xiao. IEEE (Institutt for elektriske og elektroniske ingeniører) sier at det vurderer situasjonen og "vil ta passende tiltak som anses nødvendig".

Xiao, en datavitenskapsforsker ved Universitetet i Alabama i Tuscaloosa, hadde allerede sett IJSN censured for samme praksis i fjor da Thomson Reuters fant et 2011-papir i Journal of Parallel and Distributed Computing som inneholdt sprekker av referanser til IJSN . Igjen hadde Xiao medforfatteren av papiret. I februar i år ble det trukket tilbake av sin utgiver, Elsevier, som sa at den brøt politikken sin for citation manipulering. Xiao hadde ikke svart på en e-post da denne artikkelen ble skrevet.

Metrisk utfordring
For å falle sammen med Thomson Reuters kunngjøringer, lanserte en gruppe fysikkjournalredaktører også et forsøk på å dike journalistens avhengighet av virkningsfaktoren helt til fordel for sitt eget mål basert på en åpen sitasjonsdatabase.

I fjor, nektet Thomson Reuters Journal of Instrumentation en innvirkningsfaktor fordi den hadde blitt sterkt krysscitert av elektronikkingeniør Ryszard Romaniuk i en serie av papirer i SPIE Proceedings . Etter mye argument ble journalen, som ble publisert av London-baserte Institute of Physics og Italian International School for Advanced Studies (SISSA), gjeninnført. Men "forsinkelsen skadet omdømmet til journal og dets forfattere, ikke minst for den manglende klarhet som problemet ble håndtert", sier Enrico Balli, daglig leder i SISSA Medialab, et non-profit selskap eid av SISSA .

I stedet har Balli ført til utviklingen av en parallell journal-effektfaktor, kalt Jfactor, som er basert på åpne data samlet av INSPIRE - et system med informasjon om høy-energi-fysikkartikler og sitater bygget av Fermilab, CERN og andre laboratorier. Hvis fysikkjournaler vedtar det, vil Thomson Reuters 'proprietære metriske ikke være nødvendig, bemerker han.

Bertuzzi håper at andre som målinger vil få popularitet for å vurdere enkeltpersoner. Og på en DORA-nettside som ble oppdatert 29. juli, samler han og andre eksempler på god praksis i forskningsvurdering som helt og holdent unngå konsekvensfaktorer. "Vi kan diskutere alle beregninger du ønsker, men i siste instans er det det som er i et papir som virkelig betyr noe, " sier han.

Denne artikkelen er reprodusert med tillatelse og ble først publisert 20. juli 2014.

Hot Spot Hot Rod: Internett Invaderer AutomobileRinger av Saturn og 2 Moons Shine i nydelig NASA PhotoAntarktis Lake Vostok May Hold Extreme LifeÅ gjøre de store Apple Green Starts med Empire State BuildingSaint Patrick's Day Science: Brew Up Some Green Soda Pop!Incognito Caterpillar truer amerikanske grenserAfrika Faces Hotter FutureEt resirkulert univers