引用率真的是评价研究影响力理想的指标吗?

2016-02-22 MedSci MedSci原创

英国医学研究理事会(MRC)——相当于澳大利亚的国家卫生和医学研究委员会最近发布了2014-2015经济影响报告,报告的细节十分有趣。自从2006年,MRC资助的研究发表了超过94000篇出版物,有63000(67%)篇经同行评议。传统的观点认为研究的科技影响力是引用次数。就是在未来或出版后多少年内科学文献引用此研究的次数。不同的领域研究人员的数量不同。所以在某些领域相对小样本的科学工作,即使写出

英国医学研究理事会(MRC)——相当于澳大利亚的国家卫生和医学研究委员会最近发布了2014-2015经济影响报告,报告的细节十分有趣。

自从2006年,MRC资助的研究发表了超过94000篇出版物,有63000(67%)篇经同行评议。

传统的观点认为代表研究科技影响力的是引用次数。就是在未来或出版后多少年内科学文献引用此研究的次数。

不同的领域研究人员的数量不同。所以在某些领域相对小样本的科学工作,即使写出了非常重要的,引人注目的文章,可能也只有那些研究人员数量较多领域的文章引用数量的零头。

认为在小的领域的研究带头人的科技影响力比那些大领域的要小,是不合理的,也是误导。同样,出版时间较短的文献的引用次数自然比那些出版时间较长的文献要少。

标准化论文引用影响

出于这些原因,论文引用分析采用标准化论文引用影响指数(NCI)来调整不同领域的引用量。这样可以用来比较所有研究的资助计划,国内和国际活跃度。

MRC报告提供了一个图表,显示2006-2013MRC所资助的所有研究出版物的NCIs。在这8年间所有医疗健康领域论文的平均NCI为2.08,超过世界平均水平的两倍。

报告中提到世界有超过6百万论文,即1/5(21%)的论文从未被引用过, MRC所资助的只有3%至今未被引用过。

澳大利亚的情况更加难懂。2013年的一个报告比较数据显示澳大利亚的医疗健康论文的引用次数远远超过其他国家。

但我在MRC的报告中却没有发现相应的数据,然而,NHMRC报告这样说:

“出版物的引用贡献实际上是非常扭曲的。很少文章达到了高引用次数,绝大部分文章的引用次数很少,或根本没被引用。”

引用次数只是别的研究人员对你工作感兴趣的衡量方法。

杂志社的论文会向全部或部分人员公开,每日更新的数据统计会显示谁访问过此篇论文,但并不是每个浏览者都会仔细阅读文章,他们有可能只是将文献下载下来或用作其他目的。所以,网站的统计量可能是有所夸大的。

Altmetric

Altmetric是2013年开始逐渐使用的论文评价系统,是用来了解论文的关注度分享情况的指数。包括在社交媒体等新媒体的分享传播等。

MRC的报告了一些数据评估一些研究结果导致的直接的社会和经济影响,远远超过了评价指数本身的数字,包括:

超过4400个对政策和实践有影响的研究,2014年有410例,包括临床指南中引用的472次。

超过1000种产品和干预技术的发展,2014年有126例。

促进88家公司的创立和发展,2014年创立7家新公司。

大约1081个专利——2014年批准了37个,世界范围内与这些专利相关的246个发明已经注册了商标。

2015年我们发表了由NHMRC赞助,医疗健康领域干预性研究的“社会影响”, 我们发现38%的研究项目可以证明有一定的社会和健康服务影响。

我们调查了这些研究项目的特征,与那些没有达到这些影响的研究做了对比。

研究发现,复杂的干预方法,传播和推广的努力,可以在有经验的研究者中广泛传播,并达到一定的政策和实践影响。

然而,这只是在干预结果中的联系,研究人员的进一步推广和研究前后的各种环境因素才最终决定了一个研究是否能产生政策和实践的影响。

基于各种变量因素间复杂的相互关系,似乎没有很好的简单的公式决定哪种研究应该被资助用以达到政策和实践影响。

判断哪种研究应该被资助依旧是一个很不精确的科学。

原始出处:


作者:MedSci



版权声明:
本网站所有注明“来源:梅斯医学”或“来源:MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明“来源:梅斯医学”。其它来源的文章系转载文章,本网所有转载文章系出于传递更多信息之目的,转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
评论区 (4)
#插入话题

相关资讯

哪些因素对文章高被引做出重要贡献?

    纽约大学斯滕商学院的Malissa A. Schilling和Elad Green在Research Policy杂志2011年第10期发表了很有意思的文章,Recombinant search and breakthrough idea-generation: An&n

PNAS:文章被拒 焉知非福

文章被拒,听上去真是一件悲伤的事情呢。然而,塞翁失马,焉知非福,谁又能说这一定是坏事呢。来自澳大利亚、加拿大和美国的三名研究人员本周在《美国国家科学院院刊》(PNAS)上发表文章,称许多被拒绝的文章后来引用率都很高。同行评审(peer review)是目前负责评价和孕育科学研究的主要机制。尽管人们普遍认为同行评审对科学评价很重要,但坊间也盛传顶级期刊存在把关失误,如拒绝开创性的贡献或接受平庸的成果

PNAS:科研合作提高文献引用率

根据最新PNAS上发表的一篇分析研究显示: 研究者之间长期密切合作并共同创作的论文被引用数比短期,少发表的合作关系产生的论文增加了17%。这一发现验证了人们怀疑了很久却没能定量或半定量证明出来的想法,为支持团队合作的研究政策提供了进一步数据支持。本文作者Alexander Michael Petersen工作于意大利的IMT高等研究院,他分析了473位生物学家和物理学家整个职业生涯发表过的论文,包