Nature:英国如何评价指标在科研与管理中的作用

2015-07-20 武夷山博客 科学网博客

2015年7月,英国的一个专家小组发表了“指标大潮:指标在科研评价与管理中的作用之独立审议报告”。专家组组长为苏塞克斯大学科技政策研究所的James Wilsdon教授,成员包括科学计量学、科研资助、科研政策、学术出版、大学管理等领域的专家,以英国专家为主,也包括个别国外专家。博主在这里感谢比利时科学计量学家鲁索教授提供此报告的原文,欲阅读原文者请点击以下链接。原文.pdf 报告主要结论如下:

2015年7月,英国的一个专家小组发表了“指标大潮:指标在科研评价与管理中的作用之独立审议报告”。专家组组长为苏塞克斯大学科技政策研究所的James Wilsdon教授,成员包括科学计量学、科研资助、科研政策、学术出版、大学管理等领域的专家,以英国专家为主,也包括个别国外专家。博主在这里感谢比利时科学计量学家鲁索教授提供此报告的原文,欲阅读原文者请点击以下链接。原文.pdf

报告主要结论如下:

1.存在着推动指标使用的强大潮流。推动因素包括:人们强烈要求对高等教育和科研方面的公共经费支出进行审计与评价;政策制定者要求获得关于科研质量与影响的更具战略性的情报;学术机构需要制定和管理自己的科研战略;大学之间争夺名望、生源、师资力量和资源的竞争加剧;关于科研状况的实时大数据越来越多,分析相关大数据的工具日益强大。

2.在学术研究界,指标之描述、生产与使用仍旧争议不断,仍然可能遭到误解。从好的方面说,定量指标的更广泛使用,关于科研社会影响的一些新型计量指标的涌现,有助于我们向更加开放、更加有利于问责问效、更加结果导向的科研体系的转型。但是,若过分关注一些狭隘的、设计得较糟糕的指标(如期刊影响因子),则会产生负面影响,2013年关于科研评价的旧金山宣言(DORA)就反映了人们对负面影响的忧虑。迄今,全世界已经有570家机构和1.23万名个人在DORA上签字(但请注意,迄至2015年7月,英国只有三所大学,即曼彻斯特大学、苏塞克斯大学和伦敦大学学院在DORA上签字)。这次审议所调查访问的多数人对于科研管理中指标作用之增大持怀疑态度,但也有数量并不少的少数人认为,只要在指标设计与应用过程中谨慎从事,只要数据基础设施不断改善,还是可以支持采用指标的。

3.同行评议尽管有缺陷和局限,但仍在各学科领域获得广泛支持。指标的作用应该是支撑而不是替代专家判断(博主:这是全世界科学计量学专家从未改变过的强烈主张)。同行评议并不完善,但这是我们拥有的学术治理手段中毛病最少的,仍应是对论文、项目申请书、科研人员个人开展评价的基础,也应是诸如科研卓越框架(REF)这样的国家级评鉴的基础。但是,审慎地选择和使用一些定量指标,可以成为其他形式的评价和决策的有益补充。一刀切是不合适的:成熟的科研体系需要专家评价、定量指标和定性指标的有机结合。开展科研评价时,应关注学科背景的差异和学科多样性。学术质量是与背景高度相关的,所以最好是考察反映科研水平的多种质量,而不是追求对科研质量的单一描述或单一测度指标。

4.不适当的指标产生不良的激励。有理由担心,某些定量指标会被操纵,会导致人们不希望见到的结果;期刊影响因子和被引用次数是两个突出的例子。要识别、承认这些不良后果并加以匡正。与此相联系,指标的构造与使用需要更加透明,特别是将指标应用于大学排行和排名表(league tables)的时候。从事科研评价和科研管理的人员要负责任地行事,要尽可能考虑到潜在的负面后果并加以预防,尤其要注意不能造成危及平等和多样性的后果。

5.只有在开放和互操作的数据基础平台上,指标方能实现其潜力。数据是如何搜集的,如何加工的,这些数据在多大程度上可经受得住质询,这些都至关重要。若没有合适的标识符、标准和语义,那搞出来的指标的背景鲁棒性就不够可靠,就不易被理解。……

6.在作者科研产出层次上对REF 2014评价结果的相关性分析表明,对科研人员个体的指标分析得出的结果与同行评议的结果大相径庭,因此,这种分析结果不能代替同行评议。……

7.对于REF而言,目前单用定量指标来对评估单元(UOA)的学术质量进行评价是不可行的。

原始出处:

Wilsdon J.We need a measured approach to metrics.Nature. 2015 Jul 9;523(7559):129. doi: 10.1038/523129a

作者:武夷山博客



版权声明:
本网站所有注明“来源:梅斯医学”或“来源:MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明“来源:梅斯医学”。其它来源的文章系转载文章,本网所有转载文章系出于传递更多信息之目的,转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
评论区 (2)
#插入话题

相关资讯

科研需要兴趣和自信

科研是甘坐的冷板凳的高冷兴趣。我把它归结为兴趣而不是职业是因为把科研当职业干会变得累、浮躁、势利,甚至弄虚作假。一旦走到弄虚作假的地步就与社会上的坑蒙拐骗没有什么两样,只不过科研上的“坑蒙拐骗”显得更高大上,就因为这种高大上其危害的隐蔽性、长期性和短暂“成功”后的喜悦感会让一个人彻底迷失方向。科研是兴趣。这就是我为什么自己坚持从事自然地理的原因。我在考研的时候是考的是人文地理专业的硕士生,因为没有

王善勇:科研的品位与执行力

说到科研的品位,更多时候我觉着应该是对导师的要求。那么什么是科研的品位呢?科研的品位还有高低之分吗?咱们先试着回答第一个问题。一个人在科研上的品位,并不是指这个人表面上拥有多高的地位,掌握多少资源,承担了多少高大上的项目,而是指一个人洞察科学问题的敏锐度,前瞻性与预见性的能力。现在这个时代搞科研,学科已经分得不能再细,远不是牛顿,爱因斯坦那个年代,那种划时代的理论或技术,革命性的原创已经非常艰难,

科研思维与论文写作之“5C”法则

科学研究是开拓求新和严谨求实的有机结合,在科研设计和论文撰写的过程中需要遵循一些基本原则。本文创新性地提出科研思维和论文写作的“5C”法则,包括评判性(critical)、一致性(consistent)、简洁性(concise)、清晰性(clear)和完整性(complete),以期为年轻学者的科研训练和研究生教育提供参考。 科学研究实践可以用胡适先生提出的“大胆假设,小心求证”进行

这些经验帮你科研少走弯路

这实在是一篇少走许多学习弯路的好文章,大家可以好好吸取一下前人的经验。 1. 先看综述,后看论著。看综述搞清概念,看论著掌握方法。 2. 早动手在师兄师姐离开之前学会关键技术。 3. 多数文章看摘要,少数文章看全文。掌握了一点查全文的技巧,往往会以搞到全文为乐,以至于没有时间看文章的内容,更不屑于看摘要。真正有用的全文并不多,过分追求全文是浪费,不可走极端。当然只看摘要也是不对的。

读《学术思想枯竭》联想

阅读肖建华老师文章《学术思想枯竭》,很有启发。先整理一下阅读体会。肖老师是从不同类型学术期刊的角度分析,一类是基础理论类,另一类是应用类。往更大范围说,这也对应于科学和技术。无论是那类学者和期刊,真正能提出创新学术思想的人很少。但相对来说,基础理论是创新的主要源头,但新理论往往无法被老范式的垄断学者接受,新思想开始往往不够完善,搞理论的觉得太粗燥,搞应用的觉得太空虚,一般是上不靠天,下不立地没有市

PLoS Comput Biol:科研合作十条简明规则

在我国,科研合作是一个“老大难”问题。科技界有所谓“四同”说法,即申请课题时同心协力;做课题时同床异梦;荣誉分配时同室操戈;最后落个同归于尽。 Vicens和Bourne(2007)发表的“科研合作十条简明规则”,对避免科研合作的失败具有指导意义。现编译如下: 规则1:不要神马合作都参加,要有取舍。是否参加某个合作项目,要充分考虑自己的科研兴趣、专长和时间。如果不合这些,那么即使合作项目再有诱