学术评价中勿被定量指标蒙蔽双眼

2017-06-16 | 来源: 林墨博客 | 转到微信 | 有0人参与评论 | 字体: 放大缩小 | 收藏 | 打印

　　《Nature》最新刊出的文章揭示，在《旧金山宣言》和《莱顿宣言》之后，科研评价对定量指标（如“影响因子”）的依赖并未有大的改变。依赖定量指标的科研评价体系只会带来越来越多的“保守”研究，而高创新性的文章极少。

　　注：图片来源于参考文献中的论文（右图揭示创新被认可需要时间）

　　2012年提出的《旧金山宣言》中，学术共同体承诺不再过度依赖影响因子，而去寻找新的研究成果评估方法。但近期发表在《Nature》上的一项研究表明，学术界用来评价学术质量和影响的文献计量指标并未产生大的变化。

　　表面赞赏的研究VS 实际支持的研究常用的文献计量指标依赖短期的数据，科研评审人习惯用评估期刊的影响因子、被引频次、谷歌学术搜索结果来评价候选人及其研究，即使在禁止此类评估方式的欧洲研究委员会，这样的做法仍然很普遍。

　　原文作者采访的评委抱怨，大多数研究者不愿意做“有风险的研究”，而更偏向于保守的、安全的研究。然而，实际情况是，评委在抱怨的同时，自己也在规避科研风险。接受采访的多位科学家表示，他们在经费申请书里不敢提出大胆的研究项目，部分原因是因为怕别人期望他们在高水平期刊上源源不断地发表论文。

　　文献计量指标的地位为什么难以撼动？

　　许多资助机构并不要求申请人报告文献计量数据，但是申请人还是会这么做。当申请人挑选自己最有分量的论文时，他们评价的标准常常是期刊影响因子和近期被引频次，而不是对论文更加深入的价值评估。即使没有这些指标，大多数评阅人也会在评估时自己了解这些数据。

　　在涉及聘用和晋升时，文献计量指标的作用更加重要。在西班牙，根据科研生产力涨工资的“六年”评估，严重依赖期刊影响因子；在意大利，每位评阅人都掌握着晋升候选人的文献计量数据；在欧洲、美国、中国的大学里，都有一套期刊列表，尤其在中国，科研人员的奖金和论文发表的期刊直接相关。

　　原文作者对背后的原因进行了分析，政府资助机构用这些指标来给大学分配资源，大学用这些指标来给院系分配资源。在比利时弗兰德斯地区、巴西等地，期刊影响因子在经费分配中都占有很大比重。而英国的研究卓越框架（ResearchExcellence Framework，REF）则是例外，公开宣称不用期刊影响因子。

　　“冒险的研究”的影响力原文作者利用Web of Science数据库对2001年发表的66万余篇论文进行分析，研究“冒险的研究”的期刊影响因子和被引频次变化。对“冒险的研究”的界定是，这篇论文的参考文献中是否包含全新的期刊组合，并考虑组合的可能性，据此将论文分成“低创新性”、“中创新性”、“高创新性”三类。如：《Journal ofBiological Chemistry》的一篇论文中发现某知名抗精神病药物和某蛋白质发生了反应，并用该现象来识别其他的生物效应。参考文献中，《Gene Expression》首次和《Journal of Clinical Psychiatry》、《Neuropsychopharmacology》组合在了一起。该论文有42篇参考文献，可以组合成861个期刊组合，其中9个是全新的组合。

买美股的时候到了?巴菲特最爱的指标亮起了绿灯

疑似董袭莹前男友发声称她把学术圈当娱乐圈

美国经济的未来:三个看跌期权与四个指标

　　研究结果发现，只有11%的论文的参考文献出现了新的组合，而这其中，54%只有1个新组合。通过考察这些论文在2001~2015年的被引频次变化，发现高创新性论文要么一鸣惊人，要么默默无闻，而一鸣惊人的论文则需要很长时间才能具有一定影响力。

　　如上图所示，在发表之后的前3年，高创新性论文成为前1%的高被引论文的可能性低于低创新性论文，3年之后实现赶超，发表15年后，比低创新性论文高将近60%。同时，高创新性论文也倾向于发表在影响因子较低的期刊上。目前依赖短期评价指标的评价系统将大大低估这些具有更高的、更长期的影响力的研究。

　　现在该怎么做？

　　基于以上研究，原文作者针对不同主体提出一些建议：

　　·对于研究者，应该停止依赖这些短期指标来指导选题和论文发表的期刊；

　　·对于资助机构，应摒弃这些指标，坚持用多种方式进行评价，邀请主要领域外的专家加入讨论，用5年甚至10年的时间窗口考察申请人研究绩效；

　　·对于评审人，停止依赖这些指标，尤其是时间窗口在3年内的指标进行科研评价；

　　·对于期刊编辑，倡导使用考察时间更长的指标来评估期刊；

　　·对于大学，应当要求评审人必须阅读候选人的论文。