作者:鲁捷 来源:中国科学报 发布时间:2015/2/17 8:08:33
选择字号:
英用7000项案例揭示研究影响力
语言分析反映研究项目如何在绩效评估中获胜

 

伦敦帝国学院被认为是英国顶尖高校之一。 图片来源:《自然》

科学以种种方式让社会受益,但是如何辨别和鼓励高影响力的研究却是全世界所有资助机构面临的一个困扰性问题。今年1月,英国试图利用新数据支撑与解决这一问题:近7000项记录了科学给该国经济、文化和社会等领域带来福利的个案研究,这些数据被作为一项特殊评估的部分参考资料。当政策制定者仍在面对这些资料沉思时,《自然》杂志对这些资料进行了分析,揭示了研究人员如何向其资助者描述他们的工作以及利用暗示性的专业术语——如包括“百万”“市场”等,让他们获得更高的评价。

当研究人员申请经费时,很多资助机构请学术机构都会请他们计划其工作的主要影响力。英国高等教育拨款委员会(HEFCE)政策研究主管Steven Hill表示,但国家希望可以奖励那些已经取得影响力的研究成果。英国已经具备了研究审计的文化传统:每过几年就会给大学的研究质量进行评级,并且每年会根据评估结果发放20亿英镑的拨款。以2014年被称为“卓越研究框架(REF)”的审计为例,HEFCE对规则作了调整。该机构添加了一项条件,即大学需要就个体研究细化其从2008~2013年的影响力范围,而且宣布一个机构20%的成绩将基于这些贡献。

实现这些挑战是一项艰巨任务,一些时候还涉及到雇佣专门的文案人员和顾问。仅伦敦大学学院一所高校就写了300份个案分析报告,该校负责研究的副校长David Price说,这意味着要花费15个人一年的工作量,而且还要雇佣4名全职员工处理这些事情。

一些科学家认为,此次分析结果给人留下了强烈的印象。“每个政府都想知道其研究的社会影响力。”美国亚特兰大乔治亚理工学院科学政策分析专家Diana Hicks说,“困难在于当你只有孤立的个案时,如何广泛地进行评估。英国已经打破了这一问题关卡,产生了非常好的数据来源。”

伦敦国王学院公共政策研究人员Jonathan Grant说,这些案例研究的叙述证实了“非凡的广度和深度”。它们的范围从利用纳米颗粒阻止细菌损害一艘16世纪沉没战舰的木材的化学家,到分析向墨西哥和哥伦比亚贫困家庭汇款效果的经济学家。

为了得出更深入的观察,《自然》还采访了纽约州伊萨卡康奈尔大学的物理学家Paul Ginsparg,他曾进行过文本挖掘分析工作,对个案研究中使用的语言进行数字分析。

结果并未出人意料,词汇统计直接表明,“研究”和“影响”是出现频率最高的词汇,出现的次数分别为20万次和13.5万次——如果把“这个”“那些”等代词或“和”等连接词去掉之后。“发展”“政策”和“健康”等词汇也位居榜单前列。值得注意的是,这些资料涉及的国家名称超过190个,表明英国研究项目具有广泛的地理跨度。

Ginsparg还探寻了一些词汇的使用和绩效评分之间在数字上的重要关联,他发现的一个跨学科现象是,诸如“百万”“市场”“政府”“重要”以及“全球”等词汇更倾向于得到评审人的较高评价,因为这些评审人被要求重视“重要性”和“延伸性”等方面的研究;相反,过度使用诸如“会议”“大学”“学术”和“项目”等词汇评分则较低。

尽管这些相关性并不意味着词汇使用和评分结果之间存在着因果关系,但它们暗示了评审人可能对于影响力,尤其是对经济影响力相关描述的青睐,伦敦布鲁内尔大学研究人员Gemma Derrick表示,他正在分析一些研究如何入选以及如何受到评估。

“我很怀疑‘影响力’的因素,但是我认为这是件好事。”Price说,这说明了大学可以向资助者、工业伙伴、政府和校友展示的令人信服的事实。

一些英国学术机构质疑,各种影响研究评估的因素是否会在地方资助者如何分配其资金方面产生明显的不同,而如果并未产生差异,是否有必要作出相关补充说明。把评审成绩和资金分配相挂钩的范式要到3月份才能公开,但已经可以明确预测的是,传统上在学术产出审计过程中一直很优秀的高校,如牛津大学、剑桥大学和伦敦帝国学院,还会处于影响力排名的前列。

在国际上,一些研究人员批评用案例分析来衡量研究影响力的做法,而不是通过追踪更多可量化的经济措施。“我搞不懂为什么科学界需要经受如此烦琐、费事的系统。”华盛顿特区美国研究学院经济学家Julia Lane说。

其他国家是否会重复英国的影响力评估的做法依然无人知晓。“我们知道很多其他国家都对借鉴我们的经验十分感兴趣。”Hill说。就全球范围来看,大多数国家已经引入全国范围内的研究质量评估体系,如澳大利亚和意大利不会评估影响力;然而瑞典和捷克等国家目前正在考虑采用类似于REF的做法。

再回到英国,研究人员已经在准备2020年的下一次绩效审计,他们对此做法也是喜忧参半。“无论你认为这是件好事,还是要取决于个人的研究领域,我们都被鼓励作更多可以形成案例分析的研究。”牛津大学神经医学家Dorothy Bishop说,“我担心,我可能会花费更多时间在评估个人研究的影响力方面,这些可能会让我从真正的研究中分神。”

(鲁捷)

《中国科学报》 (2015-02-17 第3版 国际)
 
 打印  发E-mail给: 
    
 
以下评论只代表网友个人观点,不代表科学网观点。 
SSI ļʱ
相关新闻 相关论文

图片新闻
北方中纬高频雷达网发布首批科学探测结果 “双星计划”:开启中国空间科学新纪元
河西走廊内陆河出山径流研究揭示新趋势 金星缺水的原因,找到了?
>>更多
 
一周新闻排行 一周新闻评论排行
 
编辑部推荐博文
 
论坛推荐