作者:赵斌 来源:中国科学报 发布时间:2012-7-3 5:24:44
选择字号:
关于文章评价的另类探讨

 

 
■赵斌
 
每年6月底,科研工作者都对新的SCI影响因子(IF)充满期待,期待自己所发表论文的杂志影响因子有大幅度上升。
 
评奖、评职称和年底总结的时候,大家都要在统计SCI论文上花费不少功夫。有些统计看得人眼花缭乱。比如,有些单位需要将年度发表的所有SCI论文的影响因子加和,更有甚者还要求将论文被引用杂志的影响因子加和,不知道这后一种统计方式想说明什么问题。
 
不同学科在用SCI的影响因子进行比较时,发现可比性很差,于是中国科学院文献情报中心按年度和学科根据影响因子对刊物进行了4个等级的划分,这就是《JCR期刊影响因子及分区表》。分区表本质上仍然是杂志影响因子的简单归类,只是因为在不同学科之间进行区分,所以显得更“合理”一些。但是,不管是影响因子还是分区,都是对杂志影响力(被引用频率)所进行的评价,与作者个人发表论文的水平有何相干?
 
也许有人争论说,在高影响因子杂志上发表论文,难度要大一些。也许总体上是这样,但有时候我们也见到许多反例(许多人都有类似的经历),投稿一个低影响因子的杂志没有中,而转投高影响因子的杂志却被录用了。所以在后面的探讨中,为了便于说明问题,将排除Science、Nature、PNAS等这类与具体专业无关的高级科普杂志。
 
尽管文章水平与杂志的影响因子有一定的关联,但这种关联并非那么强烈。一个杂志的影响因子是一定时期内其所有发表论文受到关注程度的整体体现,这在统计学上用于说明杂志的水平是非常有意义的。但如果评价单篇论文水平,简单地用杂志的水平来代替显然是错误的。
 
现在有许多人建议,用单篇论文的引用率(引用次数)来进行评价。不得不说,这在评价上是一个巨大的进步。为了排除一些作者为了人为增加这个数值而疯狂自引的情况,许多评价体系中规定只统计他引的次数。如果割裂开其他的因素,仅仅谈引用次数,看似也并不合理,因为有许多因素会影响这个数据。
 
(1)与杂志本身被其他同行和作者获取的程度有关。容易获取的杂志,相对被引用的可能性增加;高影响因子的杂志,得到关注的可能性增加,被引用的机会也增加。影响因子高,有多方面的原因,特别是现在,杂志在后台的一些非法或者合法的商业运作也是一个非常重要的因素,有时候甚至与主编的办刊思想有很大的关联。无论如何,发表在这些高影响因子杂志上,作者的研究会受到更多关注,也有了与更多同行进行交流的机会,因此应该鼓励大家尽量在高影响因子杂志上发表论文。
 
(2)与论文发表的时间有关。对于一些热门的研究,文章早一期出来与晚一期出来是有很大差别的。论文发表被引用一般存在一定的时滞和变化规律,一般刚开始的引用率增加很慢,随之是一个高速增长过程,然后维持这个速度一段时间(可长可短),或者之后进入下降阶段。在不同时间阶段统计,这个差别是很大的。因此,仅仅统计年度引用次数进行比较是不太精确的。
 
(3)与杂志是否采用电子版并优先发表有关。有些杂志,只要接受了,就采用电子版的方式将稿件发表出来;有些要生成最终出版样式的PDF文件,以Advance Access的方式发表出来;还有些杂志要实物杂志出版印刷后才发布电子版,或者完全没有电子版。
 
要消除这些无法公平比较的问题,我想到了一个“另类”评价法:先对作者发表的每篇文章与本刊物同期发表的所有论文的均引用数进行比较,获得评分,然后将这些评分根据具体情况计算总分或平均值。
 
一份真正的专业杂志,其scope(领域)大致限定在一个有限的范围内,这个scope大致被同行关注的程度也应该是类似的,在一个杂志内进行比较消除了不同刊物间产生差异的因素;如果还在同期刊物内的文章进行比较,就进一步消除了论文发表时间不同所带来的影响。
 
具体如何操作呢?首先检索出目标杂志同期发表所有文章的被引用次数(采用web of science很容易获取)并计算平均值,然后将目标论文的引用次数除以这个平均值,就是该篇论文的得分。这个得分表面上看是表示该论文在当期杂志上的排名,本质上却是表达了在某一具体的专业领域论文受到实际关注的程度,也就应该代表了该论文的“水平”。
 
如果采用这种办法,杂志影响因子与我何干?文章发表在低影响因子杂志上的文章被引用次数多,本身也就说明了“酒香不怕巷子深”的道理;而发表在高影响因子杂志上的文章被引用次数低,是否有“滥竽充数”的嫌疑呢?
 
有人担心,采用这种方法,是否会有人刻意将好的论文往低影响因子的杂志上面投以增加这个评分呢?但是,前面已经说过,高影响因子杂志得到关注的可能性是增加的,谁能保证一篇论文投到低影响因子杂志上会受到同样的关注呢?如果自认为是篇好文章,为什么不敢放到高水平杂志上去比较呢?
 
更有人担心,如果这样的话,那么投高影响因子杂志的论文数量会降低。这样不就对了嘛,我们为什么要追求那个高影响因子杂志呢?投自己认为最合适的专业杂志,投最能引起小同行关注的杂志,是科研工作者最原始、最合理的追求,不是吗?文章不管发在哪儿,只要是公开发表的,好的东西最终会得到其应有的承认。而且,在去掉那个马甲(杂志影响因子)之后获得的承认,应该是更真实地反映了论文的学术价值。
 
博文发出后,许多朋友参加了讨论。在讨论中我突然意识到,这个指标的算法的确还有一些值得完善的地方,因为文章发表在不同杂志上的确存在难易程度的差异,这个差异在某种程度上也是“水平”的体现。此时,我再次想到了杂志影响因子。于是,这个文章“水平指标”就应该由两部分组成,一部分是杂志影响因子,另一部分就是上述的比值,二者相乘就可更合理地代表文章水准和影响力。下面举些例子来更好地说明这个问题。首先考虑一个容易理解的情况,比如两篇论文分别发表在不同的杂志上,如果这个比值恰好都是1的话,这两篇文章其实正好代表了杂志的平均水平,那么用杂志的影响因子代表文章的水平,这显然是合理的。再比如,一篇文章发表在影响因子为10的杂志上,如果在一定累计时间内,比值为0.5,也就是说只有杂志平均水平的一半,那么最后的得分为5;如果这个比值为2,那么文章的影响力超越杂志平均水平达到其2倍,那么最后的得分就是20。如果文章一次也没有被引用过,不管所发表杂志的影响因子有多高,最终也只能评价为没有影响力的凑数文章。
 
很明显,如果能按照这种方式进行评价,就会促使作者更注重文章本身被引用和关注的可能性(这正好就是文章质量的体现),而不是仅仅去关注杂志影响因子,出现想方设法去“高攀”的现象,回归科技论文发表的正道。
 
(http://blog.sciencenet.cn/u/lionbin)
 
《中国科学报》 (2012-07-03 A3 网谈)
 
 打印  发E-mail给: 
    
 
以下评论只代表网友个人观点,不代表科学网观点。 
SSI ļʱ
相关新闻 相关论文

图片新闻
中国超重元素研究加速器装置刷新纪录 彩色油菜花又添7色!总花色达70种
考研复试,导师心仪这样的学生! 地球刚刚经历最热2月
>>更多
 
一周新闻排行 一周新闻评论排行
 
编辑部推荐博文
 
论坛推荐