8月24日的《科学》杂志发表了资深记者Martin Enserink的报道《谁能给大学排名》，提出上海交通大学高等教育研究所的“世界大学学术排名”（Academic Ranking of World Universities，简称ARWU）存在很多问题，例如著名科学家如诺贝尔奖得主的科研成果应如何计入，因为他们所占的分值之大，会影响到相关学校的“名次”，甚至是否能进入到前100名。
大学排行榜是否公平反映世界大学现状？
文章举例，90多年前的柏林大学时期，爱因斯坦和其他很多科学家获得了诺贝尔奖，现在的柏林洪堡大学和柏林自由大学都声称自己是柏林大学的延续，那么，究竟哪一所大学应该享有它们的这些学术声誉呢？在ARWU中，不同的“划拨”，结果相差甚大。2003年上海交大在第一次大学排名中，将二战前的诺贝尔奖全部归功于柏林自由大学，结果该大学一下跃居全球第95名。但是，由于洪堡大学的强烈抗议，在2004年的排名中，将这些学术成就又全部“划拨”给洪堡大学，使其上升到第95名，柏林自由大学则下降到100名之后。此后，柏林自由大学又开始抱怨。于是，大量的电子邮件在德国与中国之间不断往来，结果却是两所大学“请”出了排名，在2007 ARWU中，两所大学都在500名之外。
又比如，2006年诺贝尔生理学或医学奖获得者Andrew Fire帮助了他现在所在的大学——斯坦福大学，其排名从第3上升到第2。然而，事实是Andrew Fire关于RNA的大量突破性的研究工作都是在马里兰州巴尔迪摩卡内基学院完成的。
此外，文章认为，人文社科类的学科在此指标体系下的排名处于劣势。考虑到这些学科的文章不发表在《自然》和《科学》杂志上，上海交大高教所把两杂志发表的论文数的指标的20％分配给了其他杂志，但是排名结果仍然受到质疑。在2006年，享有盛誉的伦敦政治与经济学院的排名在201位～300位（由于排名靠后，没有对其进行单项排名）。然而在《泰晤士高等教育副刊》（Times higher education supplement，简称THES）的排行榜中，该学院的排名则是第17位。
《科学》杂志上的文章同样提到了其他大学排名存在的问题。认为大部分排行榜都是通过收集大学的公开信息，然后将这些资料赋予不同的权重指标，加权平均求和，以总分来评定一所大学的名次。在不同的排行榜中，这些指标的数量、性质以及数据的来源均存在着巨大的差异。比如，英国卫报出版的一本《大学择校指导》对于大学的评价指标中，毕业生就业前景占了17%的权重，而在《美国新闻与世界报道》（以下简称《美新》）的排行榜中，该指标只占到10％。
此外，对大学进行排名还存在着另外一个问题，即很多排行榜都依赖于大学所提供的核心数据。对此，加拿大多伦多教育研究所研究大学排行榜的专家Alex Usher表示，有资料表明，某些大学在参与《美新》排名的过程中，提供数据时存在作弊行为，虽然《美新》的工作人员将这些信息与其他来源的信息进行交叉比对，但仍难完全避免大学进行暗箱操作的可能。如大学可以通过宣传鼓励更多学生申请该大学，然后拒绝更多的学生申请，以提高“学生选择度”这项指标的分数。
排名过程中争议更大的是同行评议，即由某一领域的专家来对某大学的这一领域的学术研究成就进行评价。比如在THES排行榜中，40%的打分是根据全球3700多名专家的意见来确定的，而跨国企业的研究者的意见仅占10%。对此，荷兰莱顿大学科学技术研究中心（center for science and technology studies，简称 CWTS）曾作过一项研究，首先以论文引用率（一个国际公认的影响因子评价方式）为基础，对各大学进行分析，再将评论者的判断和他们自己的分析进行比较，结果显示上述两者之间的打分没有必然的联系，也就是说这样划分两者的比重没有任何根据。CWTS的主任Anthony Van Raan 在2005年的一篇文章中写道：“这项研究的结果足以对THES的排名研究产生严重质疑。”
对于同行评议，在《美新》今年的排名中也是争论的焦点。参与了今年抵制该排行榜调查的华盛顿三一大学（Trinity University）的校长Patricia McGuire表示：“在评分时，我们收到了一张有几百个大学的列表，但只有从1分到5分的评定等级，这样做是非常荒谬的。这样的排名不能评估出三一大学的真正优势所在，因为我们主要是为低收入少数民族妇女提供学习机会。”
排名者的解释
ARWU作为第一个多指标的全球性大学排名，自发布以来，它的学术排名受到了各国的重视，却也不断受到质疑或被误读。比如，该排行榜只排前100名，100名后就不具体排名了，而只是50所或100所大学分成一组，每一组内的大学均按照校名字母进行排序。而国内一些媒体对部分大学的名次进行了错误的解读和比较。有媒体在报道今年的最新排名时认为清华、北大分列第167名和第228名。
面对非议，记者联系到ARWU的负责人、上海交大高教所所长刘念才，得到的答复是，拒绝接受任何媒体采访。刘念才称，他们已经就此发表了《上海交通大学高等教育研究所关于“世界大学学术排名”的声明》，对该排名的的说明都已体现在声明中。
有意思的是，记者在上海交大高教所的网站首页上看到了这份发表于9月1日的的声明，内容虽然不完全针对《科学》，也没有提到该杂志，但为什么在此时发表，刘念才也拒绝回答。
声明提到：任何大学排名都是有争议的，ARWU也不例外，它体现的仅仅是看待大学国际地位的一种视角。由于ARWU主要关注的是大学的科研成果和学术表现，因此指标体系中有关人才培养的分量较轻，也不包括大学对社会的服务等内容。 ARWU排名指标中对人文社会科学等学科的体现不够，发表论文等部分指标对英语国家较有利，人均表现的权重较低。事实上，交大高教所一直针对ARWU的不足进行着深入的学术研究，并不断努力改进。
刘念才同时推荐记者阅读他于2005年8月发表在《清华大学教育研究》上的论文《世界大学学术排名的现状与未来》。其中也提到，在统计奖项的过程中，有的人获奖时所在大学并非进行获奖成果研究时的大学，也有的获奖者获得学位的大学不是他度过大部分学习时间的大学等等。
刘念才在该文中还提到了因技术问题给排名带来的难度。像前文提到的柏林洪堡大学和柏林自由大学之争；还比如，数据库的检索是非常复杂的，在关键词的选择上需要特别小心，在ARWU的排名过程中，不管作者是否在署名中提及相关大学，每一个被引用率最高的教师都被归于其所在大学，每一篇NS论文也得到了同样的处理，在SCIE和SSCI的检索过程中，许多大学需要输入多个关键词才能找到其全部论文。
刘念才同时认为，由于量化指标及其权重不同，一所大学在排名榜上的位置也将有所差异，容易引起争议。但是，一所真正一流的大学在各种指标体系下都会是一流的，其排名不会产生大的波动。
《美新》主编Brian Kelly表示，排名总会受到一些人的质疑，但还是有超过半数的大学填写了调查问卷，也总能找到一些人来对大学进行评价。
使用大学排名需谨慎
1983年，《美新》首先作为一种促销手段而推出大学排名，之后很多国家纷纷推出各种排行榜，对各自国内的大学进行排名。同时，也出现了一些全球性的或者地区性大学排行榜。
伴随着排名带来的影响，以及遭受的批评，排名者自己也承认排名结果并不是最终定论。例如，《美新》建议学生在选择大学时要考虑多种因素。在上海交大高教所的网站上也提醒大家，由于存在一些技术和方法的问题，使用这些排名时要谨慎。上海交大高教所的声明中也提到，同一所大学在不同的排名指标体系中会有不同的名次。因此，要根据排名的目的和指标体系来认识大学排名的结果，理性地把大学排名作为大学评价的参考依据之一。
与此同时，排名者们也在不断修改排名的指标体系。但是，有批评指出，这样就出现了同一所大学可以在一年内突然变好或变差很多。很多人指责，《美新》作出的排名，只是简单的、无根据的随意变动，其目的旨在提高杂志销量，结果却适得其反。
为提高排行榜的可信度，2006年，大学国际排名专家组（International Ranking Expert Group，简称IREG）在柏林召开的IREG第二次会议上，讨论通过了一系列高等教育排名的质量标准和操作范例——高等教育机构排名的柏林原则。该原则强调排名过程及方法的透明性，认为，排名结果的可靠性取决于对信息的加工和信息的来源（比如数据库、学生、教师、雇主等）。数据的选择应该基于对质量和学术优劣的各种评价指标的认识，而不是仅仅考虑数据的可获取性。排名应当明确告知为什么包括这些指标和这些指标反映的是什么。排名应该尽可能地使用审核过的、可核实的数据，这些数据在机构间是可比的、口径是一致的。柏林原则同时提到，排名可以提供有关高等教育的可比信息和对高等教育更深入的了解，但是不应该成为判断高等教育是什么和做什么的主要标准。
CWTS的研究员Henk Moed表示，尽管存在种种抱怨，但大学排名有其存在的益处。实际上排名可以刺激竞争，促使大学不断完善，即使排名并不完美，在一定程度上排名仍可以为学生以及政策制定者提供相关信息。
另有一些排名工作者也指出，大学也是喜欢吹捧自己的，特别是当其运转良好时。在 2007 上海排名宣布不久，两个“柏林大学”的校长，开始心平气和地坐下来，讨论如何分配关于爱因斯坦和其他诺贝尔奖获得者的获奖数问题。也许这样的妥协会促使这两所大学在2008年重新回到上海排行榜上。
“当然，爱因斯坦也许会相当欣赏这出闹剧——在普林斯顿，他的办公室里有这样一个条幅，上面写着——不是所有可以量化的东西都是重要的，也不是所有重要的都可以量化。”《科学》上的文章以这段话作为结尾来表明作者对待排名的态度。
（本报记者赵鹰、袁建胜对本文亦有贡献）
