排行榜研究的智慧
过去10多年，国外流行的定量排名研究进入我国， 一个个排行榜以吓人的标题试图抓住公众的眼球。对同一事物进行测评的排行榜也不少，如评大学的排行榜就有好多个。这些排行榜无一例外的以数据说话，不服不行。 但同样是数据说话，结论却不尽相同，又难免令人疑惑。其实对同一测评对象得出完全不同测评结论之事在国外也一样，如某年欧盟评估香港失去了“自由经济体系”地位，而美国传统基金会同时评为全球最自由的经济体系。
对于测评结果，外行容易被数据折服。其实在内行看来，数据太有讲究了。首先是选什么数据大有讲究。最早搞大学综合定量排名的中信所，将SCI、ISTP、EI收录期刊发文作为国外发文指标，为说明这些指标的权威，毫无职业道德地说这是国外最有名的“三大检索刊物”，而实际上选这三种刊物不过是因为它们有“单位-作者”索引，统计某单位发文量非常简单而已。如果要用CA，在当年计算机不怎么普及的情况下，这一个数据就会要了他们的命。这是将自己选的不权威数据吹成权威的。还有选了不完整数据不声不响的。如网大的排名，六大一级指标中有个“物质资源”，看上去很对，评大学当然要看物质资源。但该指标由什么构成？只有研发人员人均经费（占65％）和生均藏书（占35％）这两个指标，连实验室、教学楼都没有。这种指标评出的排名，其可信度有多少？其次，数据的处理很有讲究，权重是一个公认的可以人为改变结果的手段。此外的种种手段，几天也讲不完。
还有一种常见的方法，可称为“伪定量”。也即，看上去满纸尽是公式数据，实际上数据源却是主观数据。如德尔斐法和层次分析法，尽管算法很难，但因为数据来源是专家主观，只是一种纸面上的定量。如果多数专家主观认为A比B好，算出来不可能B比A好。也即，不论过程多么复杂，最终结果仍是专家主观判断。当然，专家主观判断比评估人主观判断的可信度高一些。
也就是说，排行榜的结论是可以控制的。问题在于，研究者需要将其控制在一个什么程度。这个问题，成为决定一个排行榜是否成功的关键。如果一个排行榜与常识一模一样，叫劳民伤财，不能抓住眼球。以大学排行为例，如果一个排行榜排出中国大学二强，北大清华并列。此结果无人有大的异议，但也因过于贴近常识而显得没有什么意义；如果排行榜完全违背常识，该评估就不会为人接受。如“西译”的校长曾曝被美国某单位评为中国最受尊敬的校长前十，与北大清华校长并列。公众除认为该评估荒唐，不会有其他结论。所以，我认为史上最成功的大学排名，还是中信所1992-1994的大学排名。最先是早，在别人没有动手前先动手，其次是炒作“三大检索刊物”，搞得SCI、EI真的一样，让中国大学吃尽其苦头，第三，也是最具智慧的，是当年推出的“中国大学评出四强、北大、清华、科大、南大名列其中”。这个榜在北大清华科大外，捞出一个南大。那些没有入榜的复旦、浙大等等，十分的心有不服，但无奈人家是根据“世界著名三大检索刊物”定量研究的结果，不服只能放到肚里，一边偷偷地练内功去了。可以说，这样榜如果是“中国大学评出三强”，不会有什么影响。如果评出的是十强八强，也没有四强的影响。这就是排行榜的智慧。
Trackback
你可以使用这个链接引用该篇文章 http://publishblog.blogchina.com/blog/tb.b?diaryID=6631818
回复
|
- 评论人：奇怪
2008-02-28 15:10:28
|
|||
刚才我还看到征文来的,怎么不见了,我还留言了呢.图书馆建设杂志,还有别的所有的杂志我都不看的,好容易在这儿看到了征文,,居然又给删除了,请问,征文的内容在图书馆建设第几期呢?每天都要看一下老槐也博客的,分明我坐了沙发的,奇怪了. |
||||
|
|
- 评论人：library
2008-02-28 08:26:33
|
|||
范老师外型和学术内功如一株枝繁叶茂的槐树，所以称为老槐。经常有儿童到树上树下玩耍，捉迷藏、乘阴凉、摘槐花、荡秋千…… |
||||
|
|
- 评论人：lib
2008-02-28 08:20:31
|
|||
槐师姓范 |
||||
|
|
- 评论人：xiaohuai
2008-02-27 03:29:56
|
|||
请问老槐是姓槐吗? |
||||
|
|
- 评论人：雨僧
2008-02-24 18:31:41
|
|||
槐师，我只是借题发挥而已，替南大被严重低估抱不平。 |
||||
|
|
- 评论人：白
2008-02-24 11:08:39
|
|||
老槐对排行榜的科学性质疑，话确实说道点子上，不佩服不行。 |
||||
|
|
- 评论人：校友
2008-02-22 23:02:48
|
|||
呵呵，雨憎校友真爱校，支持！ |
||||
|
|
- 评论人：梭梭草
2008-02-22 08:08:00
|
|||
别的不说，中信所的这个学术榜，是造成目前国内对引文索引滥用的始作俑者，说实话也是国内的情报学专界对我国科研成果管理造成负面影响的一个典型例子。当然，中信所的这个学术榜，是有着极大的商业利益的。
|
||||
|
|
- 评论人：可笑的专家
2008-02-21 16:45:20
|
|||
“中信所将SCI、ISTP、EI收录期刊发文作为国外发文指标，为说明这些指标的权威，毫无职业道德地说这是国外最有名的“三大检索刊物””
|
||||
|
|
- 评论人：98信息
2008-02-21 15:51:29
|
|||
老槐对数字、统计的深刻认识早就在课堂上领教过了，写这个实在是信手“闲”来。 |
||||
|
|
- 评论人：老槐
2008-02-21 15:34:19
|
|||
回雨师：在当年中信所做的排行榜中，记得复旦的SCI被引高，而南大的SCI被收录高，中信所择一数据抬出南大的目的我并不知道，但就排行榜而言，我看至少应该选出5-7强才是合理的。这只是纯粹就排行榜而言，言语中若得罪南大，还请见谅。
|
||||
|
|
- 评论人：江南书生
2008-02-21 12:43:55
|
|||
排行榜这玩意儿，做的人不可不认真，看的人则不可太当真。 |
||||
|
|
- 评论人：闲评
2008-02-21 11:16:59
|
|||
老槐这次的博文出丑了，不象一个有水平学者的文章，有点偏激 |
||||
|
|
- 评论人：西部小水牛
2008-02-21 11:03:13
|
|||
排行榜的科学性总是相对的，关键是要用科学的态度去看待。槐师文中举的CA这个例子不妥，CA作为化学方面的专门数据库，即使有更完善的索引方式，又怎么能拿来作多学科大学评价的依据呢？ |
||||
|
|
- 评论人：雨僧
2008-02-21 09:37:22
|
|||
槐师的这篇博文有歧视南大之嫌。南京大学的前生是中央大学，49年以前，北大清华在中央大学面前，还是小弟弟。复旦大学更还是野鸡大学，排不上档次。49年后政府在教育方面的一个重要举措就是解散中央大学，特别是52年院系调整， 把中央大学高的四分五裂，南京之所以成为全国大学最多的城市，就是因为中央大学被分解的缘故。南京大学继承了中央大学的文理学院，继承了中央大学的真传，瘦死的骆驼比马大，南京大学虽然自49年以来一直处于被打压排挤的境况，还保持着全国领先的地位。浙江大学嫉妒南京大学更是无稽之谈，浙江大学是靠着这两年的合并泡泡，吹起来的，要和南大一比，还欠火候 |
||||
|
|
- 评论人：hellen
2008-02-21 09:04:21
|
|||
那要如何才会有排行榜的科学性呢？ |
||||
|
|
- 评论人：hellen
2008-02-21 09:02:06
|
|||
那要如何才会有排行榜的科学性呢？ |
||||
|
|
- 评论人：江南书生
2008-02-20 19:13:14
|
|||
老槐的幽默富有无穷的魅力，呵呵！ |
||||
|
|
- 评论人：rocken
2008-02-20 15:00:23
|
|||
把香港的大学一起来排排坐次，不知清华北大如何？ |
||||
|
|
- 评论人：人在旅途
2008-02-20 12:48:19
|
|||
那要如何才会有排行榜的科学性呢？ |
||||
