PDF《学术评价 的评价》

3

2 8 中国科学基金年・科学论坛 ・ 学术评价的评价 张春霆 ` 天津大学生命科学与工程研究院 , 天津 二摘要〕本文简要介绍 了各种学术评价指标 , 包括基于科研产 出 、论文引用 、引用 网络 、 一 指数和 互联 网的评价指标 , 讨论 了其优缺点 ,并最后探讨 了同行评议与使用学术指标评价进行评议之间的 关系 .

〔 关键 词〕论文总数 ,篇均引用次数 ,权重引用次数 ,皇冠指标 ,特征因子与 指标 , 一 指数 , 同行 评议 引言 学术评价者学术界之大事也 ,事关 国家科技的 良性发展和原始创新能力 的提高 也关乎科研人员 的人职 、职称的提升 、资助和奖励的获取等 切身利 益 ,不可不察也 . 年月日,英 国著名刊物 .以 评价的评价 为题发表了一篇社论 ,对该 期发表的 篇有关学术评价 的文章加 以介绍和评 论 .其中一篇介绍了形形色色的学术评价指标及在 世界各地 的使用情 况`口..杂志曾就评价指 标的实际使用程度以及与同行评议的关系向世界各 地的许多学 者和管理 者发去 了问卷调查 .结果有 位研究人员和近 位大学教务长 、系主任或其 他管理人 员反馈 了调 查 问卷 , 综合后加 以公 布川 . .杂志还邀请包括著名 的文献 科学 计量学 家在 内的 名专家就如何改进学术评价指标的使用 等学术评价 问题 发表 了看法工 .受这些 文章 的启 发 ,笔者试 图用同一个题 目结合中国的实际情况 ,写 一篇新的文章 ,这正是本文的由来 , 希望对于改进我 国学术评价的现状有所参考 .本文 由两部分组成 一部分介绍各种国际通用的学术评价指标 , 包括适 用于研究群体 大学或研究所等 、 刊物和个人 的评 价指标 ,并讨论如何 克服其缺点 另一部分则探讨 同行评议 与 使用 学术指标 评 价进 行 评议 之间的关系.基于科研产 出的评价指标 科学研究 ,尤其是基 础研究其产 出的主要形式 就是发表学术研究论文 .在一般情况下发表论文的 数量就成为一项主要的评价指标 . 当然不排除历史 上或现实中某些杰 出的学者只发表了极少数的论文 却取得 了极高的学术成就 , 在这种情 况下再讨论 其 发表了几篇论文就变得毫无意义 .但是在一般情况 下这个数字还是有意义的 .论文总数这个评价指标 在实际计算时存在一个选择什么样的论文来统计 的 问题 . 目前国际上存在 大文献检索数据库 或一集团 集团和集团.前者从 种杂志收录论文 中者从 种刊物收录论文 而后者则包括 了比前两者更多的 工程学 、 社会科学和人文科学刊物所发表 的论文以 及专利仁 比.其中 又包括 、 等 个子 库 .对于一个给定 的研究人员或一所大学 研究所 或部门 统计出的论文总数取决于采用哪个数据库 . 对于 自然科学 方面 的基础研 究宜 用数据库 约 种刊物 对于工程技术研究除了用 数据库 以外 ,还应参考 数据库加 以补充 而 数据库对 于两者都有参 考价值 , 而 且它是免费的 . '

中国科学院院士 本文于 年月日收到 DOI : 10. 16262/ j . cnki .

1000 - 8217. 2010. 06.

008 第期张春霆 学术评价 的评价 基于论文引用次数的评 价指标 篇均引用次数与影响因子 论文的引用具有重要的参考价值 , 因为它体 现 了在世界范围内的小同行的署名评议 ,具有广泛性 、 公开性 、公平性和客观性等优点 ,历来 受到国内外学 术界的普遍认 可 .其 中 ,篇均引用次数是一个极其 重要的学术评价指标 .统计在一个时间窗 口中某刊 物所发表论文的总数 分母 , 以及这些论文在另一 个后续的时间窗 口中所获得 的引用次数 分子 , 两 者之比即为篇均引用次数 .若把前时间窗口取为前 两年 ,而把后时间窗口取为今年 ,则篇均引用次数又 称为该刊物在今年的影响因子 .显然 ,某 刊物 的影 响因子 , 即其篇均引用次数 ,与在该刊物所发表的某 特定论文所获引用次数属于两 个不 同的概念 ,两者没有可比性 .例如 ,据 .统计 ,在年..的 的论文获得的引用次数占总引用次数的 一`.换言之 ,另外 的论文只获得 了的引用次数 .也就是说 即使在 .这样的刊物 上 发表的论文 ,其 中大部分所 获得的引用次数相当有 限 .笔者遗憾地指 出 ,在我 国教育界和学术界有一 种用刊物影响因子来评价在该刊物所发表论文及其 作者学术水平 的倾向 .有 的管理部门甚至要求科研 人员必须在影 响因子多少以上的刊物上发 表论文 . 这种倾向不仅是十分错误 的,因为它背离了科学研 究的宗旨 而且也是十分荒唐的 , 因为它误用了刊物 的评 价指标 .著名 文献计 量学家 指出 如果有一个观点每一位文献计量学家都同意的 话 ,那就是 你们永远不要用刊物的影响因子来评价 一篇论文或某个研究人员的学术表现 ― 因为那是 一种不可饶恕的大罪 、 二巧 .但 愿文献计量学家的忠告能引起我国教育界和学术界 的警觉 . 考 虑作 者贡 献之不 同的权 重 引用次数 无论是总引用次数或篇均引用次数都是针对论 文而言的 .如果该论文只有一位作者 ,那 么全部 引 用次数理 应归于作者本 人 .但 是如果有 多位作 者 这是 当前发表论文的普遍形式 , 国际上 三大文献 检索数据库的现行做法是把论文的引用次数归于每 一位作者 , 导致了一篇论文的引用次数被反复计算 , 这是十分错 误的.为 了解 决 这一 问题 , 笔 者定 义了两个概念 针对论 文的引用次数和针对作 者的引用 次数 ,而后者 等于前者乘 以作 者的贡献权 重系数 . 权重系数是介 于和之间的一 个实数,可以根 据 该作者在论文中的排名计算 出来 .为了计算权重系 数 ,笔者提出了一个论文荣誉的三分原则 将一篇论 文由引用次数获得 的荣誉等分 为份第一作 者和 通讯作者各得 份 他们 的权重系数均为 , 其他 作者的权重系数之和等于 .而他们的权重系数原 则上按作者排名的先后顺序递减 , 详情可参见文献 ,在这里不再介绍 .为了给权重系数 的计算提供 方便 ,笔者建立了一个网站 ,免费提供权重系数和权 重引用次数的在线计算 , 详见 印.按学科归一化的引用分数和皇冠指标 《 用引用次数作为评价指标的另一个大缺点是不 具有学科可 比性 .例如 ,生物 、医学学科的引用次数 相对较多 而数学 、 力学学科的相对较少 .解决这一 问题的方法之一是引入按学科归一化的引用 分数 . 假设一个研究群 体在某一学科领 域发表 了一 批论 文 .首先计算其篇均引用次数 其次再计算世 界范 围内在同一学 科领域和相 同情 况下的篇均 引用次 数 ,两者之 比则成为按该学 科归一化 的引用 分数 . 其值为 表示达到了世界平均水平 其值大于 小于表示 比世界平均水平高 低 .于是归一化 的 引用分数在不同学科间就有了可比性 .若某一研究 群体同时从事多学科研究 , 则还要对所涉及学科求 平均 .在计算过程中可有不 同的变化 , 于是就有 多 种不同的归一化方 案 .其 中荷兰 大学科学 与技术研究 中心 所提出的皇冠指标就是其 中的一种 ,被作为世界大学排行榜的评价指标使用 , 详见 .但是仔细一 想这种做法也有问题 .把科学划分为各种领域是一 种粗粒化的做法 .问题是 , 粗到多粗为宜 细到多 细为好 如果划分过宽就会抹刹细节 如果划分过 细 ,就会导致毫无 用处 的结果 〔 ` 二,最终 使人处于两 难的境地 .到 目前为止 ,这种指标只应 用于对研究 群体 大学或研究所等 的评价 . 基于引用 网络 的评价 指标 如果把每篇论 文用平面上一个 点 节点 来表 示 ,而 它们 之间 的引用用 一条连接两点的线 段来表示,则构成一个网络图 .引用次数是一正整数 , 可用 实轴上 的一 个点来表示.而 引用网络是一个二维图,应 比实轴上 的一些点包含更多的信息 .令人感 兴趣的是互 联网的众 多 网页 和它们之间的链接关系也可用类似 的网络图来表示 .这使 人联