基于学科规范引文影响力与同行评议相关性的科学评价实证研究

doi:10.13266/j.issn.0252-3116.2018.18.013

图书情报工作 ›› 2018, Vol. 62 ›› Issue (18): 122-128.DOI: 10.13266/j.issn.0252-3116.2018.18.013

基于学科规范引文影响力与同行评议相关性的科学评价实证研究

宋丽萍¹, 王建芳²

1. 天津师范大学管理学院天津 300387;
2. 中国科学院科技战略咨询研究院北京 100190

收稿日期:2017-11-11 修回日期:2018-06-26 出版日期:2018-09-20 发布日期:2018-09-20
通讯作者: 王建芳(ORCID:0000-0002-9950-7818),副研究员,博士,通讯作者,E-mail:wangjianfang@casisd.cn
作者简介:宋丽萍(ORCID:0000-0003-3056-3720),教授,博士。
基金资助:
本文系国家社会科学基金一般项目"负责任计量视角下科学评价方法与指标优化研究"（项目编号：18BTQ074）研究成果之一。

An Empirical Study of Scientific Evaluation Based on the Correlation Between CNCI and Peer Review

Song Liping¹, Wang Jianfang²

1. Management School of Tianjin Normal University, Tianjin 300387;
2. Institutes of Science and Development, Chinese Academy of Sciences, Beijing 100190

Received:2017-11-11 Revised:2018-06-26 Online:2018-09-20 Published:2018-09-20

摘要/Abstract

摘要： [目的/意义]分析学科规范引文影响力在科学评价中的可行性及其与同行评议的相关性，为负责任计量及以其为支撑的同行评议提供借鉴。[方法/过程]选取F1000以及InCites平台，将29 850篇细胞生物学文献、30 326篇生物技术文献的CNCI （学科规范化引文影响力）与被引频次进行相关分析，对其中956篇细胞生物学论文的CNCI与F1000分值进行斯皮尔曼相关系数检验。[结果/结论]研究结果表明，从统计学视角看CNCI与被引频次呈高度正相关，与F1000分值呈显著正相关，同时亦存在二者相悖的情形。因此，CNCI在一定程度上能够反映同行评议结果、能代偿实施学术影响力归誉的功能，并适用于跨学科比较；但同行评议或CNCI单独作为科学评价标准都会有失偏颇，以CNCI为代表的新一代负责任计量指标为支撑的同行评议将成为未来科学评价的主流。

关键词: 同行评议, 负责任计量, F1000, InCites

Abstract: [Purpose/significance] In order to make some recommendations for responsible metrics and peer review, the paper analyses the feasibility of Category Normalized Citation Impact(CNCI) and its correlation with peer review.[Method/process] By choosing F1000 and InCites, this paper conducted the correlation analysis between CNCI and citation counts of 29,850 cell biology papers and 30,326 biotechnology papers, and performed the test of spearman rank correlation coefficient between the CNCI and F1000 scores of 956 cell biology papers.[Result/conclusion] The results show that CNCI is positively correlated with citation counts, and significantly correlated with F1000 rating, but there are contradictory situations for the two indicators at the same time. Therefore, CNCI can reflect the results of peer review, substitute for the indication of academic influence, and also can be used for comparision among disciplines. However, peer review or CNCI will be biased for scientific evaluation purpose alone. Then, tools that link responsible metrics indicators, such as CNCI and informed peer reviews would be valuable additions to the field of research evaluation.

Key words: peer review, responsible metrics, F1000, InCites

中图分类号:

G250

宋丽萍, 王建芳. 基于学科规范引文影响力与同行评议相关性的科学评价实证研究[J]. 图书情报工作, 2018, 62(18): 122-128.

Song Liping, Wang Jianfang. An Empirical Study of Scientific Evaluation Based on the Correlation Between CNCI and Peer Review[J]. LIS, 2018, 62(18): 122-128.

参考文献

[1] WILSDON J. The metric tide:report of the independent review of the role of metrics in research assessment and management[M]. London:SAGE Publishing,2016:137-158.
[2] GARFIELD E. Citation indexing-its theory and application in science, technology, and humanities[M].New York:John Wiley & Sons,1979.
[3] HICKS D, WOUTERS P, WALTMAN L. Bibliometrics:the Leiden Manifesto for Research metrics[J]. Nature. 2015,520(7548):429-431.
[4] HAUNSCHILD R, BORNMANN L. Normalization of Mendeley reader counts for impact assessment[J]. Journal of informetrics, 2016, 10(1):62-73.
[5] TRACZ V, LAWRENCE R. Towards an open science publishing platform[EB/OL].[2018-07-20]. https://f1000researchdata.s3.amazonaws.com/manuscripts/8575/0c0c20d6-8920-4d1c-b564-e81901b268f4_7968_-_rebecca_lawrence.pdf?doi=10.12688/f1000research.7968.1.
[6] InCites[EB/OL].[2018-04-17].https://clarivate.com.cn/products/incites/.
[7] LEYDESDORFF L, RADICCHI F, BORNMANN L, et al. Field-normalized impact factors (IFs):A comparison of rescaling and fractionally counted IFs[J]. Journal of the American Society for Information Science & Technology, 2013, 64(11):2299-2309.
[8] BORNMANN L, HAUNSCHILD R. Measuring field-normalized impact of papers on specific societal groups:an altmetrics study based on Mendeley data[J]. Research evaluation, 2016, 26(3):10-35.
[9] InCites[EB/OL].[2017-06-03].https://incites.thomsonreuters.com/.
[10] F1000[EB/OL].[2017-06-05].http://f1000.com/prime.
[11] BORNMANN L, HAUNSCHILD R. Relative Citation Ratio (RCR):an empirical attempt to study a new field-normalized bibliometric indicator[J]. Journal of the Association for Information Science & Technology, 2017, 68(4):1064-1067.
[12] DERRICK G E, PAVONE V. Democratising research evaluation:achieving greater public engagement with bibliometrics-informed peer review[J]. Science & public policy, 2013, 40(5):563-575.

[1]	张光耀, 谢维熙, 姜春林, 王贤文. 科学计量视角下的论文同行评议研究综述[J]. 图书情报工作, 2022, 66(14): 137-149.
[2]	秦成磊, 韩茹雪, 周昊旻, 仲江涛, 章成志. 同行评审意见类型识别及其在不同被引频次下的分布研究[J]. 图书情报工作, 2022, 66(13): 102-117.
[3]	宋丽萍, 王修涵, 苑珊珊. 负责任计量与科学评价趋向[J]. 图书情报工作, 2021, 65(9): 16-22.
[4]	宋丽萍, 王建芳, 付婕, 苑珊珊. 以共引网络识别研究领域的引文评价方法有效性分析[J]. 图书情报工作, 2021, 65(23): 100-105.
[5]	黄国彬, 刘磊, 陈丽. 注册式研究报告的同行评议机制研究[J]. 图书情报工作, 2021, 65(18): 24-35.
[6]	刘春丽, 臧东宇, 张连生. 开放同行评议期刊论文的引文与社会关注度优势研究[J]. 图书情报工作, 2021, 65(1): 110-119.
[7]	索传军, 于淼. 国外期刊论文同行评议创新态势述评[J]. 图书情报工作, 2021, 65(1): 128-139.
[8]	撒旭, 王健, 范智萱, 刘建平, 张贵兰, 徐波. 数据期刊同行评议视角下科学数据质量评价指标识别[J]. 图书情报工作, 2020, 64(17): 123-130.
[9]	许丹, 徐爽, 陈斯斯, 韩爽, 杨颖, 郭继军. 基于自然语言词对法的文献主题新颖性探测研究[J]. 图书情报工作, 2018, 62(8): 130-138.
[10]	杜杏叶, 李贺, 王玲, 刘远颖, 易飞, 徐健, 王传清, 王善军, 刘晶晶. 中国学者对学术论文公开同行评议的接受度研究[J]. 图书情报工作, 2018, 62(2): 73-81.
[11]	袁国华, 寇晶晶, 张建勇, 韩正琪. 基于开放同行评议的学者影响力评价研究——以F1000为例[J]. 图书情报工作, 2018, 62(13): 37-44.
[12]	万昊, 谭宗颖, 朱相丽. 同行评议与文献计量在科研评价中的作用分析比较[J]. 图书情报工作, 2017, 61(1): 134-152.
[13]	王丹丹. 科学数据出版过程中的数据质量控制[J]. 图书情报工作, 2015, 59(23): 124-129.
[14]	惠淑敏. 基于推荐-传播模型的学术论文评价方法[J]. 图书情报工作, 2014, 58(04): 85-93.
[15]	沈利华, 缪家鼎, 陈国钢, 何晓薇, 余敏杰, 李红. “客观同行评议”方法探索性研究——一种基于引文分析法的学术论文影响力评价方法[J]. 图书情报工作, 2012, 56(18): 144-148.

基于学科规范引文影响力与同行评议相关性的科学评价实证研究

An Empirical Study of Scientific Evaluation Based on the Correlation Between CNCI and Peer Review

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics