大数据时代哲学社会科学学术成果评价:问题、策略及指标体系

doi:10.13266/j.issn.0252-3116.2018.16.001

图书情报工作 ›› 2018, Vol. 62 ›› Issue (16): 5-14.DOI: 10.13266/j.issn.0252-3116.2018.16.001

大数据时代哲学社会科学学术成果评价:问题、策略及指标体系

李品, 杨建林

南京大学信息管理学院南京 210023;江苏省数据工程与知识服务重点实验室南京 210023

收稿日期:2017-12-13 修回日期:2018-04-23 出版日期:2018-08-20 发布日期:2018-08-20
作者简介:李品(ORCID:0000-0002-0762-177X),博士研究生,E-mail:376341195@qq.com;杨建林(ORCID:0000-0001-6300-1164),教授,博士,博士生导师。
基金资助:
本文系江苏省社会科学基金重大项目"习近平总书记构建中国特色哲学社会科学重大命题研究"（项目编号：16ZD004）研究成果之一。

Questions, Strategies and Index Systems on Evaluation of Academic Output for Philosophy and Social Sciences in the Big Data Era

Li Pin, Yang Jianlin

School of Information Management, Nanjing University, Nanjing 210023;Jiangsu Key Laboratory of Data Engineering & Knowledge Service, Nanjing University, Nanjing 210023

Received:2017-12-13 Revised:2018-04-23 Online:2018-08-20 Published:2018-08-20

摘要/Abstract

摘要： [目的/意义]学术成果评价是推进哲学社会科学健康发展的重要因素，长期以来，传统同行评议和科学计量学方法在哲学社会科学学术成果评价中暴露出的问题越来越多，挑战固有方法的统治地位、开发有针对性的评价策略已刻不容缓。文章试图探索大数据环境下哲社学术成果评价的变革及其实现，特别是提出了大数据思维下的哲社学术成果的评价指标体系。[方法/过程]基于比较分析和综合分析，对传统哲学社会科学评价方法的弊端进行分析，然后对大数据给哲学社会科学评价带来的改变进行分析，最后提出基于大数据环境的哲学社会科学评价策略和指标体系。[结果/结论]提出大数据时代哲学社会科学学术成果评价的策略：由引文著录分析转向多维度的引用内容与行为分析，由面向成果的阶段性静态评价转向以"学术活动"为中心的全过程动态评价，由学术影响力评价转向学术价值和社会效益评价。在此基础上，构建由两个一级指标、5个二级指标和34个三级指标组成的大数据背景下哲学社会科学学术成果评价指标体系。

关键词: 哲学社会科学, 学术成果, 成果评价, 大数据

Abstract: [Purpose/significance]To solve some defects of peer review and scientometrics methods in the evaluation of philosophy and social sciences academic outputs, the reform and realization of the evaluation of the academic achievements are explored, especially the evaluation index system of the academic achievements of philosophy and social sciences based on the big data thinking are designed.[Method/process]Based on the comparative analysis and comprehensive analysis, this paper analyzes the disadvantages of the traditional philosophy and social sciences evaluation methods, and then analyzes the changes brought by the big data to the philosophy and social sciences evaluation, finally, it puts forward the philosophy and social sciences evaluation strategies and the index systems based on the big data environment.[Result/conclusion]In big data era, it is possible to analyze the semantics and its relevance based on all-round academic contents and activity data. By using the citation content and behavior evaluation, the academic activities-centered whole process dynamic evaluation, academic value and social function evaluation, value of academic achievements of philosophy and social sciences can be truly, comprehensively and objectively reflected. Based on above research, an index system for evaluation of academic achievements of philosophy and social sciences is constructed, which is composed of two first-level indicators, five two-level indicators and 34 three-level indicators.

Key words: philosophy and social sciences, academic output, output evaluation, big data

中图分类号:

G251

李品, 杨建林. 大数据时代哲学社会科学学术成果评价:问题、策略及指标体系[J]. 图书情报工作, 2018, 62(16): 5-14.

Li Pin, Yang Jianlin. Questions, Strategies and Index Systems on Evaluation of Academic Output for Philosophy and Social Sciences in the Big Data Era[J]. LIS, 2018, 62(16): 5-14.

参考文献

[1] 苏新宁. 学术评价与学术考核奖励机制的辩证观[J]. 西南民族大学学报(人文社科版),2017,38(9):1-5.
[2] 李冲,苏永建.学术评价:量化模式的反思与超越[J].自然辩证法研究,2017,33(2):59-63.
[3] 朱剑.大数据之于学术评价:机遇抑或陷阱?[J].中国青年社会科学,2015(4):66-78.
[4] 赵丹群.定量化学术评价研究的最新进展[J].情报理论与实践,2017,40(4):133-137.
[5] 彭秋归. 哲学社会科学评价具有意识形态属性[EB/OL].[2017-08-12].http://theory.gmw.cn/2016-04/21/content_19796235.htm.
[6] 姜春林.人文社会科学研究成果评价的矛盾及其调适[J].西南民族大学学报(人文社科版),2015,36(12):233-236.
[7] 代金平.哲学社会科学发展与学术评价体系[J]. 重庆社会科学,2016(6):13.
[8] 韩毅,夏慧.时间因素视角下科研人员评价的Pt指数研究[J].中国图书馆学报,2015,41(6):73-85.
[9] SELVARAJOO K. Measuring merit:take the risk[J].Science,2015,347(6218):139-140.
[10] 杨瑞仙,梁艳平.国内外高校科研评价方法比较研究[J].情报杂志,2015,34(9):107-110.
[11] BROOKS T A. Evidence of complex citer motivations[J].Journal of the American Society for Information Science,1986,37(1):34-36
[12] PINSKI G,NARIN F. Citation influence for journal aggregates of scientific publications:theory with applications to literature of physics[J].Information processing & management, 1976,12(5):297-312.
[13] SMALL H. Cited documents as concept symbols[J].Social studies of science, 1978,8(3):327-340.
[14] 丁卫.引文分析的演变与展望[J].情报科学,1992(1):65-72.
[15] 仲伟民.量化评价扼杀人文学术[J].澳门理工学报,2015(3):100-109.
[16] 王晓莉,叶良均,徐飞,等. SCI作为科研成果评价标准的局限性研究[J].自然辩证法研究,2001(11):41-47.
[17] GARFIELD E. Can citation indexing be automated?[C]//Proceedings of symposium on statistical association methods for mechanized documentation.Washington:National Bureau of Standards Miscellaneous Publication,1964:189-192.
[18] 张耀铭.学术评价存在的问题、成因及其治理[J].清华大学学报(哲学社会科学版),2015,30(6):73-88,190-191.
[19] 武夷山,王海燕. 无中生有与唤醒"睡美人"[J].情报学报,2014(2):113.
[20] GLANZEL W,GARFIEL E.The myth of delayed recognition[J].Scientist,2004,18(11):8-9.
[21] VAN RAAANA A F J.Sleeping beauties in science[J].Scientometrics,2004,59(3):467-472.
[22] 韩毅.非正式交流回归语境下科技评价的融合路径取向[J].中国图书馆学报,2016,42(4):64-74.
[23] TAYLOR M. Exploring the boundaries:how altmetrics can expand our vision of scholarly communication and social impact[J]. Information standards quarterly, 2013,25(2):27-32.
[24] SPAAPEN J, VAN DROOGE L. Introducing ‘productive interactions’ in social impact assessment[J]. Research evaluation,2011,20(3):211-218.
[25] SMALL H. Citation context analysis[J].Progress in communication science,1982(3):287-312.
[26] 陆伟,孟睿,刘兴帮. 面向引用关系的引文内容标注框架研究[J].中国图书馆学报,2014,40(6):93-104.
[27] ZHANG G, DING Y, MILOJEVIC S. Citation content analysis (CCA):a framework for syntactic and semantic analysis of citation content[J]. Journal of the American Society for Information Science and Technology, 2013,64(7):1490-1503.
[28] SMALL H,KLAVANS R. Identifying scientific breakthroughs by combining co-citation analysis and citation context[C]//Proceedings of the 13th international conference of the International Society for Scientometrics & Informetrics. Leuven:International Society for Scientometrics & Informetrics,2011:783-793.
[29] DING Y. Content-based citation analysis:the next generation in citation analysis[EB/OL].[2017-08-26].http://www.lis.illinois.edu/events/2012/09/26/content-based-citation-analysis-next-generation-citation-analysis.
[30] 刘清堂,张思,范桂林,等. 教育大数据视角下的内容语义分析模型及应用研究[J].电化教育研究,2017,38(1):54-61,93.
[31] CRONIN B. Progress in documentation:Invisible colleges and information transfer,are view and commentary with particular reference to the social sciences[J].Journal of documentation, 1982(38):212-236.
[32] PRICE J. Little science, big science-and beyond[M]. NewYork:Columbia University Press, 1986.
[33] 黄水清, 王超.网络环境下非正式信息交流的概念、类别与特点[J].图书馆杂志, 2004(6):8-11.
[34] JULIA L.Let's make science metrics more scientific[J].Nature, 2010, 464(7288):488-4899.
[35] MCNUTT M.The measure of research merit[J].Science, 2014, 346(6214):1155.
[36] GODIN B,DORE C.Measuring the impacts of science, beyond the economic dimension[EB/OL].[2017-08-26]. http://www.csiic.ca/PDF/Godin_Dore_Impacts.pdf.
[37] BORNMANN L. What is societal impact of research and how can it be assessed? a literature survey[J]. Journal of the American Society for Information Science and Technology, 2013,64(2):217-233.
[38] HOLBROOK J B.The use of societal impacts considerations in grant proposal peer review:a comparison of five models[J]. Technology & innovation, 2010,12(3):213-224.
[39] BOAZ A, FITZPATRICK S, SHAW B. Assessing the impact of research on policy:a literature review[J]. Science & public policy,2009,36(4):255-270.
[40] BORNMANN L. Alternative metrics in scientometrics:a meta-analysis of research into three altmetrics[J].Scientometrics, 2015,103(3):1123-1144.
[41] SANUEL G N,DERRIC G E. Societal impact evaluation:exploring evaluator perceptions of the characterization of impact under the REF2014[J].Research evaluation,2015,24(3):229-241.
[42] 刘盛博,丁堃,唐德龙.引用内容分析的理论与方法[J].情报理论与实践,2015,38(10):27-32.
[43] 化柏林,王惠临. 语法开发平台的系统设计[J].情报学报, 2006, 25(2):189-196.
[44] 邱均平,赵岩杰,罗力. 科学评价中的论文分类方法研究[J]. 情报学报,2011(5):554-560.
[45] 马费成,宋恩梅.我国情报学研究分析:以ACA为方法[J]. 情报学报, 2006, 25(3):259-268.
[46] YE F Y,LEYDESFORFF L. The "academic trace" of the performance matrix:a mathematical synthesis of the h-index and the Integrated Impact Indicator (I3)[J].Journal of the Association for Information Science and Technology,2014,65(4):742-750.
[47] 贺德方.我国科技投入效率、效果评价研究[J].情报学报,2006(6):740-748.
[48] 苏新宁. 图书馆、情报与文献学学术影响力研究报告(2000-2004)——基于CSSCI的分析[J].情报学报,2006, 25(2):131-153.
[49] 陆伟,黄永,程齐凯.学术文本的结构功能识别功能框架及基于章节标题的识别[J].情报学报, 2014(9):979-985.
[50] 裴雷,孙建军.中国科技报告质量评价体系与推进策略[J].情报学报,2014(8):813-823.
[51] 李勇,邵钟钰,赵星. Altmetrics背景下的期刊多维度测评指标研究[J]. 情报学报,2017(2):190-196.
[52] 余厚强,肖婷婷,王曰芬,等.政策文件替代计量指标分布特征研究[J].中国图书馆学报,2017,43(5):57-69.
[53] 武夷山.科研评价指标纵横谈[J].中国科技奖励,2015(3):68-69.

大数据时代哲学社会科学学术成果评价:问题、策略及指标体系

Questions, Strategies and Index Systems on Evaluation of Academic Output for Philosophy and Social Sciences in the Big Data Era

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

[1]	汪雅君, 石进, 李明, 刘亦卓. 基于构件的情报分析模型研究[J]. 图书情报工作, 2022, 66(8): 92-101.
[2]	孙迟瑶, 刘继安, 徐艳茹. 美国一流大学本科数据科学教育体系——建设路径、体系特征与发展趋势[J]. 图书情报工作, 2022, 66(8): 134-143.
[3]	李嘉兴, 王雷, 宋士杰, 朱庆华. 重大突发公共卫生事件驱动的医疗数据开放治理模式研究[J]. 图书情报工作, 2022, 66(4): 23-32.
[4]	吴文瀚. 搜索引擎全量数据的用户画像模型研究——设计与实证[J]. 图书情报工作, 2022, 66(4): 129-141.
[5]	刘宇, 史继强, 徐英祺, 陆颖. 学科服务3.0模式研究与实践[J]. 图书情报工作, 2022, 66(16): 69-77.
[6]	刘坤锋, 李艳红, 张心源. 信任视角下数据智能与专家知识的对比实证研究[J]. 图书情报工作, 2021, 65(6): 110-117.
[7]	杨国立. 因时而变因势而新——评《新时代情报学与情报工作论丛》[J]. 图书情报工作, 2021, 65(21): 6-10.
[8]	卢周来. 紧扣时代互动发展——评《情报与智库》[J]. 图书情报工作, 2021, 65(21): 31-33.
[9]	李洪晨, 马捷, 胡漠. 面向健康医疗大数据安全保护的医疗区块链模型构建[J]. 图书情报工作, 2021, 65(2): 37-44.
[10]	王知津. 大数据环境下情报学的继承与发展[J]. 图书情报工作, 2021, 65(17): 3-12.
[11]	王晰巍, 李玥琪, 贾若男, 孟盈. 新文科背景下大数据管理与应用专业人才培养模式[J]. 图书情报工作, 2021, 65(17): 45-56.
[12]	钱力, 刘细文, 张智雄, 刘会洲. AI+智慧知识服务生态体系研究设计与应用实践——以中国科学院文献情报中心智慧服务平台建设为例[J]. 图书情报工作, 2021, 65(15): 78-90.
[13]	赵发珍. 大数据驱动的图书馆风险治理:内涵及框架[J]. 图书情报工作, 2020, 64(8): 13-23.
[14]	唐彬, 卢艳秋, 赵彬. 跨界搜寻与大数据能力协同作用下平台企业商业模式创新研究[J]. 图书情报工作, 2020, 64(5): 124-132.
[15]	张运良. 大数据服务中知识组织的挑战及应对[J]. 图书情报工作, 2020, 64(4): 88-94.