科技文献研究问题句识别方法研究

doi:10.13266/j.issn.0252-3116.2023.09.014

图书情报工作 ›› 2023, Vol. 67 ›› Issue (9): 132-140.DOI: 10.13266/j.issn.0252-3116.2023.09.014

科技文献研究问题句识别方法研究

李雪思^1,2, 张智雄^1,2, 刘熠^1,2, 王宇飞^1,2

1 中国科学院文献情报中心北京 100190;
2 中国科学院大学经济与管理学院信息资源管理系北京 100190

收稿日期:2022-09-05 修回日期:2022-12-07 出版日期:2023-05-11 发布日期:2023-05-11
作者简介:李雪思，博士研究生，E-mail：lixuesi@mail.las.ac.cn；张智雄，研究馆员，博士；刘熠，馆员，博士；王宇飞，博士研究生。
基金资助:
本文系国家科技图书文献中心（NSTL）“下一代开放知识服务平台关键技术优化集成与系统研发—科研综述智能生成工具优化与集成”（项目编号：2022XM28）研究成果之一。

A Study on the Method of Identifying Research Question Sentences in Scientific Articles

Li Xuesi^1,2, Zhang Zhixiong^1,2, Liu Yi^1,2, Wang Yufei^1,2

1 National Science Library, Chinese Academy of Sciences, Beijing 100190;
2 Department of Information Resources Management, School of Economics and Management, University of Chinese Academy of Sciences, Beijing 100190

Received:2022-09-05 Revised:2022-12-07 Online:2023-05-11 Published:2023-05-11

摘要/Abstract

摘要： [目的/意义] 科技文献是记录科学问题提出和求解过程的重要载体，其中的研究问题句对于揭示科学问题具体内容、把握文章的研究主题具有重要作用。自动识别科技文献研究问题句是科技文本挖掘中一个重要的任务。[方法/过程]针对研究问题句自动识别，首先提出一种基于迭代的半自动标注策略，结合模型预判的置信度进行人工校对，对研究问题句数据进行标注。在此基础上，采用BERT-CNN的架构设计句子分类模型，该模型引入BERT生成文本向量，并使用CNN提取文本特征，然后通过实验与基准模型进行对比验证了模型的有效性。[结果/结论]基于提出的标注策略构建了大规模规范可用的数据集，经过人工检验准确率达到95%；并在此基础上设计了基于BERT-CNN架构的识别模型，在研究问题句识别任务中F1值达到94.8%。本文的研究为科技文献研究问题的挖掘与分析提供了高质量的数据支持和有效的模型方法。

关键词: 研究问题句, 自动识别, 预训练语言模型, 深度学习, 文本挖掘

Abstract: [Purpose/Significance] Scientific articles are an important tool for recording the process of scientific problem formulation and solution. And the research problem sentences in scientific articles play an important role in revealing the specific content of scientific problems and understand the research themes of articles. Automatic recognition of research question sentences in scientific articles is an important task in scientific text mining. [Method/Process] In order to automatically recognize research question sentences, a semi-automatic annotation strategy based on iteration was firstly proposed. Combined with the confidence of model prediction, manual proofreading was carried out to annotate the data of research question sentences. On this basis, a sentence classification model was designed using a BERT-CNN architecture, which introduced BERT to generate text vectors and used CNN to extract text features. Then, the effectiveness of the model was verified by comparison with experiments and the benchmark model. [Result/Conclusion] A large-scale and available dataset was constructed based on the proposed annotation strategy, and the precision reached 95% after manual inspection. As for the recognition model based on the BERTCNN architecture, the F1 value reaches 94.8% in the research question sentence recognition task. This paper provides high-quality data support and effective modeling methods for the mining and analysis of research questions in scientific articles.

Key words: research problem sentences, automatic recognition, pre-trained language models, deep learning, text mining

中图分类号:

李雪思, 张智雄, 刘熠, 王宇飞. 科技文献研究问题句识别方法研究[J]. 图书情报工作, 2023, 67(9): 132-140.

Li Xuesi, Zhang Zhixiong, Liu Yi, Wang Yufei. A Study on the Method of Identifying Research Question Sentences in Scientific Articles[J]. Library and Information Service, 2023, 67(9): 132-140.

参考文献

[1] 沈振东. 论科学问题的意义标准[J]. 科技进步与对策, 2012, 29(21):20-24.
[2] 索传军, 赖海媚. 学术论文问题知识元的类型与描述规则[J]. 中国图书馆学报, 2021, 47(2):95-109.
[3] QIU X P, SUN T X, X Y G, et al. Pre-Trained models for natural language processing:a survey[J]. Science China technological sciences, 2020, 63(10):1872-1897.
[4] 赵旸, 张智雄, 刘欢, 等. 基于BERT模型的中文医学文献分类研究[J]. 数据分析与知识发现, 2020, 4(8):41-49.
[5] 周文远, 王名扬, 井钰. 基于AttentionSBGMC模型的引文情感和引文目的自动分类研究[J]. 数据分析与知识发现, 2021, 5(12):48-59.
[6] 王佳敏, 吴乐艳, 李鹏程, 等. 学术文献致谢功能数据集构建与识别方法研究[J]. 情报科学, 2021, 39(11):173-179.
[7] 程齐凯, 李信, 陆伟. 领域无关学术文献词汇功能标准化数据集构建及分析[J]. 情报科学, 2019, 37(7):41-47.
[8] 唐晓波, 向莉丽, 牟昊. 基于研究问题与研究方法贡献的论文学术价值早期识别方法[J]. 情报科学, 2022, 40(9):3-11+19.
[9] KONDO T, NANBA H, TAKEZAWA T, et al. Technical trend analysis by analysis research paper's titiles[M]. Human language technology:challenges for computer science and linguistics. Belin:Springer, 2009:512-521.
[10] 马超义, 徐蔚然. 基于弱监督和半自动方法的中文关系抽取数据集构建[J]. 中文信息学报, 2017, 31(5):114-119.
[11] 徐彤阳, 尹凯. 基于深度学习的数字图书馆文本分类研究[J]. 情报科学, 2019, 37(10):13-19.
[12] 成颖, 史九林. 自动分类研究现状与展望[J]. 情报学报, 1999(1):20-26.
[13] LEWIS D D. Naive(Bayes)at forty:the independence assumption in information retrieval[C]//Machine learning:ECML-98. Berlin:Springer, 1998:4-15.
[14] BURGES C J. A tutorial on support vector machines for pattern recognition[J]. Data mining and knowledge discovery, 1998, 2(2):121-167.
[15] BREIMAN L, FRIEDMAN J H, OLSHEN R A, et al. Classification and regression trees (CART)[J]. Biometrics, 1984, 40(3):358.
[16] KALCHBRENNER N, GREFENSTETTE E, BLUNSOM P. A convolutional neural network for modelling sentences[C]//Proceedings of the 52nd annual meeting of the association for computational linguistics (Volume 1:Long Papers). Baltimore:Association for Computational Linguistics, 2014:655-665.
[17] KIM Y. Convolutional neural networks for sentence classification[C]//Proceedings of the 2014 conference on empirical methods in natural language processing. Doha:Association for Computational Linguistics, 2014:1746-1751.
[18] HASSAN A, MAHMOOD A. Convolutional recurrent deep learning model for sentence classification[J]. IEEE access, 2018, 6:13949-13957.
[19] GU C, WU M, ZHANG C. Chinese sentence classification based on convolutional neural network[J]. IOP conference series:materials science and engineering, 2017, 261(1):012008.
[20] DEVLIN J, CHANG MW, LEE K, et al. Bert:Pre-training of deep bidirectional transformers for language understanding[J]. arXiv preprint arXiv:1810.04805, 2018.
[21] 宋若璇, 钱力, 杜宇. 基于科技论文中未来工作句集的学术创新构想话题自动生成方法研究[J]. 数据分析与知识发现, 2021, 5(5):10-20.
[22] 张颖怡, 章成志. 基于学术论文全文的研究方法句自动抽取研究[J]. 情报学报, 2020, 39(6):640-650.
[23] National Center for Biotechnology Information. PubMed open access[EB/OL].[2022-01-31]. https://ftp.ncbi.nlm.nih.gov/pub/pmc/oa_bulk/.
[24] JAWAHAR G, SAGOT B, SEDDAH D. What does bert learn about the structure of language?[C]//Proceedings of the 57th annual meeting of the association for computational linguistics. Florence:Association for Computational Linguistics, 2019:3651-3657.

科技文献研究问题句识别方法研究

A Study on the Method of Identifying Research Question Sentences in Scientific Articles

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

[1]	郭靖怡, 王学昭, 陈小莉. 基于专利文本中产品关联关系的产业技术链构建与实证研究——以锂离子电池产业为例[J]. 图书情报工作, 2023, 67(5): 108-118.
[2]	步一, 黄圣智, 黄永, 陆伟. 学者研究主题演化的时空测度:速度、覆盖度和迂回度[J]. 图书情报工作, 2022, 66(24): 84-91.
[3]	胡雅敏, 吴晓燕, 廖兴滨, 钱杨舸, 陈方. 融合深度学习和链路预测的细粒度技术预测研究——以合成生物技术为例[J]. 图书情报工作, 2022, 66(24): 92-103.
[4]	张卫, 王昊, 李晓敏, Song Min. 数字人文视角下古诗意象知识抽取及其文化图式构建研究[J]. 图书情报工作, 2022, 66(24): 104-117.
[5]	袁义国, 李斌, 冯敏萱, 贺胜, 王东波. 基于深度学习的古籍文本自动断句与标点一体化研究[J]. 图书情报工作, 2022, 66(22): 134-141.
[6]	袁毅, 陶鑫琪, 李瑾萱, 刘娅娴, 汪晓芸, 景香玉. 基于招聘文本实体挖掘的人才供需分析——以人工智能领域为例[J]. 图书情报工作, 2022, 66(14): 101-118.
[7]	韩普, 顾亮. 基于混合深度学习的中文医学实体抽取研究[J]. 图书情报工作, 2022, 66(14): 119-127.
[8]	梁爽, 刘小平. 基于文本挖掘的科技文献主题演化研究进展[J]. 图书情报工作, 2022, 66(13): 138-149.
[9]	周潇, 许银彪, 史益. 基于深度学习与语义挖掘的技术创新组合识别与追踪[J]. 图书情报工作, 2022, 66(10): 33-44.
[10]	李娜, 姜恩波, 朱一真, 刘婷. 政策工具自动识别方法与实证研究[J]. 图书情报工作, 2021, 65(7): 115-122.
[11]	王瑞雪, 方婧, 桂思思, 陆伟, 张显. 基于深度学习算法的学术查询意图分类器构建[J]. 图书情报工作, 2021, 65(3): 93-99.
[12]	杜悦, 王东波, 江川, 徐润华, 李斌, 许超, 徐晨飞. 数字人文下的典籍深度学习实体自动识别模型构建及应用研究[J]. 图书情报工作, 2021, 65(3): 100-108.
[13]	桂美增, 许学国. 基于深度学习的技术机会预测研究——以新能源汽车为例[J]. 图书情报工作, 2021, 65(19): 130-141.
[14]	孔德婧, 董放, 陈子婧, 刘宇涵, 周源. 离群专利视角下的新兴技术预测——基于BERT模型和深度神经网络[J]. 图书情报工作, 2021, 65(17): 131-141.
[15]	钱力, 刘细文, 张智雄, 刘会洲. AI+智慧知识服务生态体系研究设计与应用实践——以中国科学院文献情报中心智慧服务平台建设为例[J]. 图书情报工作, 2021, 65(15): 78-90.