多特征融合的关键词语义功能识别研究

doi:10.13266/j.issn.0252-3116.2021.09.010

图书情报工作 ›› 2021, Vol. 65 ›› Issue (9): 89-96.DOI: 10.13266/j.issn.0252-3116.2021.09.010

多特征融合的关键词语义功能识别研究

张国标^1,2, 李鹏程^1,2, 陆伟^1,2, 程齐凯^1,2

1 武汉大学信息管理学院武汉 430072;
2 武汉大学信息检索与知识挖掘研究所武汉 430072

收稿日期:2020-10-20 修回日期:2021-02-08 出版日期:2021-05-05 发布日期:2021-06-02
通讯作者: 陆伟(ORCID:0000-0002-0929-7416),院长,教授,博士生导师,通讯作者,E-mail:weilu@whu.edu.cn
作者简介:张国标(ORCID:0000-0002-1568-2492),博士研究生;李鹏程(ORCID:0000-0003-1427-7716),博士研究生;程齐凯(ORCID:0000-0003-3904-8901),副教授,博士。
基金资助:
本文系国家自然科学基金项目"基于多语义信息融合的学术文献引文推荐研究"（项目编号：71673211）和国家自然科学基金青年项目"基于深度语义挖掘的引文推荐多样化研究"（项目编号：71704137）研究成果之一。

Research on Keyword Semantic Function Recognition Based on Multi-feature Fusion

Zhang Guobiao^1,2, Li Pengcheng^1,2, Lu Wei^1,2, Cheng Qikai^1,2

1 School of Information Management, Wuhan University, Wuhan 430072;
2 Institute for Information Retrieval and Knowledge Mining, Wuhan University, Wuhan 430072

Received:2020-10-20 Revised:2021-02-08 Online:2021-05-05 Published:2021-06-02

摘要/Abstract

摘要： [目的/意义] 关键词作为一种能够揭示学术文本主题及核心内容的词汇或术语，对其进行功能识别可为知识和文献的快速、精确获取提供底层索引支持。[方法/过程] 针对现有研究在关键词上下文建模中多局限于文本层面的符号语义表征，在深入挖掘文献行书规律的基础上，提出一种基于多特征融合的词汇功能识别模型。模型在采用BERT模型捕获关键词上下文依赖特征的同时，融合关键词在关键词列表和全文中的位置信息以及词汇功能先验知识信息，继而采用注意力机制和前馈神经网络对关键词进行问题方法的语义功能判别。[结果/结论] 实验结果显示，关键词的位置信息和先验知识均能有效提升关键词语义功能识别性能，其中先验知识对识别效果的提升有较大贡献。

关键词: 词汇功能识别, 学术文本, 关键词, BERT, 多特征融合

Abstract: [Purpose/significance] Keywords, as a kind of vocabulary or term that can reveal the subject and core content of a text, can identify the functions and provide the underlying index support for fast and accurate acquisition of knowledge and documents.[Method/process] Aiming at the existing studies that are mostly limited to the semantic representation of symbols at the text level in vocabulary context modeling, this paper proposes a lexical function recognition model based on multi-feature fusion. On the basis of capturing the context-dependent features of keywords using the BERT model, the position information of keywords in the keyword list and the full text and prior knowledge of vocabulary functions are fused, and then the attention mechanism and feed-forward neural network are used for the identification of key words by problem-solving method.[Result/conclusion] The experimental results show that both the location information and priori knowledge of the keywords can improve their word function recognition effect, and the prior knowledge has a greater contribution to the recognition effect.

Key words: lexical function recognition, academic text, keyword, BERT, multi-feature fusion

中图分类号:

G250

张国标, 李鹏程, 陆伟, 程齐凯. 多特征融合的关键词语义功能识别研究[J]. 图书情报工作, 2021, 65(9): 89-96.

Zhang Guobiao, Li Pengcheng, Lu Wei, Cheng Qikai. Research on Keyword Semantic Function Recognition Based on Multi-feature Fusion[J]. Library and Information Service, 2021, 65(9): 89-96.

参考文献

[1] 杨涛.中文智能搜索引擎浅析[J].图书情报工作,2002,56(1):62-65.
[2] 万华林, CHOWDHURY M U.基于支持向量机的图像语义分类[J].软件学报,2003,14(11):1891-1899.
[3] LU W, LI X, LIU Z F, et al. How do author-selected keywords function semantically in scientific manuscripts[J]. Knowledge organization,2019,46(6):403-418.
[4] DALRYMPLE M, KAPLAN R M, MAXWELL J T, et al. Formal issues in lexical-functional grammar[M]. Stanford:CSLI Publications, 1995.
[5] MOON T, ERK K, BALDRIDGE J. Crouching dirichlet, hidden markov model:unsupervised POS tagging with context local tag generation[C]//Proceeding of the 2010 conference on empirical methods in natural language processing.Cambridge:Association for Computational Linguistics, 2010:196-206.
[6] 孙静,李军辉,周国栋.基于条件随机场的无监督中文词性标注[J].计算机应用于软件,2011,28(4):21-23.
[7] KONDO T, NANBA H, TAKEZAWA T, et al. Technical trend analysis by analyzing research papers' titles[M]. Berlin:Springer, 2009.
[8] NANBA H, KONDO T, TAKEZAWA T. Automatic creation of a technical trend map from research papers and patents[C]//Proceedings of the 3rd international workshop on patent information retrieval.New York:Association for Computing Machinery,2010:11-16.
[9] GUPTA S, MANNING C. Analyzing the dynamics of research by extracting key aspects of scientific papers[C]//Proceedings of 5th international joint conference on natural language processing.Stroudsburg:Association for Computational Linguistics, 2011:1-9.
[10] TSAI C T, KUNDU G, DAN R. Concept-based analysis of scientific literature[C]//Proceeding of the 22nd acm international conference on conference on information & knowledge management.New York:Association for Computing Machinery,2013:1733-1738.
[11] 程齐凯,李信.面向语义出版的学术文本词汇语义功能自动识别[J].数字图书馆论坛, 2017,159(8):24-31.
[12] HEFFERNAN K, TEUFEL S. Identifying problems and solutions in scientific text[J]. Scientometrics,2018, 116(1):1-16.
[13] 陆伟,李鹏程,张国标,等.学术文本词汇功能识别——基于BERT向量化表示的关键词自动分类研究[J].情报学报,2020,39(12):1320-1329.
[14] 唐明,朱磊,邹显春.基于Word2Vec的一种文档向量表示[J].计算机科学,2016,43(6):214-217,269.
[15] VASWANI A, SHAZEER N, PARMAR N. Attention is all you need[C]//Proceedings of the 31th international conference on neural information processing systems.New York:Curran Associates Inc, 2017:6000-6010.
[16] DEVLIN J, CHANG M W, LEE K, et al. Bert:pre-training of deep bidirectonal transformers for language understanding[C]//Proceeding of the 2019 conference of the North American chapter of the Association for Computational Linguistics:human language technologies. Minneapolis:Association for Computational Linguistics,2019:4171-4186.
[17] 王佳敏,陆伟,刘家伟,等.多层次融合的学术文本结构功能识别研究[J].图书情报工作, 2019,63(13):95-104.
[18] 黄永,陆伟,程齐凯,等.学术文本的结构功能识别——基于段落的识别[J].情报学报, 2016,35(5):530-538.

多特征融合的关键词语义功能识别研究

Research on Keyword Semantic Function Recognition Based on Multi-feature Fusion

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

[1]	俞琰, 鞠鹏, 尚明杰. 基于信息增益与相似度的专利关键词抽取算法评价模型[J]. 图书情报工作, 2022, 66(6): 108-117.
[2]	吕璐成, 赵亚娟, 王学昭, 韩涛, 赵萍, 张迪. 基于表示学习的技术融合差异度测度方法及其效果研究[J]. 图书情报工作, 2022, 66(4): 118-128.
[3]	韩普, 顾亮. 基于混合深度学习的中文医学实体抽取研究[J]. 图书情报工作, 2022, 66(14): 119-127.
[4]	宗威, 林松涛, 刘继昶. 数据集成场景下考虑语义信息的高效实体识别方法[J]. 图书情报工作, 2022, 66(14): 128-136.
[5]	索传军, 葛倩, 魏长青. 基于论题视角的图情中文期刊论文关键词标注探析——以"基于"类论文为例[J]. 图书情报工作, 2022, 66(12): 117-124.
[6]	梁媛, 王东波, 黄水清. 古籍同事异文的自动发掘研究[J]. 图书情报工作, 2021, 65(9): 97-104.
[7]	陆泉, 郝志同, 陈静, 陈仕, 朱安琪. 利用迁移学习精准识别领域信息之探讨[J]. 图书情报工作, 2021, 65(5): 110-117.
[8]	张敏, 刘欢, 丁良萍, 范青. 基于深度学习的网络科技信息情报价值计算方法研究[J]. 图书情报工作, 2021, 65(23): 70-78.
[9]	王秀红, 高敏. 基于BERT-LDA的关键技术识别方法及其实证研究——以农业机器人为例[J]. 图书情报工作, 2021, 65(22): 114-125.
[10]	杨波, 邵婉婷. 基于LDA-BERT融合模型的弱信号识别研究【涉嫌严重学术不端撤稿】[J]. 图书情报工作, 2021, 65(16): 98-107.
[11]	张玉洁, 白如江, 刘明月, 于纯良. 融合语义联想和BERT的图情领域SAO短文本分类研究[J]. 图书情报工作, 2021, 65(16): 118-129.
[12]	石锴文, 刘勘. 突发公共卫生事件中微博谣言的识别[J]. 图书情报工作, 2021, 65(13): 87-95.
[13]	施国良, 陈宇奇. 文本增强与预训练语言模型在网络问政留言分类中的集成对比研究[J]. 图书情报工作, 2021, 65(13): 96-107.
[14]	罗卓然, 蔡乐, 钱佳佳, 陆伟. 学术论文创新贡献句识别研究[J]. 图书情报工作, 2021, 65(12): 93-100.
[15]	蒋甜, 刘小平, 刘会洲. 基于关键词关联度指标(KRI)进行LDA噪声主题过滤的方法研究[J]. 图书情报工作, 2020, 64(3): 92-99.