基于UniLM模型的学术文摘观点自动生成研究

doi:10.13266/j.issn.0252-3116.2023.02.013

图书情报工作 ›› 2023, Vol. 67 ›› Issue (2): 131-139.DOI: 10.13266/j.issn.0252-3116.2023.02.013

基于UniLM模型的学术文摘观点自动生成研究

曾江峰, 刘园园, 程征, 段尧清

华中师范大学信息管理学院武汉 430079

收稿日期:2022-07-25 修回日期:2022-10-06 出版日期:2023-02-09 发布日期:2023-02-09
通讯作者: 刘园园,硕士研究生,通信作者,E-mail:liu5211314yuan2021@163.com。
作者简介:曾江峰,讲师,博士,硕士生导师;程征,硕士研究生;段尧清,教授,博士,博士生导师。
基金资助:
本文系教育部人文社会科学青年项目“情境大数据驱动的社交媒体虚假信息识别模型与治理策略研究”（项目编号：21YJC870002）和中央高校基本科研业务费资助项目“信息交互行为与隐私保护研究”（项目编号：CCNU22QN017）研究成果之一。

An Automatic Generation Study of Academic Abstract Viewpoints Based on the UniLM Model

Zeng Jiangfeng, Liu Yuanyuan, Cheng Zheng, Duan Yaoqing

School of Information Management, Central China Normal University, Wuhan 430079

Received:2022-07-25 Revised:2022-10-06 Online:2023-02-09 Published:2023-02-09

摘要/Abstract

摘要： [目的/意义] 将海量学术文本观点提取工作由人工转向机器，提高效率的同时又能够保证观点提取的准确性、客观性。[方法/过程] 使用UniLM统一语言预训练模型，训练过程中对模型进行精调，以人工标注数据集进行机器学习。将学术文摘作为长度为a的文本序列，经过机器学习，生成长度为b的句子序列（a≥b），并且作为学术论文观点句输出。[结果/结论] 研究结果表明： UniLM模型对于规范型文摘、半规范型文摘、非规范型文摘观点生成精准度分别为94.36%、77.27%、57.43%，规范型文摘生成效果最好。将机器学习模型应用于长文本观点生成，为学术论文观点生成提供一种新方法。不足之处在于本文模型依赖文摘的结构性，对非规范型文摘观点生成效果有所欠缺。

关键词: 学术文摘, 观点自动生成, UniLM模型, 机器学习

Abstract: [Purpose/Significance] The extraction of views from massive academic texts has shifted from manual to machine, which improves efficiency and ensures the accuracy and objectivity of point of view extraction.[Method/Process] Pre-train models using UniLM unified language, fine-tuning the model during training, and machine learning with manually labeled datasets. Using the academic abstract as a sequence of text of length a, after machine learning, it was possible to generate a sentence sequence of length b (a ≥ b) and output as an academic paper point of view sentence.[Result/Conclusion] The results show that the UniLM model has the best effect on the generation of normative abstracts with 94.36%, semi-canonical abstracts with 77.27%, and non-normative abstracts with 57.43%. Applying machine learning models to long text idea generation provides a new approach to academic paper idea generation. The disadvantage is that the model of this paper relies on the structure of the abstract, and the effect of generating non-normative abstract views is lacking.

Key words: academic abstracts, automatic generation of ideas, UniLM models, machine learning

中图分类号:

TP391 G250

曾江峰, 刘园园, 程征, 段尧清. 基于UniLM模型的学术文摘观点自动生成研究[J]. 图书情报工作, 2023, 67(2): 131-139.

Zeng Jiangfeng, Liu Yuanyuan, Cheng Zheng, Duan Yaoqing. An Automatic Generation Study of Academic Abstract Viewpoints Based on the UniLM Model[J]. Library and Information Service, 2023, 67(2): 131-139.

参考文献

[1] 杨思洛, 聂颖.结合全文本分析的论文影响力评价模型研究[J].现代情报, 2022, 42(3):133-146.
[2] 陆伟, 李鹏程, 张国标, 等.学术文本词汇功能识别——基于 BERT向量化表示的关键词自动分类研究[J].情报学报, 2020, 39(12):1320-1329.
[3] 王禹, 吴云.基于评论细粒度观点的跨域推荐模型[J/OL].[2022-03-09].http://epub1.gou5juan.com/kcms/detail/11.2127.TP.20220304.1425.005.html.
[4] HATZIVASSILOGLOU V, MCKEOWN K.Predicting the semantic orientation of adjectives[EB/OL].[2022-08-20].https://dl.acm.org/doi/10.3115/976909.979640.
[5] 王颖.学术资源挖掘方法研究综述[J].现代情报, 2021, 41(12):164-177.
[6] PANG B, LEE L.Opinion mining and sentiment analysis[J].Foundations and trends in information retrieval, 2008, 2(1/2):1-135.
[7] 陈旻, 朱凡微, 吴明晖, 等.观点挖掘综述[J].浙江大学学报(工学版), 2014, 48(8):1461-1472.
[8] 赵泽青.网络评论观点挖掘综述[J].现代计算机(专业版), 2019(7):49-53.
[9] 袁博.观点挖掘模型的研究与改进[D].上海:上海交通大学, 2017.
[10] 韩忠明, 李梦琪, 刘雯, 等.网络评论方面级观点挖掘方法研究综述[J].软件学报, 2018(2):417-441.
[11] 温浩, 乔晓东.文摘创新点的语义本体模型研究[J].情报学报, 2017, 36(9):964-971.
[12] 温浩, 何茜茹.学术文摘创新点挖掘的认知分析方法[J].情报学报, 2021, 40(5):489-499.
[13] LECUN Y, BENGIO Y, HINTON G.Deep learning[J].Nature, 2015, 521(7553):436-444.
[14] 常军林, 吴笑伟, 吴芬芬, 等.基于特征和隐马尔可夫模型的文本信息抽取[J].河南科技大学学报(自然科学版), 2008(2):55-57, 70, 110-111.
[15] 王晓, 李纲, 毛进, 等.突发事件舆情观点识别与分析研究评述[J].图书情报知识, 2021(1):93-102.
[16] 周星瀚, 刘宇, 邱秀连.基于深度学习和CRF的新闻文章的观点提取[J].电子设计工程, 2020, 28(3):18-22.
[17] 韩嵩, 韩秋弘.半监督学习研究的述评[J].计算机工程与应用, 2020, 56(6):19-27.
[18] 谭春辉, 熊梦媛.基于LDA模型的国内外数据挖掘研究热点主题演化对比分析[J].情报科学, 2021, 39(4):174-185.
[19] 张柳, 王晰巍, 黄博, 等.基于LDA模型的新冠肺炎疫情微博用户主题聚类图谱及主题传播路径研究[J].情报学报, 2021, 40(3):234-244.
[20] 姚兆旭, 马静.面向微博话题的"主题+ 观点"词条抽取算法研究[J].现代图书情报技术, 2016(Z1):78-86.
[21] CARON M, BOJANOWSKI P, JOULIN A, et al.Deep clustering for unsupervised learning of visual features[C]//Proceedings of the European conference on computer vision.Munich:ECCV, 2018:139-156.
[22] KRIZHEVSKY A, SUTSKEVER I, HINTON G E.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM, 2017, 60(6):84-90.
[23] LIU Q.Research on approaches to opinion target extraction in opinion mining[D].Nanjing:Southeast University, 2016.
[24] 陈晓美, 高铖, 关心惠.网络舆情观点提取的LDA主题模型方法[J].图书情报工作, 2015, 59(21):21-26.
[25] LIN J, SUN X, MA S, et al.Global encoding for abstractive summarization[C]//Proceedings of the 56th annual meeting of the Association for Computational Linguistics (Volume 2:Short Papers).Melbourne:ACL, 2018:163-169.
[26] YANG F,WANG W C,WANG F, et al.scBERT as a large-scale pretrained deep language model for cell type annotation of single-cell RNA-seq data[J].Nature machine intelligence, 2022, 4(10):852-866.
[27] 温浩.科技文摘创新点语义识别与分类方法研究[J].情报学报, 2019, 38(3):249-256.
[28] RIBEIOR R, MATOSD M D.Extractive summarization of broadcast news:comparing strategies for European Portuguese[C]//Proceedings of the international conference on text, speech and dialogue.Berlin:Springer, 2007, 4629:115-122.
[29] CHENG G, LI X, YAN Y H.Using highway connections to enable deep small-footprint LSTM-RNNs for speech recognition[J].Chinese journal of electronics, 2019, 28(1):107-112.
[30] 孙宝山, 谭浩.基于ALBERT-UniLM模型的文本自动摘要技术研究[J/OL].[2022-03-08].http://epub1.gou5juan.com/kcms/detail/11.2127.TP.20210802.0922.002.html.
[31] SJOBERGH J.Older versions of the ROUGE eval summarization evaluation system were easier to fool[J].Information processing & management, 2007, 43(6):1500-1505.
[32] GOODFELLOW I, BENGIO Y, COURVILLE A.Deep learning[J].Nature, 2016, 22(4):367-415.
[33] ZHAO J, MAO X, CHEN L.Learning deep features to recognize speech emotion using merged deep CNN[J].IET signal processing, 2018, 12(6):713-721.
[34] VASEANI A, SHAZEER N, PARMAR N, et al.Attention is all you need[EB/OL].[2022-08-20].https://dl.acm.org/doi/10.5555/3295222.3295349.

基于UniLM模型的学术文摘观点自动生成研究

An Automatic Generation Study of Academic Abstract Viewpoints Based on the UniLM Model

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

[1]	肖纪文. 面向局部可解释性机器学习的数据故事生成方法研究[J]. 图书情报工作, 2023, 67(2): 98-107.
[2]	孙震, 冷伏海. 一种基于知识元变异的ESI研究前沿知识演进分析方法[J]. 图书情报工作, 2022, 66(2): 136-148.
[3]	陆颖颖, 孙裕彤, 张瑶, 李旭光. 人工智能、机器学习、自动化和机器人技术对信息行业的影响——2021年CILIP专题研讨会综述与启示[J]. 图书情报工作, 2022, 66(19): 143-152.
[4]	张彪, 吴红, 高道斌, 林艳秋. 基于潜在高被引论文与高价值专利的创新前沿识别研究[J]. 图书情报工作, 2022, 66(18): 72-83.
[5]	严炜炜, 黄为, 温馨. 学术社交网络问答质量智能评价与服务优化研究[J]. 图书情报工作, 2021, 65(6): 129-137.
[6]	郭诗琪, 贠强, 陈亮, 周杰. 专利无效对比文件判定方法研究[J]. 图书情报工作, 2021, 65(2): 117-125.
[7]	谢豪, 吴雪华, 陈茜, 唐晶, 白云, 毛进. 融合多维特征的学术文献下载行为预测研究[J]. 图书情报工作, 2021, 65(12): 112-121.
[8]	潘梦雅, 沈旺, 代旺, 刘嘉宇. 社会化问答社区答题者发现研究[J]. 图书情报工作, 2020, 64(18): 76-88.
[9]	邱科达, 马建玲. 机器学习在术语抽取研究中的文献计量分析[J]. 图书情报工作, 2020, 64(14): 94-103.
[10]	徐璐, 卢小宾, 杨冠灿. 金融科技专利识别与分类方法构建及应用[J]. 图书情报工作, 2020, 64(11): 87-95.
[11]	余传明, 原赛, 王峰, 安璐. 大数据环境下文本情感分析算法的规模适配研究:以Twitter为数据源[J]. 图书情报工作, 2019, 63(4): 101-111.
[12]	张云中, 秦艺源. 社会化标注系统标签质量影响因素研究:基于随机森林算法[J]. 图书情报工作, 2019, 63(24): 119-126.
[13]	尹丽春, 王悦. 基于在线评论的图书消费者满意度影响因素与作用机理[J]. 图书情报工作, 2019, 63(22): 106-117.
[14]	钱力, 张晓林, 王茜. 科技论文的研究设计指纹自动识别方法构建与实现[J]. 图书情报工作, 2018, 62(2): 135-143.
[15]	王伟, 冀宇强, 王洪伟, 郑丽娟. 中文问答社区答案质量的评价研究:以知乎为例[J]. 图书情报工作, 2017, 61(22): 36-44.