融合深度学习和链路预测的细粒度技术预测研究——以合成生物技术为例

doi:10.13266/j.issn.0252-3116.2022.24.009

图书情报工作 ›› 2022, Vol. 66 ›› Issue (24): 92-103.DOI: 10.13266/j.issn.0252-3116.2022.24.009

融合深度学习和链路预测的细粒度技术预测研究——以合成生物技术为例

胡雅敏^1,2, 吴晓燕¹, 廖兴滨³, 钱杨舸³, 陈方^1,2

1. 中国科学院成都文献情报中心成都 610299;
2. 中国科学院大学经济与管理学院图书情报与档案管理系北京 100190;
3. 中国科学院成都计算机应用研究所成都 610299

收稿日期:2022-05-18 修回日期:2022-09-26 出版日期:2022-12-20 发布日期:2022-12-27
通讯作者: 陈方,研究员,博士,通信作者,E-mail:chenf@clas.ac.cn
作者简介:胡雅敏,硕士研究生;吴晓燕,助理研究员;廖兴滨,硕士研究生;钱杨舸,硕士研究生。
基金资助:
本文系中国科学院成都文献情报中心2021年创新基金青年项目"基于知识基因的领域创新路径分析框架研究"(项目编号:E1Z0000202)研究成果之一。

Research on Fine-Grained Technology Prediction Based on Deep Learning and Link Prediction: Take Synthetic Biology as an Example

Hu Yamin^1,2, Wu Xiaoyan¹, Liao Xingbin³, Qian Yangge³, Chen Fang^1,2

1. Chengdu Library and Information Center, Chinese Academy of Sciences, Chengdu 610299;
2. Department of Library, Information and Archives Management, School of Economics and Management, University of Chinese Academy of Sciences, Beijing 100190;
3. Chengdu Information Technology of Chinese Academy of Sciences CO., LTD, Chengdu, 610299

Received:2022-05-18 Revised:2022-09-26 Online:2022-12-20 Published:2022-12-27

摘要/Abstract

摘要： [目的/意义]面向专利文本进行更细粒度的技术实体识别和技术预测,利于更详细地把握专利技术布局与趋势。[方法/过程]首先利用深度学习方法自动识别专利技术术语类实体,通过实验对比多组深度学习算法的优劣。其次,提出新的半监督标注和自定义标注方案,提高人工标注效率。最后,执行训练得到的最优模型,结合链路预测方法,对合成生物技术进行细粒度的技术预测。[结果/结论]实证结果表明RoBERTa-BiLSTM-CRF模型更适用于语义复杂的专利技术实体识别,F1值可达到86.8%,技术识别结果比传统IPC分析方法更精细。同时,细粒度的技术预测结果表明,合成生物学的合成方法在不断改进创新,合成物研究向合成燃料发展。

关键词: 技术术语识别, 深度学习, 技术预测, 合成生物

Abstract: [Purpose/Significance] It is beneficial to grasp the layout and trend of patent technology by identifying technical entities and predicting technology with finer granularity for patent texts. [Method/Process] The deep learning method was used to automatically identify patent technology terms entities, and the advantages and disadvantages of several groups of deep learning algorithms were compared by empirical analysis. At the same time, new semi-supervised labeling and self-defined labeling schemes were proposed to improve the efficiency of manual labeling. Finally, the optimal model obtained by training was implemented, and the fine-grained technical prediction of synthetic biotechnology was made by combining the link prediction method. [Result/Conclusion] The empirical results show that RoBERTa-BiLSTM-CRF model is more suitable for the recognition of patent technical terms with complex semantics, and the F1 value reaches 86.8%. The technical recognition result is more detailed than the traditional IPC analysis method. The fine-grained technical prediction shows that the synthetic methods of synthetic biology are constantly improving and innovating, and the synthetic research is developing towards synthetic fuels.

Key words: technology terms recognition, deep learning, technology prediction, synthetic biology

中图分类号:

TP391.1

胡雅敏, 吴晓燕, 廖兴滨, 钱杨舸, 陈方. 融合深度学习和链路预测的细粒度技术预测研究——以合成生物技术为例[J]. 图书情报工作, 2022, 66(24): 92-103.

Hu Yamin, Wu Xiaoyan, Liao Xingbin, Qian Yangge, Chen Fang. Research on Fine-Grained Technology Prediction Based on Deep Learning and Link Prediction: Take Synthetic Biology as an Example[J]. Library and Information Service, 2022, 66(24): 92-103.

参考文献

[1] 刘倩楠. 基于专利引文网络的技术演进路径识别研究[D].大连:大连理工大学, 2010.
[2] BLEI D M, NG A Y, JORDAN M I. Latent Dirichlet allocation[J]. Journal of machine learning research, 2003, 3 (4/5): 993-1022.
[3] CHANG J S. Domain specific word extraction from Hierarchical web documents: a first step toward building lexicon trees from Web corpora[C]//The 4th SIGHAN workshop on Chinese language learning. Stroudsburg: ACL, 2005: 64-71.
[4] 谷俊. 专利文献中新技术术语识别研究[J]. 数据分析与知识发现, 2012 (11): 53-59.
[5] 曹国忠, 杨雯丹, 刘新星. 基于主体-行为-客体(SAO)三元结构的专利分析方法研究综述[J]. 科技管理研究, 2021, 41 (4): 158-167.
[6] 许海云, 王振蒙, 胡正银, 等. 利用专利文本分析识别技术主题的关键技术研究综述[J]. 情报理论与实践, 2016, 39 (11): 131-137.
[7] LAN Y, XU H G, XU K, et al. Research on named entity recognition for science and technology terms in Chinese based on dependent entity word vector[C]//The 14th international conference on anti-counterfeiting, security, and identification. Piscataway:IEEE, 2020: 25-30.
[8] 张洋, 林宇航, 侯剑华. 基于融合数据和生命周期的技术预测方法:以病毒核酸检测技术为例[J]. 情报学报, 2021, 40 (5): 462-470.
[9] 宋欣娜, 郭颖, 席笑文. 基于专利文献的多指标新兴技术识别研究[J]. 情报杂志, 2020, 39 (6): 76-81,88.
[10] 潘东华, 徐珂珂. 基于专利文献分类码的技术知识图谱绘制方法研究[J]. 情报学报, 2015, 34 (8): 866-874.
[11] 刘忠宝, 康嘉琦, 张静. 基于主题突变检测的颠覆性技术识别——以无人机技术领域为例[J]. 科技导报, 2020, 38 (20): 97-105.
[12] 吴颖文, 纪杨建, 顾新建. 基于专利技术共现网络的共性技术识别——以家电行业为例[J]. 情报探索, 2020 (3): 1-10.
[13] GETOOR L, DIEHL C P. Link mining: a survey[J]. ACM SIGKDD explorations newsletter, 2005, 7 (2): 3-12.
[14] 胡雅敏, 吴晓燕, 陈方. 基于机器学习的技术术语识别研究综述[J]. 数据分析与知识发现, 2022, 6 (Z1): 7-17.
[15] LAMPLE G, BALLESTEROS M, SUBRAMANIAN S, et al. Neural architectures for named entity recognition[C]// Proceedings of the 2016 conference of the North American Chapter of the Association for Computational Linguistics: human language technologies. Stroudsburg: ACL, 2016: 260-270.
[16] 王学锋, 杨若鹏, 朱巍. 基于深度学习的军事命名实体识别方法[J]. 装甲兵工程学院学报, 2018, 32 (4): 94-98.
[17] 王昊, 邓三鸿, 苏新宁, 等. 基于深度学习的情报学理论及方法术语识别研究[J]. 情报学报, 2020, 39 (8): 817-828.
[18] 袁慧. 基于Bi-LSTM与CRF的命名实体识别研究——以生态治理技术相关实体为例[D].兰州:中国科学院兰州文献情报中心, 2017.
[19] 刘宇飞, 尹力, 张凯, 等. 基于深度迁移学习的技术术语识别——以数控系统领域为例[J]. 情报杂志, 2019, 38 (10): 168-175.
[20] DEVLIN J, CHANG M W, LEE K, et al. BERT: pre-training of deep bidirectional transformers for language understanding[J]. Computation and language, 2018 (10): 1810-4805.
[21] 刘婷, 张社荣, 王超, 等. 基于BERT-BiLSTM混合模型的水利施工事故文本智能分析[J]. 水力发电学报, 2022,41(7): 1-12.
[22] LIU Y, OTT M, GOYAL N, et al. RoBERTa: a robustly optimized BERT pretraining approach[EB/OL]. [2022-08-20]. https://arxiv.org/abs/1907.11692.
[23] 陈颖, 张晓林. 专利中技术词和功效词识别方法研究[J]. 现代图书情报技术, 2011 (12): 24-30.
[24] KASTRIN A, RINDFLESCH T C, HRISTOVSKI D. Link prediction on a network of co-occurring mesh terms: towards lLiterature-based discovery[J]. Methods of information in medicine, 2016, 55 (4): 340-346.
[25] LU L Y, ZHOU T. Link prediction[M]. Beijing:Higher Education Press, 2013.
[26] ZHOU T, LU L Y, ZHANG Y C. Predicting missing links via local information[J]. European physical journal B, 2009, 71 (4): 623-630.
[27] 刘思, 刘海, 陈启买, 等. 基于网络表示学习与随机游走的链路预测算法[J]. 计算机应用, 2017, 37 (8): 2234-2239.
[28] DOREN D V, KOENIGSTEIN S, REISS T. The development of synthetic biology: a patent analysis[J]. Systems & synthetic biology, 2013,7(4): 209-220.
[29] 吴晓燕, 胡雅敏, 陈方. 基于专利共类的技术融合分析框架研究——以合成生物学领域为例[J]. 情报理论与实践, 2021, 44 (10): 179-184.

融合深度学习和链路预测的细粒度技术预测研究——以合成生物技术为例

Research on Fine-Grained Technology Prediction Based on Deep Learning and Link Prediction: Take Synthetic Biology as an Example

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

[1]	李雪思, 张智雄, 刘熠, 王宇飞. 科技文献研究问题句识别方法研究[J]. 图书情报工作, 2023, 67(9): 132-140.
[2]	吴梦成, 林立涛, 齐月, 黄水清, 王东波, 刘浏. 数字人文视域下先秦典籍植物知识挖掘与组织研究[J]. 图书情报工作, 2023, 67(12): 103-113.
[3]	谢瑞霞, 丁敬达, 刘超, 刘晶. 引文推荐研究综述[J]. 图书情报工作, 2023, 67(12): 137-148.
[4]	步一, 黄圣智, 黄永, 陆伟. 学者研究主题演化的时空测度:速度、覆盖度和迂回度[J]. 图书情报工作, 2022, 66(24): 84-91.
[5]	张卫, 王昊, 李晓敏, Song Min. 数字人文视角下古诗意象知识抽取及其文化图式构建研究[J]. 图书情报工作, 2022, 66(24): 104-117.
[6]	袁义国, 李斌, 冯敏萱, 贺胜, 王东波. 基于深度学习的古籍文本自动断句与标点一体化研究[J]. 图书情报工作, 2022, 66(22): 134-141.
[7]	袁毅, 陶鑫琪, 李瑾萱, 刘娅娴, 汪晓芸, 景香玉. 基于招聘文本实体挖掘的人才供需分析——以人工智能领域为例[J]. 图书情报工作, 2022, 66(14): 101-118.
[8]	韩普, 顾亮. 基于混合深度学习的中文医学实体抽取研究[J]. 图书情报工作, 2022, 66(14): 119-127.
[9]	张硕, 汪雪锋, 乔亚丽, 刘玉琴. 技术预测研究现状、趋势及未来思考:数据分析视角[J]. 图书情报工作, 2022, 66(10): 4-18.
[10]	周潇, 许银彪, 史益. 基于深度学习与语义挖掘的技术创新组合识别与追踪[J]. 图书情报工作, 2022, 66(10): 33-44.
[11]	李娜, 姜恩波, 朱一真, 刘婷. 政策工具自动识别方法与实证研究[J]. 图书情报工作, 2021, 65(7): 115-122.
[12]	杜悦, 王东波, 江川, 徐润华, 李斌, 许超, 徐晨飞. 数字人文下的典籍深度学习实体自动识别模型构建及应用研究[J]. 图书情报工作, 2021, 65(3): 100-108.
[13]	桂美增, 许学国. 基于深度学习的技术机会预测研究——以新能源汽车为例[J]. 图书情报工作, 2021, 65(19): 130-141.
[14]	孔德婧, 董放, 陈子婧, 刘宇涵, 周源. 离群专利视角下的新兴技术预测——基于BERT模型和深度神经网络[J]. 图书情报工作, 2021, 65(17): 131-141.
[15]	钱力, 刘细文, 张智雄, 刘会洲. AI+智慧知识服务生态体系研究设计与应用实践——以中国科学院文献情报中心智慧服务平台建设为例[J]. 图书情报工作, 2021, 65(15): 78-90.