基于先秦语料库的古汉语地名自动识别模型构建研究

doi:10.13266/j.issn.0252-3116.2015.12.020

图书情报工作 ›› 2015, Vol. 59 ›› Issue (12): 135-140.DOI: 10.13266/j.issn.0252-3116.2015.12.020

基于先秦语料库的古汉语地名自动识别模型构建研究

黄水清, 王东波, 何琳

南京农业大学信息科学技术学院南京 210095

收稿日期:2015-05-23 修回日期:2015-06-05 出版日期:2015-06-20 发布日期:2015-06-20
作者简介:黄水清(ORCID:0000-0002-1646-9300),院长,教授,博士生导师,sqhuang@njau.edu.cn;王东波(ORCID:0000-0002-9894-9550),副教授,硕士生导师;何琳(ORCID:0000-0002-4207-3588),副院长,教授,硕士生导师。

Research on Constructing Automatic Recognition Model for Ancient Chinese Place Names Based on Pre-Qin Corpus

Huang Shuiqing, Wang Dongbo, He Lin

College of Information Science and Technology, Nanjing Agricultural University, Nanjing 210095

Received:2015-05-23 Revised:2015-06-05 Online:2015-06-20 Published:2015-06-20

摘要/Abstract

摘要：

[目的/意义] 在数字人文研究这一大趋势下,基于先秦古汉语语料库和条件随机场模型,构建古汉语地名自动识别模型。[方法/过程] 对《春秋左氏传》中的地名的内部和外部特征进行统计分析,构建模型的特征模板。在规模为187, 901个词汇的训练和测试语料上,对比条件随机场模型和最大熵模型的地名识别效果,把调和平均数为90.94%的条件随机场训练模型确定为最佳,作为本文所要构建的模型,并在《国语》语料上进行验证。[结果/结论] 在古汉语地名自动识别中,条件随机场模型优于最大熵模型,基于人工标注过的语料构建条件随机场自动识别模型能取得较好的识别效果。

关键词: 古汉语地名, 条件随机场, 词汇特征, 先秦语料库

Abstract:

[Purpose/significance] Under the trend of digital humanities research, the automatic recognition model for ancient Chinese place names is constructed based on Pre-Qin ancient Chinese corpus and conditional random field.[Method/process] The internal and external characteristics of ancient Chinese place names in Zuo Commentary are analyzed, and the feature template of model is constructed. The training model, which is gained in train and test corpus of 187,901 words and the F-score of which is 91.52%, is best identified the ancient Chinese place names recognition model and applied the model to recognize the place name in Guo Yu by comparing the recognition results of the models of conditional random field and maximum entropy .[Result/conclusion] The model of conditional random field is better than the model of maximum entropy in recognizing ancient Chinese place names. The performance of automatic recognition model based on conditional random field trained in annotated corpus is very well.

Key words: ancient Chinese place name, conditional random field, lexical feature, pre-Qin corpus

中图分类号:

G255.1

黄水清, 王东波, 何琳. 基于先秦语料库的古汉语地名自动识别模型构建研究[J]. 图书情报工作, 2015, 59(12): 135-140.

Huang Shuiqing, Wang Dongbo, He Lin. Research on Constructing Automatic Recognition Model for Ancient Chinese Place Names Based on Pre-Qin Corpus[J]. LIS, 2015, 59(12): 135-140.

参考文献

[1] Sang E F T K, De Meulder F. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition[C]//Special Interest Group on Natural Language Learning of the Association for Computational Linguistics. Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL. Edmonton: CONLL, 2003:142-147.
[2] Busa R. The annals of humanities computing: The index thomisticus[J]. Computers and the Humanities, 1980,14(2):83-90.
[3] Unsworth J. What is humanities computing and what is not[EB/OL].[2015-03-26]. http://computerphilologie.uni-muench en.de/jg02/unsworth.html.
[4] 李丽双,党延忠,廖文平,等.CRF与规则相结合的中文地名识别[J].大连理工大学学报,2012,52(2):285-289.
[5] 邱莎,阿圆,王付艳,等.基于统计的中文地名自动识别研究[J].计算机技术与发展,2011,21(11):35-38.
[6] 唐旭日,陈小荷,许超,等.基于篇章的中文地名识别研究[J].中文信息学报,2010,24(2):24-32.
[7] 钱小飞,侯敏.中文基本地名识别[J].语言文字应用,2009,(3):129-135.
[8] 黄德根,岳广玲,杨元生.基于统计的中文地名识别[J].中文信息学报,2003,17(2):36-41.
[9] 李颖,王青海,池毓焕.句类分析准则在作战文书地名识别中的应用[J].计算机工程与设计,2013,34(8):2903-2907.
[10] 肖磊.先秦地名知识库构建[D].南京:南京师范大学,2010.
[11] 朱锁玲,包平.方志类古籍地名识别及系统构建[J].中国图书馆学报,2011,37(3):118-123.
[12] 朱锁玲,包平.方志类古籍地名识别及分析研究——以《方志物产》(广东分卷)为例[J].图书馆论坛,2012,32(4):171-175.
[13] 孙虹,陈俊杰.双层CRF与规则相结合的中文地名识别方法研究[J].计算机应用与软件,2014,31(11):175-182.
[14] 何炎祥,罗楚威,胡彬尧.基于CRF和规则相结合的地理命名实体识别方法[J].计算机应用与软件,2015,32(1):179-185.
[15] Lafferty J,McCallum A,Pereira F.Conditional random fields: Probabilistic models for segmenting and labeling sequence data[C]//The International Machine Learning Society. Proceedings of 18th International Conference on Machine Learning. Williamstown: Williams College, 2001:282-289.
[16] CRF++[EB/OL].[2015-05-21]. http://sourceforge.net/projects/crfpp/.
[17] Jaynes E T.On the rationale of maximum entropy methods[J]. Institute of Electrical and Electronics Engineers,1982,70(9):939-952.
[18] 吴云芳.面向中文信息处理的现代汉语并列结构研究[D].北京:北京大学,2003.
[19] 陈小荷.先秦文献信息处理[M].北京:世界图书出版公司,2013:71.
[20] Atterer M, Schütze H.Prepositional phrase attachment without Oracles[J].Computational Linguistics, 2007, 33(4):469-476.

基于先秦语料库的古汉语地名自动识别模型构建研究

Research on Constructing Automatic Recognition Model for Ancient Chinese Place Names Based on Pre-Qin Corpus

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 14

编辑推荐

Metrics

[1]	耿骞, 邓斯予, 靳健. 融合词语义表示和新词发现的领域本体演化——以产品评论数据为例[J]. 图书情报工作, 2021, 65(8): 85-96.
[2]	何琳, 陈雅玲, 孙珂迪. 面向先秦典籍的知识本体构建技术研究[J]. 图书情报工作, 2020, 64(7): 13-19.
[3]	刘忠宝, 党建飞, 张志剑. 《史记》历史事件自动抽取与事理图谱构建研究[J]. 图书情报工作, 2020, 64(11): 116-124.
[4]	黄水清, 王东波. 新时代人民日报分词语料库构建、性能及应用(一)——语料库构建及测评[J]. 图书情报工作, 2019, 63(22): 5-12.
[5]	王若佳, 赵常煜, 王继民. 中文电子病历的分词及实体识别研究[J]. 图书情报工作, 2019, 63(2): 34-42.
[6]	王东波, 胡昊天, 周鑫, 朱丹浩. 基于深度学习的数据科学招聘实体自动抽取及分析研究[J]. 图书情报工作, 2018, 62(13): 64-73.
[7]	王东波, 陆昊翔, 周鑫, 朱丹浩. 面向摘要结构功能划分的模型性能比较研究[J]. 图书情报工作, 2018, 62(12): 84-90.
[8]	孙安, 于英香, 罗永刚, 王祺. 序列标注模型中的字粒度特征提取方案研究——以CCKS2017:Task2临床病历命名实体识别任务为例[J]. 图书情报工作, 2018, 62(11): 103-111.
[9]	王东波, 黄水清, 何琳. 基于多特征知识的先秦典籍词性自动标注研究[J]. 图书情报工作, 2017, 61(12): 64-70.
[10]	雷声伟, 陈海华, 黄永, 陆伟. 学术文献引文上下文自动识别研究[J]. 图书情报工作, 2016, 60(17): 78-87.
[11]	王汀, 冀付军, 徐天晟. 一种面向中文网络百科非结构化信息的知识获取方法[J]. 图书情报工作, 2016, 60(13): 126-133.
[12]	黄水清, 王东波, 何琳. 以《汉学引得丛刊》为领域词表的先秦典籍自动分词探讨[J]. 图书情报工作, 2015, 59(11): 127-133.
[13]	沈思, 苏新宁, 谢靖, 王东波. 基于清华汉语树库的时间表达式抽取模型构建研究[J]. 图书情报工作, 2012, 56(18): 127-132.
[14]	郑荣廷吉久明李楠. 特征值区间的有效划分对CRF识别效果的影响[J]. 图书情报工作, 2011, 55(04): 114-118.