基于多特征知识的先秦典籍词性自动标注研究

doi:10.13266/j.issn.0252-3116.2017.12.008

图书情报工作 ›› 2017, Vol. 61 ›› Issue (12): 64-70.DOI: 10.13266/j.issn.0252-3116.2017.12.008

• 专题:古文信息处理与《汉学引得丛刊》 • 上一篇下一篇

基于多特征知识的先秦典籍词性自动标注研究

王东波^1,2, 黄水清^1,2, 何琳^1,2

1. 南京农业大学信息科学技术学院南京 210095;
2. 南京农业大学领域知识关联研究中心南京 210095

收稿日期:2017-02-13 修回日期:2017-04-12 出版日期:2017-06-20 发布日期:2017-06-20
通讯作者: 黄水清(ORCID:0000-0002-1646-9300),教授,博士生导师,通讯作者,E-mail:sqhuang@njau.edu.cn
作者简介:王东波(ORCID:0000-0002-9894-9550),副教授,硕士生导师;何琳(ORCID:0000-0002-4207-3588),副院长,教授,博士生导师。
基金资助:
本文系国家社会科学基金重大项目"基于《汉学引得丛刊》的典籍知识库构建及人文计算研究"（项目编号：15ZDB127）、南京农业大学人文社会科学基金项目（项目编号：SKPT2016001）和国家社会科学基金青年项目"哈佛燕京学社汉学引得丛刊研究"（项目编号：12CTQ019）研究成果之一。

Researches of Automatic Part-of-speech Tagging for Pre-Qin Literature Based on Multi-feature Knowledge

Wang Dongbo^1,2, Huang Shuiqing^1,2, He Lin^1,2

1. College of Information Science and Technology, Nanjing Agricultural University, Nanjing 210095;
2. Research Center for Correlation of Domain Knowledge Nanjing Agricultural University, Nanjing 210095

Received:2017-02-13 Revised:2017-04-12 Online:2017-06-20 Published:2017-06-20

摘要/Abstract

摘要： [目的/意义] 先秦典籍在古代典籍中的地位极为重要。本文提出对先秦典籍进行词性自动标注的解决方法，以便更加准确地挖掘先秦典籍中的潜在知识。[方法/过程] 通过条件随机场模型，结合统计方法确定组合特征模板，并最终得到针对先秦典籍的词性自动标注算法模型。[结果/结论] 在先秦典籍自动分词的整个流程基础上，得到简单特征模板、组合特征模板下的词性自动标注模型，基于组合特征模板的词性标注模型调和平均值F达到94.79%，具有较强的推广和应用价值。在构建词性自动标注模型的过程中，通过融入字词结构、词语拼音和字词长度的特征知识，使得模型的精确率和召回率得到有效提升。

关键词: 词性标注, 先秦古籍, 条件随机场模型, 特征模板, 古文信息处理

Abstract: [Purpose/significance] The Pre-Qin literature plays an extremely important role in the whole ancient classics. In order to more accurately mine the deep knowledge from the Pre-Qin literature, the automatic part-of-speech tagging for Pre-Qin literature becomes the first assignment, and the paper presents the solving method. [Method/process] Based on conditional random fields model and combined feature template which is determined by the method of statistics, the paper finally finishes constructing the model of the automatic part-of-speech tagging for the Pre-Qin literature. [Result/conclusion] The part-of-speech tagging models based on simple feature template and combined feature template are obtained under the processing flow of part-of-speech for Pre-Qin literature. The F-measure of part-of-speech model reaches 94.79% which is able to promote and apply. In the course of constructing model, the precision rate and recall rate of segmentation model are effectively enhanced by merging the feature knowledge, such as word structure, phonetic spelling and word length.

Key words: part-of-speech, Pre-Qin literature, conditional random fields model, feature template, ancient Chinese character information processing

中图分类号:

G255

王东波, 黄水清, 何琳. 基于多特征知识的先秦典籍词性自动标注研究[J]. 图书情报工作, 2017, 61(12): 64-70.

Wang Dongbo, Huang Shuiqing, He Lin. Researches of Automatic Part-of-speech Tagging for Pre-Qin Literature Based on Multi-feature Knowledge[J]. LIS, 2017, 61(12): 64-70.

参考文献

[1] 宗成庆. 统计自然语言处理(第2版)[M].北京:清华大学出版社, 2013:167-173.
[2] 刘开瑛. 中文文本自动分词和标注[M].上海:商务印书馆, 2000:162-166.
[3] SAHARIA N, DAS D, SHARM A, et al. Part of Speech tagger for Assamese text[C]//Proceedings of the ACL-IJCNLP 2009 Conference. Stroudsburg:Association for Computational Linguistics, 2009:33-36.
[4] BRILL E, MAGERMAN D, MARCUS M, et al. Deducing linguistic structure from the statistics of large corpora[C]//Proceedings of workshop on Speech and Natural Language, Stroudsburg:Association for Computational Linguistics, 1990:380-389.
[5] 彭涛,戴耀康,朱枫彤,等. 一种基于规则的无监督词性标注方法[J]. 吉林大学学报(理学版), 2015,53(5):956-962.
[6] MOON T, ERK K, BALDRIDGE J. Crouching Dirichlet,hidden Markov model:unsupervised POS tagging with context local tag generation[C]//Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing. Stroudsburg:Association for Computational Linguistics, 2010:196-206.
[7] 余昕聪, 李红莲,吕学强. 最大熵和HMM在中文词性标注中的应用[J]. 无线互联科技,2014(11):122-124.
[8] 赵法兴,赵伟. 平滑的最大熵模型在汉语词性自动标注中的应用[J]. 长春工业大学学报(自然科学版), 2007,29(2):213-216.
[9] 赵伟, 赵法兴, 王东海,等. 一种基于改进的最大熵模型的汉语词性自动标注的新方法[J].计算机研究与发展, 2006,43(S1):174-178.
[10] 留金腾, 宋彦,夏飞. 上古汉语分词及词性标注语料库的构建——以《淮南子》为范例[J]. 中文信息学报, 2013,27(6):6-15,81.
[11] 朱晓,金力. 条件随机场图模型在《明史》词性标注研究中的应用效果探索[J]. 复旦大学学报(自然科学版), 2014,53(3):297-304.
[12] 黄水清, 王东波,何琳. 以《汉学引得丛刊》为领域词表的先秦典籍自动分词探讨[J]. 图书情报工作, 2015,59(11):127-133.
[13] 洪铭材, 张阔, 唐杰, 等. 基于条件随机场(CRFs)的中文词性标注方法[J]. 计算机科学, 2006,33(10):148-151,155.
[14] 于丽丽, 丁德鑫, 曲维光, 等. 基于条件随机场的古汉语词义消歧研究[J].微电子学与计算机, 2009,26(10):45-48.
[15] 徐润华,陈小荷. 一种利用注疏的《左传》分词新方法[J]. 中文信息学报, 2012(2):13-17,45.
[16] 肖磊,陈小荷. 古籍版本异文的自动发现[J]. 中文信息学报, 2010(5):50-55.
[17] 马创新, 陈小荷, 曲维光,等. 《论语》与其注疏文献对齐语料库的构建[J]. 现代教育技术, 2012,22(7):109-113.
[18] 石民, 李斌,陈小荷. 基于CRF的先秦汉语分词标注一体化研究[J]. 中文信息学报, 2010(2):39-45.
[19] 梁社会, 陈小荷,刘浏. 先秦汉语排比句自动识别研究——以《孟子》《论语》中的排比句自动识别为例[J]. 计算机工程与应用, 2013,49(19):222-226.
[20] 汤亚芬. 先秦古汉语典籍中的人名自动识别研究[J]. 现代图书情报技术, 2013,29(7/8):63-68.
[21] 张开旭, 夏云庆,宇航. 基于条件随机场的古汉语自动断句与标点方法[J]. 清华大学学报(自然科学版), 2009(10):1733-1736.
[22] CRF++0.58.[EB/OL].[2016-08-12].http://taku910.github.io/crfpp/.
[23] 陈小荷. 先秦文献信息处理[M].北京:世界图书出版公司, 2013.

基于多特征知识的先秦典籍词性自动标注研究

Researches of Automatic Part-of-speech Tagging for Pre-Qin Literature Based on Multi-feature Knowledge

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 9

编辑推荐

Metrics

[1]	常博林, 万晨, 李斌, 陈欣雨, 冯敏萱, 王东波. 基于词和实体标注的古籍数字人文知识库的构建与应用——以《资治通鉴·周秦汉纪》为例[J]. 图书情报工作, 2021, 65(22): 134-142.
[2]	赵登鹏, 熊回香, 田丰收, 李昕然. 基于序列比对算法的中文文本相似度计算研究[J]. 图书情报工作, 2021, 65(11): 101-112.
[3]	黄水清, 王东波. 新时代人民日报分词语料库构建、性能及应用(一)——语料库构建及测评[J]. 图书情报工作, 2019, 63(22): 5-12.
[4]	黄水清, 王东波. 古文信息处理研究的现状及趋势[J]. 图书情报工作, 2017, 61(12): 43-49.
[5]	王东波, 何琳, 黄水清. 基于支持向量机的先秦诸子典籍自动分类研究[J]. 图书情报工作, 2017, 61(12): 71-76.
[6]	黄水清, 王东波, 何琳. 以《汉学引得丛刊》为领域词表的先秦典籍自动分词探讨[J]. 图书情报工作, 2015, 59(11): 127-133.
[7]	钱智勇, 周建忠, 童国平, 苏新宁. 基于HMM的楚辞自动分词标注研究[J]. 图书情报工作, 2014, 58(04): 105-110.
[8]	贺刚, 吕学强, 李卓, 徐丽萍. 微博谣言识别研究[J]. 图书情报工作, 2013, 57(23): 114-120.
[9]	沈思, 苏新宁, 谢靖, 王东波. 基于清华汉语树库的时间表达式抽取模型构建研究[J]. 图书情报工作, 2012, 56(18): 127-132.