一种基于维基百科的中文短文本分类算法

doi:10.7536/j.issn.0252-3116.2013.11.022

图书情报工作 ›› 2013, Vol. 57 ›› Issue (11): 120-124.DOI: 10.7536/j.issn.0252-3116.2013.11.022

一种基于维基百科的中文短文本分类算法

赵辉, 刘怀亮

西安电子科技大学经济与管理学院

收稿日期:2013-04-03 修回日期:2013-05-19 出版日期:2013-06-05 发布日期:2013-06-05
作者简介:赵辉,西安电子科技大学经济与管理学院硕士研究生,E-mail:15877344436@139.com;刘怀亮,西安电子科技大学经济与管理学院教授,硕士生导师。

Classification Algorithm of Chinese Short Texts Based on Wikipedia

Zhao Hui, Liu Huailiang

Department of Economic Management, Xidian University, Xi’an 710071

Received:2013-04-03 Revised:2013-05-19 Online:2013-06-05 Published:2013-06-05

摘要/Abstract

摘要：

为解决短文本特征词少、概念信号弱的问题,结合维基百科进行特征扩展以辅助中文短文本分类。通过维基百科概念及链接等信息进行词语相关概念集合抽取、概念间相关度计算,利用消歧页结合短文本上下文信息解决一词多义问题,进而以词语间语义相关关系为基础进行特征扩展,以补充文本特征语义信息。最后,给出基于维基百科的中文短文本分类算法,并对其进行实验验证。结果表明,该算法能有效提高中文短文本分类效果。

关键词: 短文本分类, 维基百科, 词义消歧, 特征扩展

Abstract:

In order to resolve the problems of the lack key words of short texts and weak signal concepts, this paper proposes a method of feature extension based on Wikipedia to classify Chinese short texts. It extracts the set of related concepts and computes the concept relevancy with Wikipedia concepts and interlinkages, and avoids the polysemy problem by combining ambiguous page with the context extracted from short texts. Then it makes the feature extension based on the theory of semantic relevance relation between words, to supply semantic features information of texts. Finally, this paper put forwards Wikipedia-based classification algorithm of Chinese short texts and verifies it. The results show that the algorithm can get better classified effect of Chinese short texts.

Key words: short text classification, Wikipedia, word sense disambiguation, feature extension

中图分类号:

G350

赵辉, 刘怀亮. 一种基于维基百科的中文短文本分类算法[J]. 图书情报工作, 2013, 57(11): 120-124.

Zhao Hui, Liu Huailiang. Classification Algorithm of Chinese Short Texts Based on Wikipedia[J]. LIS, 2013, 57(11): 120-124.

参考文献

[1] 闫瑞, 曹先彬, 李凯. 面向短文本的动态组合分类算法[J]. 电子学报, 2009, 37(5): 1019-1024.
[2] 庞观松, 蒋盛益. 文本自动分类技术研究综述[J]. 情报理论与实践, 2012, 35(2): 123-128.
[3] 王鹏, 樊兴华. 中文文本分类中利用依存关系的实验研究[J]. 计算机工程与应用, 2010, 46(3): 131-133.
[4] 范云杰, 刘怀亮. 基于维基百科的中文短文本分类研究[J]. 现代图书情报技术, 2012(3): 47-52.
[5] 王细薇, 沈云琴. 中文短文本分类方法研究[J]. 现代计算机, 2010(7): 28-31.
[6] 王细薇,张凯. 一种改进的基于共现关系的短文本特征扩展算法研究[J]. 河南城建学院学报, 2012, 21(4): 48-50.
[7] 王细薇, 樊兴华, 赵军. 一种基于特征扩展的中文短文本分类方法[J]. 计算机应用, 2009, 29(3): 843-845.
[8] 曹叶盛. 基于关联扩展的短文本分类方法研究[D].北京:北京邮电大学,2012.
[9] Fan X H, Hu H G. Utilizing high-quality feature extension mode to classify Chinese short-text [J]. Journal of Networks, 2010, 5(12): 1417-1425.
[10] 宁亚辉, 樊兴华, 吴渝. 基于领域词语本体的短文本分类[J]. 计算机科学, 2009, 36(3): 142-145.
[11] 王盛, 樊兴华, 陈现麟. 利用上下位关系的中文短文本分类[J]. 计算机应用, 2010, 30(3): 603-611.
[12] 涂新辉, 张红春, 周琨峰,等. 中文维基百科的结构化信息抽取及词语相关度计算方法[J]. 中文信息学报, 2012, 26(3): 109-115.
[13] 王兰成, 刘晓亮. 维基百科知网的构建研究与应用进展[J]. 情报资料工作, 2012 (5): 56-60.
[14] Milne D,Witten I H. An effective, low-cost measure of semantic relatedness obtained from Wikipedia links[C]//Proceedings of the 23th Association for the Advancement of Artificial Intelligence.Chicago:AAAI Press, 2008: 25-30.
[15] Salton G, McGill M J. Introduction to modern information retrieval[M].New York:McGraw Hill, 1983.
[16] Auen J.Natural language understanding[M].New York:The Benjamin Cummings Publishing Company, 1991.
[17] Sebastiani F. Machine learning in automated text categorization[J]. ACM Computeing Surveys,2002, 34(1): 1-47.

一种基于维基百科的中文短文本分类算法

Classification Algorithm of Chinese Short Texts Based on Wikipedia

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 9

编辑推荐

Metrics

[1]	张玉洁, 白如江, 刘明月, 于纯良. 融合语义联想和BERT的图情领域SAO短文本分类研究[J]. 图书情报工作, 2021, 65(16): 118-129.
[2]	付巧. 维基百科检索系统研究[J]. 图书情报工作, 2016, 60(23): 143-148.
[3]	王志红. 我国图情领域期刊论文在线百科的利用特征探析[J]. 图书情报工作, 2016, 60(19): 99-107.
[4]	贾君枝, 薛秋红. 中文人名名称规范档与维基百科的链接[J]. 图书情报工作, 2015, 59(16): 129-134.
[5]	王娟, 曹树金, 姜灵敏, 胡青. 基于中文维基百科的领域概念相关性研究[J]. 图书情报工作, 2014, 58(23): 136-142.
[6]	尹丽英, 赵捧未. 基于语义网络社团划分的中文文本分类研究[J]. 图书情报工作, 2014, 58(19): 124-128.
[7]	常娥, 张长秀, 侯汉清, 惠富平. 基于向量空间模型的古汉语词义自动消歧研究[J]. 图书情报工作, 2013, 57(02): 114-118.
[8]	梁冰乔晓东. 从维基文化看我国词表建设[J]. 图书情报工作, 2007, 51(07): 105-107.
[9]	尹开国 . 自由人的自由联合:维基百科评介[J]. 图书情报工作, 2007, 51(02): 142-144.