基于视觉语言模型的图像语义挖掘研究

doi:10.7536/j.issn.0252-3116.2013.05.021

图书情报工作 ›› 2013, Vol. 57 ›› Issue (05): 120-123.DOI: 10.7536/j.issn.0252-3116.2013.05.021

基于视觉语言模型的图像语义挖掘研究

金聪¹, 刘金安¹, 金枢炜²

1. 华中师范大学计算机学院;
2. 武汉大学物理科学与技术学院

收稿日期:2012-10-09 修回日期:2013-02-12 出版日期:2013-03-05 发布日期:2013-03-05
作者简介:金聪,华中师范大学计算机学院教授,博士,E-mail:jincong26@yahoo.com.cn;刘金安,华中师范大学计算机学院实验员;金枢炜,武汉大学物理科学与技术学院本科生。
基金资助:
本文系教育部人文社会科学研究规划基金项目"中国古代小说图像的语义研究"(项目编号:11YJAZH040)研究成果之一。

Research on Images Semantic Mining Based on Visual Language Model

Jin Cong¹, Liu Jinan¹, Jin Shuwei²

1. School of Computer, Central China Normal University, Wuhan 430079;
2. School of Physics & Technology, Wuhan University, Wuhan 430072

Received:2012-10-09 Revised:2013-02-12 Online:2013-03-05 Published:2013-03-05

摘要/Abstract

摘要：

针对图像的特性,给出一种图像的二元视觉语言模型,在此基础上提出一种新的图像语义挖掘方法。该方法将每幅图像表示成一个由视觉单词构成的矩阵,通过计算每个视觉单词的权重,按照权重的大小对视觉单词进行选择,利用选择后的视觉单词集合,构建图像的视觉语言模型;之后,按照贝叶斯公式,建立基于视觉语言模型的图像语义挖掘方法。实验结果表明,该方法在图像语义描述能力和区分性方面是有效的,能充分反映人对图像内容的理解,具有很好的应用价值。

关键词: 视觉语言模型, 图像语义, 语义挖掘, 性能优化

Abstract:

For the features of images, this paper proposes a binary visual language model of the image and a new image semantic mining method. Firstly, it presents each image as a matrix constituted by the visual words, selects the visual words by calculating their weighting value and develops a new image visual language model. According to the Bayesian formula, this paper establishes the image semantic mining method based on visual language model. The experimental result shows that this method is effective in the descriptive ability and distinction of image semantic, fully reflects the understanding of image content and has a very good application value.

Key words: visual language model, image semantic, semantic mining, performance optimal

中图分类号:

TP391.4

金聪, 刘金安, 金枢炜. 基于视觉语言模型的图像语义挖掘研究[J]. 图书情报工作, 2013, 57(05): 120-123.

Jin Cong, Liu Jinan, Jin Shuwei. Research on Images Semantic Mining Based on Visual Language Model[J]. LIS, 2013, 57(05): 120-123.

参考文献

[1] Carneiro G, Chan A B, Moreno P J, et al. Supervised learning of semantic classes for image annotation and retrieval[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(3): 394-410.
[2] 魏怡,何一伟,倪海峰,等. 形状描述法在图像检索中的应用综述 [J]. 系统工程与电子技术, 2009, 31(7): 1755-1762.
[3] 李健,牛振山. 基于曲波的纹理图像检索系统的设计与实现[J]. 计算机工程与科学,2011, 33(3): 62-66.
[4] Feng Songhe, Xu De. Transductive multi-instance multi-label learning algorithm with application to automatic image annotation [J]. Expert Systems with Applications, 2010, 37(1): 661-670.
[5] 魏晗, 李弼程, 张瑞杰,等. 图像语义提取方法研究 [J]. 现代电子技术, 2011, 34(24): 103-106.
[6] Monay F, Gatica-Perez D. Modeling semantic aspects for cross media image indexing [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(10): 1802-1817.
[7] Liu Jing, Li Mingjing, Liu Qingshan, et al. Image annotation via graph learning [J]. Pattern Recognition, 2009,42(2):218-228.
[8] 金聪,金枢炜. 面向图像语义分类的视觉单词集成学习方法[J]. 电子测量技术, 2012, 35(8): 53-56.
[9] 王梅,周向东,张军旗,等.基于扩展生成语言模型的图像自动标注方法 [J].软件学报,2008, 19(9): 2449-2460.
[10] Li Xirong, Chen Le, Zhang Lei, et al. Image annotation by large-scale content-based image retrieval [C]//Proceedings of the 14th Annual ACM International Conference on Multimedia. New York: ACM, 2006: 607-610.
[11] Li Jianguo, Wu Weixin, Wang Tao, et al. One step beyond histograms: Image representation using Markov stationary features[C]//Proceedings of 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway:IEEE, NY, USA, 2008:1-8.
[12] Wang Xinjing, Zhang Lei, Li Xirong, et al. Annotating images by mining image search results [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2008, 30(11): 1919-1932.

基于视觉语言模型的图像语义挖掘研究

Research on Images Semantic Mining Based on Visual Language Model

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 4

编辑推荐

Metrics

[1]	周潇, 许银彪, 史益. 基于深度学习与语义挖掘的技术创新组合识别与追踪[J]. 图书情报工作, 2022, 66(10): 33-44.
[2]	唐晓波, 周禾深, 李诗轩, 牟昊. 基于被引-逆文档权重的专家专长识别与分析——以图情领域为例[J]. 图书情报工作, 2021, 65(15): 111-119.
[3]	雷鸣, 夏梦鸽, 汪雪锋, 刘佳. 基于链路预测的协同药物组合推荐研究:面向疾病并发症诊疗[J]. 图书情报工作, 2021, 65(12): 122-129.
[4]	陈金菊, 欧石燕. 数字图像语义标注模型比较与分析[J]. 图书情报工作, 2018, 62(6): 116-124.