图书情报工作

图书情报工作 >

2019 , Vol. 63 >Issue 11: 96 - 107

DOI: https://doi.org/10.13266/j.issn.0252-3116.2019.11.011

知识组织

基于深度学习CNN模型的图像情感特征抽取研究

  • 李志义 ,
  • 许洪凯 ,
  • 段斌
展开
  • 1. 华南师范大学经济与管理学院 广州 510006;
    2. 华南师范大学信息光电子科技学院 广州 510006
李志义(ORCID:0000-0001-6407-2554),副教授,硕士,硕士生导师,E-mail:Leeds@scnu.edu.cn;许洪凯(ORCID:0000-0002-3304-4312),硕士研究生;段斌,本科生。

收稿日期: 2018-08-08

  修回日期: 2018-12-19

  网络出版日期: 2019-06-05

基金资助

本文系国家社会科学基金项目"基于表示学习的跨模态检索模型与特征抽取研究"（编号：17BTQ062）研究成果之一。

收起

Research on Image Emotion Feature Extraction Based on Deep Learning CNN Model

  • Li Zhiyi ,
  • Xu Hongkai ,
  • Duan Bin
Expand
  • 1. Economic & Management College of South China Normal University, Guangzhou 510006;
    2. Information & Photoelectric Science College of South China Normal University, Guangzhou 510006

Received date: 2018-08-08

  Revised date: 2018-12-19

  Online published: 2019-06-05

Fold

摘要

[目的/意义]以用户情感为线索的图像检索已成为机器学习研究的热点，但图像情感特征标注的语料数据多来源于对图像低层特征的抽取，从而导致图像检索过程单一化和程式化。本文提出了一种基于深度学习的图像情感特征抽取的算法，将图像底层特征融合到图像的高层情感语义当中，为实现图像的情感语义检索提供了参考。[方法/过程]利用改进的卷积网络模型，将数据集图像的颜色、纹理作为输入，经多层运算自动提取图像的情感信息，并通过反向传播算法计算出改进后模型的情感检索准确率，构造出准确率较高且过拟合程度低的图像情感特征提取模型。[结果/结论]应用改进的卷积神经网络模型，实现了对图像情感特征的抽取，相较于原模型提升了10%的检索准确率。

关键词： 深度学习; 图像; 情感特征; 抽取; 卷积神经网络

本文引用格式

李志义 , 许洪凯 , 段斌 . 基于深度学习CNN模型的图像情感特征抽取研究[J]. 图书情报工作, 2019 , 63(11) : 96 -107 . DOI: 10.13266/j.issn.0252-3116.2019.11.011

Abstract

[Purpose/significance] Image retrieval based on user emotion has become a hotspot in machine learning research. However, the corpus data of image sentiment feature annotation is mostly derived from the extraction of low-level features of images, which leads to the simplification and stylization of image retrieval process. The algorithm of image emotion feature extraction based on deep learning fuses the underlying features of the image into the high-level emotion semantics of the image, which provides a reference for the emotional semantic retrieval of images.[Method/process] Using the improved convolutional network model, the color and texture of the dataset image were taken as input, the emotion information of the image was automatically extracted by multi-layer operation, and the sentiment retrieval accuracy of the improved model was calculated though the back propagation algorithm, and an image sentiment feature extraction model with high rate and low degree of over-fitting was constructed.[Result/conclusion] This paper completes the extraction of emotional features of the image through an improved deep convolutional network model, and improves the retrieval accuracy by 10%.

Key words： deep learning; image; emotional features; extraction; convolutional neural network

参考文献

[1] 曾金,陆娜,胡潇戈等.网站新闻人物图像情感倾向研究[J].情报科学,2018,36(6):131-135,141.
[2] 马松岳,许鑫.基于评论情感分析的用户在线评价研究——以豆瓣网电影为例[J].图书情报工作,2016,60(10):95-102.
[3] 蒋知义,马王荣,邹凯等.基于情感倾向性分析的网络舆情情感演化特征研究[J].现代情报,2018,38(4):50-57.
[4] 黄崑,赖茂生.以用户情感为线索的图像检索研究[J].情报科学,2006(09):1395-1399.
[5] 汤丽萍,陈芬.基于情感的图像分类研究进展[J].情报理论与实践,2018,41(6):149-153,160.
[6] 李志义,黄子风,许晓棉.基于表示学习的跨模态检索模型与特征抽取研究综述[J].情报学报,2018,37(4):422-435.
[7] 曾金,陆伟,陈海华等.基于多模数据的微博用户兴趣识别研究[J].情报科学,2018,36(1):124-129.
[8] BLACK J A,KUCHI P,PANCHANATHAN S. Indexing natural images for retrieval based on Kansei factors[J]. Proceedings of SPIE-The International Society for Optical Engineering,2004,5292:363-375.
[9] YOSHIDA K,KATO T,YANARU T.Image retrieval system using impression words[C]//IEEE international conference on systems, man, and cybernetics.IEEE,1998:2780-2784 vol.3.
[10] CHO S B,LEE J Y.A human-oriented image retrieval system using interactive genetic algorithm[J].Systems man& cybernetics Part A Systems & humans IEEE Transactions on,2002,32(3):452-458.
[11] COLOMBO C,DEL BIMBO A, Pala P. Semantics in visual information retrieval[J].Multimedia IEEE,1999,6(3):38-53.
[12] SIERSDORFER S, MINACK E, DENG F, et al. Analyzing and predicting sentiment of images on the social Web[C]//Proc of international conference on multimedia. New York:ACM Press,2010:715-718.
[13] YOU Q, LUO J, JIN H, et al. Robust image sentiment analysis using progressively trained and domain transferred deep networks[J]. American Association for Artificial Intelligence,2015:381-388.
[14] ORIOL V, ALEXANDER T, SAMY B, et al. Show and tell:A neural image caption generator[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2015:3156-3164.
[15] SUN M, SONG Z, JIANG X, et al. Learning pooling for convolutional neural network[J]. Neurocomputing, 2017, 224:96-104.
[16] 黄崑,骆方,游祎.图像情感特征及其检索应用[J].情报科学,2010,28(04):602-606.
[17] 王上飞,薛佳,王煦法.基于内容的情感图像获取模型[J].计算机科学,2004(9):186-19.
[18] 武频,陶聪,朱永华等.基于情感语义的图像注释与检索[J].计算机技术与发展,2015,25(10):13-18.
[19] 王华秋,胡立松.图像情感语义分类及检索研究[J].重庆理工大学学报(自然科学),2017,31(10):180-186.
[20] 谭莲芝.基于深度学习的人脸属性识别方法研究[D].北京:中国科学院大学(中国科学院深圳先进技术研究院),2017.
[21] 陈金菊,欧石燕.数字图像语义标注模型比较与分析[J].图书情报工作,2018,62(6):116-124.
[22] 陈静,陈德照,陆泉.一种基于表情分析的图像用户兴趣提取模型[J].情报理论与实践,2014,37(5):92-96,106.
[23] 姜亚茜.考虑情感因素的图像颜色编辑[D].天津:天津大学,2017.
[24] 徐彤阳,任浩然,张国标.我国图像检索领域的前沿动态研究探析——CNKI数据收录文献计量分析[J].图书馆学研究,2017(4):2-10.
[25] 成琳,陈俊杰,相洁.图像颜色征提取技术的研究与应用[J].计算机工程与设计,2009,30(14):3451-3454.
[26] 王彦林.基于HSV颜色特征图像检索算法在Matlab中的实现[J].电脑编程技巧与维护,2013(16):86-87.
[27] 杨瑞.基于颜色情感语义的检索系统的设计与实现[D].开封:河南大学,2015.
[28] 张军阳,王慧丽,郭阳,等.深度学习相关研究综述[J].计算机应用研究,2018,35(07):1921-1928,1936.
[29] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J].Computer science, 2014.arXiv:1409.1556.
[30] 陆伟,罗梦奇,丁恒等.深度学习图像标注与用户标注比较研究[J].数据分析与知识发现,2018,2(5):1-10.
[31] 朱虹,李千目,李德强.基于单个卷积神经网络的面部多特征点定位[J].计算机科学,2018,45(4):273-277,284.
[32] 胡二雷,冯瑞.基于深度学习的图像检索系统[J].计算机系统应用,2017,26(3):8-19.
[33] 任夏荔,陈光喜,曹建收等.基于深度学习特征的图像检索方法[J].计算机工程与设计,2018,39(2):503-510.
[34] 吴琼.基于卷积神经网络的图文情感分析技术研究[D].泉州:华侨大学,2017.
[35] 金汉均,段贝贝.卷积神经网络在跨媒体检索中的应用研究[J].电子测量技术,2018,41(7):54-57.
Options
文章导航

/

〈 〉