图书情报工作

图书情报工作 >

2015 , Vol. 59 >Issue 10: 21 - 28,47

DOI: https://doi.org/10.13266/j.issn.0252-3116.2015.10.003

专题：网络动态数据挖掘及其在企业竞争情报中的应用

网络动态数据挖掘模式及其关键技术

  • 黄晓斌 ,
  • 张兴旺
展开
  • 1. 中山大学资讯管理学院 广州 510006;
    2. 桂林理工大学图书馆 桂林 541004
黄晓斌(ORCID:0000-0001-9178-7408),教授,博士生导师,E-mail:isshxb@mail.sysu.edu.cn;张兴旺(ORCID:0000-0002-6004-8642),博士研究生,副研究馆员。

收稿日期: 2015-04-07

  修回日期: 2015-05-14

  网络出版日期: 2015-05-20

基金资助

本文系国家社会科学基金"网页内容分析与挖掘的企业竞争情报方法研究"(项目编号:10BTQ034)研究成果之一。

收起

The Models and Key Technologies of Dynamic Network Data Mining

  • Huang Xiaobin ,
  • Zhang Xingwang
Expand
  • 1. School of Information Management, Sun Yat-Sen University, Guangzhou, 510006;
    2. Library of Guilin University of Technology, Guilin, 541004

Received date: 2015-04-07

  Revised date: 2015-05-14

  Online published: 2015-05-20

Fold

摘要

[目的/意义]大数据蕴藏着大知识和大情报,但呈现出价值密度低、分布不规律、价值隐藏深、变化频繁等特征,给数据挖掘工作带来巨大机遇与挑战,有必要探索新的挖掘方式。[方法/过程]以大数据环境下网络动态数据挖掘模式作为切入点,从数据生产方式、生产规模及技术成熟性等维度选择金融管理、新型互联网应用、移动互联网位置服务等应用领域,对其基本特征进行分析,最后以Facebook的动态数据挖掘分析平台为例进行系统说明。[结果/结论]提出应从体系结构、动态数据传输、系统接口、高可用技术及负载均衡等关键技术入手,对系统进行设计与优化。

关键词： 大数据; 动态数据挖掘; 动态竞争情报; Facebook

本文引用格式

黄晓斌 , 张兴旺 . 网络动态数据挖掘模式及其关键技术[J]. 图书情报工作, 2015 , 59(10) : 21 -28,47 . DOI: 10.13266/j.issn.0252-3116.2015.10.003

Abstract

[Purpose/significance]Big data contains big knowledge and big intelligence, but it also has the characteristics of low value density, irregular distribution, hidden value and frequent changes, which brings enormous opportunities and challenges to data mining. It is necessary to explore new ways of mining.[Method/process]Taking the network dynamic data mining mode in the big data environment as a starting point, selected the application areas of financial management, the new Internet applications, location-based services, such as mobile Internet data, the basic characteristics were analyzed in terms of production, production scale and technical maturity. Finally, Facebook dynamic competitive intelligence analysis platform was chosen to conduct a systematic analysis.[Result/conclusion]It proposes the architecture, the key technology of dynamic data transmission, system interface, high availability and load balancing technology and other aspects of the system design should be optimized.

Key words： big data; dynamic data mining; dynamic competitive intelligence; Facebook

参考文献

[1] 梁战平.情报学若干问题辨析[J].情报理论与实践,2003,26(3):193-198.
[2] Mayer-Schönberger V.大数据时代:生活,工作与思维的大变革[M].盛杨燕,周涛,译.杭州:浙江人民出版社,2012.
[3] 孙大为,张广艳,郑伟民,等.大数据流式计算:关键技术及系统实例[J].软件学报,2014,25(4):839-862.
[4] 倪志伟.动态数据挖掘[M].北京:科学出版社,2010:3.
[5] 蒋昌俊,丁志军,王俊丽,等.面向互联网金融行业的大数据资源服务平台[J].科学通报,2014,59(36):3547-3553.
[6] 中国人民银行. 2014年第四季度支付体系运行总体情况[EB/OL].[2015-02-13]. http://www.pcac.org.cn/file/File/1424119020.pdf.
[7] Yunus M. Building social business: The new kind of capitalism that serves humanity's most pressing needs[M]. Philadelphia:Public Affairs, 2011:2-17.
[8] Leung L. Generational differences in content generation in social media: The roles of the gratifications sought and of narcissism[J].Computers in Human Behavior, 2013,29(3):997-1006.
[9] 钱肖鲁,朱建秋,朱杨勇,等. DMVisualMiner:一个可视化数据挖掘分析平台[J].计算机工程,2003(29):148-150.
[10] 纪俊.一种基于云计算的数据挖掘平台架构设计与实现[D].青岛:青岛大学,2009.
[11] 李婵.基于云计算的智能手机数据挖掘平台的架构和实现[D].武汉:武汉理工大学,2010.
[12] 张玉峰,何超.基于Web评论挖掘的动态竞争情报分析研究(上)——问题分析与模型构建[J].情报理论与实践,2012,35(6):63-66.
[13] 王金明,王远方.基于Twitter Storm平台并行挖掘最稠密子图[J].计算机科学,2014(1):274-278.
[14] Jonathan L, Gabriel E, Dario S.Getting started with Storm[M].Athens:O'Reily Media,Inc,2012.
[15] Borthakur D, Sarma J S, Gray J. et al. Apache hadoop goes realtime at Facebook[C]//Proceedings of the ACM SIGMOD International Conference on Management of Data (SIGMOD 2011 and PODS 2011). Athens: ACM Press, 2011:1071-1080.
[16] 李德仁,姚远,邵振峰,等.智慧城市中的大数据[J].武汉大学学报(信息科学版),2014(6):631-640.
[17] 李德仁,张良婷,夏桂松,等.遥感大数据自动分析与数据挖掘[J].测绘学报,2014(12):1211-1216.

Options
文章导航

/

〈 〉