网络动态数据挖掘模式及其关键技术

doi:10.13266/j.issn.0252-3116.2015.10.003

图书情报工作 ›› 2015, Vol. 59 ›› Issue (10): 21-28,47.DOI: 10.13266/j.issn.0252-3116.2015.10.003

• 专题：网络动态数据挖掘及其在企业竞争情报中的应用 • 上一篇下一篇

网络动态数据挖掘模式及其关键技术

黄晓斌¹, 张兴旺^1,2

1. 中山大学资讯管理学院广州 510006;
2. 桂林理工大学图书馆桂林 541004

收稿日期:2015-04-07 修回日期:2015-05-14 出版日期:2015-05-20 发布日期:2015-05-20
作者简介:黄晓斌(ORCID:0000-0001-9178-7408),教授,博士生导师,E-mail:isshxb@mail.sysu.edu.cn;张兴旺(ORCID:0000-0002-6004-8642),博士研究生,副研究馆员。
基金资助:
本文系国家社会科学基金"网页内容分析与挖掘的企业竞争情报方法研究"(项目编号:10BTQ034)研究成果之一。

The Models and Key Technologies of Dynamic Network Data Mining

Huang Xiaobin¹, Zhang Xingwang^1,2

1. School of Information Management, Sun Yat-Sen University, Guangzhou, 510006;
2. Library of Guilin University of Technology, Guilin, 541004

Received:2015-04-07 Revised:2015-05-14 Online:2015-05-20 Published:2015-05-20

摘要/Abstract

摘要：

[目的/意义]大数据蕴藏着大知识和大情报,但呈现出价值密度低、分布不规律、价值隐藏深、变化频繁等特征,给数据挖掘工作带来巨大机遇与挑战,有必要探索新的挖掘方式。[方法/过程]以大数据环境下网络动态数据挖掘模式作为切入点,从数据生产方式、生产规模及技术成熟性等维度选择金融管理、新型互联网应用、移动互联网位置服务等应用领域,对其基本特征进行分析,最后以Facebook的动态数据挖掘分析平台为例进行系统说明。[结果/结论]提出应从体系结构、动态数据传输、系统接口、高可用技术及负载均衡等关键技术入手,对系统进行设计与优化。

关键词: 大数据, 动态数据挖掘, 动态竞争情报, Facebook

Abstract:

[Purpose/significance]Big data contains big knowledge and big intelligence, but it also has the characteristics of low value density, irregular distribution, hidden value and frequent changes, which brings enormous opportunities and challenges to data mining. It is necessary to explore new ways of mining.[Method/process]Taking the network dynamic data mining mode in the big data environment as a starting point, selected the application areas of financial management, the new Internet applications, location-based services, such as mobile Internet data, the basic characteristics were analyzed in terms of production, production scale and technical maturity. Finally, Facebook dynamic competitive intelligence analysis platform was chosen to conduct a systematic analysis.[Result/conclusion]It proposes the architecture, the key technology of dynamic data transmission, system interface, high availability and load balancing technology and other aspects of the system design should be optimized.

Key words: big data, dynamic data mining, dynamic competitive intelligence, Facebook

中图分类号:

G250.73

黄晓斌, 张兴旺. 网络动态数据挖掘模式及其关键技术[J]. 图书情报工作, 2015, 59(10): 21-28,47.

Huang Xiaobin, Zhang Xingwang. The Models and Key Technologies of Dynamic Network Data Mining[J]. LIS, 2015, 59(10): 21-28,47.

参考文献

[1] 梁战平.情报学若干问题辨析[J].情报理论与实践,2003,26(3):193-198.
[2] Mayer-Schönberger V.大数据时代:生活,工作与思维的大变革[M].盛杨燕,周涛,译.杭州:浙江人民出版社,2012.
[3] 孙大为,张广艳,郑伟民,等.大数据流式计算:关键技术及系统实例[J].软件学报,2014,25(4):839-862.
[4] 倪志伟.动态数据挖掘[M].北京:科学出版社,2010:3.
[5] 蒋昌俊,丁志军,王俊丽,等.面向互联网金融行业的大数据资源服务平台[J].科学通报,2014,59(36):3547-3553.
[6] 中国人民银行. 2014年第四季度支付体系运行总体情况[EB/OL].[2015-02-13]. http://www.pcac.org.cn/file/File/1424119020.pdf.
[7] Yunus M. Building social business: The new kind of capitalism that serves humanity's most pressing needs[M]. Philadelphia:Public Affairs, 2011:2-17.
[8] Leung L. Generational differences in content generation in social media: The roles of the gratifications sought and of narcissism[J].Computers in Human Behavior, 2013,29(3):997-1006.
[9] 钱肖鲁,朱建秋,朱杨勇,等. DMVisualMiner:一个可视化数据挖掘分析平台[J].计算机工程,2003(29):148-150.
[10] 纪俊.一种基于云计算的数据挖掘平台架构设计与实现[D].青岛:青岛大学,2009.
[11] 李婵.基于云计算的智能手机数据挖掘平台的架构和实现[D].武汉:武汉理工大学,2010.
[12] 张玉峰,何超.基于Web评论挖掘的动态竞争情报分析研究(上)——问题分析与模型构建[J].情报理论与实践,2012,35(6):63-66.
[13] 王金明,王远方.基于Twitter Storm平台并行挖掘最稠密子图[J].计算机科学,2014(1):274-278.
[14] Jonathan L, Gabriel E, Dario S.Getting started with Storm[M].Athens:O'Reily Media,Inc,2012.
[15] Borthakur D, Sarma J S, Gray J. et al. Apache hadoop goes realtime at Facebook[C]//Proceedings of the ACM SIGMOD International Conference on Management of Data (SIGMOD 2011 and PODS 2011). Athens: ACM Press, 2011:1071-1080.
[16] 李德仁,姚远,邵振峰,等.智慧城市中的大数据[J].武汉大学学报(信息科学版),2014(6):631-640.
[17] 李德仁,张良婷,夏桂松,等.遥感大数据自动分析与数据挖掘[J].测绘学报,2014(12):1211-1216.

网络动态数据挖掘模式及其关键技术

The Models and Key Technologies of Dynamic Network Data Mining

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

[1]	汪雅君, 石进, 李明, 刘亦卓. 基于构件的情报分析模型研究[J]. 图书情报工作, 2022, 66(8): 92-101.
[2]	孙迟瑶, 刘继安, 徐艳茹. 美国一流大学本科数据科学教育体系——建设路径、体系特征与发展趋势[J]. 图书情报工作, 2022, 66(8): 134-143.
[3]	李嘉兴, 王雷, 宋士杰, 朱庆华. 重大突发公共卫生事件驱动的医疗数据开放治理模式研究[J]. 图书情报工作, 2022, 66(4): 23-32.
[4]	吴文瀚. 搜索引擎全量数据的用户画像模型研究——设计与实证[J]. 图书情报工作, 2022, 66(4): 129-141.
[5]	刘宇, 史继强, 徐英祺, 陆颖. 学科服务3.0模式研究与实践[J]. 图书情报工作, 2022, 66(16): 69-77.
[6]	刘坤锋, 李艳红, 张心源. 信任视角下数据智能与专家知识的对比实证研究[J]. 图书情报工作, 2021, 65(6): 110-117.
[7]	杨国立. 因时而变因势而新——评《新时代情报学与情报工作论丛》[J]. 图书情报工作, 2021, 65(21): 6-10.
[8]	卢周来. 紧扣时代互动发展——评《情报与智库》[J]. 图书情报工作, 2021, 65(21): 31-33.
[9]	李洪晨, 马捷, 胡漠. 面向健康医疗大数据安全保护的医疗区块链模型构建[J]. 图书情报工作, 2021, 65(2): 37-44.
[10]	王知津. 大数据环境下情报学的继承与发展[J]. 图书情报工作, 2021, 65(17): 3-12.
[11]	王晰巍, 李玥琪, 贾若男, 孟盈. 新文科背景下大数据管理与应用专业人才培养模式[J]. 图书情报工作, 2021, 65(17): 45-56.
[12]	钱力, 刘细文, 张智雄, 刘会洲. AI+智慧知识服务生态体系研究设计与应用实践——以中国科学院文献情报中心智慧服务平台建设为例[J]. 图书情报工作, 2021, 65(15): 78-90.
[13]	赵发珍. 大数据驱动的图书馆风险治理:内涵及框架[J]. 图书情报工作, 2020, 64(8): 13-23.
[14]	唐彬, 卢艳秋, 赵彬. 跨界搜寻与大数据能力协同作用下平台企业商业模式创新研究[J]. 图书情报工作, 2020, 64(5): 124-132.
[15]	张运良. 大数据服务中知识组织的挑战及应对[J]. 图书情报工作, 2020, 64(4): 88-94.