[目的/意义] 针对当前各图书馆、文化馆等公共文化服务机构的多源异构数据，设计出一套行之有效的集成架构。[方法/过程] 在充分分析公共文化大数据资源的基础上，对公共文化服务大数据的类型与分布进行分析，结合公共文化服务大数据的应用场景，设计公共文化大数据集成的架构。[结果/结论] 提出一个由数据来源层、系统集成层、数据融合层、存储层、应用层五个层次构成的公共文化服务大数据集成架构，并对其中的采集、存储等关键技术进行研究。
[Purpose/significance] To design an effective integration architecture for multi-source heterogeneous data of public cultural service institutions such as libraries and cultural centers. [Method/process] Based on the full analysis of the public cultural big data resources, this paper analyzed the types and distribution of the public cultural service big data, and designed the integration architecture of the public cultural big data in combination with the application scenarios of the public cultural service big data. [Result/conclusion] This paper proposes a public data service big data integration architecture consisting of 5 layers: data source layer, system integration layer, data fusion layer, storage layer and application layer, and discusses key technologies such as acquisition and storage.
[1] 国家科技图书文献中心[EB/OL].[2020-02-17].https://www.nstl.gov.cn/Portal/zzjg_jgjj.html.
[2] 中国高等教育文献保障系统[EB/OL].[2020-02-17]. http://www.calis.edu.cn/pages/list.html?id=6e1b4169-ddf5-4c3a-841f-e74cea0579a0.
[3] 上海嘉定政府网[EB/OL].[2020-02-17].http://www.jiading.gov.cn/zwpd/zwdt/content_34571.
[4] 刘瑜,詹朝晖,朱递,等.集成多源地理大数据感知城市空间分异格局[J].武汉大学学报(信息科学版),2018,43(3):327-335.
[5] 王卷乐,程凯,边玲玲,等.面向SDGs和美丽中国评价的地球大数据集成框架与关键技术[J].遥感技术与应用,2018,33(5):775-783.
[6] 赵芬,张丽云,赵苗苗,等.生态环境大数据平台架构和技术初探[J].生态学杂志,2017,36(3):824-832.
[7] 吕佑龙,张洁.基于大数据的智慧工厂技术框架[J].计算机集成制造系统,2016,22(11):2691-2697.
[8] 李少波,陈永前.大数据环境下制造业关键技术分析[J].电子技术应用,2017,43(2):18-21,25.
[9] 王淞,彭煜玮,兰海,等.数据集成方法发展与展望[J].软件学报,2020,31(3):893-908.
[10] 叶鑫,董路安,宋禺.基于大数据与知识的"互联网+政务服务"云平台的构建与服务策略研究[J].情报杂志,2018,37(2):154-160,153.
[11] 杨兴凯,刘畅.政府信息资源集成方法研究综述[J].电子政务,2013(5):81-87.
[12] 洪之旭,陈浩,程亮.基于大数据的社会治理数据集成及决策分析方法[J].清华大学学报(自然科学版),2017,57(3):264-269.
[13] 刘岩,王华,秦叶阳,等.智慧城市多源异构大数据处理框架[J].大数据,2017,3(1):51-60.
[14] 唐明伟,苏新宁,肖连杰.面向大数据的情报分析框架[J].情报学报,2018,37(5):467-476.
[15] 巴志超,李纲,安璐,等.国家安全大数据综合信息集成:应用架构与实现路径[J].中国软科学,2018(7):9-20.
[16] 卢小宾,徐超.面向风险管理的银行大数据分析系统架构研究[J].信息资源管理学报,2018,8(2):4-12.
[17] 陈伟,杨锐,何涛,等.大数据环境下科技情报研究的新模式[J].科技导报,2018,36(16):78-85.
[18] 韩翠峰. 大数据带给图书馆的影响与挑战[J].图书与情报, 2012(5):37-40.
[19] 嵇婷, 吴政. 公共文化服务大数据的来源、采集与分析研究[J]. 图书馆建设, 2015(11):21-24.
[20] 苏新宁.大数据时代数字图书馆面临的机遇和挑战[J].中国图书馆学报,2015,41(6):4-12.
[21] 刘炜, 张奇, 张喆昱. 大数据创新公共文化服务研究[J]. 图书馆建设, 2016(3):4-8.
[22] LI J,LU M, DOU G, et al. Big data application framework and its feasibility analysis in library[J].Information discovery and delivery, 2017:45(4):161-168.
[23] 曹树金,刘慧云,王连喜.大数据驱动的图书馆精准服务研究[J].大学图书馆学报,2019,37(4):54-60.
[24] 郭路生,刘春年.基于EA的公共文化服务大数据应用体系顶层设计研究[J].图书馆学研究,2019(5):31-37.
[25] 张春景,曹磊,曲蕴.公共文化服务大数据应用模式与趋势研究[J].图书馆杂志,2015,34(12):4-8.
[26] 李广建,化柏林.公共文化服务大数据研究的体系与内容[J].图书馆论坛,2018,38(7):62-71.
[27] 刘双,钱澄澄.大数据集成图书馆信息系统体系框架与分类规范研究[J].图书馆学研究,2017,(5):31-37.
[28] 曹健,秦荣环,孙会清,等.基于Hadoop的高校图书馆数字资源整合利用研究[J].图书馆工作与研究,2018,(3):74-78,101.
[29] 文庭孝.大数据时代图书馆创新发展思考[J].图书馆,2019(5):15-22,27.
[30] 李亢,李新明,刘东.多源异构装备数据集成研究综述[J].中国电子科学研究院学报,2015,10(2):162-168.
[31] DOAN A,HALEVY A,IVES Z. Principles of Data Integration[M].孟小峰, 马如霞,马友忠,等译.数据集成原理. 北京:机械工业出版社, 2014.
[32] 梁勇.关系数据库中分布式大数据集成冲突消解仿真[J].计算机仿真,2019,36(5):399-402.
[33] 王玥.关系数据库中分布式大数据的集成冲突消解算法[J].科学技术与工程,2018,18(3):63-67.
[34] CSDN.数据预处理[EB/OL].[2020-02-17]. https://blog.csdn.net/weixin_42144636/article/details/81584372.
[35] CSDN.使用Flume消费Kafka数据到HDFS[EB/OL].[2020-02-17]. https://www.cnblogs.com/smartloli/p/9984140.html.
