建设依据:《2015年政府信息公开工作要点》(国办发〔2015〕22号)、《促进大数据发展行动纲要》(国发〔2015〕50号)、《国家电子政务工程建设项目管理暂行办法》(中华人民共和国国家发展和改革委员会第55号令)
系统架构说明:
数据源:大数据管理平台的数据包括联网直报数据、住建部门数据、国土部门数据、金融机构数据、税务部门数据、省发展改革委数据、省文化厅数据、省交通运输厅数据及互联网数据,是支撑整个业务应用系统的数据统计及数据挖掘分析。
数据获取层:数据整理主要通过ETL及内容分析实现数据的治理问题,确保数据的质量,保证数据的正确性、完整性、一致性、完备性、有效性、时效性和可获取性等,主要通过空值处理、规范化数据格式、拆分数据、验证数据正确性、数据替换等手段实现数据的整合。
数据层:负责存储海量数据,提供并行的计算和非结构化数据的处理能力,实现低成本的存储和低时延、高并发的查询能力。数据加工、关联、汇总后的业务数据,并提供分布式计算,支撑数据深度分析和数据挖掘能力,向主数据仓库输出KPI和高度汇总数据。
能力层:通过对原始数据进行整合汇总,形成上层可用的数据挖掘工具,平台能力层主要向用户提供实时数据处理能力、基础分析能力、数据挖掘能力、自助分析能力、数据共享能力等,同时面向使用人员提供FTP传输、API接口、SQL\MDX语句使用能力。
应用层:数据应用层存储不同的综合级别的数据,主要包括当前明细数据、轻度综合数据、高度综合数据。根据不同的报表分割不同的数据粒度,实现数据立方体的存储。根据统计的基础数据和各行业各领域的数据构造WEB资源池。根据业务需要实现各种灵活专题统计任务和宏观经济预测。并可以根据新的业务需求,实现新增专题统计并支持移动终端应用。
统计局大数据系统概述:将建设一个中心数据库,四个系统模块,主要包括:大数据资源中心、数据处理系统、综合分析系统、交换共享系统、经济监测系统。
请 登陆 后查看联系方式!