340页11万字智慧政务大数据资源平台大数据底座数据治理建设方案

目**& nbsp;& nbsp;录**

**第一章 项目概况 **

**1.1 项目名称 **

**1.2 项目单位 **

**1.3 项目建设依据 **

**1.4 项目建设内容和目标 **

**1.4.1 建设内容 **

**1.4.2 建设目标 **

**1.5 项目投资估算及建设周期 **

**1.5.1 项目投资估算 **

**1.5.2 服务周期 **

**第二章 现状 **

**2.1 项目单位概况 **

**2.1.1 单位职责、内设及下属机构、人员编制和业务情况 **

**2.1.2 拟建项目与项目单位职责、业务的关系 **

**2.2 信息化现状 **

**2.2.1 本单位或本领域信息化建设的整体框架规划或设想 **

**2.2.2 现有应用系统的情况 **

**2.2.3 拟建项目与已有系统的关系 **

**2.2.4 现有网络、设备以及其它信息资源情况 **

**第三章 项目的需求分析 **

**3.1 项目建设的背景 **

**3.2 项目建设的依据 **

**3.2.1 《XX公共数据和一网通办管理办法》（X府令9号） **

**3.2.2 《XX加快推进数据治理促进公共数据应用实施方案》（X委办8号） **

**3.2.3 《XX公共数据质量管理暂行办法（征求意见稿）》（X数函〔2019〕14号） **

**3.2.4 《2020年XX深化“一网通办”改革工作要点》 (X委办〔2020〕12号) **

**3.2.5 《关于加强数据治理促进城市运行“一网统管”的指导意见》（X委办〔2020〕24号） **

**3.3 项目建设的必要性 **

**3.3.1 业务现状、存在的具体问题和业务目标 **

**3.3.2 业务对信息系统的具体需求 **

**3.3.3 成果应用效果、推广设想、可持续发展情况 **

**3.4 用户和业务流程分析 **

**3.4.1 用户分析 **

**3.4.2 现有业务流程 **

**3.5 平台性能需求分析 **

**3.5.1 平台存储能力要求 **

**3.5.2 平台数据计算/并发能力要求 **

**3.5.3 平台门户使用要求 **

**3.6 业务量需求分析 **

**3.6.1 业务量分析 **

**3.6.2 数据存储量分析 **

**3.6.3 数据存储部署资源分析 **

**3.7 硬件设备需求分析 **

**3.8 功能需求分析 **

**3.8.1 大数据 底座 **

**3.8.2 数据采集子系统 **

**3.8.3 数据治理子系统 **

**3.8.4 数据资源中心 **

**3.8.5 数据共享子系统 **

**3.8.6 门户子系统 **

**3.8.7 统一运维子系统 **

**3.8.8 数据安全管理子系统 **

**3.9 数据分析 **

**3.9.1 数据流程和属性分析 **

**3.9.2 数据量分析 **

**3.9.3 信创适配分析 **

**3.10 满足应用的需要 **

**第四章 项目建设方案 **

**4.1 建设目标 **

**4.2 总体架构 **

**4.2.1 总架构图 **

**4.2.2 平台架构关系 **

**4.3 建设内容 **

**4.3.1 大数据 底座 **

**4.3.2 数据采集子系统 **

**4.3.3 数据治理子系统 **

**4.3.4 数据资源中心 **

**4.3.5 数据共享子系统 **

**4.3.6 门户子系统 **

**4.3.7 统一运维子系统 **

**4.3.8 数据安全管理子系统 **

**4.4 应用系统 **

**4.4.1 大数据底座 **

**4.4.2 数据采集子系统 **

**4.4.3 数据治理子系统 **

**4.4.4 数据共享子系统 **

**4.4.5 门户子系统 **

**4.4.6 统一运维子系统 **

**4.4.7 数据安全管理子系统 **

**4.5 资源中心建设 **

**4.5.1 中心总体定位设计 **

**4.5.2 XX市级数据湖 **

**4.5.3 杨浦基础库 **

**4.5.4 杨浦主题库 **

**4.5.5 杨浦专题库 **

**4.6 配套实施工作（三清单一目录） **

**4.6.1 概述 **

**4.6.2 工作范围 **

**4.6.3 梳理思路 **

**4.6.4 梳理工作开展 **

**4.6.5 梳理工作要求 **

**4.7 网络系统 **

**4.8 服务器和存储系统 **

**4.9 系统软件 **

**4.10 信息安全保障方案 **

**4.10.1 安全体系总体设计 **

**4.10.2 各层级的安全策略设计 **

**4.10.3 安全管理要求 **

**4.10.4 应急保障预案 **

**4.11 数据管理方案 **

**4.11.1 数据来源 **

**4.11.2 数据更新机制 **

**第五章 项目实施进度和组织安排 **

**5.1 项目建设周期 **

**5.2 实施进度计划 **

**5.3 责任人和组织保障 **

**5.3.1 项目领导机构 **

**5.3.2 项目实施机构 **

本平台建立在基础设施的基础之上，并整合了包括网络架构、技术创新以及存储解决方案在内的基础设施组件；同时构建了涵盖技术标准体系规范和信息安全保障体系的技术框架作为支撑平台；实现了多维度的数据交互机制来进行信息共享；中心包含基础数据库和融合数据库两个部分来管理各类资源；通过完善的数据整理治理流程提升整体效率；提供多样化的数据分析服务以支持决策过程；支持开放的数据共享应用以及开发相应的门户模块供用户访问；最终实现了与其他XX大数据资源平台的数据共享与互操作性连接

一.1.1 总架构图****

本次项目建设的总体架构如下图：

功能框架图：

整体格局：

一.1.2 平台****架构关系

一.1 建设内容****

基于区级数据平台建设目标，在聚合、管理与共享等业务层面出发进行规划与设计，在具体实施过程中，则需围绕以下几个方面展开详细阐述：涵盖数据采集与整合以及建立完善的数据治理机制，并致力于实现高效的数据共享

一.1.1 大数据底座

搭建统一的大数据底座基础平台具有以下特点：它不仅具备高效的数据存储能力（能够快速处理大量数据），而且拥有强大的计算能力（支持复杂算法运行），同时提供深入的数据分析能力（能够揭示数据背后的价值），还集成智能的数据处理能力（能够自动化优化流程），并且确保完善的管理控制能力（包括权限管理和日志监控），最后为组织提供稳定的大数据运维支持。

构建统一多租户模型体系，在大数据域内实施组件管控机制，并建立资源运营分析支持平台以支撑各环节的数据处理。深入掌握各租户的分配状态以及资源配置效率，并制定标准化的运营流程以实现资源分配与实例创建的统一管理。通过优化现有技术手段提升租户管理规范性，并在实际应用中实现对资源使用效率的支持与提升。同时通过合理配置权限设置优化现有资源配置模式，在确保安全的前提下赋予灵活权限控制能力以满足不同场景的需求。

构建统一多租户架构以整合Hadoop Kubernetes以及数据中台的基础上打造集成了平台应用以及运营的全方位能力体系

Ø 建设资源服务目录，实现Hadoop组件HDFS、Hive、HBase、Yarn及Kafka的接入。

具备相应的租户资源管理和实例创建功能；负责对区大数据中心和区委办的资源分配实施统一调度与管理；具备实时监控功能；确保租户信息规范完整

具备相应的租户资源管理和实例创建功能；负责对区大数据中心和区委办的资源分配实施统一调度与管理；具备实时监控功能；确保租户信息规范完整

实现对资源的精细权限控制，并赋予组件高度灵活的权限配置机制；通过提供细致入微的组织与控制能力，在确保系统安全性的同时允许系统以开放的方式共享数据和资源

支撑平台运营管理包括线上进行租户管理和分析，并提供实时用量监控与提示支持平台运营管理

一.1.2 数据采集子系统****

为实现全区范围内的数据全面收集与管理目标，在全区各级委办单位部署离线、准实时以及实时三种不同数据采集方式，并根据各委办局业务特点灵活配置相应的数据采集方案以确保技术的有效应用。

Ø 数据采集：政府部门提供的信息种类繁多，并涵盖视频型、物联网感知型等不同类型的数据；这些不同来源的信息由于格式存在差异，在整合前需对各类信息进行统一规范处理以确保有序使用

大数据存储：满足现有应用中海量的结构化数据、半结构化数据以及全市整体规划下的大量非结构化素材（如图片、视频资料等）的需求。通过分布式文件系统的应用方式，在大数据基础平台中实现了对汇集的各种类型海量数据的有效存储。

数据分析：数据分析的速度和准确性对于实际应用中的及时性和高效性具有至关重要的影响。大数据平台拥有多种数据计算引擎（如分布式计算、流式计算和内存计算），能够根据不同具体情况选择最适合的数据处理方案，并根据具体情况选择最适合的数据处理方案完成大规模批量数据处理和实时响应。这些技术使得政府机构的数据决策效率得到了显著提高。

处理分布式计算环境下的任务分配与资源优化配置，在Hadoop 2.0中引入了一个通用的可扩展架构（Resource Management Framework），该系统作为一个可扩展的框架支持各种应用需求，并提供了一个统一的管理界面以实现对计算节点的有效监控与控制

Ø 大数据集群运维管理：作为运维平台，并为其提供高度可靠的、安全性好且容错能力强的集群管理能力。该系统将实现以下功能：对大规模集群实施安装操作、升级操作以及补丁更新操作；完成运行状态监控与维护工作；进行异常情况检测与告警维护工作；完成用户权限管理和权限维护工作；制定并执行资源分配策略；完成租户相关的配置管理和维护工作。

该文章引用的所有资料均源自互联网等公开渠道，并且均为合法获取。这些资料仅限于行业交流与学习用途，并未有任何商业意图。这些资料依法归属于原作者或出版机构的所有权人。本文作者因此类版权问题不承担任何法律责任。如发现本文章涉嫌侵犯版权，请及时联系本文作者删除相关材料。