银行数据仓库体系实践_案例：农发行数据交换共享平台建设实践分享

随着银行业市场竞争日益加剧，在这种背景下，银行业务种类呈现出快速增长态势，并且各银行的业务系统和应用系统规模不断扩大，并且系统架构日益复杂。与此同时，各银行对数据分析的需求也日益增强，在这种情况下，不同系统的数据交互频率显著提升。为了满足日益增长且频繁的数据交换需求，构建统一的数据交换平台成为各银行的共识。

本文选取中国农业发展银行（简称农发行）作为研究对象，并对农发行的企业级批量数据交换研究与实践进行深入探讨；为企业在金融行业开展数据共享与交换管理方面提供了新的思路。

项目背景

伴随金融科技的发展势头强劲，在农发行现有的数据交换平台上，在功能、效率、安全性和大数据处理能力方面考虑后发现现有配置已无法满足当前需求，并暴露出一系列问题：

• 数据交换效率偏低，并限定于本地文件格式作为数据转换媒介 *
• 采用Oracle数据库作为数据转换平台 *
• 数据传输采用FTP方式进行文件交互 *
• 安全防护机制缺失 *
• 服务管理功能相对薄弱 *
• 业务影响评估粒度过粗 *
• 处理效率不高 *
• 作业任务需由上层系统统一集中处理后才能开始执行 *
• 在T+1时段开始卸载执行 *
• 系统规划协调能力不足 *
• 数据交互类型较为单一，在现有功能中仅支持文件及数据库表的数据交互模式

项目内容

为推进农发行新一代核心业务系统的建设工作，在遵循其IT整体规划中关于数据架构的规划布局下，并结合当前各应用系统的运行状态，在新一代核心业务系统的上游生产环节与下游的数据消费环节（包括但不限于数据仓库、报表分析平台等相关设施）之间，拟采用统一的数据采集与交换平台实现大批量数据的高效传输，并以此建立新的统一的数据交换平台。

基于亿信华辰自主研发的全行级数据交换软件EsDataExchage（EsDataExchage），农发行成功构建了一个全面覆盖行内系统的统一数据交互平台。该平台采用分布式的数据传输网络架构模式，在全局范围内承担着信息传递与协调任务。通过整合并管理各业务系统的交互接口，在实现资源的有效整合与共享机制的同时，确保各系统能够实现业务间的互联互通与资源共享。

新的数据交换平台与农发行企业级批量数据流转架构的关系如图所示。

△农发行新数据交换平台批量传输架构图

该平台依靠数据生产系统获取数据，并主要采用文件采集与DBLINK采集相结合的方式。

②数据交换平台采集数据生产系统数据并下发至数据仓库。

该平台提供的数据交换服务主要包括三种核心的供给方式：一种是直接将原始数据提供至数据集市；另一种是在对市场数据分析后将处理后的结果返回至相关数据中心；第三种则是实现各dataMarket之间的互相交互通融。

经过加工后生成的数据会返回至数据交换平台，并由该平台根据具体情况执行相应的处理任务。其中一种情况是，在完成处理后将释放或卸载存储于该平台的数据文件并输出到指定的数据集市；另一种情况则是将这些文件输出到包括数据分析系统、机器学习引擎以及各类业务应用在内的多个目标系统中。

借助统一调度系统完成统一数据市场、数据分析展示层与数据库资源之间的资源流动, 完全不需要依赖于中间件服务.

该平台将整合并传递经加工处理的系统运行数据以及来自其他相关平台的数据给省行平台

⑦ 数据生产系统的间进行大批量的数据转换。
⑧ 数据交换平台实时获取各系统产生的原始数据，并将这些数据传输至大型的数据平台进行集中管理。

项目价值

新的数据交换管理平台作为支撑银行数据体系运行的核心平台，在提供包括转码、拆分以及合并等基础的数据处理服务的同时，在一方面能够减轻A系统的数据下发压力负担；另一方面则能显著提升B系统的整体处理效率与运营效能。该平台所具有的三大核心价值体现在：第一点是构建了一个统一的数据资源池；第二点实现了跨部门高效的数据共享机制；第三点则通过智能数据分析能力提升了业务决策水平与运营效率

该平台具有显著时效优势。平台提供全天候的数据交换服务，并非仅为总行相关系统服务，在此之外还能够为总行相关系统提供T+1及以上的批量数据支持，并将全面满足各分行为其数据需求提供的唯一来源。

该平台集成了种类繁多的功能模块设计科学合理，并整合了全面的功能函数库集合。这些核心功能包括数据转换功能模块、数据清洗功能模块以及数据存储功能模块等基础支撑服务。特别值得一提的是该平台不仅支持多数据库版本间的通用处理流程设计还具备高度可定制化的特性。这些特点充分体现了其在功能性上的显著优势

该系统采用加密传输机制，并集成了一系列的数据脱敏技术，在具备对系统操作和数据处理过程的审计追踪能力的同时，能够确保系统的安全性得到全面保障。

就目前情况来看，在经历了大量调研与技术攻关之后，在农发行的推动下，基于亿信数据交换软件成功搭建了一个数据交换管理平台。该平台不仅有效促进了银行内部各类信息系统之间的互联互通与资源共享，并且构建起了统一的数据服务架构。通过这个架构为银行上层业务系统提供了便捷的数据支持，在提升各项业务效率的同时也为完善银行业务信息服务体系奠定了坚实的基础。值得一提的是，在税务、卫生、法院、政务以及交通等多个行业领域中已经实现了亿信华辰数据交换平台的有效应用，并期待着未来能够有更多分享与经验交流的机会。