银行数据清洗解决方案
上一个:
下一个:
背景
整合业务系统源数据,通过数据传输系统建立统一数据视图,统一数据加工,解决了数据有效性和标准化两大基础问题,为全行业务发展、精细化管理、决策及监管提供有力支撑。
通过数据传输系统搭建统一数据平台
首先就是要进行数据整合,将多源数据进行统一集成并非易事。显然,依靠人工处理会大大影响数据的及时性与准确性,利用宝利信通的批量数据传输系统代替人工方式,对不同数据源中的业务数据进行自动抽取和转换,然后经过对这些数据的清理、标准化和整合的过程,将其统一存储到各数据集市中。
系统逻辑架构
系统功能特点
1. 支持任意数据源类型访问
支持的数据库:传统关系型数据库、Flat Files、Excel、MPP数据库,如Teradata、Greenplum等。
支持的应用系统:ERP、财务、交易系统。
支持XML半结构化、非结构化、云端数据等。
支持任意的消息类型:MQ、JMS和 Web Service及EAI平台。
2. 支持任意时延访问要求
支持任意时延要求对数据进行访问:批量、实时、变更捕获。
系统数据流程
1、按功能数据分区
信息系统应用对数据的不同需求,将数据平台按照面向历史,面向实时,面向操作,面向集成等功能需求进行逻辑分区。
2、数据分层
将数据按照不同粒度进行分层归并、聚合处理,满足不同业务应用场景的数据需求。
3、统一数据接口
通过统一的数据接口标准,由数据平台统一提供数据服务,保证数据的一致性。