首页>五大产品族>Sm@rtDMP银行数据治理平台

Sm@rtDMP银行数据治理平台


  根据国内外数据治理领域最新发展趋势,神州信息旗下企业神州数码融信软件有限公司(简称:神州数码融信)自主研发并推出了一套灵活高效、功能强大、技术先进的银行数据治理平台Sm@rtDMP。通过该平台的元数据管理、数据标准管理及数据质量管理,可以帮助银行有效地管理数据资产,分析数据加工关系,绘制数据地图,发现数据质量问题,发掘和利用银行数据资产的价值,并且改善与提高数据质量。

   背景

  在长期的数据仓库、CRM等数据分析项目的开发工作中,神州数码融信发现:低下的数据质量往往造成开发出来的系统与银行客户的预期大相径庭,诸多数据仓库、CRM项目应用程度不高甚至失败,归根结底,均是由数据质量不高导致的。这些数据质量问题包括:属性缺失、数据不完整、数据处理不及时、数据不准确、数据重复、数据属性不一致等。数据质量不高,已经成为困扰此类项目的开发人员与客户的一个严重问题。因此,建立一套有效的数据质量管理规范、数据质量监督手段和工具、治理方法和过程以及考评机制,是数据质量管控的必要内容。

   目标与价值

  数据治理的定位是银行级数据管理和控制流程的完整结合体,通过元数据管理、数据质量管理、数据标准和数据服务四个子系统的建设和应用,使银行的数据处于整体有序管理状态。

  基于元数据管理,制定数据规范,并且进行数据质量检核实现数据全生命周期的管理:通过元数据的影响、血统分析功能帮助用户快速定位数据平台加工环节中出现的问题,辅助整合并提高银行数据资产的价值;通过数据标准以及检核规则,进行数据技术和业务数据检核,问题管理等功能发现数据治理数据存在的质量问题;配合数据管控架构组织管理办法,形成完整的数据管控体系的应用与实现平台。

  通过建设数据治理平台,商业银行可实现以下价值:

  - 快速掌握数据在其生命周期中的状态,提高数据其生命周期中索效率

   . 收集、管理和维护数据结构和存储形态

   . 为数据质量管理提供包括表、字段、代码等元数据对象及其属性定义,帮助发现数据质量的问题

   . 维护数据之间的逻辑关系和流转关系,能够及时实现数据影响、血统以及关联度分析等,实现数据关联关系及脉络清晰

  - 提升银行内部部门之间的共享数据和协同工作能力

   . 统一业务术语和技术术语,规范银行内部的数据标准

   . 建立其数据标准管理和落地,实现数据标准的定义、发布和浏览等

   . 规范数据统计维度和统计口径,达到数据在不同部门和业务单位之间的共享

   . 减少数据转换,促进系统集成

   . 约束在建系统的数据标准和规范,为规划系统提供标准规范

  - 发现数据存在问题,协助提升银行数据质量

   . 能够发现数据存在的具体问题,并将问题进行切实描述

   . 建立数据质量度量指标,使得数据质量问题进行量化分析

   . 灵活定义数据质量检核规则,包括技术规则和业务逻辑检核等

   . 通过有效的质量检核的执行发现系统数据质量的问题

   . 对发现的问题形成报告并且进行分析归类,同时针对问题的解决进行跟踪

   . 结合数据标准体系,协助源端系统进行改进,保证在建和规划系统的数据质量提升

  - 健全数据运用和数据服务,确保数据运用的安全性和规范性

  . 建立起银行内容数据运用的流程和制度,确保数据使用有序、安全

  . 从数据访问性、使用以及对外披露等各个环节进行系统化控制,避免数据滥用

   . 规范数据提供者和数据消费者的权利和义务,由数据提供者提供的应用组件和服务,以满足数据消费者的业务需求和目标

  - 配合银行数据治理成果的落地和管理,促使银行数据质量提升

   . 数据治理平台作为数据治理工程中一个重要环节,实现治理成果的落地和管理

   . 数据治理的目的是简化数据服务形式,提升数据质量、促使业务发展和内部精细化管理

   产品介绍

  数据治理是银行IT治理的一部分。神州数码融信数据治理平台Sm@rtDMP包括元数据管理、数据标准管理、数据质量管理以及数据服务管理功能,可帮助银行加强数据管控。该产品既可单独实施,也可以作为ODS或者数据仓库整体解决方案的一个部分进行实施。

  产品设计理念坚持以下原则:

  . 数据关系脉络化原则

  . 数据标准规范化原则

  . 数据质量度量化原则

  . 数据服务制度化原则

  Sm@rtDMP由元数据管理、数据标准管理和数据质量管理三个子系统组成。

  . 通过元数据管理中的影响分析、血统分析、数据地图、数据关联密度分析等功能,帮助银行客户快速定位数据平台加工环节中的位置,理清数据生命周期中数据之间的脉络关系。

  . 通过数据标准管理,将银行技术数据标准和业务数据标准的定义、发布、维护等进行管理,使得数据规格标准化,技术语义和业务定义更加标准规范。

  . 通过数据质量管理,定义数据质量度量指标和标准,进行数据检核、问题管理等功能,可发现数据存在的质量问题,进而进行问题分析和问题跟踪,协助数据生命周期各个环节数据质量的提升。

  数据治理是一个复杂的系统工程,需要银行制度、业务部门和科技部门等多部门的紧密配合共同完成,这三个子系统机密结合,辅助于整个数据治理过程之中,形成完整的数据治理体系的应用与实现平台。

   - 元数据管理

  银行元数据是关于银行业务数据和技术数据的数据,可分为技术元数据和业务元数据:技术元数据面向技术开发人员,是技术开发、系统维护和改进的基础,主要包括文件类元数据、数据类元数据、IT操作类元数据和数据接口类元数据4个部分;业务元数据面向业务分析人员,是对数据和处理规则的业务化描述,主要包括数据类元数据、过程和指标类元数据、报表类元数据和业务主体管理类元数据4个部分。

  元数据能有效帮助技术人员和业务人员理解、监督和管理数据来源、业务主题以及转换规则、数据变更等信息,有效的支持银行IT系统的维护和需求改进,促进不同IT系统间的数据交换。Sm@rtDMP元数据管理的基本功能包括元数据采集、数据字段管理与维护、数据地图、数据血缘分析、数据影响分析、数据关联度分析等。

   - 数据质量管理

  数据质量系统集数据检核规则管理、数据检核任务管理、数据质量检核结果、问题管理、数据质量检核监控、检核日志管理为一体,以暴露和提升系统数据质量为目标,以度量规则为主线,通过自身调度模块或第三方调度触发,帮助银行建立统一的数据质量管理和度量管理体系。

  Sm@rtDMP数据质量管理的基本功能包括数据质量类别管理、质量度量指标管理、质量度量规则管理、质量检核方法管理、质量检核方法审核、数据检核调度、数据检核执行、问题报告、问题数据趋势分析、数据质量检核监控、检核日志管理 。

 

   - 数据标准管理

  数据标准是为了规范系统建设时对业务的统一理解,增强业务部门(业务数据标准)、技术部门(技术数据标准)对数据的定义与使用的一致性。新系统建设应遵照或尽可能与数据标准贴近;对于现有系统,应贯彻统一的业务定义,通过数据转换来满足统一的技术要求,与数据标准接轨。

  数据标准适用于业务数据描述、信息管理及应用系统开发,可以作为经营管理中所涉及数据的规范化定义和统一解释,也可作为信息管理的基础,同时也是作为应用系统开发时进行数据定义的依据。

  Sm@rtDMP数据标准管理的基本功能包括代码管理、标准定义、标准发布与浏览等。

  Sm@rtDMP的定位是银行级数据管理和控制流程的完整结合体,亦是银行级数据治理的重要组成部分。通过元数据、数据质量、数据标准三个平台的建设和应用,使银行的数据处于整体有序管理状态。

   - 灵活设置的元模型管理

  提供银行数据仓库环境内置的元数据类型支持;支持用户按需定制元模型结构,形成统一的元数据类,特别适合支持业务元数据的管理,同时多样性的类关系管理支持灵活、规范的元数据项关联关系。

   - 自动采集和关联元数据

  可连接其他软件工具(Oracle、DB2、ESSBASE OLAP、DB2 OLAP、PowerCenter、Erwin等)自动获取元数据,保证了元数据的最新、一致、可用,极大减少人工维护工作量。通过目录映射功能,在元数据采集时,自动映射两个来自数据库、BI工具的元数据。减少人工映射的工作量。支持SQL解析功能的元数据获取功能,大大减少已有存储过程或脚本语句等ETL作业的手工整理ETL映射元数据的工作量。

   - 强大的分析功能

  . 血统分析——能清晰的掌握数据在各业务系统中流动变化的来源和目的。

  . 影响分析——追踪元数据在各个系统之间的影响范围。

  . 银行数据地图——展示各个业务系统之间的脉络关系。

  . 表重要程度分析——用于展现各系统中数据表的依赖程度。

   - 完整的生命周期和版本管理

  系统提供元数据的生命周期管理,发布、删除和状态变更都有严格的流程,并提供了版本管理功能,这些都确保元数据的质量,保证了后续使用元数据系统的权威性和可靠性。

   - 可灵活配置数据质量检核规则

  内置多种数据质量问题的检核规则,支持灵活的检核规则配置。

   - 有效检测数据质量问题

  建立银行数据平台的数据从横监控网,有效发现仓库内的数据质量问题,并提供数据告警和质量问题分析报告。

   - 建立质量评价体系

  建立指标考核,量化数据的整体情况,找出数据质量的薄弱环节。

   - 建立起数据质量问题分析和问题跟踪

  针对发现的数据质量问题,能够进行分类和不同程度的分析,建立其数据数据分析报告。同时建立数据问题知识库,对数据问题的后续处理进行跟踪。

   客户案例

  广东南粤银行等