快捷搜索:

数据价值提升新模式:数据资产管理“AIGOV五星模

作者: 互联网资讯  发布:2019-10-22

原标题:数据价值提升新模式:数据资产管理“AIGOV五星模型”

数据模型梳理:一个自下而上的数据治理方法-互联网分析沙龙 http://www.techxue.com/techxue-22401-1.html?utm_source=tuicool&utm_medium=referral

作者介绍程永新,新炬网络董事、副总经理,DAMS中国数据资产管理峰会联合发起人。长期钻研国内外数据资产管理理论与实践,数据资产管理五星模型与服务框架提出者,大数据领域资深专家,多项国家发明专利持有人。

百乐门棋牌 1

梁铭图,新炬网络首席架构师,10年以上数据库运维、数据分析、数据库设计及系统规划建设经验,对数据架构管理及数据资产管理有深入研究。

Paste_Image.png

杨志洪,dbaplus社群联合发起人,新炬网络首席布道师,对数据库、数据管理有深入研究,合译《Oracle核心技术》。


注:本文来源于《电子技术与软件工程》2018年8月下半月刊。

一、数据模型梳理背景

从数据管理到数据治理到数据资产管理,从全球到国内,各种新概念不断提出并被加以实践改良,提升了政府、企事业单位及群众对大数据资产管理的意识,同时也促进了大数据产业不断的深入发展。借鉴国内外数据管理模型及相关理论思想,我们对数据资产管理的模型进行分析、总结,提炼出组织数据管理的五大管理域十三个能力项,并对每项能力进行详细划分以及相关功能介绍。

我们在传统企业(如电信、航空、电力、政府等)实施一个个数据治理项目的时候,总会发现基本类似的问题:

引言

●企业内IT系统越来越多,其复杂度也越来越高,没有人能说明清楚整个系统的数据架构和数据流向,数据架构与业务流程 、应用架构之间的关系不清晰。“黑暗”数据(指存在于系统中但无法说明与业务间的关系,后续亦无法对数据进行分析和应用)现象非常明显。

现在已经全面进入物联网时代,数据以史无前例的规模大批量一刻不停地生成,与大数据相关的研究和应用层出不穷,数据已经成为各国政府和企业最重要的资产,我国也于2015年8月发布了《促进大数据发展行动纲要》。国家在纲要中明确指出数据是核心资产,大数据是推动经济发展的新动力,是提升企业核心价值的驱动力。

●数据模型管理能力自身在不断减弱;开发团队出于现实压力,以实现功能为主,对非功能性需求不太在意,导致模型设计质量不高。IT系统出现先实现后优化的现象,优化效果滞后。

数据如此重要,数据产生量如此之大,然而整个数据管理领域的理论发展是非常落后的。企业都知道数据很有价值,数据能够为企业带来指引,然而真正让数据为企业带来价值的案例并不多见,这主要是由于既有的数据管理模型落后并且复杂。

●数据模型变更失控,大多数系统都处于积术式叠代开发,新需求就加一堆表,系统数据模型越来越雍肿;数据模型变更长期缺少基线化,大量已经废弃业务以及相关数据模型仍然存在于数据库,无人敢动。

百乐门棋牌 2

●数据无序增长,企业核心业务系统数据无有效的退出机制,业务系统容量无序增长,长期处于“系统扩容-数据膨胀-性能低下-系统扩容”的怪圈之中。

数据管理的概念从80年代提出到现在已经接近40年了,数据治理的提法也有近20年,而数据资产管理的提出基本是最近5年的事情,中国数据资产管理峰会对数据资产管理定义为是对数据管理、数据治理及数据资产化的管理过程。

●数据标准缺失,缺少企业级别统一的数据标准,数据模型相关含义令开发和运维人员难以理解;同时,亦使得企业不同应用间的数据集成和数据共享困难。

数据资产管理研究现状

●数据安全突出,对企业的敏感数据、用户、访问权限仍然缺少认识和控制,数据敏感数据泄漏的安全事件屡见不鲜。

1

●数据质量参差,数据处理环节中产生大量的错误和质量差的数据,数据错误发现和处理流程不及时,导致更多的后续错误。

国外研究现状

从这些问题之中亦反映了一个现实:在当今,数据作为一种企业的重要资产而被人们广泛接纳的时候,对于广大的传统企业,正是由于企业在观念和技术上的缺少而导致数据模型管理方面的缺失,使企业连读懂自身的数据都是如此困难的一件事,更难以谈得上后续的数据分析和应用。

20世纪80年代后期,数据仓库概念开始形成,这也是数据管理理论的萌芽。随着数据仓库应用落地和展开,在2000年左右数据治理的相关理念也逐步形成。2000年前后,H.Watson探讨了“数据仓库治理”在Blue Cross和Blue Shield of North Carolina两家公司的最佳实践,被国内学者认为拉开了“数据治理”在企业管理中的大幕。

**二、一种自下而上的数据治理
**

早在2004年,国际数据治理协会DGI就首次发布了DGI数据治理框架,从这个框架模型初步提出了RPP(人员/流程/规则)框架。但是,这个框架中没有对数据治理的具体工作内容给予细化或明确说明。

由上面问题的分析和归纳,在数据治理这个范畴上,我们应该首先解决的是企业对其数据的了解和认知。

2006年,国际数据管理协会(DAMA)发布了数据管理框架,并参考了PMBOK的架构编写了数据管理指南(DMBOK)。经过多次迭代,2008年3月,国际数据管理协会发布的最新版DMBOK中,将数据管理工作细分为十个职能:

由于IT系统数据模型反映了应用关系型数据库在数据存储及数据结构,是元数据的主要组成部分。在今天关系型数据库仍然大行其道的当下,一种清晰并且与系统应用实践高度一致的数据模型可以促进了各种应用数据的管理、基于角色的有价值数据资产访问以及持续的数据集成。并且强化了元数据管理,使组织理解它们所拥有的数据,以及数据与业务流程之间的关系,不管数据来自于什么数据,什么样的产品平台以及任何地方。

  • 数据治理
  • 数据架构管理
  • 数据开发
  • 数据操作管理
  • 数据安全管理
  • 参考数据与主数据管理
  • 数据仓库与商务智能管理
  • 文档与内容管理
  • 元数据管理
  • 数据质量管理

因此,数据模型梳理,也正是传统企业必需一个自下而上的数据治理方法之一。

以及目标和原则、活动、主要交付物、角色和责任、技术、实践和方法、组织和文化七大环境要素。

经过完整数据模型梳理可以预期可以达到什么样的效果:

2010年,IBM发布了《数据治理统一流程》一书,描述了企业数据能力成熟度评价模型。IBM提出数据治理的要素模型,认为数据风险与合规、价值创造等业务目标或成果是数据治理的核心关键命题,并且影响这些目标的达成需要组织结构和认知度、政策、数据相关责任者三个促成要素。在三个促成因素以外,必须关注数据治理三个核心要素,分别是数据质量管理、信息生命周期管理、信息安全和隐私。要素模型中还有数据治理三个支撑要素,数据架构、分类与元数据、审计日志和报告。

●克服黑暗数据现象,通过清晰的元数据和数据模型管理让企业可以真正理解和运用自身的数据,并不断扩大应用和分析数据的范围和规模。

2014年,EDM发布了数据管理能力成熟度模型( Data management Capability Assessment Model )。在该模型中,EDM将数据管理划分为八大职能域:

●明确数据含义,了解数据访问与业务流程之间的关系,帮助企业业务使用者(不仅包括IT)可以使用数据和应用数据帮助他们更好完成工作,推动全面数据化运营。

  • 数据管理策略
  • 数据管理业务案例
  • 数据管理项目
  • 数据治理
  • 数据架构
  • 技术架构
  • 数据质量
  • 数据运营

●连接和映射更多数据,充分发掘现有的数据之间的关系,扩大数据规模效应,让数据可以充分发挥其作用和价值。

2014年,CMMI协会发布了数据管理成熟度模型,将数据管理工作分为六个维度:

●为其他的数据资产管理活动,包括数据质量、数据生命周期管理、数据操作、数据安全、主数据管理等提供一个高质量的基础。

  • 数据管理战略
  • 数据治理
  • 数据质量
  • 平台及架构
  • 数据操作
  • 支持流程

其实,在数据仓库领域中,元数据管理正是用来解决这个问题的但由于种种原因,实际上传统企业中元数据管理也不尽如人意,出现元数据与实际环境严重脱节,不能反映其真实数据架构等现象。我们在某电信运营商实现数据治理项目时,曾经遇到的最真实情况是,大多数的系统(或者项目)没有数据模型设计文档,而其中最核心的业务系统之一的数据模型最新版本是2年前的,进行初步稽核之后,数据模型与实际生产环境对得上的只有40%左右。

以及五个成熟度评估等级:可执行级、可管理级、已定义级、可量度级以及优化管理级。

**三、数据模型梳理实施方法
**

2

国内研究现状

百乐门棋牌 3

在国内,数据治理和资产管理研究和标准化工作相对较为滞后。2018年5月份,银保监会正式发布了金融机构数据治理指引。从相关主题的数量,可以看出金融机构数据治理指引主要关注的是制度、人员、流程、监管等相关方面建设。同时,数据管理能力成熟度模型的国家标准也同期发布。

近几年,随着数据价值的进一步挖掘,企业对数据资产化需求不断增长,数据资产管理理念形成。2014年新炬网络在行业中明确提出了数据资产管理概念及其三大核心框架:数据架构、数据治理和数据运营,并于次年首次对外发布了数据资产管理五星模型,进而将数据资产管理定义为是对数据管理、数据治理及数据资产化的管理过程,此后在与国内外同行的交流和企业实践中,持续不断的迭代演进和完善,并于2018年7月的中国数据资产管理峰会上,正式发布数据资产管理“AIGOV五星模型”。

一般而言,数据模型梳理的实施步骤大致分为三个步骤:

百乐门棋牌 4

1.物理模型梳理和优化

2018年3月15日,中国国家标准化委员会和中华人民共和国国家质量监督检验检疫总局联合发布了《数据管理能力成熟度评价模型》,该模型包括数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生命周期等8个关键过程功能域,29个能力项。该模型制定了相关的功能域划分、评价标准和关键指标定义,以帮助组织更好地理解和评价数据管理现状。

物理模型梳理的实质在于数据模型从关系数据库,形成一份稳定的物理模型设计。但它也不等同于单纯应用PowerDesigner等工具从数据库中进行反向工程(reverse engeering)的结果,或者可以这样讲,反向工程只是其中的初始步骤。初始反向工程出来的结果,经过层层的筛选、过滤、合并和优化以后,最终经各方确认后形成物理模型基线,供后续逻辑模型梳理的基础,以及作为后续数据模型变更作为基线。

3

2.逻辑模型梳理

国内外既有模型的对比

逻辑模型梳理的实质,就是在在数据物理模型的基础上,通过实体关系分析、字段含义梳理,字段取值梳理等手段,形成企业IT系统逻辑模型。在这个阶段,需要引入数据架构师,业务专家,DBA,业务人员等不同角色的人员共同努力实现数据逻辑模型的梳理。在相应工具的支持下,以应用系统核心实体和关键实体为突破点,逐步展开和梳理逻辑模型梳理的步骤。

简单总结一下国内外数据管理/数据治理/数据资产管理方面的模型,就会发现,这些模型要么是太过于简单(比如2003年发布的DGI模型)不知道具体怎么落地,要么是太过于复杂(比如2006年的DAMA模型、DMM模型等)实施起来过于艰难。

由于完全的逻辑模型梳理往往会引发大量的工作量,一般而言,可以因应不同的系统、系统中不同的业务有重点地(分不同层次地)进行逻辑模型梳理。

相比于其他国内外的标准/模型或框架而言,数据资产管理“AIGOV五星模型”更关注数据资产管理的全局视角和整体过程,企业管理者或从业者可以更清楚了解整个数据资产化价值实现的过程。

3.业务数据地图梳理

百乐门棋牌 5

最后,在自动化的手段下,以业务专家为主梳理和形成业务与数据之间的关联关系,并以图形化、可视化方式展现出来。业务数据地图,着重体现业务-应用-数据之间的关系和影响。

新炬网络自提出数据资产管理五星模型之后,在与国内外同行分享交流,特别是结合在金融、电信、电力、制造、政府等领域的企业级实践过程中,历经多年持续迭代完善,目前的数据资产管理“AIGOV五星模型”正式版覆盖五大管理域、十三个能力项。

数据资产管理AIGOV五星模型详述

百乐门棋牌 6

1

数据资产管理AIGOV五星模型的含义

**四、小结
**

数据资产管理“AIGOV五星模型”将数据资产管理相关工作划分成五个管理域和十三个能力项。

企业进行数据治理的目的在于为企业数据化运营提供一个高质量的数据环境,包括数据完整性,数据安全性,数据一致性,数据标准化,数据准确和及时等。其中,数据模型梳理作为一种有效的自下而上的数据治理方式,可以提供一个关键手段来控制表面上变得日益复杂的数据管理环境,使人们可以驱动数据:更有效地管理他们的数据,可以更有效的使用分析,让数据发挥和创造更大的价值,真正指引企业的整体运营。

百乐门棋牌 7

作者简介:

第一个管理域是数据架构策略,针对管理体系,主要是人员的组织结构,以及相关策略制度。数据架构策略管理域只包含一个能力项:组织架构/策略制度。

梁铭图

第二个管理域是数据集成共享,针对数据资产管理的技术平台。数据集成共享管理域,包括三个能力项:分别是数据采集、数据集成和数据共享中心。

●DAMS架构师精英群专家,新炬网络首席架构师。

第三个管理域是数据治理,这部分就是数据治理的传统范畴,包括数据模型管理、元数据管理、数据标准管理以及数据质量管理四个能力项。

●拥有十年以上数据库运维、数据分析、数据库设计以及系统规划建设经验。

第四个管理域是数据运营管理,核心是如何提升数据安全和运营效率;包括数据生命周期管理、数据安全管理和主数据管理三个能力项。

●长期为国内电信运营商的大型IT系统进行系统软件维、数据架构规划、设计和实施以及大型IT系统数据建模工作,在数据架构管理以及数据资产管理方面有着深入的研究

第五个管理域是数据增值应用,通过数据分析挖掘和开放服务,真正将数据服务于企业和企业的战略联盟间,提升数据价值、实现业务互动。包括数据分析挖掘、数据开放服务两个能力项。

2016-1-19 18:13 |来自: 中国数据架构师联盟

本文由百乐门棋牌发布于互联网资讯,转载请注明出处:数据价值提升新模式:数据资产管理“AIGOV五星模

关键词: