当前位置:网站首页 > 公文范文 > 主题教育 > 数据治理与数字化转型5篇

数据治理与数字化转型5篇

时间:2023-04-30 12:10:32 浏览次数:

篇一:数据治理与数字化转型

  

  华为的数字化转型与数据治理介绍

  导读:2017年华为提出了企业的新愿景:"把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界"。同时,华为公司董事、CIO陶景文提出了"实现全联接的智能华为,成为行业标杆"的数字化转型目标。

  图1数字化转型目标

  随后,华为基于愿景确定了数字化转型的蓝图和框架,统一规划、分层次开展,最终实现客户交互方式的转变,实现内部运营效率和效益的提升。华为数字化转型蓝图包括5项举措。

  图2华为数字化转型蓝图

  其中,举措4涉及数据治理和数字化运营,是华为数字化转型的关键,承接了打破数据孤岛、确保源头数据准确、促进数据共享、保障数据隐私与安全等目标。华为从2007年开始启动数据治理,历经两个阶段的持续变革,系统地建立了华为数据管理体系。

  第一阶段:2007~2016年

  在这一阶段,华为设立数据管理专业组织,建立数据管理框架,发布数据管理政策,任命数据Owner,通过统一信息架构与标准、唯一可信的数据源、有效的数据质量度量改进机制,实现了以下目标。

  持续提升数据质量,减少纠错成本:通过数据质量度量与持续改进,确保数据真实反映业务,降低运营风险。

  数据全流程贯通,提升业务运作效率:通过业务数字化、标准化,借助IT技术,实现业务上下游信息快速传递、共享。

  第二阶段:2017年至今

  在这一阶段,华为建设数据底座,汇聚企业全域数据并对数据进行联接,通过数据服务、数据地图、数据安全防护与隐私保护,实现了数据随需共享、敏捷自助、安全透明的目标,支撑着华为数字化转型,实现了如下的数据价值。

  业务可视,能够快速、准确决策:通过数据汇聚,实现业务状态透明可视,提供基于“事实”的决策支持依据。

  人工智能,实现业务自动化:通过业务规则数字化、算法化,嵌入业务流,逐步替代人工判断。

  数据创新,成为差异化竞争优势:基于数据的用户洞察,发现新的市场机会点。

  图3华为数据治理的发展历程

  01华为数据分类管理框架(基于特征分类)

  华为根据数据特性及治理方法的不同对数据进行了分类定义:内部数据和外部数据、结构化数据和非结构化数据、元数据。其中,结构化数据又进一步划分为基础数据、主数据、事务数据、报告数据、观测数据和规则数据。华为数据分类管理框架如图4所示。

  图4华为数据分类管理框架

  不同分类的数据,其治理方法有所不同。如基础数据内容的变更通常会对现有流程、IT系统产生影响,因此基础数据的管理重点在于变更管理和统一标准管控。主数据的错误可能会导致成百上千的事务数据错误,因此主数据的管理重点是确保同源多用、重点进行数据内容的校验等。

  02结构化数据管理(以统一语言为核心)

  结构化数据包括基础数据、主数据、事务数据、报告数据、观测数据、规则数据。结构化数据的共同特点是以信息架构为基础,建立统一的数据资产目录、数据标准与模型。下面将重点介绍六类结构化数据的治理方法。

  1.基础数据治理

  基础数据用于对其他数据进行分类,在业界也称作参考数据。基础数据通常是静态的(如国家、币种),一般在业务事件发生之前就已经预先定义。它的可选值数量有限,可以用作业务或IT的开关和判断条件。当基础数据的取值发生变化的时候,通常需要对流程和IT系统进行分析和修改,以满足业务需求。因此,基础数据的管理重点在于变更管理和统一标准管控。

  基础数据在支撑场景分流、流程自动化、提升分析质量方面起着关键作用,治理基础数据的价值如图5所示。

  图5基础数据治理的价值

  因此,有效地管理基础数据对企业来说可以产生巨大的收益。华为建立了一个完整的基础数据管理框架(如图6所示),通过明确各方的管理责任、发布相关的流程和规范以及建立基础数据管理平台等来确保基础数据的有效管理。

  图6基础数据治理框架

  2.主数据治理

  主数据是参与业务事件的主体或资源,是具有高业务价值的、跨流程和跨系统重复使用的数据。主数据与基础数据有一定的相似性,都是在业务事件发生之前预先定义;但又与基础数据不同,主数据的取值不受限于预先定义的数据范围,而且主数据的记录的增加和减少一般不会影响流程和IT系统的变化。

  但是,主数据的错误可能导致成百上千的事务数据错误,因此主数据最重要的管理要求是确保同源多用和重点进行数据内容的校验。华为的主数据管理策略如图7所示。

  图7主数据治理策略

  华为的主数据范围包括客户、产品、供应商、组织、人员主题,每个主数据都有相应的架构、流程及管控组织来负责管理。

  鉴于主数据管理的重要性,对于每个重要的主数据,都会发布相应的管理规范,数据管家依据数据质量标准定期进行数据质量的度量与改进。

  同时,对于主数据的集成消费按照如下管理框架进行管理。

  数据消费层:数据消费层包括所有消费数据的IT产品团队,负责提出数据集成需求和集成接口实施。

  图8主数据治理框架

  主数据服务实施层:负责主数据集成解决方案的落地,包括数据服务的IT实施和数据服务的配置管理。

  主数据服务设计层:为需要集成主数据的IT产品团队提供咨询和方案服务,负责受理主数据集成需求,制定主数据集成解决方案,维护主数据的通用数据模型。

  管控层:管控层由信息架构专家组担任,负责主数据规则的制定与发布,以及主数据集成争议或例外的决策。

  3.事务数据治理

  事务数据在业务和流程中产生,是业务事件的记录,其本身就是业务运作的一部分。事务数据是具有较强时效性的一次性业务事件,通常在事件结束后不再更新。

  事务数据会调用主数据和基础数据。以客户框架合同为例,核心属性有32个,其中调用基础数据和主数据24个,占75%;客户框架合同本身特有的属性8个,占25%。

  同时,框架合同也引用了机会点的编码和投标项目的编码等事务数据的信息。

  因此,事务数据的治理重点就是管理好事务数据对主数据和基础数据的调用,以及事务数据之间的关联关系,确保上下游信息传递顺畅。在事务数据的信息架构中需明确哪些属性是引用其他业务对象的,哪些是其自身特有的。对于引用的基础数据和主数据,要尽可能调用而不是重新创建。

  4.报告数据治理

  报告数据是指对数据进行处理加工后,用作业务决策依据的数据。它用于支持报告和报表的生成。

  用于报告和报表的数据可以分为如下几种:

  用于报表项数据生成的事实表、指标数据、维度。

  用于报表项统计和计算的统计函数、趋势函数及报告规则。

  用于报表和报告展示的序列关系数据。

  用于报表项描述的主数据、基础数据、事务数据、观测数据。

  用于对报告进行补充说明的非结构化数据。

  报告数据涵盖的范围较广,如主数据、基础数据等,这些数据类别本身已经有相应的管理机制和规范,这里我们重点对部分新的细分数据类型进行说明。

  事实表:从业务活动或者事件中提炼出来的性能度量。其特点为:

  每个事实表由颗粒度属性、维度属性、事务描述属性、度量属性组成;

  事实表可以分为基于明细构建的事实表和基于明细做过汇聚的事实表。

  维度:用于观察和分析业务数据的视角,支持对数据进行汇聚、钻取、切片分析。其特点为:

  维度的数据一般来源于基础数据和主数据;

  维度的数据一般用于分析视角的分类;

  维度的数据一般有层级关系,可以向下钻取和向上聚合形成新的维度。

  统计型函数:与指标高度相关,是对指标数量特征进一步的数学统计,例如均值、中位数、总和、方差等。其特点为:

  通常反映某一维度下指标的聚合情况、离散情况等特征;

  其计算数值在报告中通常呈现为图表中的参考线。

  趋势型函数:反映指标在时间维度上变化情况的统计方式,例如同比、环比、定基比等。其特点为:

  通常将当期值与历史某时点值进行比较;

  调用时,需要收集指标的历史表现数据;

  其计算数值在报告中通常呈现为图表中的趋势线。

  报告规则数据:一种描述业务决策或过程的陈述,通常是基于某些约束下产生的结论或需要采取的某种措施。其特点为:

  将业务逻辑通过函数运算体现,通常一个规则包含多个运算和判断条件;

  规则的计算结果一般不直接输出,需要基于计算结果翻译成业务语言后输出;

  规则通常与参数表密切相关。

  序列关系数据:反映报告中指标及其他数据序列关系的数据。

  5.观测数据治理

  观测数据是通过观测工具获取的数据,观测对象一般为人、事、物、环境。

  相比传统数据,观测数据通常数据量较大且是过程性的,由机器自动采集生成。不同感知方式获取的观测数据,其数据资产管理要素不同。

  观测数据的感知方式可分为软感知和硬感知。软感知是使用软件或者各种技术进行数据收集,收集的对象存在于数字世界,通常不依赖于物理设备,一般是自动运行的程序或脚本;硬感知是利用设备或装置进行数据收集,收集的对象为物理世界中的物理实体,或者是以物理实体为载体的信息,其数据的感知过程是数据从物理世界向数字世界的转化过程。

  观测数据的特征有如下几点:观测数据通常数据量较大且是过程性的,主要用作监控分析。例如,视频监控器产生的视频数据、操作系统产生的日志记录数据等。

  图9观测数据管理模型

  观测工具的元数据可以作为数据资产管理:软感知(埋点、日志收集、爬虫)观测工具抽象成业务对象,由IT部门担任数据Owner进行统一管理;硬感知观测工具作为资源类数据,也建议作为业务对象由相应的领域担任数据Owner进行管理。

  原则上,观测对象要定义成业务对象进行管理,这是观测数据管理的前提条件。

  观测数据需要记录观测工具、观测对象。针对不同感知方式获取的观测数据,其资产管理方案也不尽相同。例如,以用户界面浏览记录为例,如果是对销售机会点的查询访问观测,应当归属到相应业务领域;如果是对页面性能、页面UV、PV的观测,应当归属到IT部门。

  6.规则数据治理

  在业务规则管理方面,华为经常面对“各种业务场景业务规则不同,记不住,找不到”“大量规则在政策、流程等文件中承载,难以遵守”“各国规则均不同,IT能否一国一策、快速上线”等问题。

  规则数据是结构化描述业务规则变量(一般为决策表、关联关系表、评分卡等形式)的数据,是实现业务规则的核心数据,如业务中普遍存在的基线数据。

  规则数据主要有以下特征:

  规则数据不可实例化;

  规则数据包含判断条件和决策结果两部分信息,区别于描述事物分类信息的基础数据;

  规则数据的结构在纵向(列)、横向(行)两个维度上相对稳定,变化形式多为内容刷新;

  规则数据的变更对业务活动的影响是大范围的。

  其基本原则为:

  规则数据的管理是为了支撑业务规则的结构化、信息化、数字化,目标是实现规则的可配置、可视化、可追溯。

  不同于标准化的信息架构管理,规则数据的管理具有轻量化、分级的特点。重要的、调用量大、变动频繁的业务规则需要通过规则数据管理,使其从代码中解耦,进行资产注册;使用广泛的、有分析需求的规则数据需要通过注册入湖,实现共享和复用。

  业务规则在架构层次上与流程中的业务活动相关联,是业务活动的指导和依据,业务活动的结果通过该业务活动的相关业务对象的属性来记录。业务规则通过业务活动对业务事实、业务行为进行限制,业务人员可以根据业务规则判断业务情况,采取具体行动。

  业务规则包含规则变量和变量之间的关系,规则数据主要描述规则的变量部分,是支撑业务规则的核心数据(如图10所示)。

  图10业务规则与规则数据之间的关系

  此外,运行规则所需要的输入数据、输出数据,包括动态数据库访问对象、内存表缓存、Excel、XML处理类等,主要起支撑作用,不在规则数据的范畴。

  规则数据必须有唯一的数据Owner,其负责开展规则数据的信息架构建设与维护、数据质量的监控与保障、数据服务建设、数据安全授权与定密等工作。相应的数据管家支持数据Owner对所管辖的业务中的规则数据进行治理,包括建设和维护信息架构、确保架构落地遵从、例行监控数据质量等。

  规则数据的元数据要记录与业务规则的关系(规则数据定义前应先完成业务规则的识别和定义)。一个业务规则可以包含零个、一个或多个规则数据,一个规则数据在信息架构上对应一个逻辑数据实体,在

  物理实现上一般对应一个物理表。规则数据要遵从信息架构资产管理要求(包括明确规则数据的Owner、制定数据标准、明确数据源等),按照信息安全要求定密,以方便规则数据的管理、共享和分析。

  03非结构化数据管理(以特征提取为核心)

  随着业务对大数据分析的需求日益增长,非结构化数据的管理逐渐成为数据管理的重要组成部分。非结构化数据包括无格式文本、各类格式文档、图像、音频、视频等多种异构的格式文件,较之结构化数据,其更难标准化和理解,因此在存储、检索以及消费使用时需要智能化的IT技术与之匹配。华为的非结构化数据包括文档(邮件、Excel、Word、PPT)、图片、音频、视频等。

  相较于结构化数据,非结构化元数据管理除了需要管理文件对象的标题、格式、Owner等基本特征和定义外,还需对数据内容的客观理解进行管理,如标签、相似性检索、相似性连接等,以便于用户搜索和消费使用。因此,非结构化数据的治理核心是对其基本特征与内容进行提取,并通过元数据落地来开展的。非结构化数据的管理模型如图11所示。

  图11非结构化数据管理模型

  非结构化数据的元数据可以分为基本特征类(客观)和内容增强类(主观)两类。

  基本特征类:参考都柏林十五个核心元数据,实现对非结构化数据对象的规范化定义,如标题、格式、来源等。

  内容增强类:基于非结构化数据内容的上下文语境,解析目标文件对象的数据内容,加深对目标对象的客观理解,如标签、相似性检索、相似性连接等。

  非结构化数据的元数据管理采用统分统管的原则,即基本特征类属性由公司进行统一管理,内容增强类属性由相关承担数据分析工作的项

  目组自行设计,但其分析结果都应由公司元数据管理平台自动采集后进行统一存储。

  元数据管理平台通过“基本特征类元数据流”和“内容增强类元数据流”两条线来实现对非结构化数据的元数据管理和消费使用。

  1.基本特征类元数据流

  元数据管理平台基于收集到的各类非结构化数据源信息,自动完成基础特征类元数据的采集工作,按照管理规范和要求通过标准化、整合后存储在元数据管理平台中,并在完成元数据过滤、排序后将结果在元数据报告中进行可视化展示,以供用户消费使用。

  2.内容增强类元数据流

  基于元数据管理平台中基本特征类元数据的信息,各数据分析项目组解析目标非结构化对象的数据内容,并将分析结果通过元数据采集、元数据标准化&整合后统一存放在元数据管理平台中,以供用户一并消费使用,增强用户体验。

  04外部数据管理(以确保合规遵从为核心)

  外部数据是指华为公司引入的外部组织或者个人拥有处置权利的数据,如供应商资质证明、消费者洞察报告等。外部数据治理的出发点是合规遵从优先,与内部数据治理的目的不同。

  外部数据的治理主要遵循以下原则。

  合规优先原则:遵从法律法规、采购合同、客户授权、公司信息安全与公司隐私保护政策等相关规定。

  责任明确原则:所有引入的外部数据都要有明确的管理责任主体,承担数据引入方式、数据安全要求、数据隐私要求、数据共享范围、数据使用授权、数据质量监管、数据退出销毁等责任。

  有效流动原则:使用方优先使用公司已有数据资产,避免重复采购、重复建设。

  可审计、可追溯原则:控制访问权限,留存访问日志,做到外部数据使用有记录、可审计、可追溯。

  受控审批原则:在授权范围内,外部数据管理责任主体应合理审批使用方的数据获取要求。

  在以上原则指导下,我们要求所有采购的外部数据要注册,在合规的前提下鼓励数据共享,避免重复采购。其他方式引入的外部数据,由管理责任主体决定登记方式。根据法律条款和授权范围,外部数据管理责任主体有权决定外部数据是否入数据湖,如果需要入数据湖,必须遵从数据湖建设相应的流程和规范。

  同时,外部数据管理责任主体有义务告知使用方合规使用外部数据,对于不合规的使用场景,不予授权;数据使用方要遵从外部数据管理责任主体的要求,对不遵从要求所引起的后果承担责任。

  05元数据管理(作用于数据价值流)

  无论结构化数据,还是非结构化数据,或者外部数据,最终都会通过元数据治理落地。华为将元数据治理贯穿整个数据价值流,覆盖从数据产生、汇聚、加工到消费的全生命周期。

  1.元数据治理的痛点与挑战

  华为在进行元数据治理以前,遇到的元数据问题主要表现为数据找不到、读不懂、不可信,数据分析师们往往会陷入数据沼泽中。元数据管理的痛点如图12所示。

  图12元数据管理痛点

  为解决以上痛点,华为建立了公司级的元数据管理机制。制定了统一的元数据管理方法、机制和平台,拉通业务语言和机器语言。确保数

  据“入湖有依据,出湖可检索”成为华为元数据管理的使命与目标。基于高质量的元数据,通过数据地图就能在企业内部实现方便的数据搜索。

  元数据是描述数据的数据,用于打破业务和IT之间的语言障碍,帮助业务更好地理解数据。元数据通常分为业务、技术和操作三类。

  业务元数据:用户访问数据时了解业务含义的途径,包括资产目录、Owner、数据密级等。

  技术元数据:实施人员开发系统时使用的数据,包括物理模型的表与字段、ETL规则、集成关系等。

  操作元数据:数据处理日志及运营情况数据,包括调度频度、访问记录等。

  在企业的数字化运营中,元数据作用于整个价值流,在从数据源到数据消费的五个环节中都能充分体现元数据管理的价值。

  数据消费侧:元数据能支持企业指标、报表的动态构建。

  数据服务侧:元数据支持数据服务的统一管理和运营,并实现利用元数据驱动IT敏捷开发。

  数据主题侧:元数据统一管理分析模型,敏捷响应井喷式增长的数据分析需求,支持数据增值、数据变现。

  数据湖侧:元数据能实现暗数据的透明化,增强数据活性,并能解决数据治理与IT落地脱节的问题。

  数据源侧:元数据支撑业务管理规则有效落地,保障数据内容合格、合规。

  2.元数据管理架构及策略

  元数据管理架构包括产生元数据、采集元数据、注册元数据和运维元数据。

  产生元数据:制定元数据管理相关流程与规范的落地方案,在

  IT产品开发过程中实现业务元数据与技术元数据的连接。

  采集元数据:通过统一的元模型从各类IT系统中自动采集元数据。

  注册元数据:基于增量与存量两种场景,制定元数据注册方法,完成底座元数据注册工作。

  运维元数据:打造公司元数据中心,管理元数据产生、采集、注册的全过程,实现元数据运维。

  元数据管理方案:通过制定元数据标准、规范、平台与管控机制,建立企业级元数据管理体系,并推动其在公司各领域落地,支撑数据底座建设与数字化运营。

  图13华为元数据管理整体方案

  华为经过多年实践,已经建立了相对完整的数据分类管理框架,为数据治理奠定了基础。随着数字化转型的深入开展,尤其是面向未来海量的非结构化数据、IoT场景的观测数据、外部合规日趋严格的外部数据等,华为将不断丰富每一类数据的治理实践。

篇二:数据治理与数字化转型篇三:数据治理与数字化转型

  

  ??看懂数据治理,谈谈数字化转型中数据治理的实践经验以下?章来源于数据驱动智能,作者晓晓如果管理得当,数据可以成为组织最有价值的资产,帮助组织保持竞争?和敏捷性,主动满?客户需求,并控制成本。各种规模的组织都在努?将数据作为资产进?管理,以便在多个软件应?程序和系统、业务流程以及整个组织的?户之间共享和重?。这需要为数据的使?、开发和管理建?标准、策略和流程。创建正确的组织结构和开发技术基础设施来?持数据治理也是?关重要的。?、引?尽管数据的价值没有体现在资产负债表上,但它仍然是组织中最重要的资产之?。数据代表了?个组织的客户、员?和供应商的活动和交易以及结果。作为?种植根于公司和信息技术(IT)治理的实践,数据治理被定义为管理和确保组织中数据的可?性、可访问性、质量、?致性、可审计性和安全性所需的过程、策略、标准、组织和技术。数据治理的?标是:·确保数据符合业务的需要·保护和管理数据作为企业的资产价值·降低管理数据的成本虽然理论上实现这些?标很有吸引?,但将数据治理付诸实践需要?个引?注?的业务驱动因素。本?将探讨数据治理计划最常见的业务驱动因素,包括:·通过增加交叉销售/追加销售率和通过对现有客户的深?了解提?现有客户的保留率来增加收?。·通过业务流程?动化和消除冗余来提?运营效率,降低成本。·通过简化报告数据的收集和提?可审计性,确保符合外部法规和内部治理政策。?数据治理的发展为了理解数据治理作为?种实践是如何演变的,应该在企业和信息技术(IT)治理的更?泛的环境下对其根源进?审查。A.公司治理和IT治理公司治理是多年来建?起来的?门学科,它被定义为“?套影响公司指导、管理或控制?式的过程、惯例、政策、法律和制度”。公司治理下的实践领域之?是IT治理,它被定义为“确保组织的IT维持并扩展组织的策略和?标的领导和组织结构和过程”。与公司治理?样,IT治理也是?门成熟的学科。?业组织,如IT治理研究所和国际标准化组织(ISO),已经建?了详细的IT治理标准和流程,许多组织已经将其付诸实践。然?,这些IT治理实践中有许多已经演变成基于通?IT组织结构和部署架构的模式,传统上以软件应?程序(如企业资源规划(ERP)或客户关系管理(CRM))为中?。从?型机到客户机-服务器体系结构再到Web应?程序,IT部门关注的是应?程序和这些应?程序的?户界?,?不是驱动应?程序的数据。通常,数据是在如何服务于特定应?程序的中进?管理的,?不是如何服务于整个组织的战略利益。

  因此,IT治理实践主要围绕组织的应?程序设计,?不是其数据。在?多数组织中,都有明确定义的所有者、流程和策略来管理企业软件应?程序。例如,当?个公司实现像SAP这样复杂的ERP系统时,SAP实现通常由SAP程序办公室管理和治理,SAP程序办公室从业务和IT的?度清楚地描述了管理和开发SAP环境的职责。然?,许多组织缺乏对其最有价值的核?数据资产(如客户、员?或产品数据)的等效治理结构。B.数据治理的崛起以应?程序为中?的IT治理?法不再满?当今快速发展的业务和IT环境的最?利益。如下图所?,组织正努?使他们的IT系统与其业务流程保持?致,?不是强迫业务流程适应现有应?程序或系统的约束。由于?多数业务流程跨越多个应?程序,IT组织和软件供应商正忙于将应?程序分解为组件或服务,这些组件或服务可以以灵活的?式混合和匹配,以?持业务流程。此外,越来越明显的是,企业数据(如客户、员?或产品数据)也需要在多个应?程序和业务流程之间共享,?不是只应?于?个特定的应?程序。因此,为了从企业数据中获得最?价值,组织需要更多地关注数据本?以及如何将其作为资产进?管理。数据是组织中最重要的资产之?,即使它的价值没有体现在资产负债表上。数据也是最终的可重?资产,如果管理得当的话。例如,关于特定客户的盈利能?的数据可以在多个业务中使?。这些数据可以推动客户服务中?如何优先处理客户电话的?常决策。他们可以提供产品或客户细分利润的分析。他们可以推动营销团队如何设计忠诚和保留计划。它们还可以?于财务部门对利润率和收益的调整。为了保持竞争?和灵活性,主动满?客户需求,并控制成本,各种规模的组织都在努?将数据作为企业资产来管理,以便在多个应?程序、?户、系统和流程之间共享和重?。这有时是更?泛的企业信息管理(EIM)计划的?部分,它是?种提?信息资产的准确性和完整性的策略,以更好地服务于公司的技术、运营和业务?标。为了增加数据作为业务资产的价值,组织需要为数据的使?、开发和管理建?标准、政策和流程,以创建正确的组织结构,并开发?持的技术基础设施。因此,数据治理已经成为?门重要的学科。TDWI最近进?的?项调查强调,越来越多的组织投资于正式的数据治理计划。750个响应的组织中有8%已经部署了数据治理计划;17%的?正在设计或实施;33%的?正在考虑这样做。结果还表明,数据治理是?个新兴的实践领域,?多数治理?作海在早期阶段,许多组织仍在努?构建数据治理的业务案例。三数据治理的业务驱动因素虽然组织可能希望在理论上实现数据治理的?标,但他们很难证明这种努?的合理性,除?对业务有实际的、具体的影响。将数据治理付诸实践需要?个引?注?的业务驱动因素。业务驱动强调数据对业务的重要性,并激励业务和IT部门对数据开发进?投资。数据治理计划最常见的业务驱动因素是:·收?增长·降低成本·确保合规这些都是任何业务的最基本的?标之?,更详细地研究它们并保障数据治理在实现这些?标??所能发挥的整体作?是很有?的。

  A.收?增长?乎所有企业最重要的?标之?就是增加收?。增加收?最有效的?法之?是增加交叉销售/追加销售率,并提?现有客户的留存率。要做到这?点,企业需要对现有客户有?泛?深?的了解。他们需要?个“单?的客户视?”来提供更好的服务,并根据特定客户的需求进?更好的?标活动和报价。最常见的抱怨和意见是:·“我们不知道应该向客户交叉销售哪些产品或服务,因为客户的购买记录和时间分布在六个不同的系统中。”·“如果客户在我们的?持系统中记录了?个问题,需要?个?时才能在呼叫中?的客户服务代表系统中显?出来。因此,当我们与客户交谈时,我们的服务代表没有真正最新的客户信息,这真的会让客户和服务代表都感到沮丧。”·“我们失去了?些客户的联系,?向另?些客户则不断地提供同样的服务。我们的客户数据不可靠。有时信息缺失,有时?有相互冲突的信息。”·“我们的销售、营销和服务机构对‘客户’的定义都不?样,所以我们?法通过这三种职能来全?了解客户。”·“我们计算了每个客户的盈利能?,但没有相关?件,所以没有?相信或使?这些信息。”·“我们担?安全问题。如果未经授权的?访问或更改任何客户数据,我们的声誉、形象和竞争地位都会受到损害。”客户数据常常分散在数?个甚?数百个不同的业务系统中。为了解决这些数据问题,公司必须解决与数据相关的底层组织、流程和技术问题。数据治理提供了解决复杂问题的框架,如提?数据质量或在企业级别开发单个客户视图。B.降低成本随着降低成本的压?越来越?,提?运营效率成为?多数组织的主要优先事项。组织降低成本和提?运营效率的?个重要?法是实现业务流程的?动化。例如,组织可以将他们的采购过程?动化以降低采购和管理成本。虽然业务流程?动化提?了效率,但企业数据的问题阻碍了公司充分利?运营效率计划的潜?。在多个财务、??资源、销售和其他业务系统中对业务流程进?排序,需要在这些系统中协调数据的结构和含义——这?任务通常是运营效率计划中事后才想到的。各种规模的组织都?临着在运营效率计划中常见的与数据相关的问题,包括:·“很难与我们的供应商进?有效谈判,因为很难从我们的亚洲?公司获取供应商数据。它被放置在?个神秘的遗留主机系统中,我们?法轻易访问它。”·“我们承受着缺货和库存过剩的压?,因为我们只能每周发布全球库存报告。他们要花?个周末的时间来处理。”·“我们的采购分析师不得不花很多时间?动协调采购订单和发票,因为来?我们供应商的数据充满了错误和不完整的信息。”·“我们的供应商都有不同的产品代码,因此我们?法从全球视?看待我们的供应链。很难预测库存?平或交货时间表。”·“销售部门会给我们发送预测数据,但没?知道他们是如何得出这些数字的,所以我们不能依赖这些数据。”·“我们需要仔细控制哪些数据可以被哪个供应商看到,这样他们就不会意外地看到竞争对?的信息。”C.确保合规如今,企业经营需要遵守越来越多的外部法规,以及旨在提?透明度、防?公司渎职和欺诈的内部公司治理政策。为了确保遵守诸如萨班斯-奥克斯利(Sarbanes-Oxley)、巴塞尔协议、信息和相关技术控制?标(CobiT)、美国《医疗保险便携性和责任法案》(HIPAA)等法规以及内部政策和控制,公司必须精简报告数据的收集。对于许多法规,它们还必须记录所报告的数据来源并验证其准确性,并实施特定的治理策略。当涉及到如何处理数据时,遵守这些法规和政策会给公司带来负担。常见的问题包括:·“从主机到电?表格等数?种不同来源收集财务数据是很困难的,因此总是有很多IT?员参与收集数据,这减慢了整个过程。”·“我们的?席财务官要求在他的电脑上获取每天的所有信息。我们现在不能这么做。”·“我们向审计?员报告的数据必须?净、准确,但?前还远远不够。”

  ·“我们不同的业务部门使?不同的账?图表,所以我们的分析师要花好?天来协调它们。”·“我们的很多合规报告都是通过电?表格完成的,这对审计师来说是?不通的。”·“这些都是敏感数据。我们必须??控制他们,否则我们可能?临巨额罚款。”数据治理是确保遵从性的必要基础。它建?严格的数据标准、策略和流程,这些是法规和公司治理策略所需要的,并帮助?动化与遵从性相关的任务,从?降低成本。它还有助于确保数据的可靠性和可审计性。四、扩?数据治理需求的业务趋势除了这些业务驱动因素,两个宏观业务趋势正在进?步提升对数据治理的需求:并购活动的增加,以及合作和外包?核?业务功能的增加。A.并购随着并购活动的增多,组织?临着合理化和协调来?合并或收购实体的IT环境的需要。通常,这些IT环境具有很多不同的系统、数据模型和业务流程。在并购后,IT组织经常被要求满??常紧迫的集成时间。其?标是加速合并所承诺的协同效应,包括通过消除冗余来降低成本,以及通过增加交叉销售来增加收?。在合并或收购之后,迁移和整合数据的过程是?项巨?的任务——?开始常常被低估。IT团队必须处理未知的系统,解决质量问题,并提供关于信息如何被合并的详细?档。这个任务涉及的不仅仅是技术整合。IT组织必须协调不同的数据定义和模型,并且必须设置流程以确保各种实体的?致性。数据治理框架在管理合并或收购的组织和技术复杂性以及加速积极的业务结果??具有重要价值。B.伙伴合作及外包另?个?泛的市场趋势是越来越多地使?合作伙伴和外包商来管理部分价值链。组织正专注于核?竞争?,?将?核?功能和流程交给合作伙伴和外包供应商。例如:·?科技设备公司依靠合同制造商进??产。·制造商转向第三?专业公司进?物流和仓储管理。·制药公司依赖于第三?管理公司临床试验。·IT部门外包应?开发和?络管理。·??资源组织外包?资或福利管理等管理功能。随着业务流程和IT系统转移到外部提供者,与这些流程和系统相关的数据将迁移到组织边界之外。组织必须确保数据正确地迁移到外部提供者。数据必须是完整和准确的,并且必须对其进?重构,以便在第三?系统中?作。需要注意的是,尽管这些数据已经转移到第三?,但它们仍然是组织的核?资产。即使它们位于防?墙之外,组织也不能放弃对这些数据的可见性和控制。?个健壮的数据治理框架对于管理扩展价值链中分散的数据?关重要,尤其是在定义与外部合作伙伴和外包商交互和协作的标准和流程??。五、数据治理框架A.数据六个关键属性通过研究在组织中反复出现的挑战,企业数据必须具有以下六个属性:·可访问性:确保所有企业数据都可以访问,?论其来源或结构如何。·可?性:确保数据对?户和应?程序可?,何时、何地以及如何需要。·质量:确保数据的完整性、准确性和完整性。·?致性:确保数据含义在所有系统、流程和组织单元之间是?致和协调的。·可审计性:确保有对数据的控制和审核跟踪。·安全性:确保数据的安全访问。数据治理管理和提?这些关键数据属性,提?数据作为组织资产的整体价值。B.数据治理的四个组成部分

  为了确保企业数据满?上述所有属性——可访问、可?性、?质量、?致性、可审计和安全性,有效的数据治理框架包括四个关键组成部分:·标准:数据治理的?个关键功能是为企业中的数据建?标准。公司需要建?数据定义和分类,定义主数据,开发企业数据模型,实施与数据相关的开发和技术标准。·制度和流程:围绕数据的创建、开发、控制、管理和审计建?和执?政策和过程是有效数据治理实践的基础。公司需要定义数据和数据相关的业务规则,控制对数据的访问和交付,建?持续的监视和度量机制,并管理数据的更改。·组织:可以说,公司在启动数据治理计划时必须解决的最重要问题是如何设计组织结构。公司需要定义组织内负责数据的??和职责。组织可能包括不同级别的?个不同??,包括业务和IT?员——从执?委员会到?常实现者,?如数据管理员和数据分析师。如果数据治理计划要取得成功,培训和组织变?管理问题也是?关重要的。·技术:假设公司可以在没有底层技术基础设施的情况下开展数据治理活动。事实上,许多组织使??动?具(电?表格、Visio和Word?档)启动了他们最初的数据治理程序,以捕获数据定义和?档过程。然?,?多数?很快就意识到这种?动?法的局限性。很难确保?数据质量和可?性,由于这种?法的临时性质,安全性?临风险,维护详细的?档?乎是?项不可克服的困难。实际上,使??动?法?乎不可能实现数据治理的最终?标。技术可以帮助?动化和扩展数据治理标准、策略和流程的开发和实施。具体来说,提供访问、清理、转换、交付和监视数据的内置功能的数据集成技术平台是数据治理的理想选择。正如业务流程管理解决?案有助于简化业务流程?样,数据集成平台有助于?动化数据相关的流程。下图显?了有效数据治理框架的构建块。这样的框架考虑了标准、制度和流程、组织结构和技术基础设施,这些都是在整个企业中实现数据的?质量、?致性、可审计、安全性、可访问和可?性所必需的。六、数据治理的组织问题和技术?法下?我们深?地研究四个数据治理组件中的两个——组织和技术。A.组织成功因素组织是数据治理最重要的??之?。为了实现数据治理的?标,必须分配数据的所有权,必须定义标准,必须执?政策——所有这些都可能引发棘?的部门冲突和数据所有权属问题。我们不试图提出?个理想的组织结构来实现或?持数据治理。然?,某些组织原则在拥有成功治理计划的公司之间是?致的:·明确??和职责的定义:任何类型的治理项?,?论公司、IT或数据治理的基本要求是明确的??和职责。公司需要严格定义??,并将特定的责任分配给参与数据治理的个?,以加强责任。·业务和IT参与:成功实施数据治理计划的公司的?个共同因素是,业务线和IT部门的?管和员?都参与其中。在?多数情况下,业务承担数据的所有权,并在驱动数据治理??发挥主导作?。这是合适的,因为数据的存在最终是为了服务于业务,?业务是有效数据治理的主要受益者。然后IT部门与业务部门合作,实现数据治理程序的技术??。IT和业务部门协作建?与数据治理程序相关的特定业务指标,并随时间跟踪它们。可证明的业务利益对于数据治理计划的成功?关重要,它提?了整个组织中对该计划的可见性和?持。·?管的?持:作为上述原则的推论,成功的数据治理项?是由?级业务主管?持的。?级主管必须认识到数据治理程序在将数据作为资产管理??的价值,并且能够将该程序与特定的、具体的业务?标联系起来。许多组织建??个跨职能的数据治理委员会,包括业务和IT管理?员代表各种业务和组织单位以及职能。

  ·数据治理办公室:成功的数据治理活动经常涉及创建?个集成能?中?或数据治理办公室,?持数据集成技术,?撑数据治理。数据治理办公室是?种组织?法,旨在通过促进重?、共享最佳实践和资源以及为集成建?公共流程和标准来提?敏捷性并降低实现成本。数据治理办公室成为整个组织的共享资源,定义关于数据集成和数据治理的技术标准和流程,并提供可以?持特定项?和计划实现的?技能技术资源池。B.技术成功因素通过?动化数据集成?命周期,数据集成技术基础设施有助于实现数据治理的?标。数据集成不是线性的、?次性的。数据集成是?个持续的、迭代的过程,它不断地寻求改进关键数据属性,如质量和可?性。因此,在考虑数据集成技术时,组织需要采取全?的?法。数据集成?命周期有七个关键步骤,如下图所?:·访问:访问所有数据,?论其来源或结构。这包括从?型机系统、关系数据库、应?程序、XML、消息甚?电?表格等?档中提取数据。·发现:对?档记录不充分的数据源或未知数据源进?分析,以了解其内容和结构,推断数据中隐含的模式和规则,并标记潜在的质量问题和数据问题。·清洁;数据被清理以确保其质量、准确性、正确性和完整性。这可能包括解决错误或遗漏,强制遵守数据标准,验证值,并消除重复的数据条?。·集成:为了在所有系统中维护?致的数据视图,将数据集成起来,将碎?化的信息聚集在?起,并进?转换,以协调不同系统如何定义和结构各种数据元素的差异。例如,市场营销和财务系统可能不仅对“客户盈利能?”数据元素有不同的格式;他们可能对“客户盈利能?”有完全不同的业务定义,必须解决这个问题。·交付:正确的数据在正确的时间以正确的形式交付给所有需要它们的应?程序和?户。从交付单个数据元素或记录到?持实时业务操作,到交付数百万条记录以?持趋势分析和企业报告。交付还包括确保数据在交付时既?可?性?安全。·开发和管理:??产率的?具集使数据管理员、业务分析师、架构师和开发?员能够在数据集成规则和流程的实现和管理上进?协作,跨越上述步骤1到5。它还确保了运?关键任务企业系统所需的可靠性、可伸缩性和性能。·审计、监控、报表:对数据进?监控,并?成报表。这包括持续测量关键指标,如数据质量,着眼于随着时间的推移稳步改进。?标是跟踪关键数据属性的进展,并标记任何新问题,以便将它们反馈到数据集成?命周期中,以便解决和持续改进。这个步骤还包括审计,维护数据的健壮审计跟踪有助于保持可见性和控制,以及降低未来更改的成本。通过对数据集成采??命周期?法,数据集成平台的技术能?被作为正在进?的数据治理计划的?部分,其?标是持续改进关键数据度量并对其负责。组织需要从流程和技术的?度整体地处理数据集成?命周期。通常组织使?不同?具的集合以?种渐进的?式来处理?命周期的不同阶段。不同的??和不同的业务单元可能会选择不同的技术,优化以满?它们??狭窄的需求。例如,业务分析?员可以使??个?具来分析和理解现有的数据源。数据架构师可能会选择其他?具来清理数据并提?它们的质量。IT开发?员可能会使?不同的?具来访问和交付数据。最终的结果是?个由不同的、不?致的数据处理?法组成的复杂?络。竖井式的数据集成?法会迅速破坏数据治理计划,阻?其实现?标和有效扩展。由这些竖井式?法产?的冗余?具和技能集既繁琐?昂贵。但更?的问题是数据和治理过程本?的不?致性。组织需要跨整个企业和跨数据集成?命周期的统?数据处理?法。这种统?的?法在整个组织中系统地实施数据治理策略和流程,也许更重要的是,让他们相信,他们所依赖的数据在制定战略业务决策时是?致和准确的。七、结论我们清楚了数据治理的?标、常见业务驱动因素和当前业务趋势,以及关键数据属性和有效数据治理实践的组成部分时,这项?作还没有完成,还需要采取进?步的?动。

  第?步是确定组织的关键业务?标,了解相关的数据需求,并审查作为实现这些?标的当前或潜在未来障碍的数据挑战。?户访问或查找数据有困难吗?他们是否拥有决策所需的数据?不同职能部门和业务部门的数据是否?致?数据的有效性是否可以证明?如果存在数据挑战,则应记录问题的程度以及对业务的估计影响。这些信息可以为投资数据治理计划提供理由。第?步是选择?个关键业务计划作为重点。这项计划应该是?项?临重?数据挑战的计划,但预计也会对业务产?明显影响。与此业务计划相关的数据治理试点项?将增加业务计划成功的可能性,同时也将证明数据治理计划的业务价值。该试点项?也是?个很好的机会,可以在企业和IT团队之间建?强?的合作关系,并获得管理层的?持。第三步是评估现有的数据集成技术基础架构及其?持数据治理实践的能?。该技术必须解决并增强所有六个关键数据属性——可访问性、可?性、质量、?致性、可审计性和安全性。为了在整个组织内以可扩展且?致的?式?持数据治理计划,组织需要?个单?、统?的企业数据集成平台,该平台提供:·?泛访问所有企业数据,?论其类型、结构或来源如何。·?个开放的、平台?关的体系结构,专为不断变化的IT环境?设计。·单?、统?的体系结构,以简化和加速整个数据集成?命周期。·企业级安全性、可扩展性、可靠性和可?性。·基于共享、可重?组件和服务的?法,以实现透明性、互操作性、协调性和灵活性。如果现有的技术基础设施不能确保企业数据满?六个关键属性,不?持数据治理实践,则试点项?是开始实施新的、可扩展的、更健壮的和可靠的数据集成技术基础的好机会。

篇四:数据治理与数字化转型

  

  数字化转型大数据治理架构方案

  数字化转型已经成为各行各业的共识,通过数字化手段实现转型的同时,数据治理也成为了一个被广泛关注的议题,本文将围绕数字化转型大数据治理架构方案来进行阐述。

  第一步:制定数字化转型大数据治理架构方案前的准备

  在进行数字化转型大数据治理架构方案前,我们需要对组织内部的数据环境进行梳理,确认数据的来源、类型、数量、质量等基本情况。同时,还需要了解组织内部业务流程的相关情况,掌握各个业务环节的数据流向,梳理出数据治理的需求和瓶颈。除此之外,还需要根据组织的战略规划和目标,规划出数字化转型的框架和目标,并确定数字化转型的优先级和时间节点。

  第二步:数字化转型大数据治理架构的设计

  在了解了组织内部数据环境和数字化转型目标的前提下,我们可以开始设计数字化转型大数据治理架构方案。首先,需要建立数据平台,选择合适的数据存储、处理和分析工具,搭建起数据管理和分析的基础设施。其次,在数据平台搭建的基础上,需要根据数字化转型目标,制定相应的数据治理策略和标准,以保证数据的质量和可靠性;建立数据分类和权限管理机制,保护数据隐私和安全;并建立数据共享和交换机制,促进数据共享和协同工作。

  第三步:数字化转型大数据治理架构方案的实施和优化

  数字化转型大数据治理架构方案的实施需要融入组织内部的各个业务环节,确保数字化转型的顺利实施。实施过程中,需要及时进行数据质量监控和数据流向分析,发现和解决数据质量问题以及业务流程中

  的数据瓶颈。同时,需要对数字化转型大数据治理架构方案进行评估和优化,根据实践情况,适时调整数据治理策略和标准,优化数据处理和分析算法,完善数据分类和共享机制,提高数字化转型的效率和效益。

  总之,数字化转型大数据治理架构方案的制定和实施是数字化转型的关键之一,需要认真制定和落实方案,并不断优化改进。通过数字化转型,我们可以实现数据资源的有效整合和利用,提升组织的业务效率和战略竞争力。

篇五:数据治理与数字化转型

  

  『实施数据治理项目』是数据中心建设的关键,数字化转型的基础

  作者:蔡春久,来源:数据工匠俱乐部

  导读:企业数字化转型趋势是“数据”引领业务变革,数据集中管控成为大势所趋,如何做好数据共享和数据分析、如何发挥数据资产价值最大化是我们信息化工作首要目标。

  本文从基本术语及概念、数据共享服务、数据资源中心架构、数据治理平台、数据运营体系等10核心观点来阐述,实施企业级数据治理项目是数据资源中心建设的关键,是企业数字化转型和发展的基础。

  数据管理核心发展趋势

  数据管理部门从成本中心转变为利润中心,向业务提供产品服务。

  数据系统功能由数据应用转变为数据服务,为业务提供数据支撑。

  一

  术语及概念

  根据企业的特点-数据划分为以下三种类型:主数据、交易数据、指标(分析型)数据。主数据可以细化为:配置型主数据、核心主数据、条件型主数据。

  主数据

  描述集团核心业务对象的数据,具有一致且统一的标识符和扩展属性,在集团内会被重复使用,且存在于多个应用系统中如会计科目主数据的科目名称、组织主数据的组织名称等。

  交易数据

  记录企业日常经营过程中发生各种事件、交易的数据,相对于主数据变化较大。订单如会计凭证的凭订单的销售价格等。

  指标数据

  用于统计、分析的数据,一般通过交易数据计算、整合而成,并在管理报表中存在,是领导层/管理层进行管理决策的依据。如销售收入增长率、投资回报率等。

  二

  核心观点1数据集中管控成为大势所趋,实现用数据说话、用数据管理、用数据决策、用数据创新,以数据重构企业智慧,造就一个数字化的企业,使数据的管理、数据的分析成为企业价值链的一部分实现卓越运营。

  随着信息技术快速发展和深入应用,企业数据呈现出海量增长、动态变化的特征日趋显著。过去十几年信息化以信息系统建设为主,信息资源不能共享,信

  息系统不支持跨部门、跨地区业务协同,“信息孤岛/烟囱”成为信息化建设的“瓶颈”问题数据标准化和数据资源中心建设严重滞后。

  大数据的核心价值体现不在于数据的数量大,而在于数据的质量高,因此数据标准化管理正是大数据价值得以实现的必经之路。

  数据集中管控成为大势所趋,把数据做成服务产品,为企业内部各个层级用户提供数据服务,同时也对外提供数据服务,实现卓越运营。

  借助大数据、云搜索、微应用等先进技术,搭建企业数据资产管理体系,推动企业数据资产管理规范和创新,丰富数据应用与消费工具,提升了数字资产应用价值,实现了企业数据价值挖掘及数据资产变现升值。

  数据资源中心由面向分析业务的功能化平台转变成面向全业务域的服务化平台转型。

  数据治理平台是数据源、数据仓库、数据集市、服务模块,全过程的主(元)数据管理、各个监控环节,问题处理流程。

  数据支持成为企业信息战略的核心,数据资源中心和企业应用/数据集成总线,成为信息化建设的战略制高点。

  集中管理数据资源,实现内部、外部数据“语义”统一。获取宏观数据、行业上下游数据、互联网数据等外部数据,建设企业级大数据应用平台。

  支撑业务系统(OLTP)和分析系统(OLAP)优化。

  把数据推送到各级管理者和一线业务人员,更有效推进业务流程管理(BPM),实现“厚平台、薄应用”。

  三

  核心观点2构建以“云”技术架构为支撑,以“共享服务”为建设方向的企业级数据治理平台,为企事业单位的信息系统建设和深入应用提供标准和规范保障,为各单位、各部门、各系统提供高质量、高效的信息化标准数据支撑,推动信息系统的深度集成、数据共享和深化应用。

  主数据标准化

  “共享服务”内涵

  以“为用户提供随时随地的、唯一源头的数据资源共享服务”为愿景。

  实现“统一数据源头及流向、统一主数据分发”。

  实现各主数据的在线管理维护,为用户提供主数据维护的唯一数据源。

  减少重复录入,规范数据交互,保证数据一致性,提升主数据的规范性;降低系统建设成本,提高使用寿命。

  主数据“共享服务”要素如下所示

  建立较为完善的信主数据标准化运维管理体系,组建数据标准化技术服务的队伍,建立相关的数据标准化技术能力,保证相关主数据运维的及时和有效,并及时解决主数据维护和使用过程中存在的问题,为“工厂化运维”作支撑,实现“共享服务”。

  四

  核心观点3主数据建设在企业信息化战略中处于核心地位,打通各业务链条,统一数据语言,统一制定数据标准,实现数据共享,使数据资产价值最大化。

  主数据为PLM、ERP、CRM、SRM、数据中心及相关系统提供基础数据共享服务。主数据在信息化架构中,处于基础支撑地位,是基础数据的汇集地,确保目标系统数据的一致和唯一。通过主数据查询/申请服务、主数据公共数据资源池等技术,搭建企业主数据管理体系,推动企业主数据资产管理规范和创新,丰富数据应用与消费工具,提升了数字资产应用价值。

  五

  核心观点4主数据建设在企业信息化战略中处于核心地位,打通各业务链条,统一数据语言,统一制定数据标准,实现数据共享,使数据资产价值最大化。

  数据资源中心包含一中心+两平台+一体系,即:数据集中存储处理中心、数据共享服务平台、数据分析服务平台,加上用户可访问的数据服务门户,加上一套数据治理体系。

  统一数据资源中心架构图

  数据治理平台不属于数据资源中心建设范畴,但是考虑到数据治理对于数据资源利用的管控和支撑作用,建议将数据资源中心的运营组织、制度和标准也纳入到企业统一的数据治理体系当中。

  数据资源中心的数据逻辑架构

  数据治理平台是基础性平台,为数据汇聚平台和数据存储平台提供基础层面数据标准化保障,进而为数据分析应用平台提供服务。

  数据汇聚平台属于数据集中存储处理中心,负责将底层标准化数据源汇集之后供给上层应用使用。是数据共享服务中心的核心层,负责将底层标准化数据源汇集之后供给上层应用使用。

  数据存储平台属于数据集中存储处理中心,负责按照数据标准规范存储,适应分析与共享需求。是结构化和非机构化的数据存储地,通过传统数据仓库的工具和开源的数据工具(例如:HadoopSpark)实现数据集中存储。

  数据服务平台把数据做成服务产品,为企业内部各个层级用户提供数据服务,同时对外提供数据服务,实现卓越运营。

  六

  核心观点5数据标准化治理的建设体系框架主要包括:制订数据标准、规范编码内容、建设软件平台、建立组织与管理流程、目标系统代码转化五部分。

  其中制订编码标准是基础,规范编码内容是过程,建设编码平台是技术手段,建立运营体系是前提和保障,应用系统代码转换是数据标准落地。

  主数据治理体系框架图

  首先需要针对企业进行现状调研、需求分析及标杆企业分析,规划和设计数据治理体系,具体内容包含如下:

  1、制定标准

  确定数据范围,与业务部门共同制订主数据编码标准。数据标准内容包括确定分类规范、编码结构、数据粒度、属性描述等。

  2、建代码库

  编制符合数据标准和规范的主数据代码库。包括按照数据标准进行数据检查、数据排重、数据编码、数据加载、数据监控策略等。

  3、搭建平台

  建设主数据治理平台,为数据的管理提供技术支持,实现主数据申请、主数据管理和主数据发布功能

  、数据清洗,包含系统接口服务。

  4、运营体系

  建立主数据管理组织和管理流程,包括建立标准管理和主数据管理的运维组织架构及考核流程;建立并完善管理流程、实现知识转移等。5、代码转换

  实现主数据标准代码在目标系统的落地应用。针对已有系统,需要是一个艰难的转化过程,有直接贯标、映射贯标两种方式。

  七

  核心观点6建立企业级数据标准体系及规范建是数据标准项目基础,让主数据管理有章可循。一般建设模式“业务部门牵头主导,信息部门综合管理,咨询公司技术支撑”,该阶段需要业务骨干深度参与制定。

  数据标准与规范制定流程

  定标准

  制定《主数据标准化管理标准规范》,分类标准、描述模板、编码规则、数据模型(主数据结构表)等,同时还需要制定相对应的主数据维护细则等。让主数据管理有章可循。

  数据清洗

  根据标准规范对历史数据进行清洗、排重、合并、编码,保证数据的完整性、准确性和唯一性。

  标准贯标

  主数据标准制定完成,数据清洗、编码完成,需要对已上线、在建等业务系统,根据系统所处阶段及重要性的不同,采用“完全、映射、择机”不同的策略进行标准数据的导入。

  八

  核心观点7数据治理平台是信息化相关标准文本发布、主数据全生命周期管理的重要平台,实现企业内部标准数据资源共享服务,为数据化标准工作提供重要支撑。数据标准的维护流程和管理措施通过管理平台进行系统实现和控制,以保证标准的唯一性和宣贯的及时性。

  数据治理平台功能架构

  平台包含标准管理、主数据管理、元数据管理、质量监控及评价、数据服务等十大模块,具有企级主数据存储、整合、清洗、分发以及监控等五大功能。

  1、标准文档管理

  针对信息化标准相关规范、标准文档、维护细则、管理办法等标准文本进行多级栏目设置,实现信息化标准文本的发布、查询和下载等功能。

  2、主数据全生命周期管理

  实现主数据的申请、审批、发布、修改、冻结的全生命周期管理,实现流程在线管理,用户和管理员随时在系统上查询申请和审核的进展情况。

  3、指标(元数据)管理

  实现数据指标的申请、审批、发布、修改、冻结的全生命周期管理,实现流程在线管理,包含指标主题分类、指标定义、指标属性管理。

  4、代码发布与查询

  实现对信息代码体系表的在线管理,实现信息代码各类查询和统计。

  5、质量监控与评价

  质量规范,质量监督及统计实现各类主数据质量的统计报表,监控代码申请时间,代码质量,代码分发异常等问题,为主数据应用评价提供有力支撑。

  6、数据分发

  符合SOA架构体系,信息化标准系统与其他业务系统间的数据接口支持标准WebService、XML文件、excel文件、共享中间库等常用数据交换方式,并能与主流

  ESB服务总线实现无缝对接集成。

  7、动态模型组件

  信息代码标准化模型的定义,每个模型上可扩展定义模型属性,以及属性的校验规则。

  8、工作流组件

  实现灵活的信息代码管理流程,根据企业和部门对主数据的管理要求制定相应管理流程,可以动态调整流程,配置主数据的管理流程。

  9、系统管理

  实现对系统中的基础数据进行设置,包括用户、用户组、角色、权限、资源、日志、流程配置等。

  九

  核心观点8建立运营体系数据治理项目成功前提和保障。建立数据标准化管理维护体系,主要包括管理组织、制度、流程及知识库的建立。

  建体系

  建立“总部—二级单位”二级维护的组织保障体系,重要数据均有对应的业务牵头部门。

  建制度

  建立《主数据标准化管理办法》,让主数据管理工作有法可依。

  设组织

  设立主数据管理组织,专职负责主数据管理及标准维护,确定主数据拥有、管理权利,让主数据管理有组织

  监督执行。

  理流程

  梳理数据维护及管理流程,建立符合应用情况的管理流程,保证主数据标准规范有效执行。为保证运维的高效性和资源共享,建立运维知识库,统一的运维管理平台作支撑。

  理数据

  根据《主数据标准化管理办法》进行数据标准的管理和维护,保证标准规范的适应性和健全性;根据标准规范制定数据质量的考核机制,保证数据质量持续改进。

  十

  核心观点9数据治理项目建设路径:整体设计,分步实施;急用先建,滚动发展。“业务”驱动“系统”,“技术”推动“业务”,保证项目实施结果不是两张皮。

  总结

  数据是企业战略转型和发展的重要战略资源。数据标准化是服务于这一目标的一项任重道远的基础性工作;从长远角度来看,数据标准化可以提升行业领导力。

  数据治理主要价值点:统一业务信息定义,消除理解歧义;打通部门、系统壁垒,实现信息集成与共享;提升系统开发及实施的效率;实现资源共享,支撑战略协同。

  作者简介

  蔡春久,石化盈科公司高级项目总监,数据业务部负责人。

  工业互联网研习社

  造奇智能新媒体:国内较早成立并开展运营的智能制造产业新媒体及内容服务、社群运营机构,聚焦新工业革命与智能时代的价值创造,以“深度影响智能制造进程,守望智能制造产业成长”为使命,聚焦智能制造、工业互联网、工业4.0、数字化转型及人工智能、大数据技术在工业领域的应用。

  联接产业企业、大学、研究机构、政府、资本等产业核心力量,通过创新和融合力量,打造深度观察、行业洞见、丰富资讯于一体的原创型、产业新媒体平台,凭借有洞见的思考观点,在产业界独树一帜。目前已覆盖工业和制造领域行业人士数万人,总阅读量数百万人次。

  2018年1月1日,[造奇智能]新媒体独家推出、业界首份聚焦工业互联网领域的高质量实名付费社群——工业互联网研习社。致力于打通工业互联网从资讯

  →信息→知识→认知→见识的链式通路,助力您的职业发展和机遇把握。同期推出数期工业互联网知识沙龙(付费版),助力社友走出“舒适区”。

  “研习社社友”遍布上海、北京、深圳、苏州、杭州、武汉、芜湖、郑州等工业重镇,初步构建起覆盖工业互联网平台、工业软件、底层数据采集、工业数据分析、系统集成商、大学及产业资金、产业联盟在内的全国价值网络。

推荐访问:数据治理与数字化转型 数字化 转型 治理

猜你喜欢