数据治理的概念、难点和最佳实践方法

2024-05-09 03:56

1. 数据治理的概念、难点和最佳实践方法

为什么企业领导都热衷于数字治理呢?不可否认的是,数据治理很火,在DAMA 数据管理知识体系指南中,数据治理位于数据管理“车轮图”的正中央,是数据架构、数据建模、数据存储、数据安全、数据质量、元数据管理、主数据管理等10大数据管理领域的总纲,为各项数据管理活动提供总体指导策略
谈到数据治理,很多企业经常讲它是一个涉及到企业战略、组织架构、数据标准、管理规范、数据文化、技术工具的一个综合体。没有数据治理实践经验的,一定会认为数据治理好“高大上”!又是战略、又是标准、又是文化。
然而,只有你真正做过数据治理人才知道:数据治理不仅都是脏活、累活,还是个受累不讨好,经常背锅,领导看不见价值的活。数据治理过程中,有时候是不被理解的。数据治理是个地基性工程,人们看到的永远是数据应用的“高楼大厦”,数据治理团队天天忙忙碌碌的,领导也不知道“这伙人”到底都在干啥?但是,只要数据出现问题,第一个被问责的就是数据治理团队。
都说数据是资产,数据治理很重要。大家也都说数据治理很重要,领导也很重视,但在很多企业真正实施的过程中,却总会遇到高层领导支持力度不足,业务部门人员配合不到位,数据治理的总是要给业务让路等等问题。究其原因:领导说重视数据,是真重视,还是嘴上说说?有没有将其纳入企业的战略行动计划?
数据治理要定战略、定制度、建组织,这是顶层策略,这每一项都牵一发而动全身,都需要高层领导的大力支持和推动,业务部门和技术部门的紧密协同。
数据治理要立标准、理流程、清数据,需要对每个数据域、数据实体、数据条目、数据项进行梳理和标准化,甚至有时候需要人工逐条、逐字段的定义数据标准、核实数据质量。数据治理人员不仅要有良好的数据思维,还要有足够的细心、耐心和体力才能实现企业数据质量的不断提升,打磨出适合企业的数据标准。

数据治理的概念、难点和最佳实践方法

2. 数据治理的主动数据治理优势、应当避免的问题,我们应该怎样面对数据治理以及如何做好数据治理?

主动数据的优势:是可在源头获得主数据,销售和营销均受益,财务上也受益。数据的清洁性、精确性、时效性以及一致性应当处于最高级别。
主动数据治理避免出现的问题:已发展到主动数据治理的组织报告了关于关系管理、历史记录、工作流程以及安全性的一些常见教训。

3. 企业数据治理的重点和难点

重点的话,从技术实施角度看,主要包含“理”“采”“存”“管”“用”这五个,即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。
数据资源梳理:数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单,包含组织机构、业务事项、信息系统,以及以数据库、网页、文件和 API 接口形式存在的数据项资源,本步骤的输出物为分门别类的数据资源清单。
数据采集清洗:通过可视化的 ETL 工具(例如阿里的 DataX,Pentaho Data Integration)将数据从来源端经过抽取 (extract)、转换 (transform)、加载 (load) 至目的端的过程,目的是将散落和零乱的数据集中存储起来。
基础库主题库建设:一般情况下,可以将数据分为基础数据、业务主题数据和分析数据。基础数据一般指的是核心实体数据,或称主数据,例如智慧城市中的人口、法人、地理信息、信用、电子证照等数据。主题数据一般指的是某个业务主题数据,例如市场监督管理局的食品监管、质量监督检查、企业综合监管等数据。而分析数据指的是基于业务主题数据综合分析而得的分析结果数据,例如市场监督管理局的企业综合评价、产业区域分布、高危企业分布等。那么基础库和主题库的建设就是在对业务理解的基础上,基于易存储、易管理、易使用的原则抽像数据存储结构,说白了,就是基于一定的原则设计数据库表结构,然后再根据数据资源清单设计数据采集清洗流程,将整洁干净的数据存储到数据库或数据仓库中。
元数据管理:元数据管理是对基础库和主题库中的数据项属性的管理,同时,将数据项的业务含义与数据项进行了关联,便于业务人员也能够理解数据库中的数据字段含义,并且,元数据是后面提到的自动化数据共享、数据交换和商业智能(BI)的基础。需要注意的是,元数据管理一般是对基础库和主题库中(即核心数据资产)的数据项属性的管理,而数据资源清单是对各类数据来源的数据项的管理。
血缘追踪:数据被业务场景使用时,发现数据错误,数据治理团队需要快速定位数据来源,修复数据错误。那么数据治理团队需要知道业务团队的数据来自于哪个核心库,核心库的数据又来自于哪个数据源头。我们的实践是在元数据和数据资源清单之间建立关联关系,且业务团队使用的数据项由元数据组合配置而来,这样,就建立了数据使用场景与数据源头之间的血缘关系。 数据资源目录:数据资源目录一般应用于数据共享的场景,例如政府部门之间的数据共享,数据资源目录是基于业务场景和行业规范而创建,同时依托于元数据和基础库主题而实现自动化的数据申请和使用。
质量管理:数据价值的成功发掘必须依托于高质量的数据,唯有准确、完整、一致的数据才有使用价值。因此,需要从多维度来分析数据的质量,例如:偏移量、非空检查、值域检查、规范性检查、重复性检查、关联关系检查、离群值检查、波动检查等等。需要注意的是,优秀的数据质量模型的设计必须依赖于对业务的深刻理解,在技术上也推荐使用大数据相关技术来保障检测性能和降低对业务系统的性能影响,例如 Hadoop,MapReduce,HBase 等。

商业智能(BI):数据治理的目的是使用,对于一个大型的数据仓库来说,数据使用的场景和需求是多变的,那么可以使用 BI 类的产品快速获取需要的数据,并分析形成报表,像派可数据就属于专业的BI厂商。
数据共享交换:数据共享包括组织内部和组织之间的数据共享,共享方式也分为库表、文件和 API 接口三种共享方式,库表共享比较直接粗暴,文件共享方式通过 ETL 工具做一个反向的数据交换也就可以实现。我们比较推荐的是 API 接口共享方式,在这种方式下,能够让中心数据仓库保留数据所有权,把数据使用权通过 API 接口的形式进行了转移。API 接口共享可以使用 API 网关实现,常见的功能是自动化的接口生成、申请审核、限流、限并发、多用户隔离、调用统计、调用审计、黑白名单、调用监控、质量监控等等。

企业数据治理的重点和难点

4. 如何实现成功的数据治理?

从技术实施角度看,数据治理包含“理”“采”“存”“管”“用”这五个步骤,即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。
数据资源梳理:数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单,包含组织机构、业务事项、信息系统,以及以数据库、网页、文件和 API 接口形式存在的数据项资源,本步骤的输出物为分门别类的数据资源清单。
数据采集清洗:通过可视化的 ETL 工具将数据从来源端经过抽取 (extract)、转换 (transform)、加载 (load) 至目的端的过程,目的是将散落和零乱的数据集中存储起来。
基础库主题库建设:一般情况下,可以将数据分为基础数据、业务主题数据和分析数据。基础数据一般指的是核心实体数据,或称主数据,例如智慧城市中的人口、法人、地理信息、信用、电子证照等数据。主题数据一般指的是某个业务主题数据,例如市场监督管理局的食品监管、质量监督检查、企业综合监管等数据。而分析数据指的是基于业务主题数据综合分析而得的分析结果数据,例如市场监督管理局的企业综合评价、产业区域分布、高危企业分布等。那么基础库和主题库的建设就是在对业务理解的基础上,基于易存储、易管理、易使用的原则抽像数据存储结构,说白了,就是基于一定的原则设计数据库表结构,然后再根据数据资源清单设计数据采集清洗流程,将整洁干净的数据存储到数据库或数据仓库中。


元数据管理:元数据管理是对基础库和主题库中的数据项属性的管理,同时,将数据项的业务含义与数据项进行了关联,便于业务人员也能够理解数据库中的数据字段含义,并且,元数据是后面提到的自动化数据共享、数据交换和商业智能(BI)的基础。需要注意的是,元数据管理一般是对基础库和主题库中(即核心数据资产)的数据项属性的管理,而数据资源清单是对各类数据来源的数据项的管理。
血缘追踪:数据被业务场景使用时,发现数据错误,数据治理团队需要快速定位数据来源,修复数据错误。那么数据治理团队需要知道业务团队的数据来自于哪个核心库,核心库的数据又来自于哪个数据源头。我们的实践是在元数据和数据资源清单之间建立关联关系,且业务团队使用的数据项由元数据组合配置而来,这样,就建立了数据使用场景与数据源头之间的血缘关系。 数据资源目录:数据资源目录一般应用于数据共享的场景,例如政府部门之间的数据共享,数据资源目录是基于业务场景和行业规范而创建,同时依托于元数据和基础库主题而实现自动化的数据申请和使用。
质量管理:数据价值的成功发掘必须依托于高质量的数据,唯有准确、完整、一致的数据才有使用价值。因此,需要从多维度来分析数据的质量,例如:偏移量、非空检查、值域检查、规范性检查、重复性检查、关联关系检查、离群值检查、波动检查等等。需要注意的是,优秀的数据质量模型的设计必须依赖于对业务的深刻理解,在技术上也推荐使用大数据相关技术来保障检测性能和降低对业务系统的性能影响,例如 Hadoop,MapReduce,HBase 等。
商业智能(BI):数据治理的目的是使用,对于一个大型的数据仓库来说,数据使用的场景和需求是多变的,那么可以使用 BI 类的产品快速获取需要的数据,并分析形成报表,像派可数据就属于专业的BI厂商。
数据共享交换:数据共享包括组织内部和组织之间的数据共享,共享方式也分为库表、文件和 API 接口三种共享方式,库表共享比较直接粗暴,文件共享方式通过 ETL 工具做一个反向的数据交换也就可以实现。我们比较推荐的是 API 接口共享方式,在这种方式下,能够让中心数据仓库保留数据所有权,把数据使用权通过 API 接口的形式进行了转移。API 接口共享可以使用 API 网关实现,常见的功能是自动化的接口生成、申请审核、限流、限并发、多用户隔离、调用统计、调用审计、黑白名单、调用监控、质量监控等等。

5. 数据治理的应对型数据治理的缺点及其改进方案

批量集成和应对型数据治理方法引入的时间延迟可能导致业务部门继续操作重复、不完整且不精确的主数据。因此,这会降低多领域 MDM 方案实现在正确的时间向正确的人员提供正确数据这一预期业务目标的能力。在期望被设定为数据将变得干净、精确且及时之后,批量集成引入的时间延迟让人感到沮丧。应对型数据治理(下游数据管理员小组负责整理、去重复、纠正和完成关键主数据)可能导致让人认为“数据治理官僚化”。应对型数据治理还会导致最终用户将数据管理团队看做“数据质量警察”,并产生相应的官僚化和延迟以及主数据仍然不干净的负面认识。这还将使得 MDM 方案更难实现它的所有预期优势,并可能导致更高的数据管理总成本。此方法的风险是组织可能以“两个领域中的最差”而告终,至少部分上如此 – 已在 MDM 方案中投资,但是只能实现一些潜在优势,即在整个企业内获得干净、精确、及时以及一致的主数据。有三个方法可超越应对型数据治理。1. 用户将数据直接输入到多领域 MDM 系统中:用户使用界面友好的前端将数据直接输入到多领域 MDM 系统中,但是他们的新记录和现有记录的更新留在暂存区域或保留区域,直到数据管理员审核和认证为止。这之后 MDM 系统才接受插入或更新,以便进行完整的整理、匹配、合并,并将“最佳记录”发布到企业的所有其他应用程序。此方法好过将一个完全不同的应用程序(例如 CRM 或 ERP 系统)作为“录入系统”,但是它仍然会出现延迟和效率低下。尽管存在这些缺点,使用暂存区域确实解决了大部分问题,例如不用强制执行重要属性的录入或在创建前不必进行彻底搜索。此外,由于我们并不受传统应用程序或现代 CRM 或 ERP 应用程序如何处理数据录入功能的影响,通过不对应对方法进行批量数据移动,我们还大大缩短了时间安排。2. 用户输入直接传送到多领域 MDM 系统中的数据:在外面输入新记录或更新,但是会立即传送到 MDM 系统,以便自动整理、匹配和合并。异常或例外传送到数据管理员的队列,几个管理员便可支持更多最终用户。这是第一个主动方法的改进,因为我们利用 MDM 系统的业务规则、数据整理和匹配功能,只要求管理员查看作为整理、匹配和合并流程的例外而弹出的插入或更新。3. 用户使用特定于数据治理的前端输入数据:第三个方法是允许最终用户直接录入到多领域 MDM 系统中,但是应使用专为主动数据治理方法而设计的前端。可专门为最终用户数据录入设定屏幕,您可利用功能齐全的 MDM 系统允许的自动化、数据整理、业务规则、搜索和匹配等所有功能。因此,不必首先将数据输入到 MDM 系统的暂存区域中,并且您不需要系统外的单独工作流应用程序。

数据治理的应对型数据治理的缺点及其改进方案

6. 数据治理的主动数据治理优势、应当避免的问题

主动数据治理的优势主动数据治理的第一个优势是可在源头获得主数据。具有严格的“搜索后再创建”功能和强大的业务规则,确保关键字段填充经过批准的值列表或依据第三方数据验证过,新记录的初始质量级别将非常高。主数据管理工作通常着重于数据质量的“使它干净”或“保持它干净”方面。如果 MDM 系统中的数据质量初始级别非常高,并且如果您不会通过从 CRM 或 ERP 源系统中传入不精确、不完整或不一致的数据来连续污染系统,则主数据管理的“保持它干净”方面非常容易。主动数据治理还可有效消除新主记录的初始录入和其认证以及通过中间件发布到企业其余领域之间的所有时间延迟。由用户友好的前端支持的主动数据治理可将数据直接录入到多领域 MDM 系统中,可应用所有典型的业务规则,以整理、匹配和合并数据。当初始数据录入经过整理、匹配和合并流程后,此方法还允许数据管理员通过企业总线将更新发布到组织的其它领域。主动数据治理方法消除了“数据治理官僚化”这一认识,因为主数据的授权已推给上游的业务用户,使数据管理员处于很少被打扰的角色,他们将不会成为诸如订单管理或出具发票等关键业务流程的瓶颈。销售和营销均受益,因为可更迅速且经济有效地完成营销活动,在启动活动之前无需前期数据纠正。财务上也受益,因为将一次性捕获新客户需要的所有数据元素,添加新客户的流程包括提取第三方内容并计算信贷限额,然后将该信息传回 ERP 系统。没有直接访问 MDM 系统权限的客户服务代表通常必须搜索几个系统,找到他们需要的信息,从而采取措施。当通话中的客户没有耐心时,很难提供高级别的服务。当所有信息存储在 MDM 系统中并可通过有效、用户友好的前端进行访问时,客户服务代表将能够访问每个客户交互需要的所有数据,并能够在需要时授权新数据。通过使 MDM 成为录入系统及记录系统,您能从本质上将数据维持在“零延迟”状态,它在这种状态下适合企业中的任何预期使用场景,同步到 CRM 和 ERP 系统的数据的清洁性、精确性、时效性以及一致性应当处于最高级别。主动数据治理避免出现的问题已发展到主动数据治理的组织报告了关于关系管理、历史记录、工作流程以及安全性的一些常见教训。关系管理MDM 应当成为不仅是主数据而且是主数据间的关系的记录系统。它成为全方位了解不同系统的数据如何互相关联的中心位置。例如,多领域 MDM 系统将来自订单管理系统的销售订单和应收帐款中的发票关联在一起。这些关系或层次结构显示在与 MDM 系统数据直接交互的用户界面中。用户界面还可用于查看主数据间的关系并在 MDM 系统中直接编辑它们。因此,MDM 还成为关系的录入系统。历史记录当您从诸如 CRM 系统等外部系统中接受新记录或更新后的记录时,可能会限制您跟踪该记录的历史记录,因为外部应用程序作出了一些限制。当 MDM 为录入系统和记录系统时,审计历史记录的复杂跟踪和数据的沿袭成为可能。随着时间的推移,它甚至可显示核心主记录的更改,按照各种用户和流程在动态时间视图中显示插入和更新,可跟踪和显示每个属性中的每个更改。工作流使用可配置的前端可设计和执行基本工作流功能,因此最终用户可输入新主记录。但是,这些新记录可能需要数据管理员的批准步骤,然后才能将它们完全接受到多领域 MDM 系统中并发布到企业的其它领域。另外一个工作流应用程序在数据管理员的任务队列中。匹配或自动合并重复记录遇到的例外传送到相应的数据管理员。高级功能允许将问题提交给相应的人员,当用户在休假时可自动重新传送给后备人员。通过直接查看特定工作流步骤和这些流程的经过时间,减少了花费在查询新记录或更改后的记录状态的时间。安全性用户界面应当是可配置的,并且不同的工作角色具有不同的访问和许可级别。帮助数据管理员解决差异的一些数据元素可能不适合企业中的每个人查看。此外,即使在一个工作角色内,例如数据管理员,您可能需要不同的安全性级别,同时更高级别的人员能够对更广泛的记录集执行更多操作。而且,您可能需要分离访问权限,例如德国的数据管理员不能查看法国客户记录。使用 MDM 外部的 CRM 或 ERP 系统作为录入系统时,该应用程序的安全模型可能会在谁有权对哪些记录进行哪些操作方面强加一些限制。将主记录的录入和维护直接移到 多领域 MDM 系统之后,您可更加详细地控制数据的安全性,可具体到每个属性或字段级别。

7. 如何成功实现数据治理

随着信息技术的飞速发展,各领域的数据量都在爆发式增长,尤其在云计算、物联网、移动互联网等it技术得到广泛应用之后,数据的增长实现了从量变到质变的转型,大数据如浪潮般席卷而来,人类社会进入大数据时代。大数据不仅仅只是一次颠覆性的技术革命,更是一场思维方式、行为模式与治理理念的全方位变革,尤其在治理领域,大数据带来了巨大的变革潜力和创新空间。在“全面深化改革,推进国家治理体系和治理能力现代化”的时代背景下,应充分重视大数据在治理中的重要价值,牢牢抓住大数据为治理提供的创新机遇,切实提高各级部门的治理能力。
一、大数据为治理理念转型带来新机遇
治理理念的转型是提升治理能力的前提,理念的转型需要新文化、新思维的融入,大数据所蕴含的数据文化与数据思维恰好可以为治理理念转型提供突破口,基于大数据探索治理的多元、多层、多角度特征,最终实现以为主体的管制理念向以协同共治、公共服务为导向的治理理念的转型。在大数据时代,治理的依据不再是个人经验和长官意志,而是实实在在的数据,在过去深入群众、实地调研考察的基础上,系统采集的客观数据和实证分析的科学结果将成为最为重要的决策依据。“尊重事实、推崇理性、强调精确”的特征和“用数据说话、用数据决策、用数据管理、用数据创新”的理念将成为治理理念转型的核心要义。
二、大数据为治理模式创新带来新机遇
大数据通过把数学算法运用于海量数据,从数据中寻找相关关系,通过这种相关性预测事情发生的可能性,这是大数据方法论的核心思想。此外,依托于大数据技术和,通过、众包等灵活的组织方式,可以推动治理的组织架构从科层、分割、封闭向开放、协同、合作转型,因此把大数据的方法和手段引入到治理领域,是实现治理模式创新的有效路径。基于上述方法论,大数据为治理模式创新带来的新机遇主要包括:从粗放式管理到精细化治理、从单兵作战型管理到协作共享型治理、从被动响应型管理到主动预见型治理、从电子政务管理到2.0治理、从风险隐蔽型管理到风险防范型治理,最终实现全面数据驱动的治理模式创新。
三、大数据为决策科学化带来新机遇
随着公共事务的日益复杂,仅凭个人感知已经很难全面了解所有正在发生的事情并做出正确判断,部门想要提高决策的科学性,就需要把大数据思维与技术运用到治理与决策中,依靠大规模数据的收集来直观呈现经济社会运行规律,通过相应的数据挖掘来辅助部门进行科学决策。大数据为决策科学化带来的机遇主要体现在两个方面:首先,在决策的制定阶段,大数据背景下,决策不再是个别领导干部“拍脑袋”做出的,而是通过“用数据说话”,让听得见炮火的人(数据)做出决策,这样的决策是在对客观数据进行科学分析、充分了解客观现实的基础上做出的,这样大大提高了决策的精准性、适用性和科学化水平;其次,在决策实施效果的跟踪反馈阶段,通过物联网和社交网络的普及,大量的客观数据能够快速汇集给决策者,通过这些数据对决策的实施过程和效果进行实时监控,能够更全面地掌握决策的实施效果和下一步的改进方向。
四、大数据为服务效能提升带来新机遇
提升服务效能是治理能力提升的重要支撑,也是大数据背景下服务型建设的关键所在,在治理的范畴下,提升服务效能主要包括部门行政审批的效率提升和公共服务产品的质量提高两个方面。在提升行政审批效率方面,大数据可以打通各个部门的信息孤岛,打破各部门数据的条块分割,通过构建统一的行政审批云,让数据为老百姓“跑腿办事”,省去了“跑断腿、磨破嘴,办事跑十几个部门,盖几十个公章”的苦恼和无奈,这样既提高了行政审批效率,又节约了开支。在提高公共服务产品质量方面,大数据通过对公共服务产品数据和服务对象数据的挖掘、分析,提升公共服务产品供给的精准化、分层化、个性化;通过公共数据的开放和兼容,让公众参与到公共服务产品设计、提供和监督等各个环节,实现公共服务产品质量的提高。

如何成功实现数据治理

8. 数据治理8种方法

 顾名思义,顶层设计法就是先做一个数据治理顶层设计的规划,然后按照规划执行即可。
   做过咨询的彭友都知道,顶层设计、战略咨询都会根据战略目标拆解KPI,然后设立对应的支撑项目,并且根据优先级别进行排序,最后形成一个执行的路径。
   今年做什么,明年做什么,先做啥,后做啥,都规划的清清楚楚明明白白。
   之后就按图索骥就行。大致的逻辑就像下图一样:
                                           这样的好处很明显,先有面,再有线,最后是各个点状的项目,一点点的落实,效果自然没的说。
   但是这样的方案是非常非常奢侈的,因为这种方案见效慢,对组织的要求非常非常高。耐得住性子的组织很少,通常都要快速见效。
   基本上也只有一些政府单位和极少数的企业使用这种方式获得了数据治理的成功。
   02****技术推动法****   有敏感的朋友已经察觉出来了,这里叫“技术推动法”,而不是技术引领啥的。
   其实这种方法是绝大多数企业采用的数据治理方法。要说原因么,其实很简单,因为数据治理项目大多是在信息部门立项和实施的。
   既然是技术部门的事儿,那当然是技术部门推动了。讲真,我见过太多类似的事情,很少有效果很好的。
   《华为数据之道》里说要“业务主导”,话是真没错,但几乎没有做到的。原因很简单,屁股决定脑袋。业务负责人的主责主业是搞业务,根本不会野不可能要主动做数据治理的事情。
   技术驱动的套路没啥说的,就是针对数据问题,从技术层面进行解决。套路就是信息系统建设的逻辑,立个项,做调研,各种概要设计、详细设计,各种开发、集成、测试、部署,然后验收。
                                            效果么,一般吧。因为大多是问题导向,频繁“打补丁”式的建设。到最后往往就是各种爆炸,报表爆炸,指标爆炸,数据问题爆炸。 
   然后开始上指标系统、数据质量系统,一个补丁贴一个补丁,到最后谁都不敢动了。
   归根结底,就是因为数据的问题是一个系统性的,技术层面的原因只是其中之一而已。造成这种现象的原因就是业务参与度不够。
   在企业,谁挣钱,谁的话语权就大。业务自然是利润中心,而技术一般都是成本中心。纯让技术去推动数据治理,就像是让儿子督促爸爸戒烟一样不靠谱。
   03****应用牵引法****
   如果说技术推动是小孩推车,那么应用牵引则是壮牛拉车得心应手啊。有应用在前面牵引,后面的各种事情就显得非常自然。
   很多企业建数据体系都喜欢先弄一个大屏不是没有道理的。因为没有“用”的东西是没有价值的。
   大屏虽然用户比较单一,实用价值比较低,但毕竟还是有使用场景的,比单纯没有使用场景的纯技术开发建设强的不是一星半点。
                                           以数据应用为牵引,反向要求各链路的数据高质量供给,促进数据治理体系的建设,也是一个很好的选择。
   但是这种方式做数据治理,始终还是会陷入到片面、局部胜利的结果。有应用的地方,数据质量就能得到治理,没有应用的数据质量就没人管了。
   04****标准先行法****
   讲真,标准现行法的真实案例我只遇到过极少数的几个
   甲方在建业务系统的时候,把数据标准和业务系统绑定起来。所以他们在做信息化建设的时候,就已经把所有的数据标准都已经建立好了。
   我过去的时候,发现数据治理真的就这么简单,完完全全就是一个纯技术活儿,不用考虑人的因素。
   所有表都是按照统一的数据模型建设的,所有字段中的键值都在最新发布的数据字典里,甚至为某个“主数据”单独建了一套管理系统。
   我过去就是按照标书里的要求,建库建表,开发ETL,把数据收上来,然后整个规则引擎,按照配置结果,自动计算数据质量,定期出数据质量报告。
                                           其实为什么有那么多的数据质量问题?很简单,没有标准。没有标准就没有对错,自然就会乱到一塌糊涂!
   标准有了,就能确定什么是对的,什么是错的。后面的执行、监测和控制就有了依据,数据质量才有保障。
   05 监管驱动法 
   这个好理解,就是 强监管 。
   强监管通常是上级单位发政策,下级单位执行。而且做不好,还会有惩罚。
   银行、保险等强监管的行业就是跟着政策走的。不好好做数据治理,不按照EAST、1104的要求报送数据,罚单马上就来。
   不要想着随便糊弄,有本事就造全套的假数据,假的跟真的一样的那种,表间勾稽关系无误,各个维度都找不到破绽的那种。
   当然了,在企业内部其实也可以执行这种强监管的模式,但这需要“ 特权 ”。这个前提通常很难达到。
   有种取巧的方法,就是 贯标 。比如现在国家在推的DCMM贯标。
   贯标有一个特别的好处,就是把“贯标评级”列到组织年度目标中,这样就能在企业内部形成一个巨大的“ 势能 ”,形成强监管的态势。
   当我们把“ DCMM贯标 ”这根大棒挥舞起来, 自然比某个部门或者某几个部门推动数据治理强太多了。
   我们给某企业做DCMM贯标的时候,发现技术部门早就制定并颁发了数据安全的制度、流程。但是跟大多数企业一样,发完之后就成一纸空文了。业务觉得安全管控太费事了,压根就不执行。
   现在不一样了,技术部门借着“贯标”的理由,要求业务贯彻执行之前发布的制度和流程。业务虽然不情不愿,但是贯标是企业级目标,大家不得不做,也就 半推半就的推行起来 了。
                                           其实说到底,监管驱动法,就是在借势,借上级政策要求的势,借国家标准的势。用大势推动原本推不动的部门,疏通原本阻力大的流程。
   06****质量控制法****
   质量控制法其实是没有办法,也算是数据管理早期的雏形。因为说起来,数据管理理论体系往前追溯,其实是来 自于质量管理体系 。
   ISO9000(质量管理标准体系)、TQM(全面质量管理体系)、CMMI(能力成熟度集成模型,不只是软件哦!),都属于通用管理体系。
   ISO9000后发展出ISO8000(数据质量管理标准体系),TQM延展出TDQM(全面数据质量管理体系)。而CMMI协会也在2014年推出了DMM(企业数据管理能力成熟度模型)。这是数据领域质量管理体系。
   中国则参考CMMI等一众数据管理体系,在2018年正式发布数据管理成熟度评估模型(DCMM)国家标准,这是后话了。
   与其他行业情况一样,质量是绕不过去的关。不管是做业务的,还是搞技术的,相信各位彭友没少 为数据质量的问题挠头 。质量有问题,数据就没法用,甚至会影响错误决策。
   于是,迫于各种数据质量问题,企业内外部才认真对待,逐步解决数据质量问题。
                                           数据质量管控很明显,是问题导向。但是也不能头疼医头脚疼医脚,还得有个方法论。
   一般来说得有一个具体的 需求 ,包括数据质量管控目标、评估标准、判定规则等等。
   然后再以阶段性的目标和需求出发,从 事前防范 、 事中监控 、 事后核查 三方面进行质量管控,对各类数据问题予以解决。
   在解决的时候,一般会立一个数据质量改进的 专项 ,从技术、流程、制度、机制等层面进行 改进 ,定期开展 评估 ,对数据质量问题及解决办法建立 知识库 ,便于之后遇到类似问题能快速定位和解决。
   在这个过程中,以数据质量问题为 牵引 ,综合使用元数据、主数据、数据标准、制度规范等各类 手段 , “建”以致用 ,自然就不会出现用不起来的情况了。
   07****利益驱动法****
   利益驱动法其实也很有意思。这是我偷偷观察并总结的招,而且这招貌似特别好用。
   其实说白了,也没啥,就是一招:以 利益共享 为根本,以 “成就” 为导向,建立一个符合 部分核心人员****利益 的目标,然后推一下就行了。
   具体的操作手法有很多,比如成功案例法、合作致胜法、评奖法、出书法、会议法等,还有互联网企业保命大法“开源法”。
                                           08****项目建设法****
   这个很容易理解,就是弄个数据治理项目,慢慢建设。
   其实数据治理这件事情开展到现在,也已经形成了一整套非常完善的流程了,相关产品能力也已经非常全面了。
   我之前参与的项目,基本上覆盖了数据全流程,什么数据咨询、数据采集、共享交换、数仓、数据标准、元数据、主数据、数据质量、数据可视化、数据分析等等。
   目前效果比较好的,是咨询和实施结合起来做。
   做个咨询,对数据现状进行盘点,全面掌握企业未来的战略和目前的现状,然后根据数据管理体系,做出差距分析,拟定具体执行的工作任务,根据时间进度安排,拆解并规划项目。
                                           然后在实施项目中,先穿透一个场景,再慢慢从纵深和横向两个层面不断扩大战果,建元数据、主数据、指标体系、数据质量管理体系等等,不断夯实数据基建,为前端数据应用提供高质量数据供给。
最新文章
热门文章
推荐阅读