从概念到实战：关于大数据治理的那些事儿，你了解多少？

政府明确要求要加快培育数据要素市场，推进数据开放共享、提升社会数据资源价值、加强数据资源整合和安全保护。

不仅政府在推动大数据的发展，各行各业的企业也在以数据为核心，驱动业务发展。在大数据以产业形态蓬勃发展过程中，数据治理成为重中之重，是将数据价值转化为实际业务价值的重要手段。

而从市场服务侧来看，除了传统数据管理服务提供商，一些互联网巨头也开始将大数据作为重要战略发展方向，并且有越来越多的实际落地场景。

从去年开始，随着大模型技术的出现，数据治理也有了新的变化和外延，传统数据治理操作复杂、使用技术门槛高、系统友好度差、功能协同能力差、技术架构扩展性弱等弊端，将找到新的思路和解决方案。

在国外有一个数据管理协会组织，叫做DAMA International国际数据管理协会，这个协会写了一本书叫做DMBOK数据管理知识体系指南，核心内容是DMBOK知识领域，主要围绕数据治理这个主线，从数据架构、数据建模设计、存储操作、数据安全、集成操作、文件、主数据、数据仓库、元数据、数据质量这些维度综合介绍数据管理知识体系。围绕这个体系有三个认证：一个是，CDMP（Certified for Data Management Professional），这是国际协会的一个组织，推出的一个国际认证。另外两个认证是：CDGA（Certified Data Governance Associate）和CDGP（Certified Data Governance Professional），CDGA是初级版、CDGP是高级版本。值得一提的是，CDMP是国际认证，由DAMA国际协会运营；CDGA和CDGP是国内认证，由DAMA中国国际数据管理协会管理。

国内也有一个关于数据治理的标准，叫做DCMM框架模型，全称叫做数据管理的能力程度成熟度评估模型，主要是针对企业认证的，从8个核心能力域、28个能力项以及多条标准来进行全方位的评估，但是国内专门去做这个认证的企业非常少，我们只需要做到基本了解就可以了。

从上述各种认证来看，数据管理应该是一整套知识体系，但是不管是DAMA 还是DCMM框，都是数据管理的一个框架模型。那么数据治理和数据管理是一回事吗？

其实，不管是数据治理，还是数据管理，包括数据中台、数据资产管理、数据质量管理等，概念都差不多，基本大同小异。最核心的内容，无非是从结构化数据、非结构化数据、半结构化数据、互联网数据、各个业务系统的数据等不同类型的数据源，经过治理和服务调用，最终应用于大屏、用户画像、数字自然人等场景。

说白了，数据治理没有统一的标准答案，我们可以把从数据源到数据应用之间的那一部分能力，统称为数据治理。最终目的是，让多元数据变成数据资产，更好地去支撑数据应用。

以智慧大屏为例，领导驾驶舱大屏一般统计汇总的是指标数据。而这些指标加工、数据的处理，需要集合多种数据源的数据，汇聚治理之后才能得出来，一般涉及几个到几十个指标，需要实现多维度分析。现在很多智慧城市的智慧中心，也是这种大屏展示方式，与城市治理相关的所有主题和指标，包括人口、经济、旅游、工业、环保、应急指挥等，大家可以根据自己的关注点进行突出展示指标数据。

虽然，数据治理看上去是一个“大箩筐”，涉及组织、制度、流程、工具，涵盖前端事务处理系统、后端业务数据库到终端的数据分析，是一个闭环的一整套体系。但其实最终都是围绕具体的业务场景，通过具体的方式方法去实现落地。

通常来看，数据治理的主要手段，不外乎以下几种：

1）将数据分类，进行标准化操作。比如：将数据按照不同的属性进行划分，便于后续的管理和使用。另外，制定统一的数据命名规范、格式规范和编码规范，确保数据的一致性和可比性。

2）数据质量管理。包括数据清洗、数据校验和数据监控等环节。数据清洗，是指通过数据去重、数据纠错和数据填充等手段，消除数据中的错误和冗余；数据校验，对数据进行验证，检查数据是否符合预期的规范和要求；数据监控，对数据的变化和使用进行监控，及时发现和修复数据质量问题。

3）数据安全与隐私保护。随着大数据环境的变化以及智能化水平的升级，关于数据隐私、保护和治理的问题，成为业界关注重点，这需要企业在大数据治理过程中，要有内嵌于设计本身的安全能力。比如：数据加密能力，对数据进行加密处理，使其在传输和存储过程中不易被窃取和篡改；访问控制能力，对数据的访问进行授权和限制，确保只有合法的用户能够访问数据；审计跟踪能力，对数据的使用和修改进行记录和监控，以便追溯和审计。另外，还要注意合理利用数据资源，降低数据管理的成本和风险，同时确保数据的合规性和合法性。

4）数据生命周期管理。值得一提的是，数据治理不是原始数据简单的转换过程，需要对数据从生成到销毁的整个过程进行管理和控制，包括数据的收集、存储、处理、使用和归档等阶段。

从实现方式来看，数据治理从规划、设计到支撑实际业务，也已经有诸多成熟的方法。例如：

1）顶层设计法。先进行数据治理顶层设计的规划，然后按照规划执行。根据战略目标拆解KPI，设立对应的支撑项目，并按优先级别排序。这种方法的优点是逻辑清晰，效果显著；但缺点也非常突出，那就是见效慢，对组织要求高。

2）技术推动法。绝大多数企业采用的方式，主要由技术部门推动，流程包括立项、调研、设计、开发、测试、部署和验收等。技术推动法的优点是，直接针对技术问题；缺点是，效果一般，易产生“打补丁”式建设。

在实际数据治理过程中，有很多成功经验，但也容易走弯路。首当其中的问题是，客户需求不明确，比如：做多大的范围、先做什么，后做什么，怎么做？没考虑清楚，很难找到切入点！

这其实不只是数据治理独有的难点，也是很多技术开发类项目共同存在的一个特性。很多时候，并不是业务需求不明确，而是需求比较笼统，模糊不清。所以，数据治理和所有项目一样，首先要规划好路线，不能一上来就开始搭平台。

大而全的数据治理要谨慎，以防入坑。从整体效果与效益来讲，我们通常从覆盖整个业务体系和技术栈的角度去做大数据治理， 希望不管是数据产生、数据加工、数据的应用，全部被纳入到数据治理范围的体系中来。

尽管，从逻辑上来讲，数据治理概念是一个全盘过程，但在一个项目里全部做完，是不可能的。需要分步、分阶段去实施。要想找到切入口，尽快落地，需要从核心系统，从重要的数据开始做起。

具体怎么做?很多人迷信于数据工具，认为只要花钱买工具，就能万事大吉。其实，功能做得越多，后期上线越复杂、越难用。整体架构上，要简化思维，同时一定要把组织架构、制度流程、成熟工具和实施运维深度绑定在一起，做到责任到人，才能确保万无一失。

在大数据治理过程中，肯定会涉及数据标准问题。相信，很多企业都有数据治理标准，但这些标准都没有落地。一般来说，金融行业数据标准执行力度好，普通企业在标准上就差一些。这要区分企业的业务性质，有刚性需求的企业，标准一定要落地；而有些企业，数据标准一定要做，但要做到数据的标准化，则需要分情况去实施。比如：要区分遗留系统和新建系统，分不同的标准和策略去进行落地。

大数据治理是数字化时代的重要课题之一。通过建立完善的数据治理体系和机制，可以提高数据质量、保障数据安全、促进数据共享和协同，从而推动企业数智化升级的深入发展。未来，随着技术的不断进步和应用的不断拓展，大数据治理将迎来更加广阔的发展前景。