DBA 开始涉及数据治理,修炼 皇者之境
❝开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共3400人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9 + 10 + 11)(1 2 3 4 5 6 7群均已爆满,开9群近270,开10群PolarDB专业学习群100+, 准备开启11群)
数据治理,今天怎么开始说数据治理了,这个是我接到的最近要开展的工作,不过我也挺高兴,终于可以接触到数据治理的工作了,这算是DBA登峰造极的工作项目了,
所以本期来说说数据治理到底是什么,很多人将数据治理停留在一个名字,或纯理论的部分。数据治理本身是一个企业,或者一个团体在业务发展中到了一定阶段,业务成熟后的对现有数据的在利用在使用,或保证数据安全的一种具体化的工作。
数据治理中,主要有三个大的核心模块
1 有什么
这是第一个问题,数据治理中需要获知我们有什么核心的数据,可以帮助企业的管理者和数据的使用者,将数据进行数据资产可视化。这个部分的关键是获得信息的完整性和正确性。很多数据治理中的第一步就倒了,主要的原因就是无法获得有效的信息,和变动的信息。
一些单位在数据治理上,是既想要又想要,又要出成果,又不给人。在这样的状态下,必须有工具助力这个工作。同时需要注意工具的灵活性,在数据没有进行治理过的企业,数据表的设计是不会有治理的意识,这就导致字段的名字非常的随意,给工具的治理带来了非常大的问题,导致信息收集的不全。
我们要把这些数据当成资产的概念,而不是他们就是数据。
2 管什么,数据治理要管理什么
初级管理中,我们会涉及到几个部分
1 数据的标准制定,在一个企业里面各个业务模块中的是有通用字段的,通用字段的主要的意义在于这个字段是各个业务部门流转时需要使用的,很有可能在A部门一个字段varchar20够了,而在另一个部门这个字段要进行更新,更新的时候他们业务的部门要求是varchar40才能处理完毕,这就导致数据治理中的以一个问题,数据孤岛的问题。
2 数据字段的产生和结束的流程和生命周期的问题,一个表一个字段在设计之初是从哪里来的,到哪里去,经过几个部门的使用,这都是需要管理的,在一个复杂的业务中,关键数据不经过跟踪,很可能导致数据在中间环节出现问题后,导致下游的业务报错或数据出错。
3 数据的版本问题,核心数据的更新会导致其他使用数据的部分造成问题,什么时候变化,变化了什么,方便整体企业了解相关数据的变动对自身的业务的影响
3 建立通知渠道和管控机制
在我们进行了简单的数据治理后,我们需要一个消息的发布渠道,通过消息的发布渠道,来完善数据治理的成效。不能让这个系统孤立,而是让这个系统为各个业务部门服务,才能获得各个业务部门的支持和信息的给付。
这就是我一个初级的数据库治理的想法,欢迎有相关的工作经验的同学一起来交流,DBA初级的工作,被替代是自然,只有不断冲击向上的路径,尽量让AI 无法触及我们的工作,才是高级的DBA 架构 工作的努力的方向。
DBA 的修炼层次练气期(入门期)
刚入行,主要靠记忆和手脚勤快,写脚本、跑命令、查日志,能在师傅的带领下把数据库跑起来,处理日常小问题。这个阶段的核心是“存活”和“执行”,练就一口气,能跟得上业务节奏。筑基期(技术打磨期)
开始独立思考,深入数据库原理,研究存储、索引、事务、锁机制、复制、备份恢复,能独立处理系统的性能问题。筑基完成后,数据库“技术功底”打牢,属于能真刀真枪硬刚的“关公”型人才。结丹期(体系化掌握期)
不再只是解决单点问题,而是有系统化的优化能力,能设计标准化流程、规范,知道在不同场景下如何选型和调优。同时,能跨越多个数据库产品(Oracle、PostgreSQL、MySQL、MongoDB 等),把技术和业务结合起来。元婴期(业务贴合期)
这里就是向“云数据库负责人”靠拢的阶段了。开始懂得用“谋略”代替“武力”,不仅仅关注数据库的稳定,还要关注 业务价值 和 成本优化。能说服领导替换数据库、迁移云上、用新技术替代旧方案,为公司省钱、提速,影响力直达 CEO 层。化神期(沟通与战略期)
此时角色已经从“技术专家”转向“沟通与协调大师”。你不仅要和研发、运维沟通,还要和厂商、云平台谈判,甚至直接影响产品路线。这里锻炼的是 话术、文字、判断与协调能力,真正成为能驱动组织前进的人。飞升期(行业视野期)
不局限于某一家公司,而是放眼整个行业。能看到数据库发展的大趋势:云原生、Serverless、HTAP、AI 结合等。你能站在全局视角,判断哪些新技术值得引入,哪些 hype 只是概念,成为企业的“技术军师”。皇者(定鼎一方)
这是修炼的最高层次,不仅仅是“用数据库”,而是能 定义数据库的使用方式。在公司或行业内制定标准,引领一套数据库治理、架构体系,甚至参与产品设计。这个阶段的你,不是 DBA,而是 数据库战略家。
跟我学OceanBase4.0 --阅读白皮书 (OB分布式优化哪里了提高了速度)
跟我学OceanBase4.0 --阅读白皮书 (4.0优化的核心点是什么)
跟我学OceanBase4.0 --阅读白皮书 (0.5-4.0的架构与之前架构特点)
跟我学OceanBase4.0 --阅读白皮书 (旧的概念害死人呀,更新知识和理念)
“合体吧兄弟们!”——从浪浪山小妖怪看OceanBase国产芯片优化《OceanBase “重如尘埃”之歌》
MongoDB “升级项目” 大型连续剧(4)-- 与开发和架构沟通与扫尾
MongoDB “升级项目” 大型连续剧(3)-- 自动校对代码与注意事项
MongoDB “升级项目” 大型连续剧(2)-- 到底谁是"der"
MongoDB “升级项目” 大型连续剧(1)-- 可“生”可不升
MongoDB 大俗大雅,上来问分片真三俗 -- 4 分什么分
MongoDB 大俗大雅,高端知识讲“庸俗” --3 奇葩数据更新方法
MongoDB 大俗大雅,高端的知识讲“通俗” -- 2 嵌套和引用
MongoDB 大俗大雅,高端的知识讲“低俗” -- 1 什么叫多模
MongoDB 合作考试报销活动 贴附属,MongoDB基础知识速通
MongoDB 使用网上妙招,直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)
MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模
MongoDB 麻烦专业点,不懂可以问,别这么用行吗 ! --TTL
免费PolarDB云原生课程,听课“争”礼品,重塑云上知识,提高专业能力
非“厂商广告”的PolarDB课程:用户共创的新式学习范本--7位同学获奖PolarDB学习之星
“当复杂的SQL不再需要特别的优化”,邪修研究PolarDB for PG 列式索引加速复杂SQL运行
“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!
POLARDB 添加字段 “卡” 住---这锅Polar不背
PolarDB 版本差异分析--外人不知道的秘密(谁是绵羊,谁是怪兽)
PolarDB 答题拿-- 飞刀总的书、同款卫衣、T恤,来自杭州的Package(活动结束了)
PolarDB for MySQL 三大核心之一POLARFS 今天扒开它--- 嘛是火
PostgreSQL 新版本就一定好--由培训现象让我做的实验
说我PG Freezing Boom 讲的一般的那个同学,专帖给你,看看这次可满意
PostgreSQL 无服务 Neon and Aurora 新技术下的新经济模式 (翻译)
“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!
全世界都在“搞” PostgreSQL ,从Oracle 得到一个“馊主意”开始
PostgreSQL 加索引系统OOM 怨我了--- 不怨你怨谁
PostgreSQL “我怎么就连个数据库都不会建?” --- 你还真不会!
PostgreSQL 稳定性平台 PG中文社区大会--杭州来去匆匆
PostgreSQL 分组查询可以不进行全表扫描吗?速度提高上千倍?
POSTGRESQL --Austindatabaes 历年文章整理
PostgreSQL 查询语句开发写不好是必然,不是PG的锅
这个 PostgreSQL 让我有资本找老板要 鸡腿 鸭腿 !!
MySQL相关文章
那个MySQL大事务比你稳定,主从延迟低,为什么? Look my eyes! 因为宋利兵宋老师
数据库优化系列
微软动手了,联合OpenAI + Azure 云争夺AI服务市场
HyBrid Search 实现价值落地,从真实企业的需求角度分析 !不只谈技术!
从“小偷”开始,不会从“强盗”结束 -- IvorySQL 2025 PostgreSQL 生态大会
被骂后的文字--技术人不脱离思维困局,终局是个 “死” ? ! ......
个群2025上半年总结,OB、PolarDB, DBdoctor、爱可生、pigsty、osyun、工作岗位等
从MySQL不行了,到乙方DBA 给狗,狗都不干? 我干呀!
SQL SERVER 2025发布了, China幸亏有信创!
删除数据“八扇屏” 之 锦门英豪 --我去-BigData!
写了3750万字的我,在2000字的OB白皮书上了一课--记 《OceanBase 社区版在泛互场景的应用案例研究》