DBA 从“修电脑的” 到 上演一套 “数据治理” 大戏 --- 维护DBA生存空间,体现个体价值
❝开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共3300人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9)(1 2 3 4 5 6 7群均已爆满,开8群近400 9群 200+,开10群PolarDB专业学习群100+)
前几周写了一篇关于DBA开始设计数据库治理的部分文字,这篇是那篇的后续,怎么开始干这个工作,我们继续深入实际的数据治理到底要干什么,怎么才能接地气。
开始这里我们假设普通的DBA的工作思路是,我维护好数据库实例即可,同时进行数据库优化SQL优化,数据的补丁,账号分配管理,以及业务上线的支持,监控的搭建,以及一些智能运维工具的应用即可。
但随着工作集成化的程度越来越高,尤其引入到云,云原生数据库,AI智能辅助后,DBA的工作的一些内容有所改变,如果还是之前一些传统的工作方式,必然会被管理层摒弃和提出质疑。
这也是前两天那篇开发人员被AI替换中,一个微软自身软件工程师所提出的,创新。你的工作要上价值,上段位。大白话,干活要开始动脑子,要牵扯更多人和你的工作有关系,你要绑定更多的人,OK。
这里提出一个问题,你管理的数据库中,你对你的数据库里面的存储的数据库的业务逻辑工作,以及业务的在整体项目中的重要性有多少了解。我相信大多数运维类DBA的回答是,这和我的工作有关系吗?
当然,这当然和你有关系,这也是将DBA和低级运维直接割裂开来的关键。我们来捋一捋
1 冗余数据的产生和清理的规则
2 数据重要性的评定和数据库评级的工作
3 针对数据库评级的工作展开的,备份的标准化和数据恢复的多级化
4 针对多个项目组不同业务中相同数据的,数据类型的匹配和标准化。
5 在你熟知这些关键数据的作用后,可以参与更多业务盲点中的,新项目建立时的数据汇聚 逻辑工作
最终你会说清楚,整体你管理数据库里面的数据,在公司可以起到什么作用,且怎么进行更多的利用和整合。此时你才是一个真正管理数据的人,而不是一个只会装机的装机侠。
你才能给你的工作,上价值,上高度,提升你的工作的重要性,你才能和更高维度的人,打上关系。
我知道说到这里,很多人对于这个部分是,不明白,不理解,也不想理解,认为这一切都距离自己很遥远。
下面我将开始捋顺我们的工作步骤,让领导对你刮目相看。
一 盘点数据资产,掌握你的数据库都有什么
你要捋顺你有多少个业务库,业务库中有多少表,那些是核心业务库,那些是临时的,且不重要的。
数据的存储规模和上涨趋势,通过数据的增量来判断业务的发展和热度
每个库对应那个项目,那些人,那些开发的团队,那些是关键的业务。
结论:你维护数据库就会有重点,你马上就可以给你找来工作,那些表是可以清理,归档和重点维护的。
我这个这个部分起名字叫,盘清家底
二 上分类,分层
在你有了这些数据后,你就能清晰的知道,那些数据库的维护重点是什么,并且给这些数据库打上标签,这是为你后续,继续上价值做准备。
1 分级:按照数据的重要性,安全等级,访问频率将数据划分为核心,重要,普通,你的分类的方式要围绕业务的重要性和数据库受损后的业务影响程度来进行制定。
2 那些库是跨项目工作,比如有一类数据库他对于本部门并不重要,但对于全公司很重要,这就是信息分享库类型,A项目将B,C ,D项目的需要数据集中起来,组成一个BCD库,这个库是BCD项目的上游数据,对于A项目他不重要,DOWN掉也OK ,但对于BCD项目,那他DOWN掉他们的项目就死掉了,这样的库就需要重点注意数据的访问方面的特性。
3 分层:那些数据库是后期数据聚合中,有用数据库的提供核心,数据是实时的,还是非实时的。
三 标准化与规则化的建立
1 冗余数据的清理,数据留存的时间,数据整体的生命周期应该有多长。
2 核心库备份的频率,方式是什么,备份和数据库恢复的等级分为几个档次
3 各个项目中的通用字段的标准化,比如订单编号,A项目是INT B项目是 BIGINT,应该不应该统一。用户名,电话号码,税务金额的小数点,各种项目通用的数值字段的长度定义,这都是标准,都应该从数据库 DBA里面拿出来。
这一步往往是 DBA 最容易上手,也是最容易出成绩的地方。你做了之后,别人就能直观看到“数据越来越干净、结构越来越统一、问题越来越好排查”,这就是价值体现。
四 从运维,走上前台与架构和开发打成一片
你熟悉了业务数据的分布和价值之后,你可以参与新的项目中得表结构设计标准化,减少其他项重复造轮子,在跨业务,提供标准的数据接口标准,减少ETL同步数据的混乱,统一数据的留存,归档,访问的策略,推动业务流程更规范。
五 开发系统,做数据治理的动态跟踪与管理,继续提高自己工作层次与管理层贴近
当然这些事情说起来简单,做起来难,需要从一个 DBA里面“修电脑”的,到管理数据虚拟资产的维度不断提高,这也是你可以和管理层,业务部门对话的“底气”与你自己工作价值的体现。
和架构师沟通那种“一坨”的系统,推荐只能是OceanBase,Why ?
OceanBase Hybrid search 能力测试,平换MySQL的好选择
写了3750万字的我,在2000字的OB白皮书上了一课--记 《OceanBase 社区版在泛互场景的应用案例研究
OceanBase 6大学习法--OBCA视频学习总结第六章
OceanBase 6大学习法--OBCA视频学习总结第五章--索引与表设计
OceanBase 6大学习法--OBCA视频学习总结第五章--开发与库表设计
OceanBase 6大学习法--OBCA视频学习总结第四章 --数据库安装
OceanBase 6大学习法--OBCA视频学习总结第三章--数据库引擎
OceanBase 架构学习--OB上手视频学习总结第二章 (OBCA)
OceanBase 6大学习法--OB上手视频学习总结第一章
没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛
跟我学OceanBase4.0 --阅读白皮书 (OB分布式优化哪里了提高了速度)
跟我学OceanBase4.0 --阅读白皮书 (4.0优化的核心点是什么)
跟我学OceanBase4.0 --阅读白皮书 (0.5-4.0的架构与之前架构特点)
跟我学OceanBase4.0 --阅读白皮书 (旧的概念害死人呀,更新知识和理念)
OceanBase 学习记录-- 建立MySQL租户,像用MySQL一样使用OB
“合体吧兄弟们!”——从浪浪山小妖怪看OceanBase国产芯片优化《OceanBase “重如尘埃”之歌》
MongoDB “升级项目” 大型连续剧(3)-- 自动校对代码与注意事项
MongoDB “升级项目” 大型连续剧(2)-- 到底谁是"der"
MongoDB “升级项目” 大型连续剧(1)-- 可“生”可不升
MongoDB 大俗大雅,上来问分片真三俗 -- 4 分什么分
MongoDB 大俗大雅,高端知识讲“庸俗” --3 奇葩数据更新方法
MongoDB 大俗大雅,高端的知识讲“通俗” -- 2 嵌套和引用
MongoDB 大俗大雅,高端的知识讲“低俗” -- 1 什么叫多模
MongoDB 合作考试报销活动 贴附属,MongoDB基础知识速通
MongoDB 使用网上妙招,直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)
MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模
MongoDB 麻烦专业点,不懂可以问,别这么用行吗 ! --TTL
免费PolarDB云原生课程,听课“争”礼品,重塑云上知识,提高专业能力
非“厂商广告”的PolarDB课程:用户共创的新式学习范本--7位同学获奖PolarDB学习之星
“当复杂的SQL不再需要特别的优化”,邪修研究PolarDB for PG 列式索引加速复杂SQL运行
“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!
POLARDB 添加字段 “卡” 住---这锅Polar不背
PolarDB 版本差异分析--外人不知道的秘密(谁是绵羊,谁是怪兽)
PolarDB 答题拿-- 飞刀总的书、同款卫衣、T恤,来自杭州的Package(活动结束了)
PolarDB for MySQL 三大核心之一POLARFS 今天扒开它--- 嘛是火
PostgreSQL 新版本就一定好--由培训现象让我做的实验
说我PG Freezing Boom 讲的一般的那个同学,专帖给你,看看这次可满意
PostgreSQL 无服务 Neon and Aurora 新技术下的新经济模式 (翻译)
“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!
全世界都在“搞” PostgreSQL ,从Oracle 得到一个“馊主意”开始
PostgreSQL 加索引系统OOM 怨我了--- 不怨你怨谁
PostgreSQL “我怎么就连个数据库都不会建?” --- 你还真不会!
PostgreSQL 稳定性平台 PG中文社区大会--杭州来去匆匆
PostgreSQL 分组查询可以不进行全表扫描吗?速度提高上千倍?
POSTGRESQL --Austindatabaes 历年文章整理
PostgreSQL 查询语句开发写不好是必然,不是PG的锅
这个 PostgreSQL 让我有资本找老板要 鸡腿 鸭腿 !!
MySQL相关文章
一篇为MySQL用户,分析版本核心差异的文章--8.028-8.4的差异
那个MySQL大事务比你稳定,主从延迟低,为什么? Look my eyes! 因为宋利兵宋老师
数据库优化系列
微软动手了,联合OpenAI + Azure 云争夺AI服务市场
HyBrid Search 实现价值落地,从真实企业的需求角度分析 !不只谈技术!
从“小偷”开始,不会从“强盗”结束 -- IvorySQL 2025 PostgreSQL 生态大会
被骂后的文字--技术人不脱离思维困局,终局是个 “死” ? ! ......
个群2025上半年总结,OB、PolarDB, DBdoctor、爱可生、pigsty、osyun、工作岗位等
从MySQL不行了,到乙方DBA 给狗,狗都不干? 我干呀!
SQL SERVER 2025发布了, China幸亏有信创!
删除数据“八扇屏” 之 锦门英豪 --我去-BigData!
写了3750万字的我,在2000字的OB白皮书上了一课--记 《OceanBase 社区版在泛互场景的应用案例研究》