“一顿海鲜引发”(1):DBA、架构师与数据库运维工具的爱恨情仇
❝开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共3300人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9)(1 2 3 4 5 6 7群均已爆满,开8群近400 9群 200+,开10群PolarDB专业学习群100+)
最近一个前同事联系我,问我有没有好的DBA可以推荐一下,我说你们金融机构还找不到人,分分钟一个招聘那不得挤破脑袋。前同事回我一句,好的不好招,现在着急,有没有。我说你找XXX不就行了,问问他。前同事回我,他要的太高,package不够他的要求。你还有别的人推荐吗?
这一时到也是问住我了,现在好的DBA大多不动地方,世道不好,有个还不错的地方就不愿意动了。一般的就他们公司那个挑挑拣拣的,又是学历,又是年龄,又是工作经验,我往哪给你找去,一个人干8个人的活,还一堆领导抓考勤,开各种垃圾会,就是是个名头金融机构,不过说回来他们为什么最近招人,我到时好奇?
当时脑子不知道是怎么回事,我就随口说了一句,你们现在用什么工具来做一些DBA的日常工作,可算惹祸了。他说以前都是他们DBA自己写的程序,现在有一部分功能不是太好用,还等着优化呢,这不最近企业响应国家号召,企业走出去,境外业务开展了,但人没有随着业务量的上升而同步增加,现在他们金融机构的DBA都火大,工资没涨,活更多了。
“其实你们应该买一套数据库运维工具,来管理你们的数据库”,我敷衍的问他,想快速结束这个话题,我手里还一堆活呢。
然后就出事了,他一个架构师非要我给他推荐数据库运维管理软件,他说他也不懂,不过这活可没有白干的,说请我吃海鲜,行吧冲着海鲜拼了,给他找个靠谱的数据库运维软件,顺便也了解一下当前数据库运维软件的行情。
从一个DBA的角度来分析,大部分日常工作和问题解决都围绕着SQL,SQL的运行效率,60%的数据库问题都发生在日常的SQL运行中,这里包含什么问题
1 开发撰写语句并不能完全遵守,SQL撰写规范的问题,很多情况,规范好订立,但执行很困难。
2 SQL语句在运行一段时间后,随着数据量的上升,性能日益变差的问题,不定那天就容易出事。
3 SQL语句的改写和缺失索引的补充的问题
4 紧急情况下,快速分析和解决SQL问题,这里提到的就是快速分析的数据库定位问题的能力。
总之,DBA的大部分日常运维问题,和SQL有关的多,SQL的审计,SQL的性能解决,以及数据库日常的监控和SQL语句的分析,锁分析等等,那就照着解决这个问题的方式来找软件。所幸我想起来前些日子参加了DTCC大会,其中有一个专门做这方面的工具的厂家。然后我就把会上这个厂家的PPT发给前同事,后面就等着他请我吃海鲜,心里想着去哪里宰他。
当天晚上他就打来电话,我以为是约我吃饭,这家伙上来就质问我。
架构师前同事:老刘你这不够揍,就给我一个PPT就完了,我要的是一个经验丰富的DBA,不是一个破软件。
我:不是PPT上不是写的很清楚吗? 怎么不行了?什么叫破软件
架构师前同事:不是,我要解决问题的,能出事给我找问题的,一个软件能干这事情吗?
我:怎么不能了,19页,这不有吗?出了问题,一分钟能给你进行诊断
架构师前同事:一分钟给我诊断,我自己写软件就能诊断,我用他。
我: 你自己诊断,我请问你,如果是死锁的问题产生的卡顿,如果是刚上线,产生的少量blocked,如果是这些综合问题,产生的数据库性能下降,导致的原本不是慢查询的SQL,变成慢SQL,这都是写个软件就能解决了。那你还需要DBA ,你自己干得了。
架构师前同事:有那么复杂吗?不就一个慢SQL吗?
我:你要这样说怎么就的好好聊1000块钱的,我请问你,你系统一个SQL平均以每6秒的速度,运行一次会产生系统的资源告警吗?你没有告警你会发现潜在的问题的,今天一个6秒,明天一个4秒,业务多了访问多了,6秒某天变成60秒了,请问这是为什么?还是那个SQL的问题????
架构师前同事:那你说为什么? 不就破SQL,有什么大不了,不行我们就拿出来,用JAVA跑。
我:你呀,骗鬼呢,今天一个6秒SQL,换成程序,明天一个4秒换成程序,你干脆用SQLite 多好,用什么数据库。
架构师前同事:那你说我怎么辨别问题?
我:海鲜请定了对吧,OK,我来教教你。 综合问题综合分析,你出问题的时候的 CPU,内存,磁盘IO,以及链接数这些数据你是不是的汇总,放到一起,然后定位到你发生问题一个范围比如你 10点发生的问题,你去看你的监控上9:50 到 10:10分之间的一个性能曲线,你10点的问题未必就是10点开始,很可能在之前一直积累,比如一个慢SQL在9:50开始的,你10点正好业务高峰期,然后性能累加,导致你CPU性能消耗高。
架构师前同事:所以呢?
我:所以解决数据库问题,不是看单个点的问题,你要从你发生的问题点,往前找根因,所以你必须得有一个可以查看历史数据库性能分析的监控软件OK ,还写个软件。
架构师前同事:那你给我举一个例子,说明你牛逼
我:来看下面这个图,你能看出点什么,你就给我看这张图,我问你数据库CPU 为嘛高?
架构师前同事:我怎么知道?
我:人家不告诉你了一分钟解决问题,看CPU异常,把鼠标放到异常上,下面就会出现在这期间运行的SQL。你勾选这个SQL然后直接点击SQL,就出现下面的的根因分析了。
架构师前同事:行呀,这这么快就分析出问题了。
我:还用我分析,你往下点,发生问题的根因都写出来了。
架构师前同事:这么就分析出来原因了?什么问题?
我:突发的高频次的SQL访问导致,很多情况下并不是SQL本身慢,或者是慢SQL,而是你的并发太高导致,而这部分不少情况下,分析会耗费时间,在发现问题同时,还给出了INDEX的索引优化建议,通过添加索引可以提高高并发时的SQL TPS,另外SQL审核在整体的软件开发中也很重要,这点你应该比我清楚对吧。
架构师前同事:SQL审核,不就是看看SQL写的业务逻辑别有问题,该加索引加索引不就完了。
我:2000快了,在和你唠1000块的,看下面这个图,你们公司不应该有上线规范吗?执行DDL,DML语句不应该有审核吗?总不能开发自己连生产数据库吧,一些SQL在测试的时候就发现问题,在测试的时候就应该进行先期的优化,OK。
架构师前同事:不是你说的这个软件,这些功能都有,能发现数据库运行问题,给建议,还能审核SQL,规范开发。
我:你也太小看人家这软件,人家还能AI改你那些糟糕的SQL。不给你PPT了吗?38页PPT你自己好好看看,别老问我。
架构师前同事:这个可以,还能帮我们捋顺一下数据库规范,规范业务程序开发,不过现在这厂商吹的好,行不行谁知道。你给我他们的网址,我看看。
前架构师同事:好,我让我们运维给装上试试,要行我就请你吃海鲜。
我:哪里?
前架构师同事:我们楼底下,新开的海鲜小馆。
我:那我请你吧,别你们楼底下狗食馆了。
前架构师同事:那吃嘛?
我:吃,你个大塞梨。
和架构师沟通那种“一坨”的系统,推荐只能是OceanBase,Why ?
OceanBase Hybrid search 能力测试,平换MySQL的好选择
写了3750万字的我,在2000字的OB白皮书上了一课--记 《OceanBase 社区版在泛互场景的应用案例研究
OceanBase 6大学习法--OBCA视频学习总结第六章
OceanBase 6大学习法--OBCA视频学习总结第五章--索引与表设计
OceanBase 6大学习法--OBCA视频学习总结第五章--开发与库表设计
OceanBase 6大学习法--OBCA视频学习总结第四章 --数据库安装
OceanBase 6大学习法--OBCA视频学习总结第三章--数据库引擎
OceanBase 架构学习--OB上手视频学习总结第二章 (OBCA)
OceanBase 6大学习法--OB上手视频学习总结第一章
没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛
跟我学OceanBase4.0 --阅读白皮书 (OB分布式优化哪里了提高了速度)
跟我学OceanBase4.0 --阅读白皮书 (4.0优化的核心点是什么)
跟我学OceanBase4.0 --阅读白皮书 (0.5-4.0的架构与之前架构特点)
跟我学OceanBase4.0 --阅读白皮书 (旧的概念害死人呀,更新知识和理念)
OceanBase 学习记录-- 建立MySQL租户,像用MySQL一样使用OB
“合体吧兄弟们!”——从浪浪山小妖怪看OceanBase国产芯片优化《OceanBase “重如尘埃”之歌》
MongoDB “升级项目” 大型连续剧(3)-- 自动校对代码与注意事项
MongoDB “升级项目” 大型连续剧(2)-- 到底谁是"der"
MongoDB “升级项目” 大型连续剧(1)-- 可“生”可不升
MongoDB 大俗大雅,上来问分片真三俗 -- 4 分什么分
MongoDB 大俗大雅,高端知识讲“庸俗” --3 奇葩数据更新方法
MongoDB 大俗大雅,高端的知识讲“通俗” -- 2 嵌套和引用
MongoDB 大俗大雅,高端的知识讲“低俗” -- 1 什么叫多模
MongoDB 合作考试报销活动 贴附属,MongoDB基础知识速通
MongoDB 使用网上妙招,直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)
MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模
MongoDB 麻烦专业点,不懂可以问,别这么用行吗 ! --TTL
免费PolarDB云原生课程,听课“争”礼品,重塑云上知识,提高专业能力
非“厂商广告”的PolarDB课程:用户共创的新式学习范本--7位同学获奖PolarDB学习之星
“当复杂的SQL不再需要特别的优化”,邪修研究PolarDB for PG 列式索引加速复杂SQL运行
“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!
POLARDB 添加字段 “卡” 住---这锅Polar不背
PolarDB 版本差异分析--外人不知道的秘密(谁是绵羊,谁是怪兽)
PolarDB 答题拿-- 飞刀总的书、同款卫衣、T恤,来自杭州的Package(活动结束了)
PolarDB for MySQL 三大核心之一POLARFS 今天扒开它--- 嘛是火
PostgreSQL 新版本就一定好--由培训现象让我做的实验
说我PG Freezing Boom 讲的一般的那个同学,专帖给你,看看这次可满意
PostgreSQL 无服务 Neon and Aurora 新技术下的新经济模式 (翻译)
“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!
全世界都在“搞” PostgreSQL ,从Oracle 得到一个“馊主意”开始
PostgreSQL 加索引系统OOM 怨我了--- 不怨你怨谁
PostgreSQL “我怎么就连个数据库都不会建?” --- 你还真不会!
PostgreSQL 稳定性平台 PG中文社区大会--杭州来去匆匆
PostgreSQL 分组查询可以不进行全表扫描吗?速度提高上千倍?
POSTGRESQL --Austindatabaes 历年文章整理
PostgreSQL 查询语句开发写不好是必然,不是PG的锅
这个 PostgreSQL 让我有资本找老板要 鸡腿 鸭腿 !!
MySQL相关文章
一篇为MySQL用户,分析版本核心差异的文章--8.028-8.4的差异
那个MySQL大事务比你稳定,主从延迟低,为什么? Look my eyes! 因为宋利兵宋老师
数据库优化系列
微软动手了,联合OpenAI + Azure 云争夺AI服务市场
HyBrid Search 实现价值落地,从真实企业的需求角度分析 !不只谈技术!
从“小偷”开始,不会从“强盗”结束 -- IvorySQL 2025 PostgreSQL 生态大会
被骂后的文字--技术人不脱离思维困局,终局是个 “死” ? ! ......
个群2025上半年总结,OB、PolarDB, DBdoctor、爱可生、pigsty、osyun、工作岗位等
从MySQL不行了,到乙方DBA 给狗,狗都不干? 我干呀!
SQL SERVER 2025发布了, China幸亏有信创!
删除数据“八扇屏” 之 锦门英豪 --我去-BigData!
写了3750万字的我,在2000字的OB白皮书上了一课--记 《OceanBase 社区版在泛互场景的应用案例研究》