2024 PostgreSQL技术大会精彩演讲『DBdoctor，基于AI的数据库智能诊断与优化』 (附PPT和视频下载)

2024年7月12日， 第13届PostgreSQL中国技术大会在杭州开幕， 海信聚好看云平台与大数据负责人 张纪宽 受邀参会，在 『AI与PostgreSQL』分论坛中发表主题演讲 《DBdoctor：基于AI的数据库智能诊断与优化》 ，并于当日演讲后接受了央视记者的专访，分享了DBdoctor的产品特性与技术创新。

很多小伙伴已了解DBdoctor的首个特色是基于eBPF技术透视数据库内核。关于eBPF如何透视MySQL，纪宽在 2023年DTCC 和 2024年DTC大会 上已分别做过精彩演讲，至于eBPF该如何透视PostgreSQL，在明天郑祥老师会做专门的主题演讲，现场的小伙伴可以锁定明天『行业应用』分论坛，不在现场的小伙伴可以关注公众号，明天也会同步演讲稿和PPT下载。 本次大会，纪宽将从数据应用角度展开，既然eBPF拿到了细粒度的监控数据，这些数据该如何应用， eBPF+AI将会擦出哪些火花？ 文中有很多技术干货，包括 业界独有的参数调优原理 ，希望小伙伴们仔细阅读。 以下是演讲主要内容，文末附 演讲PPT和视频 获取方式。 一. 演讲思路 张纪宽的演讲层层深入，逻辑清晰，搭配他一贯幽默又 激情的演讲风格， 观众 掌声热烈，现场气氛随之高涨。

二. 分析数据库诊断现状

在云原生时代，基于开源Prometheus+grafana+alertmanager可以轻松快速的搭建一套数据库监控告警平台，但是这套监控平台是基于事后机制，往往出现告警后为时已晚，从而经常会出现：平时很好，关键时候掉链子；出现问题定位时间长；故障后，没有良好解决方案的现象。

既然开源监控告警平台存在以上问题，业界数据库厂家也有相关解决方案，最多的就是基于专家经验构建规则树的方法，此方法具有一定效果，但是存在规则覆盖不全，有些经验无法代码化，经验不够精确的问题。比如索引推荐，按照DBA经验以下案例会创建KEY1索引，但是内核实际更喜欢KEY2，详细原因大家可以阅读此篇文章：《 数据库索引推荐大PK，DBdoctor和资深DBA的终极较量 》。

既然业界厂商的规则树方法依然无法精确诊断数据性能问题，依然存在着团队间故障扯皮、整日忙于救火的坏现象，DBdoctor如何解决的？DBdoctor的核心理念就是打破传统采样，摒弃依靠无法传承的经验与规则，采用数学方法彻底解决性能问题。

三. DBdoctor技术原理

核心思路： 通过更细粒度的数据，实现性能问题数字化，进而通过AI训练模型实现智能诊断与优化。

1.重新定义数据采集代替传统采样

通过eBPF技术采集 内核细粒度指标 是DBdoctor实现性能问题数字化的关键，也是后续数学模型与AI智能诊断的基础，详细原理敬请关注明天的文章。

2.精准数学模型代替传统经验

此部分之前演讲中均详细介绍过，此处不做过多赘述，感兴趣的小伙伴可以查看文章开头2024 DTC大会的文章与视频。

3.基于内核COST的索引推荐取代经验

此部分是DBdoctor特色，通过自研外置COST优化器可以实现快速、精准、对线上实例无感的索引推荐。借助索引推荐进一步实现了SQL性能审核，目前业界独家，可以助力开发同学在SQL上线前精准的评估SQL性能，避免问题SQL流到线上，很好的提前规避故障，此部分大家可以参考文章《 史上最强的SQL审核工具，求挑战 》。

4.基于AI的参数调优取代经验

此部分技术原理是DBdoctor首次对外公布，目前功能已在聚好看和海信集团全面公测中，效果非常好，下面将详细介绍此原理。

业界参数调优方案，比较出名的就是前些日子刚Dead的OtterTune，核心原理就是拿实例的metric指标做AI训练，将非常多的metric信息先通过分类寻找影响因子，最终找到影响因子与参数的关系，通过不断的应用学习的循环，最终产出推荐参数。此方案的弊端是需要对线上实例做参数调整并持续学习，直接对线上实例做参数调整这个不知你们公司是否能够接受？ 大家可以评论区留言讨论 ，反正我们公司流程是坚决不允许的。 DBdoctor的参数调优，灵感来自DBdoctor亮眼功能：外置COST优化器进行索引推荐的方法。既然DBdoctor通过eBPF可以采集到全量SQL和SQL执行过程中的重要函数，那DBdoctor就可以拿到整个实例的内核函数调用频率分布和函数消耗资源分布，基于SQL分布和函数分布这两大基础，开展了参数调优。 SQL分布： 基于SQL分布可以做负载回放，这样对线上实例进行clone后可以近似实时的按照线上负载情况来回放真实流量，这是训练模型通过真实数据又不影响我们自己数据库的方法。 函数分布： 通过函数分布作为AI输入的思路也是受OtterTune的启发，OtterTune通过大量工作把metric做影响因子聚类，这个聚类过程直接影响了参数推荐的准确度，那函数分布就是已聚类后的影响因子，DBdoctor直接把更加准确的影响因子给AI势必推荐准确性要优于OtterTune。
AI模型： AI在这里主要作用就是通过函数分布训练与参数的关系，此关系通过流量回访时采集到时延与负载做学习反馈，从而产出模型数据存放于数据库中。 用户实例推荐： 有了函数分布与参数推荐的关系模型后落地就比较简单了，只需通过DBdoctor采集用户实例的函数分布，通过模型计算就可以快速得到推荐的参数。 优点：

1. 无需在用户实例处做调参学习，提升线上稳定性。
   
2. 快速得到推荐参数，且会按照实例函数分布变化而定期更新推荐参数。
3. 推荐准确性相比OtterTune有非常大的提升。

5.DBdoctor功能架构

基于以上创新点，便组合起了DBdoctor核心架构。主要包含：平台管理、主动发现问题、SQL根因分析、锁根因分析、优化建议、SQL审核、监控巡检、参数调优等功能。

6.企业级解决方案

基于以上功能，DBdoctor提供了企业级全方位性能诊断解决方案，包含 事前发现隐患 ， 事中精准诊断 ， 事后随时追溯。

7 . DBdoctor核心价值

四. DBdoctor落地实况

落地实况一：实现了性能诊断的数字化

将性能诊断映射为求颜色面积的数学方法，从而可以1分钟快速诊断问题SQL。

落地实况二：主动发现性能问题

DBdoctor基于图形识别算法，可以主动识别问题并框选区间，并把资源抖动和根因SQL映射在一起，做到资源变化直接推荐问题SQL的能力，极大降低性能诊断门槛，会点鼠标便能排查SQL问题 。

落地实况三：提前预测问题

基于AI预测，可以提前识别存储趋势，并进一步识别碎片、临时表等容量问题，给出修复建议。

落地实况 四：精确根因诊断

性能问题的原因很多，能识别到根因才是关键。DBdoctor基于rootcause的根因识别算法，可以直指问题根因，并给出优化建议。还会绘制根因推导过程，知其所以然。

落地实况五：性能问题、索引问题、巡检问题一屏解决

落地实况六：上线前评估SQL性能
DBdoctor不仅可以赋能DBA，对开发和测试同样友好。在开发阶段就可以批量审核SQL性能问题，把问题扼杀在开发阶段，降低线上故障率。

当然，福利也不可少。为了感谢PG社区和众多小伙伴的支持， DBdoctor直接将：监控告警、SQL审核、巡检报表、存储诊断、SQL审计、平台管理等功能全部设置为了免费 。基于免费的DBdoctor可以快速构建企业级性能监控与审核平台，且不限用户数，不限实例数，不限引擎，无需申请，下载即可用，领套路。免费版能力吊打Prometheus、PMM等开源产品，且拥有SQL审核、巡检、审计等实用能力。

五. DBdoctor行业案例

六. PPT下载&观看回放

关注 『 DBdoctor 』公众号，回复 pg ，立即获取！回复 pg视频 ，立即观看回放！

DBdoctor推出长久免费版
DBdoctor是一款企业级数据库全方位性能监控与诊断平台，致力于解决一切数据库性能问题。可以对商业数据库、开源数据库、国产数据库进行统一性能诊断。 具备： SQL审核 、 巡检报表 、 监控告警 、 存储诊断 、 审计日志 、 权限管理 等免费功能，不限实例个数，可基于长久免费版快速搭建企业级数据库监控诊断平台。 同时拥有： 性能洞察、锁分析、根因诊断、索引推荐、SQL发布前性能评估 等高阶功能，官网可快速下载，零依赖，一分钟快速一键部署。 如果您想要试用全部功能可添加公众号自助申请专业版license。成为企业用户可获得产品定制、OpenAPI集成、一对一专家等高阶服务。欢迎添加小助手微信了解详细信息！ 1️⃣ 产品介绍： 内核级数据库性能诊断工具DBdoctor 2️⃣免费下载/在线试用： https://dbdoctor.hisensecloud.com/col.jsp?id=126