小红书技术REDtech

拆解小红书存储底座 07|MySQL性能优化设计与实践

Image

导读

小红书的存储与数据库体系覆盖 MySQL、RedKV、Redis、ROS 等产品,DMS、RedDTS 等公共能力分别提供统一管控和数据传输支持。MySQL 是其中面向关系型数据与在线事务处理的核心数据库,支撑业务对数据一致性、稳定性与访问性能的需求。

随着业务规模持续增长,秒杀、热点更新、频繁表结构变更及大事务处理等场景,对 MySQL 的性能与稳定性提出了更高要求。小红书围绕这些业务痛点,从数据库内核入手,在并发控制、DDL 执行、事务处理与资源管理等方面持续优化,提升吞吐能力,降低执行开销,减少对线上业务的影响。本文将重点介绍几种典型场景下的性能瓶颈及其成因,再结合秒级加列、Fast DDL、Nonblocking DDL 和大事务优化等实践,解析关键设计思路、实现机制与适用场景。

Image

01

背景与目标

长期以来,小红书业务对数据库的性能与稳定性提出了持续增长的要求。随着业务复杂度与实例规模不断提升,社区 MySQL 在性能、稳定性、数据一致性等维度,已经无法满足业务快速发展的需求。而数据库内核层的优化能够直接改善底层能力,并将收益复用到更多业务和实例,带来更大的规模化价值。

最具代表性的需求集中在四个方面:

  1. 热点高并发:提升热点行更新效率。 热门商品秒杀、热点笔记互动、大 V 直播带货等场景,会在短时间内产生集中访问与更新。热点行上的锁竞争容易形成吞吐瓶颈,需要从内核层优化并发处理能力,支撑短时脉冲流量。

  2. 核心数据可靠性:满足 RPO=0 的诉求。资金交易等核心业务不仅关注性能,更要求已提交的数据在故障切换时不丢失,对复制机制、持久化保障和高可用能力提出了更高要求。

  3. 业务敏捷交付:DDL变更更快、影响更小。新业务上线经常需要增加字段或调整表结构,传统 DDL 在大表上执行耗时长,还可能因锁等待影响线上请求。我们围绕秒级加列、Fast DDL、Nonblocking DDL 等能力持续优化,缩短变更时间、减少对读写的阻塞,降低数据库变更对业务交付的影响。

  4. 突发流量稳定性:减少高负载下的性能抖动。流量突增时,锁竞争、资源争抢和请求堆积可能相互放大,导致延迟升高甚至影响服务可用性。除了提升峰值吞吐,还需要优化关键路径和资源管理,让数据库在高负载下保持更可预期的响应。

Image

02

RedSQL特性

针对上述问题,我们在内核层做了一系列优化,覆盖数据一致性、热点行更新、DDL 变更和资源管理等方面。下面重点介绍其中四种代表性方案:合并秒杀、线程池、DDL 优化和闪回。

2.1 合并秒杀

从下图可以清晰地看到,开源 MySQL 热点行更新的瓶颈点在于死锁检测和 Redolog 更新等。排队秒杀通过对热点行排队,降低了死锁检测的开销,保证热点行更新性能不衰退,但无法进一步提升性能——其瓶颈在于串行化更新和行锁互斥。合并秒杀则在此基础上更进一步。

开源社区

Image

红色部分是四个性能卡点位置:1. 死锁检测;2. 持有行锁;3. Redolog更新;4. Binlog更新

排队秒杀

Image

优化了「死锁检测」和「持有行锁」

合并秒杀

Image

优化了「死锁检测」、「持有行锁」、「Redolog更新」和「Binlog更新」

合并秒杀将多个事务的 SQL 合并到一个事务中提交,这改变了 MySQL 原有的事务执行方式,因此需要在事务系统、锁系统、Binlog 系统等模块上做配套改造。

  • 缓存可见性与并发一致性优化:引入全局共享缓存,使参与秒杀的线程能够访问一致的数据状态,解决多线程协作过程中的数据可见性问题。同时,通过排队机制协调并发更新的执行顺序,避免多个线程无序修改同一份数据,为热点行的高并发更新提供一致性保障。

  • 行锁与执行流程优化:将秒杀事务的执行过程拆分为“更新”和“提交”两个阶段,围绕不同阶段的锁使用方式优化存储引擎锁系统,减少热点行上的串行等待。通过协调线程间的执行与衔接,让多个秒杀线程能够并行推进,缓解锁竞争造成的吞吐瓶颈,提升热点更新效率。

  • 日志并行提交与恢复一致性优化:支持多个秒杀线程并行提交日志,减少日志提交环节的等待,进一步提升高并发场景下的处理能力。与此同时,配套调整宕机恢复流程,使日志恢复逻辑与新的并发执行机制相匹配,在提升性能的同时,保障故障恢复后的数据一致性,以及主从节点之间的数据一致性。

Image

2.2 线程池

MySQL 缺乏对 SQL 的感知和分级能力,慢事务或大事务很容易拖垮系统,导致性能急剧下降。解决方案是做好资源隔离:用线程池把系统资源分成若干 Group,不同 Group 之间资源隔离,避免慢事务、大事务拖垮整个系统。

Image

Image

  • 资源分配优化:按 CPU 核数划分独立线程组,将连接分配到对应组内执行,通过工作线程复用与动态伸缩,降低线程创建、销毁及上下文切换开销。

  • 分级调度优化:识别不同类型的 SQL,将其放入不同优先级的队列,并结合分类并发限制协调资源分配,约束高开销查询,减少异常负载对正常业务请求的干扰。

  • 在线热迁移:支持在线切换线程调度模式,存量连接在命令执行结束、无活跃事务且不持锁时迁移,未满足条件则延后重试,减少对业务连续性的影响。

  • 统计与诊断增强:采集队列积压、执行等待及线程组健康状态,并结合 SQL 模板的执行成本统计,为高负载限流、资源调度优化与故障定位提供依据。

  • 主要收益:通过线程复用、分类限流与在线切换,缓解连接风暴和高开销 SQL 冲击,提升高负载下的服务稳定性,并为紧急运维保留专用通道。

2.3 DDL优化

业务迭代经常需要加字段、建索引或调整表结构,随着表数据量和实例规模增长,DDL 的问题逐渐突出:部分操作需要扫描或重建整表,执行耗时长;缓存遍历与锁竞争会干扰正常读写;遇到长事务时,DDL 等待元数据锁,还可能阻塞后续请求,造成连接堆积。因此,我们从执行成本、缓存管理和锁等待三个层面优化,让变更更快、业务影响更小。

Image

Image
  • 秒级加列:减少整表改写。传统加列可能需要重建表,耗时随数据量增长。秒级加列通过更新元数据记录新增字段及默认值,读取旧记录时补齐字段语义,无需逐行改写历史数据。在支持的场景且顺利获取锁时,可将加列缩短至秒级,降低磁盘开销,缩短业务交付周期。

  • Fast DDL:优化缓存管理。 针对 DDL 遍历整个 Buffer Pool、锁竞争引发抖动的问题,不改变现有DDL流程的基础上,减少无关页面扫描,并优化锁使用,降低缓存管理过程中的竞争开销。通过这些改进,DDL 的缓存处理成本不再直接随整个 Buffer Pool 的规模增长,在提升变更效率的同时,减少对并发业务的影响,尤其适合大 Buffer Pool 下的小表变更场景。

  • Nonblocking DDL:缓解锁等待阻塞。长事务持锁时,等待中的 DDL 可能挡住后续读写。将长时间等待改为短等待、间歇重试,在重试间隙撤销排他元数据锁请求,让业务继续访问。它主要减少连接堆积和超时,仍需获取锁,DDL 完成时间可能延长。这样避免了长事务持锁导致的事务堆积。

2.4 闪回

业务误执行 UPDATE 或 DELETE 后,即使只改错少量数据,也往往需要恢复备份、回放 binlog 才能找回原值,操作复杂且耗时。为此,我们设计了闪回方案:通过定期保存事务可见性快照,并延长 Undo 历史版本的保留时间,让用户直接用 SQL 查询误操作前的数据、追踪变更,并导出旧值供核对修复。

该方案可缩短取数流程,但需要提前开启,并承担额外存储开销;仅支持保留窗口内的历史查询,不处理 DROP/TRUNCATE,也不自动覆盖当前数据。

Image
  • 历史数据查询:支持按时间点查询旧数据、查看记录的历史版本,帮助定位误删误改,并将历史数据导出到新表,供业务核对后修复。

  • 快照与版本回溯:定期保存事务可见性快照,结合 Undo 版本链读取历史数据,无需复制整份业务数据,为短时间窗口内的数据追溯提供基础。

  • 历史保留与资源控制:采用两阶段清理,二级索引正常回收,主键旧记录与 Undo 延迟清理;资源紧张时缩短历史窗口,优先保障实例稳定性。

  • 主要收益:在可查窗口内,通过几条 SQL 获取误操作前的数据,减少备份恢复取数的等待。

03

后续规划

小红书 MySQL 内核的迭代还在进行中,后续将围绕四个方向展开:

  1. 云原生提升弹性与资源利用率:通过存算分离与 Serverless,实现资源独立扩展、按需伸缩,提升利用率并降低成本。

  2. HTAP 融合事务与实时分析:融合事务处理与实时分析,减少数据搬迁,让业务更快获得分析结果。

  3. 性能优化突破高并发和 DDL 瓶颈:逻辑预读,列压缩,并行DDL,BP resize等,提高吞吐、降低数据空间、缩短 DDL 时间。

  4. 安全审计完善数据保护与可观测能力:结合国密、透明加密与多维度监测,增强数据保护,输出全量SQL和秒级可观测性指标,支撑故障诊断和智能运维。

Image

   .

作者简介

  • 明绪

    小红书关系型数据库研发工程师,主要负责小红书关系型数据库内核研发。

  • 少平

    小红书关系型数据库团队负责人,关注关系型数据库相关产品的研发和交付。

部门介绍:

存储&数据库部,为小红书全业务场景打造行业领先的高可用、高可靠、高性能、低成本的存储和数据库类产品技术服务。团队致力于用精英化的组织和行业领先的技术理念,先于业务布局和行动,为公司业务的快速发展提供充足“弹药”,同时也让小红书存储和数据库成为行业该领域的标杆。

   .

招聘

MySQL数据库内核工程师

小红书招聘

Image

精彩回顾:

拆解小红书存储底座 00|从孤岛走向融合:小红书存储与数据库架构进化
拆解小红书存储底座 01|多源数据传输总线 RedDTS 2.0
拆解小红书存储底座 02|让 AI 成为团队的一员:存储数据库助理实践
拆解小红书存储底座 03|从存得下到读得快:小红书自研对象存储实践
拆解小红书存储底座 04|从对象到文件:RedStore SSD 引擎与 RedFS 的设计与实践
拆解小红书存储底座 05|RedTAO 2.0:万亿级图数据库的设计与实践
拆解小红书存储底座 06|RedDB:小红书自研多模数据库的设计与实践