小红书技术REDtech

拆解小红书存储底座 06|RedDB:小红书自研多模数据库的设计与实践

Image

导读

小红书的存储与数据库体系覆盖 MySQL、RedKV、Redis、ROS 等产品,DMS、RedDTS 等公共能力分别提供统一管控和数据传输支持。小红书存储与数据库团队依托自研的统一存储数据库云平台,为业务提供一站式数据基础设施。服务覆盖关系型数据库、缓存数据库、多模数据库及自研对象存储。RedDB 是其中面向多模方向建设的分布式数据库,目标是以统一底座支撑宽表、向量、图等数据模型与访问需求。

RedDB 从搜索、推荐和广告的宽表需求起步,逐步沉淀可复用的分布式与存储能力。本文先介绍分层架构和宽表实践,再展开模态接入、元数据、索引与查询协作的演进思路。最后,从平台运营、数据服务与引擎底座三个能力方向展望后续发展。

Image

01

背景与目标

小红书的搜索、推荐和广告等业务,需要将丰富的内容与用户需求高效连接起来。随着内容理解与个性化匹配不断深入,业务对数据能力的需求也更加多样。既要快速读取内容属性和用户特征,也要利用语义信息与关联关系,让多种数据能力协同工作。

相应地,数据形态从结构化属性扩展到高维向量和实体关系。访问方式也从主键读写、条件过滤,延伸到相似检索与关系遍历。宽表、向量和图各有适合的数据模型与索引结构,对基础设施提出了多样化需求。

Image

图 1:多模数据需求与公共底座的建设目标

不同模态的数据组织与计算方式各有特点。分片管理、副本复制、故障恢复和资源管理则具有共性。分别建设系统,会重复投入这些基础能力。多种模态协作时,还需要处理数据关联、更新传播与查询衔接。

RedDB 围绕分布式管理、数据服务协作、资源与运维三个方面建设公共底座。底座统一提供分片与副本机制,资源与运维依托统一云平台管理。建设从宽表起步,先验证读写、扩展与稳定性。后续将通过统一元数据与执行接口连接不同模态,逐步扩展向量、图等能力。

02

整体架构设计

宽表、向量、图等数据产品构成上层产品形态,RedDB 为其提供统一底座。RedDB 内部自上而下分为四层:数据服务、分布式引擎、存储与索引、数据持久化。平台运营提供横向管理能力。

Image

图 2:上层数据产品与 RedDB 四层功能架构(虚线卡片为演进方向)

平台运营。依托统一存储数据库云平台(DMS),提供资源与集群管理,以及扩缩容、升级等标准化运维能力。安全与租户管理、监控与诊断贯穿数据服务及底座各层。

数据服务。位于 RedDB 内部最上层。数据模型组织数据与接口。查询计算负责查询执行、过滤与扫描,数据迁移衔接导入与同步。上层数据产品复用这些基础能力。当前以宽表为主要落地,后续将逐步接入向量与图。

分布式引擎。分片管理负责路由与分裂,弹性调度负责迁移与扩缩容。一致性复制通过 Raft 管理副本。故障恢复通过快照恢复与日志追赶重建副本状态。流量控制提供限流与反压,资源控制通过配额和并发限制约束资源使用。新模态可通过统一接口复用这六项能力。

存储与索引。负责物理数据布局、存储访问和索引组织。当前宽表采用基于 RocksDB 的行式引擎,承载行列读写与原子更新。列式引擎作为演进方向,用于适配不同的数据布局与访问模式。

03

宽表业务实践

宽表场景需要同时应对数据增长、字段稀疏、局部更新和高并发访问等挑战。RedDB 将总体架构落实为多项核心能力。分布式引擎支撑规模、弹性与稳定性,行式引擎优化写入语义和扫描效率。

Image

图 3:宽表场景下的分片、弹性、稳定性与读写优化

分片管理。按主键范围组织分片,同一行的数据保存在同一分片内。复制、迁移和恢复都以分片为基本单元。数据增长后,通过分裂调整分片边界。分裂初期,父子分片共享底层存储引擎。逻辑分裂与物理迁移分开进行,以降低集中搬运数据的开销。

快速扩缩容。扩容时迁入分片副本。缩容时先迁出副本,再释放节点。每个迁移任务依次完成新增副本、同步追平、成员变更和旧副本退出。集群与磁盘两级并发配额控制迁移规模,兼顾迁移效率与在线负载。这套机制也支持节点替换和数据再均衡。

副本恢复。以 Raft 复制维护副本一致性,通过快照恢复与日志追赶重建数据状态。恢复以分片为单元推进,统一管理数据恢复与进度追赶。这套机制也为迁移和节点替换提供基础。

流量控制。在分片和节点两个层面,限制尚未完成的写请求。系统根据日志提交与应用的进度差触发反压,限制新增写入,避免请求持续积压。节点写并发额度为在线读取保留余量,降低集中写入对读服务的影响。

行级原子写。行式引擎支持局部更新。同一行的多字段写入由同一分片处理。写入经过 Raft 复制后原子应用,相关字段共同生效。读取时可按需指定字段,兼顾更新粒度与访问开销。

稀疏扫描优化。范围扫描可能遇到请求字段多、实际数据稀疏的情况。对此,RedDB 提供“先遍历已有列,再筛选请求字段”的访问路径。这能减少对缺失列的无效定位。扫描仍遵循既有的版本、删除和分页规则。系统也保留逐列定位方式,可按访问特征选择策略。

自上线以来,RedDB 已逐步落地搜索、推荐和广告等多个业务场景。围绕宽表访问特点,持续优化性能吞吐、成本费用与弹性扩缩容能力。

Image

图 4:业务场景与性能吞吐、成本费用、弹性扩缩容收益

性能吞吐。用例覆盖 100 KB、500 KB 和 1 MB 行宽,以及单行读取、范围扫描和批量读取。在行宽、操作类型和并发档位一致的条件下,逐用例计算提升比例,再取中位数。RedDB 较对比方案的吞吐提升中位数超过50%,P99 延迟降幅中位数约为60%。

成本费用。成本对比采用 2026 年 9 月报告收录的资源报价,并按各自集群配置统一折算为月度费用。按此口径,RedDB 的集群成本较比对方案平均降低50% 以上。

弹性扩缩容。通过分片迁移和副本追赶,支持集群按需扩容、缩容与节点替换。迁移并发控制兼顾资源调整效率与在线业务负载。资源投入可随业务规模变化灵活调整。

宽表实践沉淀了可复用的分片、复制、调度与存储能力。向量、图等模态接入时,可以复用这些底层分布式机制。数据组织、索引维护和查询执行仍存在模态差异,需要通过进一步的接口抽象与执行协作来承接。

04

多模架构演进

RedDB 已面向键值(Key-Value)和宽表两类数据模型,抽象出统一的模态接入接口。以下介绍面向多模协作的演进设计,优先验证宽表与向量的协作。重点解决四个问题:模态接入、数据关联、更新传播和查询协同。

Image

图 5:模态接入基础与元数据、索引及查询协作的演进设计

模态接入。主键编码、写入校验、日志应用和资源生命周期的差异,通过统一接口承接。分片、复制与恢复由公共框架负责。新模态围绕自身模型、索引和算法实现接口。存储层以现有行式引擎为基础,逐步扩展列式引擎。

统一元数据。元数据覆盖逻辑表、表结构(Schema)、主键和索引。它记录数据归属、字段关联与物理映射,也描述路由和引擎状态。同一份逻辑数据可对应多种物理表示,并通过统一主键关联。查询层据此衔接结果,索引管理据此跟踪构建与可用状态。

索引维护。主数据持久化,并记录可恢复的变更。索引侧消费变更流,衔接存量构建与增量追赶。系统管理处理进度和就绪状态,并通过幂等重放支持恢复,即重复回放不产生重复效果。主表提交后确认写入,派生索引更新完成后才对检索可见。这样可将索引维护与关键写入路径解耦。

查询协调。协调层读取元数据,结合过滤条件、候选规模和引擎能力选择计划。随后拆分子计划,并合并执行结果。过滤、检索和属性回读通过统一主键传递候选。执行时按需选择先过滤或先召回,并控制补充召回与结果数量。各引擎由此协作完成查询。

05

后续规划

后续建设将围绕平台运营、数据服务和引擎底座三个能力方向展开。目标是逐步形成服务更丰富、计算更高效、资源更灵活的多模数据库底座。

Image

图 6:RedDB 后续规划(按能力领域组织)

平台运营:推进跨服务与跨资源治理。随着多模服务与独立计算资源逐步扩展,服务管理、租户治理和运行观测也需要进一步贯通。不同模态与负载由此获得一致的管理体验和服务保障。

数据服务:拓展多模能力与访问方式。从宽表逐步扩展向量、图等数据模型,完善相应的访问接口与服务能力。各模态保留自身特点,同时降低多种数据能力的组合使用成本。

引擎底座:增强存储与计算能力。在分片、复制与恢复等公共能力之上,沿存储与计算两条主线演进。存储侧推进存算分离,让容量与算力能够更灵活地独立扩展。计算侧增强跨模态计算与不同负载隔离。既让不同模态高效协作,也让不同任务获得相应的资源与服务保障。

RedDB 从宽表实践起步,持续解决数据增长、资源弹性与高效读写问题。可复用的分布式与存储能力,也在这一过程中逐步沉淀。未来,RedDB 将继续夯实公共底座、扩展模态接入、完善跨模协作。各模态保留自身的专用能力,数据组织、索引维护与查询执行则逐步打通,让统一底座能够持续承接新的数据需求。

   .

作者简介

晓飞|小红书存储与数据库团队

分布式数据库技术团队负责人,关注数据库架构、业务交付与多模能力建设。

部门介绍:

存储&数据库部,为小红书全业务场景打造行业领先的存储和数据库产品及技术服务,兼顾高可用、高可靠、高性能与低成本。团队致力于建设精英化的组织,践行行业领先的技术理念。通过先于业务的布局和行动,为公司业务的快速发展提供充足支持,并推动小红书存储和数据库成为行业标杆。

   .

招聘信息

分布式数据库研发专家:小红书招聘

图/表/向量/多模数据库等方向

Image