打破算力瓶颈！起底百度智能云高性能存储加速系统如何让昆仑芯3万卡集群火力全开
百
百度Geek说约 3 分钟
百度Geek说约 3 分钟
。
点击蓝字，关注我们
GEEK TALK
01
引言
大模型的训练和推理任务，本质就是海量数据处理的过程。 强大的算力集群，不仅需要高性能的AI加速卡和高性能的RDMA网络，还离不开高性能存储系统的支持。
当前，在大模型训练任务的数据读取、Checkpoint加载，推理任务的快速分发和 镜像加载等场景，数据的大小少则几十GiB，多则几百TiB甚至至多达到数PiB。 存储速度越快，算力空闲时间越短。这需要一套能够支持大规模算力集群、海量数据场景的高性能存储加速系统。
GEEK TALK 02 RapidFS存储加速集群
在Create 2025大会，昆仑芯3万卡集群正式发布。为此， 我们为RapidFS存储加速服务部署了数 百台国产CPU服务器，集群设计总吞吐接近10 TiB/s，以满足3万卡昆仑芯集群大规模数据读写需求。
我们使用部分资源进行了RapidFS性能测试（更多测试细节见后文）。 测试结果显示，20个RapidFS存储节点稳定提供了302 GiB/s吞吐，70个RapidFS存储节点稳定提供了1.03 TiB/s吞吐。 单台RapidFS存储节点 可提供15 GiB/s吞吐，折合单TiB（裸容量）300 MiB/s。
这些数据表明RapidFS存储加速集群的吞吐性能，随着集群规模线性增长。单台RapidFS存储节点 经过软硬一体的协同优化，充分发挥出国产CPU的性能和软件加速效果。 同时，这也意味着在70个Rap idFS存储节点提供加速的情况下，100个计算节点 并发加载10 GiB的文件仅需1秒， 让数据随叫随到。
GEEK TALK 03 RapidFS产品简介
RapidFS是一款近计算存储加速工具。 依托对象存储BOS作为数据湖存储底座，构建容量与性能解耦、冷热分层、透明流转的高性能存储方案。以POSIX挂载和HDFS协议，为上层计算应用提供统一文件访问入口，加速AI训练与推理、海量数据处理与分析、数据分发等业务场景下的存储访问。
GEEK TALK
04
性能测试详细说明
4.1 服务器配置 在本次测试的 昆仑芯3万卡集群中，百度智能云RapidFS以全托管集群方式部署于 国产CPU服务器，作为近计算存储加速服务使用。 详细配置如下：
4.2 测试规模
我们分别对20个存储节点和70个存储节点规模的RapidFS集群进行了性能测试。
4.3 测试方法
按照DeepSeek V3模型文件
构造160个4.3 GiB文件，总计688 GiB。将这些文件导入对象存储BOS并加载至RapidFS存储加速集群中。每个计算节点开启8进程从
RapidFS存储加速集群中读取模型文件，持续压测600秒。
4.4 测试结果
测试集群A：20个
RapidFS存储节点
测试集群B：70个RapidFS存储节点
百度智能云RapidFS存储加速集群用数据证明了国产算力基础设施的突破潜力。
存储性能与算力需求实现「同频共振」，成为大模型训练与推理的效率助推器。
END
推荐阅读
Qwen3 系列全家桶，百度百舸一键部署
中国自动驾驶研发解决方案，第一！
千亿级打点PV的成本治理实践
从数字化到智能化，百度 SRE 数智免疫系统的演进和实践
走！Ké武汉，看百度智能云生态大会
一键三连，好运连连，bug不见
👇
大模型的训练和推理任务，本质就是海量数据处理的过程。 强大的算力集群，不仅需要高性能的AI加速卡和高性能的RDMA网络，还离不开高性能存储系统的支持。
当前，在大模型训练任务的数据读取、Checkpoint加载，推理任务的快速分发和 镜像加载等场景，数据的大小少则几十GiB，多则几百TiB甚至至多达到数PiB。 存储速度越快，算力空闲时间越短。这需要一套能够支持大规模算力集群、海量数据场景的高性能存储加速系统。
GEEK TALK 02 RapidFS存储加速集群
在Create 2025大会，昆仑芯3万卡集群正式发布。为此， 我们为RapidFS存储加速服务部署了数 百台国产CPU服务器，集群设计总吞吐接近10 TiB/s，以满足3万卡昆仑芯集群大规模数据读写需求。
我们使用部分资源进行了RapidFS性能测试（更多测试细节见后文）。 测试结果显示，20个RapidFS存储节点稳定提供了302 GiB/s吞吐，70个RapidFS存储节点稳定提供了1.03 TiB/s吞吐。 单台RapidFS存储节点 可提供15 GiB/s吞吐，折合单TiB（裸容量）300 MiB/s。
这些数据表明RapidFS存储加速集群的吞吐性能，随着集群规模线性增长。单台RapidFS存储节点 经过软硬一体的协同优化，充分发挥出国产CPU的性能和软件加速效果。 同时，这也意味着在70个Rap idFS存储节点提供加速的情况下，100个计算节点 并发加载10 GiB的文件仅需1秒， 让数据随叫随到。
GEEK TALK 03 RapidFS产品简介
RapidFS是一款近计算存储加速工具。 依托对象存储BOS作为数据湖存储底座，构建容量与性能解耦、冷热分层、透明流转的高性能存储方案。以POSIX挂载和HDFS协议，为上层计算应用提供统一文件访问入口，加速AI训练与推理、海量数据处理与分析、数据分发等业务场景下的存储访问。
4.1 服务器配置 在本次测试的 昆仑芯3万卡集群中，百度智能云RapidFS以全托管集群方式部署于 国产CPU服务器，作为近计算存储加速服务使用。 详细配置如下：
测试集群B：70个RapidFS存储节点