DeepSeek第五天开源3FS文件系统，超算我来了！

开源周最后一天发布了3FS文件系统和Smallpond数据处理框架。 DeepSeek 官方： Fire-Flyer 文件系统 (3FS) ，一种利用现代 SSD 和 RDMA 网络的全部带宽的并行文件系统。 ⚡ 180 节点集群中的聚合读取吞吐量为 6.6 TiB/s ⚡ 25 节点集群中 GraySort 基准测试的吞吐量为 3.66 TiB/分钟 ⚡每个客户端节点的 KVCache 查找峰值吞吐量超过 40 GiB/s 🧬具有强一致性语义的分解架构 ✅在 V3/R1 中进行训练数据预处理、数据集加载、检查点保存/重新加载、嵌入向量搜索和 KVCache 查找以进行推理 📥 3FS → github.com/deepseek-ai/3FS ⛲ Smallpond - 3FS 上的数据处理框架→ 其重要作用： 1. 3FS文件系统：是利用现代SSD和RDMA网络全带宽的并行文件系统。关键特性包括分离式架构、强一致性、通用文件接口，可支持数据准备、加载、检查点保存、推理KVCache等多样化工作负载。在180节点集群上聚合读取吞吐量达6.6TiB/s ，25节点集群GraySort基准测试吞吐量为3.66TiB/分钟，KVCache查找每个客户端节点峰值吞吐量40+GiB/s。获取代码需从GitHub克隆仓库并初始化子模块，安装众多依赖，如libfuse 3.16.1、FoundationDB 7.1等，按特定cmake指令构建。 2. Smallpond数据处理框架：构建于DuckDB和3FS之上，具备高性能、可扩展至PB级数据集、操作简单的特点。支持Python 3.8 - 3.12，通过pip安装。提供简单代码示例用于数据处理。在3FS集群上进行GraySort基准测试，与3FS性能表现一致。 开源周项目回顾： 开源周DeepSeek发布了一系列技术项目，为构建完整大模型提供了全面的技术栈，涵盖解码内核、通信库、GEMM库、并行计算策略，以及3FS与Smallpond。 超算未来已来！