Deepseek 开源周第二发,又跟老黄干上了
DeepEP :首个面向MoE模型的开源EP通信库 支持实现了混合专家模型训练推理的全栈优化!! 具体包括: 高效且优化的全到全通信 支持节点内和节点间通信,兼容 NVLink 和 RDMA 用于训练和推理预填充的高吞吐量内核 用于推理解码的低延迟内核 原生 FP8 调度支持 灵活的 GPU 资源控制,实现计算与通信的重叠
DeepEP :首个面向MoE模型的开源EP通信库 支持实现了混合专家模型训练推理的全栈优化!! 具体包括: 高效且优化的全到全通信 支持节点内和节点间通信,兼容 NVLink 和 RDMA 用于训练和推理预填充的高吞吐量内核 用于推理解码的低延迟内核 原生 FP8 调度支持 灵活的 GPU 资源控制,实现计算与通信的重叠