小
公众号

小红书技术REDtech

小红书技术团队官方账号,小红书技术创新与问题解读的分享平台,与你共前进.

220 篇已收录文章

这个来源的文章

按发布时间排序

大模型训练的高效内存解决方案:流水线感知的细粒度激活卸载,实现显存开销与吞吐性能的联合最优

细粒度激活卸载(Fine-grained Activation Offloading)通过“模块级粒度、计算-内存传输重叠、全并行兼容”的设计,实现峰值内存+吞吐性能的联合最优,在主流大模型上获取显著性能收益和显存收益。

阅读全文 :大模型训练的高效内存解决方案:流水线感知的细粒度激活卸载,实现显存开销与吞吐性能的联合最优