Sea AI Lab和北大Adan项目原作解读：加速训练深度模型的高效优化器

自 Google 提出 Vision Transformer (ViT)以来，ViT 渐渐成为许多视觉任务的默认 backbone。凭借着 ViT 结构，许多视觉任务的 SOTA 都得到了进一步提升，包括图像分类、分割、检测、识别等。

然而，训练 ViT 并非易事。除了需要较复杂的训练技巧，模型训练的计算量往往也较之前的 CNN 大很多。近日，新加坡 Sea AI Lab 和北大 ZERO Lab 的研究团队共同提出新的深度模型优化器 Adan。该优化器可以仅用一半的计算量就能完成 ViT 的训练。此外，在计算量一样的情况下， Adan 在多个场景（涉及 CV、NLP、RL）、多种训练方式（有监督与自监督）和多种网络结构 / 算法（Swin、ViT、ResNet、ConvNext、MAE、LSTM、BERT、Transformer-XL、PPO 算法）上，均获得了性能提升。

机器之心最新一期线上分享邀请到了北京大学智能学院2019级博士生谢星宇 （Sea AI Lab 实习生） ，为大家解读他们提出加速训练深度模型 的 高效优化器 —— Adan。

分享主题：高效优化器 Adan 加速训练深度模型，一半计算量训练多种网络结构

分享嘉宾： 谢星宇，北京大学智能学院 2019 级博士生，Sea AI Lab（SAIL）实习生

分享摘要： 介绍如何通过传统优化算法启发得到几种流行的深度学习优化器。介绍两种流行的一阶 momentum 优化加速方法并引入进现有的深度学习优化器。总结一些 SOTA 模型优化器的选取和参数调整技巧。

相关链接：

1）SOTA！ 模型平台项目主页链接：

https://sota.jiqizhixin.com/project/adan 2）论文链接： https://arxiv.org/abs/2208.06677 3）代码仓库： https://github.com/sail-sg/Adan（ 代 码、配置文件、训 log 等 ）

加群看直播

直播间 ： 关注机器之心机动组视频号，北京时间 12 月 05 日 19:00 开播。

交流群： 本次直播设有 QA 环节，欢迎加入本次直播交流群探讨交流。

如群已超出人数限制，请添加机器之心小助手：syncedai2、syncedai3、syncedai4 或 syncedai5，备注「SAIL」即可加入。

如果你也有最新工作希望分享或提交你感兴趣的内容方向，随时告诉我们吧： https://jiqizhixin.mikecrm.com/fFruVd3

机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区，聚焦于学术研究与技术实践主题内容，为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。 机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。