ReaderMX.
少数派观点局

定义过去十年AI的论文被谷歌自己颠覆了：光、存、CXL

少小宇宙约 6 分钟
Image
Image
就在日前，谷歌再度投下一枚重磅炸弹。这枚重磅炸弹将给AI世界带来一种全新的流量模型，从而需要更多的光传输、存储及真正的CXL（基于CXL协议的内存池化将成为AI服务器的标配，CXL会变得极其重要）。
《Nested Learning: The Illusion of Deep Learning Architectures》（嵌套学习：深度学习架构的幻象）一文悄悄地被谷歌发表， 很多研究者把这篇文章称为“Attention Is All You Need V2”，是因为它就像2017年谷歌发表的《Attention Is All You Need》论文一样，即将重新定义大家对AI基础架构的理解。 
2017年那篇《Attention Is All You Need》，以Transformer架构终结了RNN与CNN的长期统治，开启了大模型（LLM）的黄金十年。

而谷歌这篇最新发表的文章的核心观点，可以概括成一句话：

今天的大模型缺的不是“算力”，而是“持续记忆能力”。

Image

“深度”也许是一种幻觉

2017年，谷歌发表的Transformer论文《Attention Is All You Need》，几乎定义了整个生成式AI时代。

它告诉世界：

大模型的核心，不再是循环神经网络，而应该是Attention。

随后八年里，整个AI产业链围绕这一思想高速扩张：

  • GPU算力指数级增长；
  • HBM成为最紧缺资源；
  • 数据中心光模块一路升级到800G、1.6T；
  • 超大规模集群开始成为AI竞争门槛。

过去几年，行业形成了一个几乎不可动摇的共识：“只要继续扩大参数、数据与算力，AGI就会自然出现。”但谷歌最新发表的《Nested Learning》一文，对这一共识提出了严肃的挑战。

所以，很多研究者甚至把这篇论文极其重要的称为“Attention Is All You Need V2”，原因在于，它试图重新回答一个更本质的问题：

AI真正缺少的，到底是“计算能力”，还是“记忆能力”？

《Nested Learning》论文最核心的观点之一，是对当前大模型深度学习模式的反思。因为过去十年，AI行业的主旋律是：

  • 更深的网络；
  • 更大的参数；
  • 更长的上下文；
  • 更强的训练算力。

从GPT-2到GPT-5，从数十亿参数到数万亿参数，模型越来越多，整个行业几乎都默认：“规模扩张”本身，就等于“智能增长”。

但这篇论文提出：

当前深度学习架构，也许只是“看起来很深”。

为什么这么说？因为今天的大模型，本质上仍然是：

静态模型（Static Model）

它们在预训练阶段学习海量知识，随后参数基本冻结，模型并不会像人类一样：

  • 持续积累经验；
  • 长期保留新知识；
  • 在推理过程中不断成长。

于是，当前LLM出现了一个越来越明显的问题，“数字失忆症”（Digital Amnesia），即：

  • 学到的新知识难以长期保留；
  • 在线学习能力很弱；
  • 新任务容易覆盖旧能力；
  • 上下文窗口只是短期缓存；
  • 模型缺乏真正的长期记忆。

所以，这篇论文认为，Transformer与Scaling Law虽然极大提升了信息处理能力，但并没有真正解决“学习”问题。

《Nested Learning》中最有突破性的思想，是重新定义了“优化器”，论文提出：优化器本身，其实也是记忆系统，这一思想的重要性在于：

它把AI研究的重心，从“静态参数”，转向“动态记忆”。

这意味着，未来AI的核心不再只是：

  • 更大的模型；
  • 更多的GPU；
  • 更高的FLOPS；

而应该是更复杂的记忆系统，记住这一点。

Image

AI需要多层时间尺度的“记忆”

所以，论文进一步提出，真正的智能系统，不应该只有一种学习速度，而应该像人脑一样，具有多层级记忆结构，如下图：

Image

也就是说，AI未来需要：

  • 高频快速记忆；
  • 中频经验总结；
  • 低频长期沉淀。

《Nested Learning》论文将这种架构称为：

Nested Learning（嵌套学习）

其本质，是AI从“静态模型”转向了“持续演化的记忆系统”，而这一转变，对AI硬件的影响，可能比Transformer本身还要深远。

Image

对AI硬件的影响

过去几年，AI基础设施的核心逻辑，是典型的“算力中心化”，整个系统围绕GPU构建：

  • GPU负责矩阵计算；
  • HBM负责喂饱GPU；
  • InfiniBand负责AllReduce；
  • 光模块负责GPU互联。

因此，AI硬件产业链的主旋律是：

Compute Scaling（算力扩张）。

但《Nested Learning》的思想意味着，未来AI的核心瓶颈，可能不再是计算，而是记忆。因为，持续的学习意味着：

  • AI不再是一次性训练；
  • 模型需要实时更新经验；
  • 推理过程本身就是学习过程；
  • 记忆系统需要长期在线。

于是，AI数据中心的核心需求，将从“如何提高训练吞吐”转向“如何构建长期记忆网络”，显然，这会直接重塑：

  • 光通信
  • 存储
  • CXL
  • 数据中心拓扑

  • ……

很多人会误以为，如果未来不再疯狂堆参数，那么GPU和光模块需求会下降，但事实可能恰恰相反。因为，《Nested Learning》会制造一种全新的流量模型。过去AI集群主要处理的是Elephant Flow（大象流）， 其特点是：

  • 大吞吐
  • 周期性爆发

但未来AI系统可能变成永久在线的“记忆网络”。

这意味着，Agent之间需要持续同步经验、状态、长期记忆和世界模型。于是，数据中心将出现大量：

高频、小包、超低时延、持续在线的Memory Flow（记忆流）。

这类流量对网络要求极高，尤其对时延、功耗、带宽密度和East-West Traffic能力有极高要求，于是：

光互联的重要性会进一步上升。 

这是非常关键的一点。因为Nested Learning本质上要求的是Memory Fabric（记忆网络），而Memory Fabric最大的瓶颈就是：

带宽 × 功耗 × 时延

铜缆在这里彻底出局，铜缆的弱点太过明显。

Image

所以，未来AI如果真的进入“持续学习 + 分布式记忆”，那么，光不再只是“GPU互联”，而会变成“记忆系统总线”。

这会导致光模块需求长期爆发上升。在旧架构中，光模块负责把Token传给GPU；在V2架构中，光模块负责“同步灵魂”。

1.6T/3.2T需求的确定性会提速。因为嵌套学习要求在数万颗GPU组成的集群中，实现权重的实时或近实时梯度交换。这种“高频微更新”产生的流量是传统数据流的数倍甚至数十倍。为了保证HOPE模块的各层不出现延迟失步，1.6T OSFP甚至更先进的光连接技术将提前进入成熟期，这亦会导致光传输更依赖于Inp激光器。

从长期看，AI时代的数据中心，很可能会出现“全光化Memory Fabric”。

相比光模块，存储产业亦有深远变化。在过去AI训练中，存储主要承担：数据集存储、Checkpoint和冷数据归档。

模型训练完成后，知识已经固化在参数里。但Nested Learning意味着，AI未来会不断产生：

  • 新经验
  • 用户偏好
  • Agent行为轨迹
  • 推理历史
  • 世界模型更新

于是，存储不再只是“仓库”。而会变成AI长期记忆系统。

这自然会导致企业级SSD、SCM（Storage Class Memory）、CXL Memory的重要性快速上升。未来AI存储的核心指标，可能不再只有容量，还有：

  • 小IOPS性能
  • 低时延随机访问
  • Memory Mapping能力
  • 向量数据库吞吐
  • 持久化缓存能力

换句话说，AI未来需要的，不只是“存储空间”，还有可实时调用的长期记忆。HBM当然仍然极其重要，因为它依旧是AI的“工作记忆”，但未来系统会出现更清晰的记忆分层：

Image

这也是为什么CXL被越来越多业内人士视为下一代AI基础设施核心。因为Nested Learning天然要求“Memory Pooling”，即GPU不再只依赖本地HBM，而是动态访问外部内存、共享记忆和长期状态池。

于是，CXL可能真正爆发。

因为它解决了内存共享、内存扩展、低时延memory fabric等诸多问题，这与《Nested Learning》论文的方向高度一致。 

Image

未来十年 

回头看过去十年，Transformer解决的是“如何处理信息”，而《Nested Learning》真正试图解决的则是：

如何长期成长。

这两者差别巨大。过去的Scaling Law，本质上是更大的参数、更强的计算、更高的训练吞吐。而未来AI系统真正困难的问题，可能变成：

  • 何长期保留经验；

  • 如何避免遗忘；
  • 如何形成稳定人格；
  • 如何持续在线学习；
  • 如何实现真正Agent化。

而这一切，最终都会落到：

光传输与存储。

过去十年，谁控制GPU，谁控制AI。未来十年可能变成：谁控制“AI记忆系统（Memory Fabric）”，谁控制AI。

KEEP THE THREAD GOING

更多来源文章