卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独

闻乐 发自 凹非寺
量子位 | 公众号 QbitAI

LLM推理已经顶尖，精确计算却跟不上。 这局怎么破？ 卡帕西点赞的解决方法来了， 在大模型内部构建一台原生计算机 。

新方法不搞外包那一套 （不依赖任何外部工具） ，直接在Transformer权重里内嵌可执行程序。 并通过创新的2维注意力头设计，将大模型的推理效率提升至指数级。 能在普通CPU上实现每秒3万+Token的流式输出。

在Transformer内嵌原生计算机

咱都知道，当前最先进的大模型，拿下奥赛金牌已经不足为奇了。 甚至有些还能挑战人类还未解决的数学问题与科学问题。 但有一个始终无法回避的现实是，这些模型在需要 多步骤、长上下文的精确计算任务 中，仍然表现惨淡。 为了弥补这个短板，现在行业上有两种主流的解决方案。 一是 工具调用 ，让模型生成脚本，由外部沙箱解释器执行后返回结果； 二是 智能体调度 ，通过外部状态机拆分计算任务，循环调用模型处理上下文。 但这两种方式的本质，都是给模型开“外挂”，把计算能力挂靠在外部。 标准Transformer的自回归解码，更是让这一问题雪上加霜—— 每生成一个Token，模型都要对全量历史序列进行注意力扫描，计算代价随序列长度线性增长，让长轨迹的精确计算不可行。

Percepta团队的新研究，就跳出了外挂思路， 直接让Transformer当计算机 。 首先，他们在Transformer权重中实现了一套 现代化RAM计算机与WebAssembly解释器 。 WebAssembly可以理解成一种特别快、特别稳定的底层机器指令，C、C++这些编程语言写完的代码，都能编译成它。 有了这个解释器意味着任意标准化的程序代码，都能被编译为模型可识别的Token指令序列。 比如，要计算3+5，模型会先这样写：

然后切换到快速解码模式，在Transformer内部一步步把这段程序跑完，同时把执行过程按行输出成一串标记：

计算结果直接在模型的Token输出流中生成，不需要再等外部工具返回结果，而且全程透明。 这种透明性，也让模型的计算过程从黑箱（外部依赖）变成白盒，实现了计算的可验证性。

内置计算机有了，怎么提高效率呢？ 对这个问题，团队进行了 2维注意力头的创新设计 。 在2维注意力头的设计中，每个历史Token的Key向量都是二维的，当前步骤的Query向量则可视为二维平面上的一个方向。 此时，注意力查询的核心问题 找到与Query最匹配的Key ，就转化为了计算几何中的 凸包极值查询 ，也就是在二维平面的凸包上，找到沿Query方向最远的点。 借助凸包数据结构，模型可以在生成Token的过程中，动态维护历史Key的凸包，每一步的注意力查询只需在凸包上进行。 这让计算复杂度从O (n) 降至O (log n)。 研究团队基于这一原理设计了 HullKVCache 。 该缓存在普通CPU上实现了31037 Token/秒的吞吐量，完成 约9000行指令序列仅需1.3秒 ，效率较传统KV缓存提升了近200倍。

而且，该设计完全基于标准PyTorch Transformer，不需要定制内核或稀疏掩码，通过简单配置维度与注意力头数就能实现。

最难数独100%精确求解

团队选取了两个典型的长程精确计算任务来验证这套方法。 这两个实际任务是 10×10最小代价完美匹配 和公认的 世界最难数独Arto Inkala 。 在10×10最小代价完美匹配任务中，模型内部执行匈牙利算法，全程以自回归方式生成计算轨迹。 从行分配、Dijkstra算法求解，到对偶变量更新、增广路径查找，每一步的计算过程与代价累积都清晰记录，最终精准求解出最优匹配方案。 整个过程在CPU上完成，Token生成速度达到33583 Token/秒，7301行/秒的指令输出效率。

在数独求解过程中，针对仅有21个提示数的Arto Inkala数独，模型内部执行了一个完全正确的、编译后的数独求解器。 求解器先通过约束传播填充21个单元格，然后进入搜索阶段，逐个尝试可能的数字赋值，遇到矛盾立即回溯。 每一次尝试、验证、一致性检查、矛盾检测与回溯步骤都以可读的日志行和Token轨迹形式自回归生成并输出。 最终在3分钟内实现了100%精确求解。

这项工作由 Christos Tzamos 领衔，与Percepta其他研究者共同完成。 Christos Tzamos是麻省理工博士，目前任雅典大学计算机科学副教授，同时是Percepta的创始研究员。 Percepta是General Catalyst旗下的AI转型公司，团队成员包括来自Meta FAIR、MIT、Google等机构的人才。 参考链接：
[1]https://x.com/ChristosTzamos/status/2031845134577406426?s=20
[2]https://www.percepta.ai/blog/can-llms-be-computers 一键三连 「点赞」「转发」「小心心」 欢迎在评论区留下你的想法！ — 完 — 🌟 点亮星标 🌟 科技前沿进展每日见