苹果AI革新：多模态交互与Ferret模型的突破

Geek Savvy2024年01月06日约 4 分钟

随着岁末年初的到来，苹果公司在大型模型领域的步伐明显加快。上个月，苹果推出了名为Ferret的多模态大型语言模型，其图像处理技术让人印象深刻。紧接着，苹果公开了一篇论文，名为《闪存中的大型语言模型：在有限内存下高效的大型语言模型推理》，专注于在iPhone等内存有限设备上高效利用大型模型的方法。

论文地址：https://arxiv.org/pdf/2312.11514.pdf

新年伊始，有关Siri助手将集成生成式模型Ajax的消息迅速传播开来。

回顾去年，苹果在六月份和九月份的发布会上分别推出了备受期待的XR项目和iPhone系列的年度更新。尽管XR项目市场反响一般，而iPhone的更新则被批评为缺乏创新，但在硅谷全力投入大型模型技术的同时，苹果对于人工智能这一年度热点话题却保持了沉默。公司CEO库克曾表示，苹果计划在更多产品中融入人工智能，但会谨慎考虑。

如今，或许是经过深思熟虑，或许是技术取得了突破，苹果终于不再隐藏其在大型模型领域的进展。

iPhone的AI时代或许已经到来

Siri的AI化进程其实早有迹象：据报道，去年上半年，苹果内部正秘密测试一个名为“Apple GPT”的生成式AI工具，旨在与OpenAI和谷歌的模型竞争。这个工具的开发框架Ajax，利用了Google的JAX框架。

据透露，苹果的LLM技术（大型语言模型）的主要应用场景是整合到Siri中，以提升语音助手的智能交互能力。

最近，苹果的研究成果显示，他们开发了一种技术，可以在闪存中优化运行大型语言模型，这比传统方法在CPU上的推理速度提高了4到5倍，在GPU上的推理速度提高了20到25倍。

苹果的这项技术，就像是找到了将大型模型装入手机这样的“冰箱”中的方法：通过减少闪存传输的数据量，并提高每次传输的数据吞吐量。

以手机为例，通常的存储结构是运行内存（RAM）和存储空间（如12GB+256GB或16GB+512GB）。运行内存虽然容量小，但读取速度快（如DRAM的10GB/s）；而存储空间容量大，但读取速度相对较慢（如Flash Memory的1GB/s）。

在大型模型的推理阶段，模型加载和数据处理通常需要直接占用运行内存，而目前市场上最大的16GB运行内存也难以满足大型模型的空间需求。苹果的解决方案是“减少闪存传输的数据量”，即在运行时仅将必要的数据调入运行内存。

这并非简单的数据搬运，关键在于如何精确筛选出所需数据，以及如何高效地将数据从闪存传输到运行内存。苹果采用了一种名为“sliding window”（滑窗）的方法。

想象一下，当大模型处理“Once upon a time there was a kid who had a dream”这句话时，模型中的某些神经元（青色格子）在处理“Once upon a time”时处于激活状态；当处理到“upon a time there was”时，模型会启用新的蓝色格子，并删除之前的一些青色格子（以粉色标注），而其他青色格子保持不变。

滑窗的核心思想是在模型运行过程中，只保留最初激活的神经元，后续运算基于前一次的参数进行调整，从而减少重复工作。

然而，这种方法并非没有挑战。知乎博主@Civ指出，滑窗的有效性基于大模型处理相邻数据时的相似性假设，但苹果并未详细论证这一假设。

此外，数据传输也是一个关键环节。苹果的方法是将多次传输的数据拼接后一次性读取，保持数据的连续性，避免多次复制造成的延迟；同时，预留较大的空间（虽然远小于模型整体占用量），以减少在数据传输过程中因空间调整而增加的计算负担。