速递|量子学家重构AI压缩算法,Multiverse已筹集2.15亿美元,打造出史上体积最小两款模型
欧洲一家知名AI 初创公司发布了两款微型 AI 模型,其体积之小,以至于用鸡脑和苍蝇大脑来命名它们。
Multiverse Computing 宣称这些是全球最小但仍保持高性能的模型,能够处理聊天、语音甚至在某些情况下进行推理。
这些新型微型模型旨在嵌入物联网设备,并能在智能手机、平板电脑和个人电脑上本地运行。
"我们可以将模型压缩到足以适配各种设备,"创始人罗曼·奥鲁斯告诉 TechCrunch,"你可以在本地运行它们,直接在你的 iPhone 或 Apple Watch 上。"
正如我们此前报道,Multiverse Computing 是一家备受瞩目的欧洲 AI 初创公司,总部位于西班牙多诺斯蒂亚,在全球各地拥有约 100 名员工。
它由欧洲顶尖量子计算机与物理学教授罗曼·奥鲁斯、量子计算专家塞缪尔·穆格尔以及前 Unnim Banc 副首席执行官恩里克·利萨索·奥尔莫斯联合创立。
该公司在6 月刚刚凭借其名为"CompactifAI"的模型压缩技术筹集了 1.89 亿欧元(约合 2.15 亿美元) 资金。(Orús 表示,自 2019 年成立以来,公司已筹集约 2.5 亿美元。)
Orús 表示,CompactifAI 是一种受量子启发的压缩算法,能在不牺牲模型性能的前提下缩小现有 AI 模型的体积。
"我们拥有的压缩技术不同于计算机科学或机器学习领域的常规压缩技术,因为我们来自量子物理学领域,"他解释道,"这是一种更为精妙、更为精细的压缩算法。"
该公司已经发布了大量开源模型的压缩版本,特别是像Llama 4 Scout 或 Mistral Small 3.1 这样流行的小型模型。最近还推出了 OpenAI 两款新开源模型的压缩版本。此外还压缩了一些超大型模型——例如提供了 DeepSeek R1 Slim 版本。
但由于该公司专注于模型小型化业务,因此格外致力于打造尽可能最小却最强大的模型。
该公司表示,这两款新模型体积如此之小,几乎可以为任何物联网设备带来聊天AI 功能,且无需联网即可运行。他们幽默地将这一系列称为"模型动物园",因为产品命名基于动物大脑尺寸。
名为SuperFly 的模型是 Hugging Face 开源模型 SmolLM2-135 的压缩版。原模型拥有 1.35 亿参数,专为设备端使用开发。而 SuperFly 仅 9400 万参数,Orús 将其比作苍蝇大脑的尺寸。"这就像拥有一只苍蝇,但稍微聪明一点,"他说道。
SuperFly 专为在受限数据(如设备操作数据)上训练而设计。Multiverse 设想将其嵌入家用电器,用户可通过"快速洗涤"等语音指令操作洗衣机,或进行故障排查提问。在 TechCrunch 的现场演示中可见,该模型仅需少量处理能力(如 Arduino)即可实现语音交互。
另一款模型名为ChickBrain,拥有 32 亿参数规模更大,但能力也显著更强且具备推理功能。Multiverse 表示这是 Meta 公司 Llama 3.1 8B 模型的压缩版本,但其体积小到足以在 MacBook 上离线运行。
更重要的是,Orús 指出 ChickBrain 在多项标准测试中实际表现略优于原模型,包括语言能力测试 MMLU-Pro、数学能力测试 Math 500 和 GSM8K,以及综合知识测试 GPQA Diamond。
以下是Multiverse 内部对 ChickBrain 在基准测试中的结果。该公司未提供 SuperFly 的基准测试数据,因为 Multiverse 并未将 SuperFly 定位用于需要推理能力的应用场景。
Multiverse Computing 旗下 ChickBrain 基准测试表现
图片来源:Multiverse Computing
值得注意的是,Multiverse 并未宣称其 Model Zoo 能在这些基准测试中击败最先进的超大模型。Zoo 的表现甚至可能无法登上排行榜。该公司表示,关键在于其技术能在不损失性能的前提下压缩模型体积。
奥鲁斯表示,公司已与所有主流设备及家电制造商展开洽谈。"我们正与苹果商谈,同时也与三星、索尼以及惠普进行对话——惠普在上一轮融资中已成为我们的投资者。"他透露道。此轮融资由欧洲知名风投机构 Bullhound Capital 领投,惠普科技风投、东芝等多家机构跟投。
这家初创公司还为其他形式的机器学习(如图像识别)提供压缩技术,六年来已获得巴斯夫、Ally、穆迪、博世等客户 。
除了直接向大型设备制造商销售模型外,Multiverse 还通过托管在 AWS 上的 API 提供其压缩模型 ,任何开发者都能使用,其代币费用通常低于竞争对手。
参考资料
编译:ChatGPT