赶在苹果秋季发布会之前，我们梳理了Apple Intelligence的全景图及最新进展
郭晓静 吴彬约 14 分钟腾讯科技作者 郭晓静 吴彬
视频策划 吴彬
编辑 郑可君
在今年6月的WWDC24（苹果全球开发者大会）上，全世界第一次听到“Apple Intelligence”这个名词，苹果用人工智能（AI）的谐音梗，定义了自己的Apple AI。而此前，苹果公司在讨论其机器学习的相关功能时，会避免使用“AI”这一术语。
时至今日，在最新的苹果秋季发布会邀请函中，虽无“AI”，却无不透露着“AI”的各种气息。
图注：左为苹果2024秋季新品发布会邀请函、右为WWDC24邀请函
比如，邀请函的主题是“高光时刻”，主配色、苹果Logo周围的彩色光晕，和WWDC24邀请函的主配色非常一致。
图注：Siri的新图标、唤醒Siri之后的iPhone显示效果
以及Siri的颜色也在发生变化，可以看到，它的新logo以及唤醒Siri之后的配色，和旧siri完全不一样了。
图注：2023苹果秋季发布会、WWDC23的邀请函、旧Siri logo，配色方案可以看到比较明显的区别
我甚至让某AI产品帮我分析了一下秋季发布会的邀请函到底有哪些AI相关的元素，它告诉我：
图形设计方面：logo 由线条围绕着苹果的经典轮廓，动态感与 AI 的智能交互模拟，这种动态的图形设计可能是在模拟 AI 技术所带来的流畅的智能交互体验；
色调：邀请函 logo 采用了霓虹色调，如蓝色、紫色、橙色和粉色等，丰富色彩的组合与 AI的 生成艺术很相似；这些色彩本身可能与苹果产品中 AI 相关功能的特点或应用场景存在关联；
视觉关联：邀请函与 Siri 的视觉关联可能暗示着 AI 技术在苹果产品中的核心地位，以及 Siri 在未来可能会得到进一步的升级和优化，与其他 AI 功能更好地融合，为用户提供更智能、便捷的服务；
从闭口不提AI，到连名字都要玩“AI”的谐音梗，甚至邀请函的配色都要与“AI”一致。显然，这些设计并非巧合，苹果在暗示Apple Intelligence在今年的秋季发布上依旧会是重头戏。
那么，Apple Intelligence到底强在哪里？在这篇文章中，我们将和你详细聊聊以下这些问题：
① 前情提要：根据现有信息，Apple Intelligence全景图是什么样子？
② 进度盘点：从6月到8月，Apple Intelligence的进展如何？
③ 猜一猜：我们即将能看到怎么样的Apple Intelligence？
苹果AI全景图：完全私密和安全？
WWDC24上，库克的这段讲话很重要：
“我们很高兴地推出苹果创新的新篇章。Apple Intelligence将改变用户使用我们产品的方式——以及我们的产品能为用户做什么，我们独特的方法结合了生成性AI和用户的需求，提供真正有用的智能。它能够以完全私密和安全的方式访问那些信息，帮助用户做对他们最重要的事情。这是只有苹果才能提供的AI，我们迫不及待地想让用户体验它能做什么。”
但端侧模型有一个不可能三角：性能、参数量和内存及功耗占用，这也是各家厂商最头疼的问题。
性能优异，就要参数量大；而参数量大，就意味着内存占用大，功耗也会大；功耗过大又可能会影响性能。所以这三者应该如何平衡呢？
苹果的方案如下：
① 低比特palettization：这个技术让模型变轻，就像把高清照片压缩，不占太多手机空间。
② LoRA适配器：这些小工具能让模型根据需要快速学习新技能，类似乐高积木，拼出各种形状。
③ Talaria工具：这个工具帮助监控和调节模型的能耗，确保它不会消耗太多电量。
④ 分组查询注意力：让模型能快速聚焦重要信息，就像用标签快速找到图书一样。
⑤ 共享词汇表：通过共享词汇，减少了内存占用，就像用一本字典供所有人查单词，省地方。
简单说来，这些优化技术让AFM-on-device在保持聪明的同时，也做到了省电和快速响应。
LoRA适配器（Low-Rank Adaptation adapter）是其中最大的亮点，这是一种用于优化机器学习模型，尤其是大型语言模型和生成式模型的技术工具，就像是给基础模型加上了专门“总结信息”或“回复邮件”的小工具，让模型能够更好地完成这些特定的任务。
视频：LoRA适配器工作示意这就是Apple Intelligence的第二个重要组成部分，云端模型（AFM Server）。
这里需要补充说明一句，编排层的作用是负责判断用户需求是依靠端侧解决还是要上传云端，类似于一个指挥官。苹果在这里没有进行任何人工干预，完全依靠算法自行判断，用户无法决定自己的数据是不是仅放在端侧。
云端模型的具体参数量苹果并没有透露，与端侧模型是更大模型蒸馏而来不同，它是从零开始训练的。同时，并且使用了一些和端侧模型共通的先进的训练方法。
这个云端模型最重要的特点就是实现库克在提到的“完全私密和安全”，它是通过私有云计算PCC（Private Cloud Compute）提供防护。
① 用户发起请求：比如你用手机问Siri：“我应该几点去接孩子放学，还能赶得上公司会议？”
② 安全封装：你的手机立刻把这个请求加密成一个“秘密包裹”，这个包裹只有PCC能解密。
③ 秘密发送：这个“秘密包裹”通过一条安全的秘密通道发送到PCC。这个通道就像一个有密码锁的隧道，只有知道密码的人才能通过。
④ PCC解密并处理：PCC接收到包裹后，用自己的超级大脑（强大的AI模型）来理解你的请求，并找出答案。在这个过程中，PCC会用各种技术来确保你的数据不会被泄露或滥用。
⑤ 数据用完即删：PCC找到答案后，会立即删除所有临时保存的你的数据，就像用水擦掉黑板上的字一样，不留任何痕迹。
用一个形象但不完全严谨的比喻来理解的话：PCC就像一个设计特别的保险库，即使你能进到保险库里面，也很难找到特定的贵重物品放在哪，因为它们被随机地存放在不同的地方，这就是所谓的“目标扩散”技术。
此外，保险库的门和锁都非常坚固，只有经过验证的员工（也就是PCC的节点）才能打开，而且每次开门都需要用到特别的钥匙（加密技术），这些钥匙是一次性的，用完就失效，这样就算有人偷了钥匙，也打不开门。
最重要的是，即使你能进到保险库里面，你的贵重物品在被拿出来看过之后，很快就会被放回原位并且锁起来，不会留下任何痕迹，这样就算有人想找到它们以前的位置也做不到。
而这套层层保障安全的方案，也只有苹果目前有条件做到。
这就不得不提到Apple Intelligence的第三个重要部分，自研芯片层。这些保障安全的Server中，用的都是苹果自研的芯片M2 Ultra。
这些芯片提供了强大的加密功能，能够执行复杂的加密算法，确保数据在传输和处理过程中的安全性。并集成了多种硬件安全功能，比如安全飞地（Secure Enclave），它是一个隔离的硬件区域，专门用于安全地处理加密密钥和敏感操作，确保即使在服务器层面上也能保护用户数据。
此外，这些芯片还支持安全启动技术，这确保了服务器只能运行经过苹果签名的软件，从而防止恶意软件在系统启动时加载。
无论是iPhone的A系列芯片，还是Mac的M系列芯片，他们都完全是苹果自研的。这就意味着这些芯片一出生就与苹果体系浑然天成，在性能、功耗、安全等方面完美支持Apple Intelligence，这是其它的厂商完全没有的优势。
而这三个特点，构成了整个苹果智能的全部核心：本地运行的端侧模型及一系列有特定作用的基础模型、通过私有云计算服务提供的云端模型，以及强大的自研芯片。
讲到这里大家可能会问，OpenAI在哪里？之前不是有传闻说，Apple Intelligence的基础模型用的是OpenAI的吗？
苹果没有公布太多与OpenAI的合作细节，从目前展示的效果来看，ChatGPT并不是通过独立App的形式预装在系统里的，苹果只是给了OpenAI一个应用程序接口，将ChatGPT集成了在系统中，就像苹果和谷歌搜索的合作方式类似，OpenAI在其中并不会获得更高的权限。
在这个过程中，用户有权利主动选择是否需要使用OpenAI的服务，而在数据交给OpenAI之后，苹果就不会对后续的数据安全进行负责。
而且，OpenAI也不会是唯一合作方，据外媒报道，苹果也在和谷歌讨论大模型相关的合作。所以，OpenAI应该就是Apple Intelligence生态里面的合作伙伴之一。
从6月到8月，
Apple Intelligence的进展如何？
有了这样的底座支撑，用户就可以尽情体验产品功能了。
我们先来回顾一下 6月的WWDC24上公布的关于Apple Intelligence的具体功能，可以分为以下几类：
① 写作工具（writing tools）可以帮你校对、按照风格重写内容、总结文本内容等；
② 图像生成（image playground）根据提示词，生成有趣好玩的图像
③ 表情包生成（Genmoji）生成有趣的个性化表情包
④ 更加高级的Siri，交互更自然、更个性化、与系统结合更深入。
就在刚刚过去的八月，北美地区的开发者已经开始使用符合条件的苹果硬件设备，体验起Apple Intelligence的部分功能了。
现有的功能比WWDC24公布的时候，切分更细，但是整体基本还是文本辅助（写作、总结、邮件回复等等）、图像生成（照片处理、Genmoji）、电话录音及整理等等，以下是腾讯科技根据公开信息不完全统计的功能列表：
我们可以看到，进度最快的是文本处理相关的功能。
在多模态处理方面，目前看来纯端侧的部分上线，比如照片搜索、通话录音等已上线；图片生成功能还没上线。而多模态的、需要调动云端能力的功能，看起来都还没有准备好。
简单的集成入系统的功能，比如Focus Modes（专注模式）、优先重要通知等功能，应该均为纯端侧处理，已经上线。Siri的UI新特效等简单功能已经推出。
但是，万众期待的与系统深度融合的Siri升级——可通过语音指令在不同App之间流转，以及第三方的OpenAI 大模型GPT的集成，都还没有上线。按照苹果官方网站的说法，在未来的一年内，将会完成其它语言（非英语）、软件平台能力等内容的更新。
如果按照进度条来看，距离WWDC24上苹果许下的诺言，估计只完成了30%左右。
但用户想要使用，可是有很严格的前提条件：使用的设备必须是iPhone15 Pro、iPhone 15 Pro Max的后续机型，或者是M1芯片以后的iPad和Mac。而且，Siri和设备的语言需要设定为英语（美国）。
图注：苹果官网公布的可以体验苹果智能的硬件及系统条件
Apple Intelligence的雏形已经形成，但距离所有的苹果用户都能使用还有很长时间。
如果你的产品符合苹果所说的硬件、语言、地区的各项条件，那在秋季你就可以和Apple Intelligence初次见面。当然，可能并不是9月的新品发布会，据外媒报道，应该是在10月份。
除了Apple Intelligence，这次秋季新品发布会我们还可以期待一下iPhone 16上搭载的A18芯片。
根据目前曝光的消息，苹果会在A18芯片上使用和M4一样的台积电的N3E工艺，相比去年A17 Pro上使用的N3B工艺，N3E在提升能效方面有着更大的优势。
N3E工艺是什么？
它相当于手机芯片做了一次内部升级，虽然房子（基本单元）大小没变，但是道路（电路）和设施（晶体管）被重新设计，让整个区域（芯片）运行得更高效。这就好比让城市交通更顺畅，居民用电更省。因此用上这种工艺的A18芯片，能让用户感受到手机反应更快、电池用得更久，同时处理多个任务也更流畅。
去年苹果推出的A17 Pro的NPU算力有35 TOPS，A18只会更高
写在最后
图注：Siri 公司的创始人之一 Dag Kittlaus
参考资料：
Introducing Apple’s On-Device and Server Foundation Models - Apple Machine Learning Research
Apple Intelligence - Apple Developer
Introducing Apple Intelligence for iPhone, iPad, and Mac - Apple
Blog - Private Cloud Compute: A new frontier for AI privacy in the cloud - Apple Security Research
https://mrmad.com.tw/ios-18-new-function