AI邸报: 苹果重新定义AI，Luma AI硬刚Sora...

1. 苹果WWDC发布会，AI被重新定义，AI=Apple Intelligence。

在2024年WWDC上，苹果推出了名为“Apple Intelligence”的全新AI体系，整合到所有操作系统中，并与OpenAI合作，实现设备端与云端的协同处理。iOS 18通过AI增强了Siri、相机、日历等原生应用，提升用户体验。macOS 15、visionOS 2等也进行重大更新。库克表示，AI将改变苹果产品的用户服务方式。苹果转向AI，放弃了造车计划，凭借庞大用户基础和开发者网络，苹果的AI战略备受关注，有望引领AI大众化时代。

有话说：在微软把AI融入Windows的大背景下，先解决有的问题。没有AI加持的苹果，二级市场不认可，果粉们也不认可。不管是微软还是苹果，都是把AI作为Copilot，AI Super App当前还很难出现。微软苹果都和OpenAI合作，使用了其AI能力加持，所以不要老想着自己训练模型，先和有经验的公司合作，用上AI能力加持自己的产品才是正途，等有足够积累和需求的时候再自己训练。总之，AI技术再厉害，还是要让消费者用上才有价值，苹果、微软都在通过自己的产品做这个事情。

2. 上海交大PowerInfer-2.0实现手机上470亿参数大模型极速推理

苹果在移动设备上使用云端大模型引发隐私争议，而本地部署大模型面临内存和算力不足的挑战。上海交大IPADS实验室推出了PowerInfer-2.0推理引擎，通过动态神经元缓存和异构计算优化，实现了Mixtral 47B模型在手机上以11 tokens/s的速度运行。PowerInfer-2.0利用稀疏激活和神经元簇技术，在内存和I/O效率上有显著提升。团队还提出了TurboSparse优化方法，降低模型稀疏化成本并保持性能。这项技术有望扩展至车载和智能家居等设备。

有话说：端侧模型，绝对是手机未来的大杀器。每人一个专属模型使用，又不用担心隐私数据泄露，简直不要太爽。现在最大的问题是手机的算力跟不上，无法跑太大参数的模型，而小参数的模型效果又不好，如何平衡算力和模型参数，达到用户想要的效果，是当下需要解决的问题，期望PowerInfer-2.0开个好头。

3.Luma AI 推出 Dream Machine，硬刚Sora

Dream Machine是一款由初创公司Luma AI推出的高质量视频生成模型，支持文生视频和图生视频。基于Transformer架构训练，生成的内容物理准确、连贯且动态。尽管需求爆满导致排队，用户体验仍然极佳，生成的视频效果逼真，包括自然场景、动画风格等。Luma AI团队包括前苹果AR/CV工程师Amit Jain和前英伟达研究科学家Jiaming Song等，已融资超7000万美元（a16z、英伟达等）。Dream Machine之前，Luma AI发布的Genie 1.0也备受关注，能够快速生成3D物体。

有话说：Sora、Pika、Runway、SDV以及现在的Luma，文生视频领域的模型服务层出不穷，足以体现这个领域的热度和竞争。而且图片和视频的确是非常使用AI的领域，创造、所见即所得，但是它的门槛也比较高，不光技术门槛，还有成本，Luma 120秒 120帧已经是一个很大的突破。

4.Stable Diffusion 3 Medium 开源，20亿参数，消费级显卡可用

Stable Diffusion 3 Medium是SD3 系列的文本生成图像AI模型。该模型具有20亿参数，提供卓越的图像质量和逼真的输出，并能理解复杂的提示。它适合在标准消费者GPU上运行，资源效率高，并支持自定义微调。Stability AI 与NVIDIA和AMD合作优化了性能，使其在NVIDIA RTX GPU和AMD设备上表现优异。Stable Diffusion 3 Medium在开放的非商业许可下发布，并提供低成本的Creator License用于商业用途。用户可以通过API、Stable Assistant和Stable Artisan进行试用。

有话说：SD 3是一个新的版本，包含800M到8B的一系列模型，目前开源放出的是 Medium的2B参数的模型。在文生图领域，手部和脸部的瑕疵一直是个问题，据说SD3解决了这个问题，可以达到照片级别的真实还原，我试了效果真的很不错，更关键的是它可以在5G 显存上使用，这意味着它的使用成本在降低，会普及越来越多的人。

5.阿里通义 Qwen2 开源，全系列模型免费下载

Qwen系列模型升级至Qwen2，推出五个尺寸（0.5B至72B）的预训练和指令微调模型，支持32K至128K的上下文长度。新增27种语言，增强多语言能力和代码、数学处理能力。所有模型使用GQA技术，提升推理速度和显存效率。Qwen2-72B在各项基准测试中表现优异，超越Qwen1.5和其他开源模型。模型在Hugging Face和ModelScope上开源，Qwen2-72B-Instruct与GPT-4在安全性方面表现相当。Apache 2.0许可开放部分模型，Qwen2未来将扩展为多模态模型。

有话说：Qwen系列模型效果相当不错，各项数据表现优异，可定制化强，而且版本迭代也快，我们也在用。阿里云通过Qwen圈粉了很多开发者，这些开发者又在自己公司中使用Qwen，成为了阿里云的客户。