ReaderMX.
GenAI新世界

6月12日 AI 头条｜苹果 AI 本地模型参数规模仅 3B

G大模型机动组约 5 分钟
Image
划重点：
  • 苹果 AI 本地模型参数规模仅 3B
  • Altamn 或与三星李在镕单独会面，讨论 AI 芯片合作事宜
  • Mistral 估值飙升至近 60 亿欧元
  • 微软或将把人工智能研发工作外包给 OpenAI
  • 科大讯飞将于6月27日发布讯飞星火V4.0
  • 上交大发布 LLM 手机推理框架 PowerInfer-2，提速 29 倍
  • 字节跳动回应 AI 手机相关报道，称实为基于手机的大模型软件解决方案
  • 科学家利用 AI 造出世界最强铁基超导磁体
  • 美图奇想大模型（MiracleVision）升级到V5
资讯详情：
苹果公开Apple Intelligence所用模型，参数规模仅 3B
据 venturebeat 报道，苹果在 WWDC 发布会之后发布文章，介绍了Apple Intelligence背后所采用的模型。
据报道，苹果使用的是一个 30 亿参数模型。苹果并没有明确说明它使用哪种模型作为基础模型。但它最近发布了几个开放模型，包括 OpenELM 系列语言模型，其中包括一个 30 亿参数版本。OpenELM 是在 1.8 万亿个令牌的开放数据集上训练出来的。博文称，新的基础模型是在 "授权数据，包括为增强特定功能而选择的数据，以及我们的网络爬虫 AppleBot 收集的公开数据 "上训练出来的。
Image
Altamn 或与三星李在镕单独会面，讨论 AI 芯片合作事宜
据 韩国时报报道，OpenAI CEO Sam Altman近日会见了正在美国出差的三星集团会长李在镕。
报道提到，双方讨论了人工智能（AI）芯片的合作问题。Altman正在推动开发自己的 AI 芯片，以减少对英伟达的依赖。三星电子则是具有制造能力的第一大存储半导体公司，被认为是一个强大的关键合作伙伴。
Image
Mistral 估值飙升至近 60 亿欧元
据 The Information 报道，总部位于巴黎的 AI 初创公司 Mistral AI 现已筹集到 6 亿欧元的资金，估值接近 60 亿欧元。
该公司由微软、英伟达提供支持，成立至今刚满一年，被视作 OpenAI 的潜在挑战者。Mistral 的联合创始人 Timothée Lacroix、Guillaume Lample、Mensch 仍然是公司的主要股东，都是曾在谷歌 DeepMind 和 Meta 工作的法国 AI 研究人员。
Image
微软或将把人工智能研发工作外包给 OpenAI
据 mspoweruser 报道，微软决定将其人工智能开发工作外包给 OpenAI，这可能会使微软在该领域沦为一个单纯的顾问。也可能让谷歌在人工智能主导地位的竞争中占据巨大优势。
报道称，微软对其投资数十亿美元的公司OpenAI的严重依赖可能会削弱其自身的人工智能研发（R&D）。而谷歌的 DeepMind 研究部门开创了变压器等关键的人工智能技术。
Image
科大讯飞将于6月27日发布讯飞星火V4.0
科大讯飞董事长刘庆峰透露，科大讯飞将于今年6月27日发布讯飞星火V4.0。
据悉，科大讯飞 4.0版本将展示最新的端到端智能语音技术成果，并且科大讯飞还计划在未来三季度推出其端到端的语音技术建模方案。此外，科大讯飞还将为用户提供GPT-4o所不具备的一句话复刻、高噪音场景语音识别以及多方言多语种免切换功能。
Image
上交大发布 LLM 手机推理框架 PowerInfer-2，提速 29 倍
据 Arxiv 页面显示，上海交大 IPADS 实验室推出了面向手机的大模型推理引擎PowerInfer-2.0。
PowerInfer-2.0 能够在内存有限的智能手机上实现快速推理，让 Mixtral 47B 模型在手机上达到11 tokens/s 的速度。与热门开源推理框架 llama.cpp 相比，PowerInfer-2.0 的推理加速比平均达到 25 倍，最高达 29 倍。
Image
字节跳动回应 AI 手机相关报道，称实为基于手机的大模型软件解决方案
据 新浪科技报道，字节跳动近日针对正研发AI手机传闻进行回应，称此消息不实。
字节跳动表示，该公司正在研发探索基于手机的大模型软件解决方案，提供给手机厂商参考使用。目前并没有自己做手机并销售的计划。
Image
美图奇想大模型（MiracleVision）升级到V5
美图公司宣布美图奇想大模型（MiracleVision）已升级到V5，将通过“AI工作流”进一步助力电商、广告、游戏、影视、动漫五大行业。并以该模型能力为基石，推出AI短片创作工具MOKI，助力用户实现多种视频场景的AI 短片创作。
美图奇想大模型 V5 采用美图自研DiT技术架构，涵盖图像大模型、视频大模型、音频大模型和文本大模型，拥有更好的扩展性与更大的参数量，在语义理解、画面稳定性、动态连续性、主体一致性、内容可控性以及生成时长等方面，获得全方位提升。
Image
今日重点论文：
Strative.AI：
《RAG Does Not Work for Enterprises》
解决企业级Retrieval-Augmented Generation (RAG)的数据安全、准确性、可扩展性和集成性问题。通过语义搜索、混合查询和优化检索等方法，提出评估框架以验证企业级RAG解决方案的能力，包括量化测试、质性分析、消融研究和行业案例研究。论文提出的评估框架可以帮助验证企业级RAG解决方案的能力，实验设计合理，使用了多个数据集，但没有开源代码，未来需要深入研究语义搜索和混合查询等方面。
论文地址：
https://arxiv.org/abs/2406.04369v1
芝加哥大学
《The Geometry of Categorical and Hierarchical Concepts in Large Language Models》
论文旨在解决大型语言模型中语义含义如何编码的问题，特别是涉及到分类概念和概念之间的层次关系编码的问题。论文提出了线性表示假设的扩展，将简单的分类概念表示为单纯形，层次关系概念在某种意义下是正交的，复杂概念表示为由单纯形的直和构成的多面体，反映了层次结构。
论文地址：
https://arxiv.org/abs/2406.01506v1
Meta《CRAG -- Comprehensive RAG Benchmark》
提出 Comprehensive RAG Benchmark（CRAG）解决现有 RAG 数据集不足以代表真实 QA 任务的问题，以及验证 RAG 在解决 QA 中的有效性。通过设计包含多个领域和问题类型、反映实体流行度和时间动态性的 CRAG 数据集，评估现有 LLM 和 RAG 的性能，并提出未来研究方向。
论文地址：
https://arxiv.org/abs/2406.04744v1
奥斯陆大学
《BERTs are Generative In-Context Learners》
论文探讨掩码语言模型的上下文学习能力，并挑战了这种能力在它们身上不会出现的普遍观点。通过一种简单的推断技术，DeBERTa可以在没有任何额外训练的情况下作为生成模型运行，这种技术可以使DeBERTa匹配甚至超越GPT-3。论文发现掩码和因果语言模型的行为非常不同，在不同类别的任务上它们都可以明显优于彼此，这表明有一个混合训练方法的巨大潜力，可以利用两种训练目标的优势。
论文地址：
https://arxiv.org/abs/2406.04823v1
Image

KEEP THE THREAD GOING

更多来源文章