ReaderMX.
GenAI新世界

7月29日 AI 头条｜带有 Apple 智能的 iOS 18.1 测试版最早将在本周推出

G大模型机动组约 6 分钟
Image
划重点:
  • 带有 Apple 智能的 iOS 18.1 测试版最早将在本周推出
  • Meta 训练 Llama 3 遭遇频繁故障：16384 块 H100 GPU 训练集群每 3 小时「罢工」一次
  • Anthropic 违规爬虫抓取数据引发多个网站不满
  • 黑客或正利用 AI 技术窥探电脑屏幕，新模型可利用 HDMI 线盗取信息
  • 蔚来发布中国首个智能驾驶世界模型 NWM
  • 亚马逊云发布Amazon Q Apps：允许用户构建自己的生成式 AI 应用程序
  • 微软允许开发者微调 Phi-3-mini 和 Phi-3-medium AI 模型
  • 波形智能发布新一代个性化自适应私人语言模型
资讯详情：
带有 Apple 智能的 iOS 18.1 测试版最早将在本周推出
Mark Gurman 报道，苹果将不会在 iOS 18、iPadOS 18 和 macOS 15 正式发布时同时带来 Apple 智能的正式版本，相关功能将在 10 月份与这些系统的首个大更新，即 iOS 18.1、iPadOS 18.1 和 macOS 15.1 一起到来，据悉这么做的目的是为了有更多时间去增强相关功能的稳定性。
Gurman 也报道称，带有 Apple 智能的 iOS 18.1 和 iPadOS 18.1 测试版有望于本周推出，虽然在首个正式版推出之前就推送大更新测试版的情况比较少见。他也表示，即使 Apple 智能会和 iOS 18.1 等版本推出，但仍然会缺少一些功能，例如新的 Siri，预计将于明年上半年推出。    
Gurman 也指出，这种更新策略或许将导致 iPhone 16 系列在刚推出时不会预装 Apple 智能，而是需要发布后几周通过更新获取。
Image
Meta 训练 Llama 3 遭遇频繁故障：16384 块 H100 GPU 训练集群每 3 小时「罢工」一次
据Meta 发布的一份研究报告显示，其用于训练 4050 亿参数模型 Llama 3 的 16384 个英伟达 H100 显卡集群在 54 天内出现了 419 次意外故障，平均每三小时就有一次。
其中，一半以上的故障是由显卡或其搭载的高带宽内存（HBM3）引起的。由于系统规模巨大且任务高度同步，单个显卡故障可能导致整个训练任务中断，需要重新开始。尽管如此，Meta 团队还是保持了 90% 以上的有效训练时间。    
在为期 54 天的预训练中，共出现了 466 次工作中断，其中 47 次是计划中断，419 次是意外中断。
Image
Anthropic 违规爬虫抓取数据引发多个网站不满
据The Verge 报道，AI 初创公司 Anthropic 用来抓取旗下 AI 训练数据的网络爬虫在 24 小时内攻击了维修网站 iFixit 近 100 万次，并违反了该公司的数据使用条款。
iFixit CEO Kyle Wiens 在社交平台 X 上表示；「如果这些请求有一个访问了我们的服务条款，它们会告诉您我们的内容是明确禁止使用的。」
由于爬虫抓取率过高，Anthropic 的爬虫机器人触发了 iFixit 所有的警报，还启动了 iFixit 的技术团队。    
Image
黑客或正利用 AI 技术窥探电脑屏幕，新模型可利用 HDMI 线盗取信息
据 Tom hardware 报道，来自乌拉圭的一组研究人员近日发现了一种黑客利用人工智能窥探显示器显示内容的方法，可以通过拦截电脑和显示器之间电缆泄漏的电磁辐射获取信息。
窥探是通过拦截电脑 HDMI 电缆泄漏的电磁辐射来实现的。研究人员表示，在模拟视频信号时代，这种窥探要容易得多，因为用于高清视频的数字传输要复杂得多。虽然复杂，但这并不意味着不可能完成任务。乌拉圭共和国大学的Federico Larroc表示，他和他的团队已经开发出一种人工智能模型，可以从几米远的泄露信号中重建数字信号。
利用与 Larroc团队开发的方法类似的方法，黑客可以在用户输入加密信息、银行登录信息或其他个人信息时窥探屏幕。该团队说，黑客甚至可以站在大楼外用天线拦截信号。他们还可以安放一个小型设备，捕捉信号，然后传输数据或让人通过物理方式恢复数据。    
令人担忧的是，这种攻击越来越成功。以前最先进的攻击方法比 Larroca 团队设计的方法容易出错 60%。值得庆幸的是， Larroc怀疑普通家庭或小型企业的计算机用户是否需要担心这个问题。
Image
蔚来发布中国首个智能驾驶世界模型 NWM
在蔚来的NIO IN 2024 蔚来创新科技日活动中，蔚来发布智能驾驶世界模型NWM。
它是一个多元自回归生成式的具身驾驶模型，可全量理解数据、具有长时序推演和决策能力，能在 100 毫秒内推演出 216 种可能发生的场景，在万千平行世界中寻找最优路径。
作为生成式模型，NWM 还能基于 3 秒的驾驶视频，生成 120 秒的想象视频。NWM 具备与生俱来的闭环仿真测试能力，已在复杂交互场景中全面测试并验证性能。    
Image
亚马逊云发布Amazon Q Apps：允许用户构建自己的生成式 AI 应用程序
亚马逊云科技近日宣布了多项新技术和新服务，旨在使构建AI应用更加便捷。
Amazon Q Apps:这项服务允许用户根据简单描述创建应用程序，即便没有技术背景也能轻松使用。Amazon Q Apps是Amazon Q Business的一部分，能够支持软件开发、数据分析洞察和内容创作等多种任务。
Image
微软允许开发者微调 Phi-3-mini 和 Phi-3-medium AI 模型    
据微软官方消息，微软在 Azure 上支持开发者微调（fine-tune） Phi-3-mini 和 Phi-3-medium AI 模型，针对不同用例提高模型的性能。
例如，开发者可以微调 Phi-3-medium 模型，用于辅导学生；或者可以根据特定的语气或响应风格构建聊天应用程序。
Phi-3-mini 模型于今年 4 月发布，共有 38 亿参数，上下文长度有 4K 和 128K 两个版本；Phi-3-medium 模型共有 140 亿参数，上下文长度同样有 4K 和 128K 两个版本。Phi-3-mini 模型在 6 月更新之后，跑分性能进一步提升。
Image
今日重点论文：
武汉大学：
《Keep the Cost Down: A Review on Methods to Optimize LLM' s KV-Cache Consumption》    
优化大型语言模型中KV-Cache的空间使用。使用不同的方法来压缩KV-Cache，优化大型语言模型中处理长文本的能力。使用KV-Cache可以将token生成的时间复杂度从二次降为线性，但会增加GPU内存开销，本文提出了多种方法来优化KV-Cache的空间使用，包括预训练阶段、部署阶段和推理阶段，同时列举了评估大型语言模型长文本处理能力的指标和开源数据集。
论文地址：
https://arxiv.org/abs/2407.18003v1
华盛顿大学：
《Data Mixture Inference: What do BPE Tokenizers Reveal about their Training Data?》
本论文尝试解决的问题是揭示现有最强语言模型训练数据的分布情况，即各种领域或语言的比例。这个问题是新问题。本论文提出了一种新的攻击方法，基于BPE分词器，通过分析BPE分词器的合并规则，间接地推断出训练数据的分布情况。同时，通过控制实验，论文还验证了该方法的有效性。
论文地址：
https://arxiv.org/abs/2407.16607v2
斯坦福大学
《Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data》
论文研究生成模型在自己生成的输出上进行训练时可能出现的模型崩溃问题，并探讨是否累积数据能够避免这种问题。论文证明了当数据累积时，测试误差具有一个独立于迭代次数的有限上界，从而避免了模型崩溃问题。论文还通过预训练语言模型、扩散模型和变分自编码器等模型的实验验证了这个结论。    
论文地址：
https://arxiv.org/abs/2404.01413v1
加州大学：
《Beyond Euclid: An Illustrated Guide to Modern Machine Learning with Geometric, Topological, and Algebraic Structures》
论文旨在解决在机器学习中遇到的非欧几里得数据的处理问题，这种数据具有复杂的几何、拓扑和代数结构。该论文试图通过提出一种新的数学视角来解决这个问题。这是否是一个新问题？该论文提出了一种新的数学框架，将非欧几里得结构纳入到机器学习中。这种框架可以推广到各种类型的非欧几里得数据，包括具有曲率的时空数据、神经元之间的拓扑复杂相互作用以及描述物理系统对称性的代数变换。相比当前领域的研究，该论文的思路具有新意。
论文地址：
https://arxiv.org/abs/2407.09468v1   
Image

KEEP THE THREAD GOING

更多来源文章