4 月 17 日 AI 头条|MiniMax发布万亿 MoE 模型abab 6.5
划重点:
OpenAI 首席执行官 Altman:AI成本或可降至接近零
中国首个音乐SOTA模型「天工音乐大模型」今日公测
Adobe Acrobat 推出全新AI 功能,可帮助用户总结文档
Rewind推创新可穿戴AI设备Limitless 实现全天候对话记录与个性化AI互动
Snowflake 开源 Arctic embed,号称全球最实用的检索文本嵌入 AI 模型
Linux 发行版 Gentoo 宣布禁止提供 AI 自然语言技术协助下创建的内容
百川智能回应新一轮融资消息报道:存在误差,将适时披露准确信息
MiniMax发布万亿 MoE 模型abab 6.5
资讯详情:
Altman:AI成本或可降至接近零
近日OpenAI 首席执行官 Sam Altman和公司首席运营官 Brad Lightcap 共同参与访谈节目,并在节目中透露:AI成本或可降至接近零。
Altman 表示,AI的计算成本将持续下降,AI 的价值将随着模型质量提升而不断上升。OpenAI 可以将非常高质量的 AI 技术成本降至接近零,这将对世界上大多数事情非常有利。
Brad Lightcap也表示希望将 ChatGPT 技术投入到业务流程中,从而实现可量化的投资回报率。他认为企业供应链非常需要AI 技术的加持,将 ChatGPT 投入到供应链管理特定流程可将特定领域支出削减 20%。不过企业采用周期较慢,而 ChatGPT 企业版仍在缓慢落地中。
中国首个音乐SOTA模型「天工音乐大模型」今日公测
昆仑万维今日宣布,天工 3.0 大模型性能提升显著,旗下的天工 SkyMusic 音乐大模型也在今日面向全社会开放公测。
天工 3.0 拥有 4000 亿参数,超越了 3140 亿参数的 Grok-1,是全球最大的开源 MoE 大模型。天工 3.0 在语义理解、逻辑推理、通用性、泛化性、不确定性知识、学习能力等领域性能提升显著,数学 / 推理 / 代码 / 文创能力提升超过 30%。天工 3.0 新增了多轮搜索与综合工具调用、图表绘制、研究模式、增强模式、改图扩图等多项 AI 能力。
天工 3.0 旗下的天工 SkyMusic 音乐大模型也在今日面向全社会开放公测。昆仑万维表示天工 SkyMusic 在人声 & BGM 音质、人声自然度、发音可懂度等领域“显著”领先对手,综合性能超越 Suno V3,取得音乐大模型 SOTA(State of the art model,即在当前研究中表现最好的模型)
Adobe Acrobat 推出全新AI 功能,可帮助用户总结文档
据 techopedia 报道,Adobe 宣布,推出全新 AI 功能Acrobat AI 助手,用户可以每月付费4.99美元订阅。
Acrobat AI 助手能够提供全面的文档摘要,并生成相关引文以补充聊天机器人的建议。据悉,Acrobat AI Assistant 是作为文档摘要支持推向市场的,而更直观的生成式 AI 服务则是视频制作者有效的问题解决工具。
Adobe 创意产品部高级副总裁 Ashley Still 表示:Adobe正在重新构想视频创作和制作工作流程的每一个步骤,为创作者提供新的力量和灵活性,以实现他们的愿景。
Rewind推创新可穿戴AI设备Limitless 实现全天候对话记录与个性化AI互动
the Verge 报道,Rewind 近日宣布推出一款可穿戴AI设备Limitless。据悉,这款AI设备可以记录用户听到的内容,并利用 AI 帮助用户记忆和理解。
Limitless可以收集云端和现实世界中的数据,能够记录日常会议、即兴对话等,并通过配套的应用程序方便地回放。用户可以通过轻触吊坠来标记对话中的重要时刻,便于后续查找。通过长按设备,用户可以随时与个性化AI进行互动,获取所需信息或帮助。
Limitless预计在今年8月份发货,售价99美元,其续航时间可以达到100小时。
Snowflake 开源 Arctic embed,号称全球最实用的检索文本嵌入 AI 模型
Snowflake 公司近日发布新闻稿,宣布在 Apache 2.0 许可下,推出开源 Arctic embed 系列模型。
根据 MTEB(衡量文本嵌入模型的评估指标合集)的检索(Retrieval)排行榜,Arctic embed 系列最大模型参数只有 3.34 亿个,是唯一一个平均检索性能超过 55.9 的模型。
感兴趣的用户目前可以访问 Hugging Face 使用 Arctic embed 系列模型,后续也可以访问 Snowflake 的 Cortex 嵌入功能(目前处于私人预览阶段)中使用。
Linux 发行版 Gentoo 宣布禁止提供 AI 自然语言技术协助下创建的内容
据OSCHINA报道,Gentoo 理事会 4 月 14 日一致通过了一项新的 AI 政策:明令禁止向 Gentoo 提供任何借助 AI 自然语言处理工具创建的内容。如果此类工具不涉及版权、道德和质量问题,则可重新讨论这一动议。
这项 AI 政策影响 Gentoo 代码贡献与官方 Gentoo 项目,但并不禁止为 AI 相关软件或上游借助 AI 工具开发的软件添加软件包。
Gentoo 是一个基于 Linux 的操作系统,可以针对任何应用或需求进行自动优化和定制,被官方称作元发行版(meta-distribution)。Gentoo 的主要工具用简单的编程语言构建,使用由 Python 编写的 Portage 作为软件包维护系统,由 bash 编写的 Ebuilds 为 Portage 定义软件包。
据界面新闻报道,针对媒体报道百川智能进行新一轮数亿美元融资的消息,百川智能方面回应称,公司有关注到部分媒体就其 A2 轮融资的报道,存在一定误差。
百川智能表示:我们尚未对外正式发布任何新的融资信息,在适当的时候向公众披露准确的融资信息。
百川智能由搜狗前 CEO 王小川于 2023 年成立,已发布多款开源大模型,其最新产品Baichuan 3在多个权威通用能力评测如CMMLU、GAOKAO和AGI-Eval中,Baichuan 3都展现了出色的能力,尤其在中文任务上更是超越了GPT-4。
据 MiniMax 官方消息,首款万亿 MoE 模型abab 6.5现已推出。
abab6.5系列包含两个模型:abab6.5和 abab6.5s。abab6.5拥有万亿参数,支持200k tokens 的上下文长度;而 abab6.5s 采用了相同的训练技术和数据,但更高效,支持200k tokens 的上下文长度,并且可以在1秒内处理近3万字的文本。MiniMax 表示,在各类核心能力测试中,abab6.5开始接近世界上最领先的大语言模型,如 GPT-4、Claude-3、Gemini-1.5等。
abab6.5和 abab6.5s 将会陆续更新到 MiniMax 旗下的产品中,包括生产力产品海螺 AI 和 MiniMax 开放平台。用户可以通过这些产品来体验这些先进的语言模型。
今日重点论文:
阿里巴巴集团智能计算研究院:
《Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation》
论文提出了一种基于扩散模型的新框架,通过引入ReferenceNet来合并细节特征,使用有效的姿势指导器来指导角色的动作,并采用有效的时间建模方法来确保视频帧之间的平滑过渡。论文的亮点包括ReferenceNet的设计、姿势指导器的引入和时间建模方法的使用,实验中使用了时尚视频和人类舞蹈合成数据集,并取得了最先进的结果。
论文地址:
https://arxiv.org/abs/2311.17117v1
同济大学上海智能自主系统研究院:
《Retrieval-Augmented Generation for Large Language Models: A Survey》
论文详细分析了RAG的演变,重点关注了三个关键范式:Naive RAG、Advanced RAG和Modular RAG。论文系统地研究了RAG系统的三个基本组件:检索器、生成器和增强方法,强调了每个组件内的尖端技术。此外,论文还介绍了评估RAG模型的新指标和能力,以及最新的评估框架。最后,论文从三个角度概述了未来的研究方向:未来的挑战、模态扩展以及RAG技术栈和生态系统的发展。
论文地址:
https://arxiv.org/abs/2312.10997v2
纽约大学:
《GPQA: A Graduate-Level Google-Proof Q&A Benchmark》
本论文的数据集GPQA由生物学、物理学和化学领域的专家撰写,难度极高,对于即使是高技能的非专家验证者来说也很难。此外,该数据集对于最先进的AI系统也很具有挑战性。作者还使用了强大的GPT-4模型作为基准线,但其准确率仅为39%。作者希望通过该数据集进行可扩展的监督实验,以帮助开发可靠的AI监督方法。
https://arxiv.org/abs/2311.12022v1
微软研究院:
《Orca 2: Teaching Small Language Models How to Reason》
论文中提出了通过教授小型语言模型不同的解决问题的策略来提高其推理能力,相比于当前的研究,这是一种新的思路。论文使用了15个不同的基准测试数据集,共计大约100个任务和超过36,000个独特提示,证明了Orca 2在零样本设置下表现出色。此外,作者公开了Orca 2的权重,以支持对小型语言模型的开发、评估和对齐的研究。
论文地址:
https://arxiv.org/abs/2311.11045v2
南加州大学:
《Logits of API-Protected LLMs Leak Proprietary Information》
论文通过实验验证了提出的方法的有效性,使用了OpenAI的gpt-3.5-turbo模型进行了实验,并得出了该模型的嵌入大小约为4,096的结论。此外,论文还探讨了LLM提供商如何防范此类攻击,并提出这些能力可以作为一个特性,允许更大的透明度和问责制。
论文地址:
https://arxiv.org/abs/2403.09539v2