4 月 9 日 AI 头条｜Meta 或将在下周发布两个小型的 Llama 3 大模型
荷花约 7 分钟划重点：
Meta 或将在下周发布两个小型的 Llama 3 大模型
消息称三星与韩国互联网巨头 NAVER 启动 Mach-2 人工智能芯片联合研发
天工 SkyMusic AI音乐生成大模型将在4月17日正式上线免费开放
微软宣布将在伦敦建立全新 AI 中心
Stability AI发布Stable LM2模型更新，参数增至120亿
360即将发布AI办公产品 将采用会员订阅模式
百度沈抖:过去一年，千帆大模型平台上API的调用量呈现指数级增长
Meta 或将在下周发布两个小型的 Llama 3 大模型
据 The Information 报道，Meta 计划在下周推出两款小型的 Llama 3 模型，为即将在今年夏季发布的正式版 Llama 3 模型预热。
Meta 相信，这两款小模型的发布有助于激发人们对于Llama 3 模型的兴趣。Meta希望Llama 3能赶上OpenAI的GPT-4，后者能根据用户上传到聊天机器人上的图片回答问题。正式版的Llama 3 将支持多模态，它将能够理解并生成文本和图像。相比之下，下周发布的两款小型机将不具备多模态功能。
与大型模型相比，小型模型通常成本更低，运行速度更快，在运行大型模型成本高昂的情况下，小型模型的价值日益凸显。对于想在移动设备上开发人工智能软件的开发者来说，小型模型也很有价值。
Meta 此前发布了三种 Llama 2 模型，其中最大的模型有 700 亿个参数，这些参数设置编码了模型在训练过程中的学习内容。另外两个模型分别有 130 亿个参数和 70 亿个参数。而最近几个月，Meta 公司的领导认为 Llama 2 在回答有争议的问题时过于保守，因此该公司生成 AI 部门的员工一直在努力让 Llama 3 更开放地回答有争议的问题。
据报道，Meta 或将会在今年7月之后发布正式版的Llama 3大模型，该版本的 Llama 3 可能拥有超过 1400 亿个参数。
消息称三星与韩国互联网巨头 NAVER 启动 Mach-2 人工智能芯片联合研发
据韩媒 ETNews 报道，三星电子与韩国互联网巨头 NAVER 双方已启动人工智能芯片 Mach-2 的联合研发。
消息人士透露，双方正在讨论 Mach-2 芯片开发设计的重点。该芯片将由 NAVER 设计核心软件，三星电子则负责芯片的设计和生产。
三星电子与 NAVER 于 2022 年达成研发合作协议，为超大规模人工智能模型（如 NAVER 的 HyperCLOVA X 模型）开发定制半导体解决方案，最近引发关注的 Mach-1 推理加速芯片就是双方合作的成果。
开发双方宣称，Mach-1 采用了独特设计，在能效和片外内存瓶颈方面均明显优于竞争对手英伟达的产品。NAVER 对 Mach-1 芯片的采购规模有望达到 1 万亿韩元。
近期三星电子 DS 部门负责人庆桂显称 Mach-1 芯片将于今年末明年初投入使用，而有客户希望将更强大的 Mach 系列芯片在超 1000B 参数大模型上应用，这推动了 Mach-2 的研发。
业内人士表示，算力芯片在相当大的程度上影响了大模型服务的运营成本。NAVER 方面已在人工智能芯片方面进行了两三年研究，目标为 HyperCLOVA X 模型提供强大而平价的动力。
天工 SkyMusic AI音乐生成大模型将在4月17日正式上线免费开放
据昆仑万维官方消息，昆仑万维开发的AI音乐生成大模型天工SkyMusic将于4月17日正式上线免费开放。
天工SkyMusic是基于昆仑万维天工3.0超级大模型打造的AI音乐生成大模型，支持高质量AI音乐生成、人声合成、歌词段落控制、多种音乐风格和音乐智能表达等功能。
该模型目前处于免费邀请测试阶段，助力用户更好地创作音乐，表达情感。
微软宣布将在伦敦建立全新 AI 中心
据微软官方消息，微软将会在伦敦市中心开设一家全新的 AI 中心。该中心将推动开创性工作的发展，推动最先进的语言模型及其支持基础设施的发展，并为基础模型创建世界一流的工具。
该 AI 中心将由 AI 科学家和工程师 Jordan Hoffmann 领导，在加入微软人工智能部门之前Hoffmann是伦敦Inflection公司和DeepMind公司的人工智能先驱。Hoffmann将与一群才华横溢的微软人工智能团队成员一起加入微软的伦敦帕丁顿办事处。
微软人工智能伦敦中心是对微软在英国现有业务的补充，包括微软剑桥研究院实验室，该实验室是人工智能、云计算和生产力领域最重要的研究人员的聚集地。与此同时，微软最近宣布投资25亿英镑，以提高英国劳动力在人工智能时代的技能，并建设基础设施，为人工智能经济提供动力，包括微软承诺到2026年为英国带来2万个最先进的GPU。
Stability AI发布Stable LM2模型更新，参数增至120亿
据 venturebeat 报道，Stable LM 2 120 亿参数模型更新版首次亮相，Stability AI 将继续快速开发新模型。
Stable LM 于 2023 年 4 月作为文本内容大语言模型（LLM）首次推出，今年 1 月更新为 Stable LM 2 1.6B 模型。新的 Stable LM 2 12B 大幅增强了 Stable LM 2 的功能，参数更多，性能更强，该公司称在某些基准下，其性能超过了 Llama 2 70B 等大型模型。
稳定版 LM 2 12B 包括一个基础版本和一个经过教学调整的变体，旨在提高七种语言的会话技能：英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语。新模型可通过 Stability AI 会员资格用于商业用途。
360即将发布AI办公产品 将采用会员订阅模式
周鸿祎昨天举办免费直播课分享了企业拥抱AI的多个关键问题。
在直播中，周鸿祎表示三六零正在筹备360AI办公产品，将会在不久后上线，包含上百款 AI 应用。360AI办公工具集覆盖图片、写作、文档、视频、文档模板等五大明星场景100多款实用工具，上线后用户可通过360旗下多款浏览器注册成为“360AI大会员”，解锁全部应用，一站式解决多行业、多场景AI办公和营销需求。
360AI办公产品将采用订阅制度，售价尚未公布。
百度沈抖:过去一年，千帆大模型平台上API的调用量呈现指数级增长
谷歌：
《ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs》
论文的关键思路是提出了ZipLoRA方法，通过廉价而有效地合并独立训练的风格和主题LoRA，以实现任意用户提供的主题和风格的生成。相比当前领域的研究，该方法具有更好的主题和风格保真度，并且保留了重新文本化的能力。论文通过实验展示了ZipLoRA方法的有效性，并与基线方法进行了比较，结果表明ZipLoRA在主题和风格保真度方面具有显著的改进。论文还提供了项目页面和开源代码，值得进一步研究。
论文地址：
https://arxiv.org/abs/2311.13600v1
加州大学伯克利分校：
《White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is?》
论文提出的CRATE网络可以作为编码器和解码器，实现数据的压缩和解压缩。实验表明，CRATE网络在大规模实际图像和文本数据集上能够学习到压缩和稀疏化表示，并且取得了与高度工程化的transformer-based模型相当的性能。、
论文地址：
https://arxiv.org/abs/2311.13110v2
Meta：
《THE FAISS LIBRARY 》
Faiss库是一种用于向量相似性搜索的工具包，包括索引方法、相关原语和优化方法，能够对向量进行搜索、聚类、压缩和转换等操作。论文介绍了向量搜索的权衡空间，并详细描述了Faiss库的设计原则、结构和优化方法，同时对库的关键特性进行了基准测试，并给出了几个应用案例。该库具有广泛的适用性，值得进一步研究。
论文地址：
https://arxiv.org/abs/2401.08281v1
微软：
《RAG VS FINE-TUNING: PIPELINES, TRADEOFFS, AND A CASE STUDY ON AGRICULTURE》
本论文提出了一个综合pipeline，将RAG和Fine-Tuning两种方法结合使用，以提高LLMs的性能。通过在农业数据集上进行实验，作者证明了这种方法的有效性，并展示了Fine-Tuning和RAG的累积效果，以及Fine-Tuning如何利用跨地理区域的信息来回答特定问题。
论文地址：
https://arxiv.org/abs/2401.08406v2
华盛顿大学：
《Tuning Language Models by Proxy》
本文提出了一种轻量级的解码时算法——代理调整（proxy-tuning），它在黑盒语言模型的基础上操作，通过仅访问其对输出词汇的预测，实现直接调整模型的结果。该方法调整一个较小的语言模型，然后应用调整后的小模型和未调整的基础模型的预测之间的差异，将基础模型的预测向调整方向移动，同时保留了较大规模预训练的优势。
论文地址：
https://arxiv.org/abs/2401.08565v1