ReaderMX.
GenAI新世界

8月23日 AI 头条｜英伟达发布 80 亿参数新 AI 模型，可在 RTX 工作站上部署

G大模型机动组约 6 分钟
Image
划重点:
  • 英伟达发布 80 亿参数新 AI 模型，可在 RTX 工作站上部署
  • 李彦宏：文心大模型日调用量超6亿，日均Tokens使用量约1万亿
  • 前 Character.AI 联合创始人确认将担任谷歌 Gemini 联合技术负责人
  • Perplexity AI计划在四季度开始投放广告
  • McAfee 宣布推出全球首款人工智能自动深度伪造检测器
  • 快手可灵 AI 会员订阅计划价格调整，首月 19 元起
  • AI 初创公司 Opkey 获 4700 万美元融资
资讯详情：
英伟达发布 80 亿参数新 AI 模型，可在 RTX 工作站上部署
据英伟达官方消息，英伟达近日发布 Mistral-NeMo-Minitron 8B 小语言 AI 模型，具备精度高、计算效率高等优点，可在 GPU 加速的数据中心、云和工作站上运行模型。
英伟达表示通过宽度剪枝（width-pruning）Mistral NeMo 12B，并知识蒸馏（knowledge distillation）轻度重新训练后获得 Mistral-NeMo-Minitron 8B，相关成果发表在《Compact Language Models via Pruning and Knowledge Distillation》论文中。
就其规模而言，Mistral-NeMo-Minitron 8B 在语言模型的九项流行基准测试中遥遥领先。这些基准涵盖了各种任务，包括语言理解、常识推理、数学推理、总结、编码和生成真实答案的能力。
Image
李彦宏：文心大模型日调用量超6亿，日均Tokens使用量约1万亿
据 36氪获悉，在百度2024年第二季度财报电话会上，百度创始人、董事长兼首席执行官李彦宏披露，文心大模型日均调用量超6亿次，日均处理Tokens文本约1万亿，均为国内最高。
对比23年Q4公布的5000万次日均调用量，半年增长超10倍。季度内，百度推出性能更优的文心大模型4.0 Turbo，并发布多项优惠策略。
ERNIE Speed、ERNIE Lite和ERNIE Tiny三款轻量模型免费，文心大模型3.5和4.0两款旗舰模型大幅降价。
Image
前 Character.AI 联合创始人确认将担任谷歌 Gemini 联合技术负责人
据 The Information 报道，近日随Character.AI 收购一起返回谷歌的Character.AI 原 CEO Noam Shazeer已确认将担任谷歌 Gemini联合技术负责人一职。
Shazeer 将与Jeff Dean、Oriol Vinyals等人一起合作，共同开发 Gemini。据悉，他们的共同目标是让 Gemeni 保持ChatGPT 的竞争。
本月初，Character.AI宣布被谷歌收购，其创始人Noam Shazeer和Daniel De Freitas等人重返谷歌旗下DeepMind部门。
Image
Perplexity AI计划在四季度开始投放广告
据财联社报道，人工智能(AI)搜索初创公司Perplexity AI周四宣布，该公司计划于第四季度在其搜索应用程序上投放广告。
据知情人士表示，在广告方面，Perplexity将采用一种名为CPM(每千次展示成本)的模式，价格将超过50美元。Perplexity在其推介材料中表示，其主要广告类别最初将包括科技、健康和制药、艺术和娱乐、金融以及食品和饮料等主题。
广告商将能够赞助答案下方的“相关问题”，并在答案右侧购买展示广告。
Image
McAfee 宣布推出全球首款人工智能自动深度伪造检测器
安全软件公司 McAfee 宣布推出全球首款人工智能自动深度伪造检测器McAfee Deepfake Detector，该软件现可以在部分型号电脑上使用。
如果在视频中检测到人工智能篡改的音频，选择加入的消费者将在几秒钟内收到警报，而无需依赖费力的手动视频上传。McAfee的AI检测模型在近20万个样本上进行了训练，并利用配备NPU的联想精选AI PC的强大功能，直接在PC上执行整个识别过程（称为推理），最大限度地利用设备上的处理功能，从而将用户的私人数据从云端保留下来。McAfee 不会以任何方式收集或记录用户的音频，用户始终处于控制之中，可以根据需要打开或关闭音频检测。
通过利用 NPU 和在设备上执行分析，McAfee 提供了全面的隐私保护，与基于云的使用相比，提高了处理速度，并改善了电池寿命。
Image
快手可灵 AI 会员订阅计划价格调整，首月 19 元起
快手官方消息，快手可灵 AI 宣布会员订阅计划价格调整，其中连续包月首月最低价 19 元、次月 58 元。
快手官方消息，黄金用户可生成约 66 个视频或 3300 张图片，还可享受高表现视频生成、视频延长、大师运镜等多项会员专属功能。另有铂金会员和钻石会员多个档位，可生成不同数量的视频和图片。
此外，铂金会员和钻石会员还将获得新功能优先体验的权利。
Image
AI 初创公司 Opkey 获 4700 万美元融资
据 TechCrunch 报道，利用 AI 技术提供测试服务的 Opkey 近日宣布完成了4700万美元的 B 轮融资。
本轮融资由 PeakSpan Capital 领投，此前的支持者和目前的投资者也参与了本轮融资，其中包括 UST Global、Verica、Vertical 和印度的 YouNest。对于总部位于加利福尼亚都柏林的 Opkey 公司来说，这轮 B 轮融资是一大进步：在此之前，该公司只筹集了 1200 万美元。这家初创公司没有透露其估值。
Opkey 建立了一个人工智能平台，帮助企业持续测试财务、人力资源和其他企业资源规划（ERP）软件。
Image
今日重点论文：
Waymo：
《Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model》
Transfusion论文试图解决的问题是如何训练一个能够处理离散和连续数据的多模态模型。这个问题是一个新问题。Transfusion的关键思路是将语言建模损失函数（下一个标记预测）与扩散相结合，训练一个单一的Transformer模型来处理混合模态序列。通过引入模态特定的编码和解码层，可以进一步提高Transfusion模型的性能。通过将Transfusion模型扩展到7B参数和2T多模态标记，可以生成与类似规模的扩散模型和语言模型相当的图像和文本。
论文地址：
https://arxiv.org/abs/2408.11039v1
俄罗斯国家研究型高等经济大学：
《Extreme Compression of Large Language Models via Additive Quantization》
本论文试图解决极端低比特数下的大语言模型压缩问题，即如何在每个参数只有2-3个比特的情况下对大型语言模型进行压缩。本文提出一种基于Multi-Codebook Quantization (MCQ)的算法，名为Additive Quantization，用于对语言模型进行量化。该算法在保持压缩率的同时，提高了模型的准确性，相较于现有技术有了新的进展。
论文地址：
https://arxiv.org/abs/2401.06118v1
Cohere：
《Extreme Compression of Large Language Models via Additive Quantization》
这篇论文试图探究在大量预训练数据中加入代码数据对于非代码任务的影响，以及代码质量对于所有任务的影响。论文通过实验验证了在预训练数据中加入代码数据可以显著提高自然语言推理、世界知识、生成对抗网络等任务的表现，并且代码质量对于所有任务的影响都非常重要。
论文地址：
https://arxiv.org/abs/2408.10914v1
Meta：
《Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations》
本文试图解决大规模推荐系统中深度学习推荐模型无法随计算能力扩展的问题，提出了一种新的架构HSTU，并将推荐问题重新表述为生成建模框架中的序列传导任务。本文提出的HSTU架构在高基数、非平稳流推荐数据上表现优异，比基线模型在综合和公共数据集上的NDCG指标提高了高达65.8%，而且在8192长度序列上比基于FlashAttention2的Transformer快5.3倍到15.2倍。基于HSTU的生成推荐器在在线A/B测试中提高了12.4%的度量，并已经部署在一个拥有数十亿用户的大型互联网平台的多个表面。
论文地址：
https://arxiv.org/abs/2402.17152v3

Image

KEEP THE THREAD GOING

更多来源文章