ReaderMX.
Geek Savvy

马斯克旗下xAI正式发布首个大模型“Grok”【附体验地址】

GGeek Savvy约 5 分钟
Image
Image
今天马斯克旗下xAI团队发布其首个AI大模型产品——Grok。
据介绍，Grok通过X平台实时了解世界，还能回答被大多数其他AI系统拒绝的辛辣问题。xAI团队表示，Grok仿照《银河系漫游指南》而设计，可以回答几乎任何问题，甚至就如何提问给出建议。
Image
Image
大约加入我们
以下是Grok的官网介绍：
Grok 是一个以《银河系漫游指南》为蓝本的 AI，因此几乎可以回答任何事情，更难的是，甚至可以建议要问什么问题！
Grok 旨在以一点机智的方式回答问题，并且具有叛逆的倾向，所以如果您讨厌幽默，请不要使用它！
Grok 的一个独特而根本的优势是它通过 X 平台实时了解世界。它还将回答大多数其他人工智能系统拒绝的辛辣问题。
Grok 仍然是一个非常早期的测试版产品——这是我们在 2 个月的培训中所能做到的最好的产品——所以期待它在您的帮助下每周都能迅速改进。

我们为什么要建造 Grok

在xAI，我们希望创造人工智能工具，帮助人类寻求理解和知识。
通过创建和改进Grok，我们的目标是：

  • 收集反馈并确保我们正在构建能够最大限度地造福全人类的 AI 工具。我们认为，设计对各种背景和政治观点的人都有用的人工智能工具非常重要。我们还希望在遵守法律的前提下，通过我们的人工智能工具为我们的用户提供支持。我们与Grok的目标是在公开场合探索和展示这种方法。

  • 赋能研究和创新：我们希望 Grok 成为任何人的强大研究助手，帮助他们快速访问相关信息、处理数据并提出新想法。

我们的最终目标是让我们的人工智能工具协助追求理解。

Grok-1之旅

为Grok提供动力的引擎是Grok-1，这是我们在过去四个月中开发的前沿LLM。在这段时间里，Grok-1经历了多次迭代。
在宣布 xAI 之后，我们训练了一个具有 330 亿个参数的原型 LLM （Grok-0）。这个早期模型在标准 LM 基准测试上接近 LLaMA 2 （70B） 功能，但只使用了一半的训练资源。在过去的两个月里，我们在推理和编码能力方面取得了重大改进，最终推出了 Grok-1，这是一种功能更强大的最先进的语言模型，在 HumanEval 编码任务中实现了 63.2%，在 MMLU 上实现了 73%。
为了了解我们对 Grok-1 所做的能力改进，我们使用一些旨在衡量数学和推理能力的标准机器学习基准进行了一系列评估。
GSM8k：中学数学单词问题，（Cobbe 等人，2021 年），使用思维链提示。
MMLU：多学科多项选择题（Hendrycks 等人，2021 年），提供了 5 个镜头的上下文示例。
HumanEval：Python 代码完成任务，（Chen 等人，2021 年），pass@1评估为零样本。
数学：用 LaTeX 编写的初中和高中数学问题（Hendrycks 等人，2021 年），提示固定的 4 次提示。
Image
在这些基准测试中，Grok-1 表现出强劲的结果，超过了其计算类中的所有其他模型，包括 ChatGPT-3.5 和 Inflection-1。只有像 GPT-4 这样使用大量训练数据和计算资源进行训练的模型才能超越它。这展示了我们在 xAI 以极高的效率训练 LLM 方面取得的快速进展。
由于这些基准可以在网络上找到，我们不能排除我们的模型是无意中训练的，因此我们在 2023 年匈牙利全国高中数学期末考试上对我们的模型（以及 Claude-2 和 GPT-4）进行了手工评分，该期末考试于 5 月底发布，在我们收集了数据集后。Grok 以 C （59%） 通过了考试，而 Claude-2 获得了相同的成绩 （55%），GPT-4 以 68% 的成绩获得了 B。所有模型均在温度为0.1和相同提示下进行评估。必须指出的是，我们没有为这次评估做出任何调整。这个实验是对我们的模型从未明确调整过的数据集的“现实生活”测试。

Image

我们在模型卡中提供了 Grok-1 重要技术细节的摘要。

xAI的研究

我们允许 Grok 访问搜索工具和实时信息，但与所有在下一个标记预测上训练的 LLM 一样，我们的模型仍然会产生错误或矛盾的信息。我们认为，实现可靠的推理是解决当前系统局限性的最重要研究方向。在这里，我们想重点介绍一些我们在xAI最感兴趣的有前途的研究方向：

  • 通过工具辅助实现可扩展的监督。人类的反馈是必不可少的。但是，提供一致且准确的反馈可能具有挑战性，尤其是在处理冗长的代码或复杂的推理步骤时。人工智能可以通过查找来自不同来源的参考资料、使用外部工具验证中间步骤以及在必要时寻求人工反馈来协助进行可扩展的监督。我们的目标是在模型的帮助下最有效地利用人工智能导师的时间。

  • 与形式验证集成，确保安全性、可靠性和接地。为了创建能够对现实世界进行深入推理的人工智能系统，我们计划在不那么模棱两可和更可验证的情况下发展推理技能。这使我们能够在没有人类反馈或与现实世界交互的情况下评估我们的系统。这种方法的一个主要直接目标是为代码的正确性提供正式的保证，特别是在人工智能安全的形式可验证方面。

  • 长期上下文理解和检索。在特定环境中有效发现有用知识的训练模型是产生真正智能系统的核心。我们正在研究可以在需要时发现和检索信息的方法。

  • 对抗性鲁棒性。对抗性示例表明，优化人员可以很容易地利用人工智能系统中的漏洞，无论是在训练期间还是在服务期间，都会导致它们犯严重的错误。这些漏洞是深度学习模型长期存在的弱点。我们对提高LLM、奖励模型和监控系统的鲁棒性特别感兴趣。

  • 多模式功能。目前，格罗克没有其他感官，例如视觉和听觉。为了更好地帮助用户，我们将为Grok配备这些不同的感官，以实现更广泛的应用，包括实时交互和辅助。

我们相信，人工智能具有巨大的潜力，可以为社会贡献重要的科学和经济价值，因此我们将努力制定可靠的保障措施，防止灾难性的恶意使用。我们相信尽最大努力确保人工智能仍然是一股向善的力量。

抢先体验 Grok ：

地址：https://grok.x.ai

Image

Image

KEEP THE THREAD GOING

更多来源文章