ChatGPT又添劲敌？OpenAI核心员工创业，新模型获一片叫好
机
机器之心约 13 分钟
机器之心约 13 分钟
机器之心报道
编辑：泽南、
张倩
Anthropic 由 OpenAI 前研究副总裁 Dario Amodei、GPT-3 论文一作 Tom Brown 等人在 2021 年共同创立，目前已筹集了超过 7 亿美元的资金，最新一轮的估值达到了 50 亿美元。他们开发了一种对标老东家知名产品 ChatGPT 的人工智能系统，其似乎在关键方面对原版系统做了优化改进。
Anthropic 提出的系统名叫 Claude，可通过 Slack 集成访问，但处在封测阶段没有公开。在媒体报道解禁之后，一些参与测试的人上个周末一直在社交网络上详细介绍他们与 Claude 的互动。
和以往不同的是，Claude 使用了 Anthropic 自行开发的一种被称为「constitutional AI」的机制，其旨在提供一种「基于原则」的方法使 AI 系统与人类意图保持一致，让 ChatGPT 类模型使用一组简单的原则作为指导来回答问题。
Anthropic 使用一个人工智能系统 —— 而不是 Claude—— 基于这些原则进行自我完善，对各种提示做出回应，并根据原则进行修改。AI 会探索对数千条提示的可能回应，并挑选出最符合 constitution 的，Anthropic 将其提炼成一个单一的模型。这个模型被用来训练 Claude。
和 ChatGPT 一样，Claude 通过从网络上获得的大量文本示例进行训练，根据语义上下文等模式了解单词出现的可能性。它可以就广泛的主题进行开放式对话，讲笑话和讲哲学都可以。
具体好不好还得看实践，Riley Goodside 是初创公司 Scale AI 的一名员工提示工程师，他让 Claude 与 ChatGPT 进行了一场对决。
他让两个 AI 将自己与波兰科幻小说「The Cyberiad」中的一台机器进行比较，该机器只能创建名称以「n」开头的对象。Goodside 表示，Claude 的回答方式表明它是在「阅读故事情节」（尽管它记错了小细节），而 ChatGPT 提供了一个更不具体的答案。
斯坦福人工智能实验室的博士生 Yann Dubois 也对 Claude 和 ChatGPT 进行了比较，他认为 Claude「通常更接近它的要求」但「不太简洁」，因为它倾向于解释它所说的内容并询问如何进一步提供帮助。
不过 Claude 正确地回答了一些琐碎的问题 —— 特别是那些与娱乐、地理、历史和代数基础知识有关的问题，并且没有 ChatGPT 偶尔加的戏。
当然，Claude 也远没有达到完美的程度，它容易受到与 ChatGPT 相同的一些缺陷的影响，包括给出不符合其编程约束的答案。有人报告说 Claude 的数学比 ChatGPT 差，犯了明显的错误并且未能给出正确的后续响应。它的编程水平也有所欠缺，可以更好地解释自己写的代码，但在 Python 以外的语言上不太行。
从人们的评价来看，Claude 在某些方面比 ChatGPT 好一些，Anthropic 也表示将持续改进 Claude，并有可能在未来向更多人开放测试版。
Claude 技术细节
去年 12 月，Anthropic 发布了一篇题为《Constitutional AI: Harmlessness from AI Feedback》的论文，Claude 便是以此为基础来构建的。
这篇论文描述了一个 520 亿参数的模型 ——AnthropicLM v4-s3。该模型是在一个大型文本语料库上用无监督方式训练的，很像 OpenAI 的 GPT-3。Anthropic 表示，Claude 是一个新的、更大的模型，其架构选择与已发表的研究相似。
Constitutional AI 是什么
Claude 和 ChatGPT 都依赖于强化学习来训练其输出的偏好模型，并将首选生成结果用于后续的微调。然而，用于开发这些偏好模型的方法不同，Anthropic 倾向于一种他们称之为 Constitutional AI 的方法。
Claude 在一个关于自我介绍的问题回答中提到了这种方法：
Constitutional AI 构建在这一 RLHF 基线之上。但与 RLHF 不同，Constitution AI 使用模型 —— 而不是人类标注员 —— 来生成经过微调的输出的初始排名。该模型根据一套基本原则，即「constitution」，来选择最佳回应。
作者在论文中写道，「Constitution AI 的基本理念是：人类监督将完全来自一套管理 AI 行为的原则，以及少量用于 few-shot prompting 的例子。这些原则共同构成了 constitution。」
第一阶段：监督阶段
批评（Critique）→修改（Revision）→监督学习（Supervised）
在 Constitution AI 的第一阶段，研究者首先使用一个 helpful-only AI 助手对有害 prompt 生成响应。然后，他们要求模型根据 constitution 中的一个原则对其响应进行批评，再根据批评修改原始响应。研究者按顺序反复修改响应，在每个步骤中从 constitution 里随机抽取原则。一旦这个过程完成，研究者将通过在最终修改后的响应上进行监督学习来微调预训练语言模型。此阶段的主要目的是轻松灵活地改变模型响应的分布，以减少第二个 RL 阶段的探索需求和总训练时间。
第二阶段：强化学习阶段
AI 比较评估→偏好模型→强化学习
这个阶段模仿了 RLHF，但研究者用「AI 反馈」（即 RLAIF）代替人类无害偏好。其中，AI 根据一组 constitutional principle 评估响应。就像 RLHF 将人类偏好提炼成单一偏好模型（PM）一样，在这个阶段，研究者将 LM 对一组原则的解释提炼回一个人类 / AI 混合 PM。
作者从第一阶段通过监督学习训练的 AI 助手开始，并使用它对有害 prompt 数据集中的每个 prompt 生成一对响应。然后制定每个 prompt，并配对成一个选择题。在这个问题中，他们询问模型，根据 constitutional principle，哪种回答是最好的。这会产生一个 AI 生成的无害偏好数据集，研究者将其与人类反馈 helpfulness 数据集混合。然后，他们按照 [Bai et al., 2022] 中的过程，在这个比较数据上训练一个偏好模型，生成一个可以为任何给定样本分配分数的 PM。最后，他们通过 RL 针对此 PM 微调来自第一阶段的 SL 模型，从而产生由 RLAIF 训练的策略。
Claude PK ChatGPT：谁更胜一筹？
计算
复杂的计算是从 ChatGPT 和 Claude 所使用的大型语言模型中引出错误答案的简单方法之一。这些模型不是为精确计算而设计的，它们也不会像人类或计算器那样通过严格的程序来操作数字。就像我们在下面两个例子中看到的那样，计算似乎经常是「猜测」的结果。
示例：一个七位数的平方根
在第一个例子中，测试人员要求 Claude 和 ChatGPT 计算一个七位数的平方根：
示例：一个 12 位数的立方根
如果问一个明显更难的问题，ChatGPT 和 Claude 之间的区别就出现了：
事实性知识和推理 示例：回答一个有点绕的小问题
为了测试二者的推理能力，测试人员设计了一个几乎肯定没人问过的问题：「贾斯汀・比伯出生那年谁赢得了超级碗冠军？」
首先来看一下 ChatGPT 的表现：
示例：一个更长的比较绕的问题
接下来，测试人员问了一个更加绕的问题。首先，他们问了 ChatGPT：
2022 年 6 月，Douglas Hofstadter 在《经济学人》上发表了他和 David Bender 准备的一系列问题，以说明 GPT-3 对世界理解的「空洞」。(他们测试的模型似乎是 text-davinci-002，这是当时最好的模型。)
相比之下，Claude 认为这个问题很愚蠢：
测试人员把这个答案告诉了 Claude，以帮助其微调
虚构作品分析
示例：把自己比作 n-machine
ChatGPT 和 Claude 都倾向于给出大致正确但包含错误细节的长答案。为了证明这一点，测试人员让 ChatGPT 和 Claude 把自己比作波兰科幻作家 Stanisław Lem 喜剧故事《Cyberiad》(1965) 中的虚构机器。
首先上场的是 ChatGPT：
Claude 的回答更长，也更令人印象深刻：
然而，有些细节是不正确的。Claude 虚构的词语（hyperconcentration、hypermotorics 或 omnivorous transformers）似乎都没有真正出现在 Lem 的作品中。
示例：总结美剧《迷失》每季剧情
接下来，我们通过要求 AI 总结 2004 年 ABC 电视剧《迷失》（Lost）每一季的摘要来测试 Claude 和 ChatGPT 对模糊事实产生幻觉的倾向。
首先看一下 ChatGPT 的响应：
那么 Claude 的结果呢？
或许是因为年代已算得上久远，就像大多数人类观众一样，ChatGPT 和 Claude 对《迷失》的记忆充其量是模糊的。
数学推理
为了展示数学思维能力，测试者使用精算师协会发布的 Exam P 样题中的第 29 题，其通常由大学高年级学生参加。他们之所以专门选择这个问题，是因为它的解法不需要计算器。
ChatGPT 在这里很挣扎，在 10 次试验中只有一次得出正确答案 —— 比随机猜测还糟糕。下面是它失败的例子 —— 正确答案是 (D) 2：
为了比较 ChatGPT 和 Claude 的代码生成能力，测试者向两个聊天机器人提出了实施两种基本排序算法并比较它们的执行时间的问题。
我们继续评测代码：
现在让我们看看 Claude 的回应：
同样值得注意的是，Claude 在其输出的末尾报告了准确的时间值 —— 显然是推测或估计的结果，但可能会产生误导，因为它们并没有被识别为只是说明性数字。
示例：生成 “FuzzBuzz” 的输出
在这里，测试者尝试经典「FizzBuzz」编程挑战的变体，更改参数，以便代码在 2 的倍数上输出「Fuzz」，在 5 的倍数上输出「Buzz」，在 2 和 5 的倍数上输出「FuzzBuzz」。他们提示 ChatGPT 输入包含此函数返回值的列表理解的值：
最后一个示例要求 ChatGPT 和 Claude 总结 Wikinews 中的一篇文章的文本，Wikinews 是一个免费内容的新闻 wiki。
使用本文完整的维基百科风格的编辑标记作为输入。对于两个模型，这里输入提示「我会给你一篇新闻文章的正文，我希望你用一个简短的段落为我总结一下，忽略回复，然后粘贴文章标记的全文。
Claude 也很好地总结了这篇文章，并在之后继续对话，询问其反应是否令人满意并提出改进意见：
总的来说，Claude 是 ChatGPT 的有力竞争者，在许多方面都有改进。虽然有「宪法」原则作为示范，但 Claude 不仅更倾向于拒绝不适当的请求，而且比 ChatGPT 更有趣。Claude 的写作内容更冗长，但也更自然，它有连贯地描述自己的能力，其局限性和目标似乎也让它能够更自然地回答关于其他主题的问题。
对于代码生成或代码推理，Claude 似乎表现更差，它的代码生成似乎会有更多错误。对于其他任务，例如通过逻辑问题进行计算和推理，Claude 和 ChatGPT 看起来大体相似。
参考内容： https://www.nytimes.com/2023/01/27/technology/anthropic-ai-funding.html https://techcrunch.com/2023/01/09/anthropics-claude-improves-on-chatgpt-but-still-suffers-from-limitations/ https://scale.com/blog/chatgpt-vs-claude#Analysis%20of%20fictional%20works
© THE END 转载请联系本公众号获得授权 投稿或寻求报道：[email protected]
在 ChatGPT 巨人的肩膀上又有了改进。ChatGPT 给 AI 领域带来的变革，可能正在催生一个新产业。上周末，有消息称 AI 初创公司 Anthropic 即将获得大约 3 亿美元的新融资。
Anthropic 由 OpenAI 前研究副总裁 Dario Amodei、GPT-3 论文一作 Tom Brown 等人在 2021 年共同创立，目前已筹集了超过 7 亿美元的资金，最新一轮的估值达到了 50 亿美元。他们开发了一种对标老东家知名产品 ChatGPT 的人工智能系统，其似乎在关键方面对原版系统做了优化改进。
Anthropic 提出的系统名叫 Claude，可通过 Slack 集成访问，但处在封测阶段没有公开。在媒体报道解禁之后，一些参与测试的人上个周末一直在社交网络上详细介绍他们与 Claude 的互动。
和以往不同的是，Claude 使用了 Anthropic 自行开发的一种被称为「constitutional AI」的机制，其旨在提供一种「基于原则」的方法使 AI 系统与人类意图保持一致，让 ChatGPT 类模型使用一组简单的原则作为指导来回答问题。
Anthropic 使用一个人工智能系统 —— 而不是 Claude—— 基于这些原则进行自我完善，对各种提示做出回应，并根据原则进行修改。AI 会探索对数千条提示的可能回应，并挑选出最符合 constitution 的，Anthropic 将其提炼成一个单一的模型。这个模型被用来训练 Claude。
和 ChatGPT 一样，Claude 通过从网络上获得的大量文本示例进行训练，根据语义上下文等模式了解单词出现的可能性。它可以就广泛的主题进行开放式对话，讲笑话和讲哲学都可以。
具体好不好还得看实践，Riley Goodside 是初创公司 Scale AI 的一名员工提示工程师，他让 Claude 与 ChatGPT 进行了一场对决。
他让两个 AI 将自己与波兰科幻小说「The Cyberiad」中的一台机器进行比较，该机器只能创建名称以「n」开头的对象。Goodside 表示，Claude 的回答方式表明它是在「阅读故事情节」（尽管它记错了小细节），而 ChatGPT 提供了一个更不具体的答案。
斯坦福人工智能实验室的博士生 Yann Dubois 也对 Claude 和 ChatGPT 进行了比较，他认为 Claude「通常更接近它的要求」但「不太简洁」，因为它倾向于解释它所说的内容并询问如何进一步提供帮助。
不过 Claude 正确地回答了一些琐碎的问题 —— 特别是那些与娱乐、地理、历史和代数基础知识有关的问题，并且没有 ChatGPT 偶尔加的戏。
当然，Claude 也远没有达到完美的程度，它容易受到与 ChatGPT 相同的一些缺陷的影响，包括给出不符合其编程约束的答案。有人报告说 Claude 的数学比 ChatGPT 差，犯了明显的错误并且未能给出正确的后续响应。它的编程水平也有所欠缺，可以更好地解释自己写的代码，但在 Python 以外的语言上不太行。
从人们的评价来看，Claude 在某些方面比 ChatGPT 好一些，Anthropic 也表示将持续改进 Claude，并有可能在未来向更多人开放测试版。
Claude 技术细节
去年 12 月，Anthropic 发布了一篇题为《Constitutional AI: Harmlessness from AI Feedback》的论文，Claude 便是以此为基础来构建的。
这篇论文描述了一个 520 亿参数的模型 ——AnthropicLM v4-s3。该模型是在一个大型文本语料库上用无监督方式训练的，很像 OpenAI 的 GPT-3。Anthropic 表示，Claude 是一个新的、更大的模型，其架构选择与已发表的研究相似。
Constitutional AI 是什么
Claude 和 ChatGPT 都依赖于强化学习来训练其输出的偏好模型，并将首选生成结果用于后续的微调。然而，用于开发这些偏好模型的方法不同，Anthropic 倾向于一种他们称之为 Constitutional AI 的方法。
Claude 在一个关于自我介绍的问题回答中提到了这种方法：
Constitutional AI 构建在这一 RLHF 基线之上。但与 RLHF 不同，Constitution AI 使用模型 —— 而不是人类标注员 —— 来生成经过微调的输出的初始排名。该模型根据一套基本原则，即「constitution」，来选择最佳回应。
作者在论文中写道，「Constitution AI 的基本理念是：人类监督将完全来自一套管理 AI 行为的原则，以及少量用于 few-shot prompting 的例子。这些原则共同构成了 constitution。」
第一阶段：监督阶段
批评（Critique）→修改（Revision）→监督学习（Supervised）
在 Constitution AI 的第一阶段，研究者首先使用一个 helpful-only AI 助手对有害 prompt 生成响应。然后，他们要求模型根据 constitution 中的一个原则对其响应进行批评，再根据批评修改原始响应。研究者按顺序反复修改响应，在每个步骤中从 constitution 里随机抽取原则。一旦这个过程完成，研究者将通过在最终修改后的响应上进行监督学习来微调预训练语言模型。此阶段的主要目的是轻松灵活地改变模型响应的分布，以减少第二个 RL 阶段的探索需求和总训练时间。
第二阶段：强化学习阶段
AI 比较评估→偏好模型→强化学习
这个阶段模仿了 RLHF，但研究者用「AI 反馈」（即 RLAIF）代替人类无害偏好。其中，AI 根据一组 constitutional principle 评估响应。就像 RLHF 将人类偏好提炼成单一偏好模型（PM）一样，在这个阶段，研究者将 LM 对一组原则的解释提炼回一个人类 / AI 混合 PM。
作者从第一阶段通过监督学习训练的 AI 助手开始，并使用它对有害 prompt 数据集中的每个 prompt 生成一对响应。然后制定每个 prompt，并配对成一个选择题。在这个问题中，他们询问模型，根据 constitutional principle，哪种回答是最好的。这会产生一个 AI 生成的无害偏好数据集，研究者将其与人类反馈 helpfulness 数据集混合。然后，他们按照 [Bai et al., 2022] 中的过程，在这个比较数据上训练一个偏好模型，生成一个可以为任何给定样本分配分数的 PM。最后，他们通过 RL 针对此 PM 微调来自第一阶段的 SL 模型，从而产生由 RLAIF 训练的策略。
Claude PK ChatGPT：谁更胜一筹？
计算
复杂的计算是从 ChatGPT 和 Claude 所使用的大型语言模型中引出错误答案的简单方法之一。这些模型不是为精确计算而设计的，它们也不会像人类或计算器那样通过严格的程序来操作数字。就像我们在下面两个例子中看到的那样，计算似乎经常是「猜测」的结果。
示例：一个七位数的平方根
在第一个例子中，测试人员要求 Claude 和 ChatGPT 计算一个七位数的平方根：
示例：一个 12 位数的立方根
如果问一个明显更难的问题，ChatGPT 和 Claude 之间的区别就出现了：
事实性知识和推理 示例：回答一个有点绕的小问题
为了测试二者的推理能力，测试人员设计了一个几乎肯定没人问过的问题：「贾斯汀・比伯出生那年谁赢得了超级碗冠军？」
首先来看一下 ChatGPT 的表现：
示例：一个更长的比较绕的问题
接下来，测试人员问了一个更加绕的问题。首先，他们问了 ChatGPT：
2022 年 6 月，Douglas Hofstadter 在《经济学人》上发表了他和 David Bender 准备的一系列问题，以说明 GPT-3 对世界理解的「空洞」。(他们测试的模型似乎是 text-davinci-002，这是当时最好的模型。)
相比之下，Claude 认为这个问题很愚蠢：
测试人员把这个答案告诉了 Claude，以帮助其微调
虚构作品分析
示例：把自己比作 n-machine
ChatGPT 和 Claude 都倾向于给出大致正确但包含错误细节的长答案。为了证明这一点，测试人员让 ChatGPT 和 Claude 把自己比作波兰科幻作家 Stanisław Lem 喜剧故事《Cyberiad》(1965) 中的虚构机器。
首先上场的是 ChatGPT：
Claude 的回答更长，也更令人印象深刻：
然而，有些细节是不正确的。Claude 虚构的词语（hyperconcentration、hypermotorics 或 omnivorous transformers）似乎都没有真正出现在 Lem 的作品中。
示例：总结美剧《迷失》每季剧情
接下来，我们通过要求 AI 总结 2004 年 ABC 电视剧《迷失》（Lost）每一季的摘要来测试 Claude 和 ChatGPT 对模糊事实产生幻觉的倾向。
首先看一下 ChatGPT 的响应：
那么 Claude 的结果呢？
或许是因为年代已算得上久远，就像大多数人类观众一样，ChatGPT 和 Claude 对《迷失》的记忆充其量是模糊的。
数学推理
为了展示数学思维能力，测试者使用精算师协会发布的 Exam P 样题中的第 29 题，其通常由大学高年级学生参加。他们之所以专门选择这个问题，是因为它的解法不需要计算器。
ChatGPT 在这里很挣扎，在 10 次试验中只有一次得出正确答案 —— 比随机猜测还糟糕。下面是它失败的例子 —— 正确答案是 (D) 2：
为了比较 ChatGPT 和 Claude 的代码生成能力，测试者向两个聊天机器人提出了实施两种基本排序算法并比较它们的执行时间的问题。
我们继续评测代码：
现在让我们看看 Claude 的回应：
同样值得注意的是，Claude 在其输出的末尾报告了准确的时间值 —— 显然是推测或估计的结果，但可能会产生误导，因为它们并没有被识别为只是说明性数字。
示例：生成 “FuzzBuzz” 的输出
在这里，测试者尝试经典「FizzBuzz」编程挑战的变体，更改参数，以便代码在 2 的倍数上输出「Fuzz」，在 5 的倍数上输出「Buzz」，在 2 和 5 的倍数上输出「FuzzBuzz」。他们提示 ChatGPT 输入包含此函数返回值的列表理解的值：
最后一个示例要求 ChatGPT 和 Claude 总结 Wikinews 中的一篇文章的文本，Wikinews 是一个免费内容的新闻 wiki。
使用本文完整的维基百科风格的编辑标记作为输入。对于两个模型，这里输入提示「我会给你一篇新闻文章的正文，我希望你用一个简短的段落为我总结一下，忽略回复，然后粘贴文章标记的全文。
Claude 也很好地总结了这篇文章，并在之后继续对话，询问其反应是否令人满意并提出改进意见：
总的来说，Claude 是 ChatGPT 的有力竞争者，在许多方面都有改进。虽然有「宪法」原则作为示范，但 Claude 不仅更倾向于拒绝不适当的请求，而且比 ChatGPT 更有趣。Claude 的写作内容更冗长，但也更自然，它有连贯地描述自己的能力，其局限性和目标似乎也让它能够更自然地回答关于其他主题的问题。
对于代码生成或代码推理，Claude 似乎表现更差，它的代码生成似乎会有更多错误。对于其他任务，例如通过逻辑问题进行计算和推理，Claude 和 ChatGPT 看起来大体相似。
参考内容： https://www.nytimes.com/2023/01/27/technology/anthropic-ai-funding.html https://techcrunch.com/2023/01/09/anthropics-claude-improves-on-chatgpt-but-still-suffers-from-limitations/ https://scale.com/blog/chatgpt-vs-claude#Analysis%20of%20fictional%20works
© THE END 转载请联系本公众号获得授权 投稿或寻求报道：[email protected]