大模型晚报|字节正在内部测试对话类AI项目,代号Grace
字节正在内部测试对话类AI项目,代号Grace
图灵奖得主杨立昆:AI需要像婴儿一样观察和学习真实世界
AI 的能力距离人类与动物的能力,还有差距——差距主要体现在逻辑推理和规划,大模型目前只能「本能反应」。
什么是自监督学习?自监督学习是捕捉输入中的依赖关系。训练系统会捕捉我们看到的部分和我们尚未看到的部分之间的依赖关系。
目前的大模型如果训练在一万亿个 token 或两万亿个 token 的数据上,它们的性能是惊人的。我们很容易被它的流畅性所迷惑。但最终,它们会犯很愚蠢的错误。它们会犯事实错误、逻辑错误、不一致性,它们的推理能力有限,会产生有害内容。由此大模型需要被重新训练。