沉思的托克维尔

大语言模型是死胡同,和人类智能是南辕北辙?

今天看了美国纽约大学教授、图灵奖得主、Meta首席AI科学家杨立昆的讲话,他认为如今的大语言模型是死胡同,根本无法让计算机超越真正的人类智能。 他认为“仅靠语言和文字训练出的AI系统,永远无法逼近人类的理解力,符号操作与真实理解之间存在一道不可逾越的鸿沟。” 符号操作,指的是AI对抽象的语言、文字或逻辑符号进行处理与组合的能力,GPT将符号操作推向了极致,可以根据统计规律,预测接下来最有可能出现的词语,生成一段看似合情合理的回答,但是这些模型并不理解自己所说的内容。 主流大语言模型采用离散 token 的条件概率建模,本质上是一种近似模拟,而非对连续物理过程和动态变化的真实理解。 比如红绿色盲人士知道“红”、“绿”对应不同颜色,但他们无法依靠自己去区分颜色。“情人节喝红酒”对AI来说只是一个概率上的语言结构,而不是与味觉、动作、文化、常识关联的体验。比如“红酒”这个词,人类会想到颜色、气味、社交氛围和它带来的影响,比如“喝酒不能开车”,这时建立在感知、经验和常识上的语义理解。 哪怕大模型可以在语言上描述‘打翻红酒杯、杯子碎裂、红酒顺着桌沿流下’,但它并不知道‘摔碎’意味着什么,更不知道‘红酒往下流’在物理上是怎样的过程。 大模型只是表现得好像理解了,但没有真的理解,理解不只是处理符号,还要明白符号在现实世界中的含义。 GPT 虽然‘读遍’了互联网,但它从未喝过一口红酒、摔过一只杯子,从未亲身体验过任何事情。它的‘理解’,更多是基于语言的概率结构,而非体验或物理常识上的因果模型。” 我读完感觉就跟鹦鹉学人说话一样,鹦鹉可以说的很流利,比大多数人说的都标准,但鹦鹉对语言的含义一无所知。 不过,即使大语言模型和真正的人类智能南辕北辙,但它也足够代替大量人工了,毕竟多数人做的也都是不用理解,只需执行的“无用的狗屁工作”,这样的工作AI比人高效地多,事实就是,大多数人的工作是不需要理解,也不需要脑子的。