科学大院

当人类沉迷玩手机,ChatGPT和DeepSeek却在学习

人生所需不过一份注意

GPT的英文全称是Generative Pre-trained Transformer(生成式预训练变换器),其中Transformer(变换器)最核心、最精妙之处就是“注意力机制”。它会对一段文本中每个词语与其他所有词语之间的关系进行评估,计算出它们之间的关联强弱程度,从而捕捉信息之间的相互关系,以实现高效而精准的信息处理。所以,学习的本质也是注意力分配的艺术。

Image

Transformer模型结构(图片来源:Medium)

我们所处的世界彼此相连,而非孤立随机。在物理层面,世界由物质和能量组成,它们之间不断地相互作用,形成复杂而稳定的秩序。在生命层面,物种之间通过复杂的生态网络连接起来,生态链中每个环节互依互存,任何个体的变化都可能引发连锁反应。在人文社会层面,每个人看似独立,但无时无刻不在通过沟通、情感联结与社会网络交织在一起。文明的存续与演化,来源于人与人之间频繁而有序的互动。

应当如何分配注意力来认识我们所在的这个纷繁复杂的世界呢?

第一,注意高质量的数据。在机器学习领域,有一个广为人知的第一性原理:“垃圾输入,垃圾输出。”再多的参数,再强大的算力,如果输入的数据质量低下,最终训练出来的大模型也必然表现糟糕。所以,出色的大模型在训练初期便严格把控数据质量,选用经典书籍、科研论文、优秀代码和高质量互联网内容作为注意力处理的信息。这些精心挑选的材料构成了大模型的认知基座。

Image

ChatGPT的数据来源于经典书籍、维基百科等高质量数据集(图片来源:ChatGPT AI Hub)

因此,如果你想进入某个新的领域,首先应该精心构建你的数据集:谁是这个领域的权威,哪些书、线上课程是这个领域的经典,哪些工具能让这个领域的抽象知识变得具象清晰?之后,阅读入门材料快速建立对这个领域的基本认知;接下来,对经典或权威的书籍或教材进行深度学习,建立完善的知识框架;最后,通过专业研究文献并与专家或AI互动交流,拓宽和深化自己的认知边界。

然而,在信息泛滥的时代,我们面临的真正挑战是如何抵制那些低质量、碎片化的信息。截至2024年6月,我国短视频用户数量达到10.5亿,占整体网民的95.5%,人均每天观看时长约151分钟。而阅读用户只有短视频用户的一半,人均每天阅读时长只有23分钟。AI在学习,人类却在沉迷。

第二,注意实例而非规则。符号主义给AI以规则:“如果一个动物有尖尖的耳朵,胡须明显,并且眼睛在夜间能反光,那么它是猫。”这时,狐狸、猞猁、浣熊和狼也会被符号主义AI识别成猫。而联结主义只给AI猫的图片,各种各样猫的图片,让注意力在海量的数据中主动探寻其中蕴含的模式和规律。

前者是授人以鱼——人类先提取特征,然后把特征喂给AI,即人类向AI输入人类学习的结果,AI只需要记忆,正所谓前面有多少智能,背后就有多少人工。后者是授人以渔——没有工程师总结的规则,只有精心挑选的实例,让神经网络自己学习,让它自己去充分挖掘全部可能,因为“足够大的神经网络当然无所不能”(计算软件Mathematica的创造者史蒂芬·沃尔弗拉姆语)。学会放手,效果反而惊人。

教育赋予我们的道理,如同预训练阶段的基础知识,它们在大脑中构建了认知的底层模型,却不足以直接指导我们应对真实复杂的生活场景。生活真正考验我们的是具体情境中的决策能力,而这种能力恰恰来自后续不断的微调和强化学习。例如,面对亲密关系中的冲突,书上说“要理解对方,包容不同观点”,但这样的抽象道理并不能让我们解决冲突;只有去倾听、去表达、去调节情绪,然后根据对方的反馈微调和优化我们“人际交往专家模块”的参数。所谓“纸上得来终觉浅,绝知此事要躬行”,这样,我们才不会陷入“懂得了很多道理,依旧过不好这一生”的局部最优陷阱。

第三,注意也是遗忘。学习的本质,是对知识体系的优化。大模型像一个捡破烂的拾荒者,无差别地记忆所有接触的信息。而人超越大模型的,是其所独有的“选择性遗忘”:有意识地强化对重要知识和场景的记忆,同时主动遗忘那些低效甚至有害的信息。所以,积极的遗忘并非失败,而是一种认知优化的策略,它可以让宝贵的注意力聚焦于那些真正有价值的信息和故事。

在学习过程中,选择性遗忘就是“先做加法,再做减法”的思维模式。为策划一个项目,我们会收集大量的信息,做大量的调研,努力将各种可能性都纳入考虑范围。这是必要的第一步,即先做加法。越接近决策阶段,就越需要精准地做减法,选择性遗忘。比如,关于一款新产品,我们最初想法无数:既要满足市场需求,又要成本可控;既要功能强大,又要操作简单;既想满足年轻人的需求,又不愿放弃中年人市场。但是,真正的产品设计者,要敢于主动“遗忘”那些充满吸引力但干扰产品核心定位的冗余信息,从而将注意力分配给真正的核心。遗忘,也是注意力分配的艺术。

AI的知识图谱

Image

AI 有两个重要维度:大众关注度和自身价值。二者之间的关系如图所示。

图中黑色线条展现的是随着知识深度的增加或问题难度的提高,大众对 AI 技术的关注度直线下降,即 AI 在浅层知识领域中的应用更容易成为流行热点,如 ChatGPT 撰写一篇文章,Midjourney(智能绘图软件)创作一张艺术图片,Suno(AI 音乐生成器)创作一首歌曲。当 AI 进入中层知识领域,如 AlphaFold 预测蛋白质结构,大众关注度明显下降,即使 AlphaFold 为治疗疾病开辟了新纪元。当 AI 进入高度抽象或极端专业领域,如高阶数学定理证明或量子计算优化,此时大众的关注度降至冰点。

因此,黑色线条展现了一条社会认知铁律:大众兴趣集中在容易理解和感知的浅层知识领域。

Image

Midjourney是一款AI生成式程序,用户可输入文字描述来快速创作艺术图像(图片来源:Midjourney)

图中蓝色线条代表的是 AI 的内在价值。它与知识的关系并非线性,而是呈现先升后降的趋势:在浅层知识领域,AI 能做的事,人也能做,因此 AI 的价值有限;在中层知识领域,AI 展现出强大的技术优势,AI 有而人难有,AI 的价值因此达到顶峰;在深度知识领域,知识的难度或问题的抽象度超过一定阈值,AI 无法胜任,于是其价值迅速衰减。

如果把人类的知识按照“已知”和“未知”分为四类并放入图中,我们就可以洞悉 AI 与人类的关系。

图的最左侧是“已知的已知”(known known),是指人类已经广泛掌握并系统整理和公开的知识领域,如物理定律、数学公式、已发表的科学论文、常规医学指南等。这个区域的知识完全公开透明,AI 能够非常轻松地处理此类知识,因为它擅长的就是模式识别和大规模计算。例如,AlphaGo 战胜人类,靠的就是已知的技巧和公开的棋谱。

紧接这个区域的是“已知的未知”(known unknown),是指人类已经清楚地定义了存在的问题,并取得了成功范例,但尚未获得完全解答的领域。它有以下三个特点:

1. 这个问题是一个根节点问题(root node problem),解决了这个问题,将引发这个领域的革命性突破。

2. 有海量的与这个问题高度相关的高质量数据。

3. 人类方法非常有限,力不从心。AI 依靠强大的算力和先进的算法,借助海量的数据和实验模拟能快速逼近答案,展现了 AI 最强大、最有价值的一面。

蛋白质折叠预测就是这样一个问题。首先,它是生命科学领域的一个根节点问题,因为蛋白质结构决定其功能,直接影响到所有生命活动和疾病机理。因此,准确预测蛋白质三维结构,将直接推动新药研发和疾病治疗。其次,这个领域拥有大量与问题高度相关的高质量数据。过去数十年来,全球科学家通过 X 射线晶体衍射、核磁共振和冷冻电镜等方法积累了大量经过实验验证的高质量蛋白质结构数据,如蛋白质数据库。最后,人类方法在蛋白质折叠预测的问题上,效果非常有限——实验方法昂贵、耗时且成功率低。

AlphaFold 正是切入了这个科学痛点,依靠深度学习的注意力机制,深入分析数据中蛋白质氨基酸序列与空间结构之间的复杂关联,在短短一年时间里,预测了超过 2 亿个蛋白质结构,几乎覆盖了所有已知蛋白质序列,相当于人类数十年来实验测定蛋白质结构数量总和的数千倍。

Image

AlphaFold是Google旗下DeepMind开发的一款AI程序,能基于蛋白质的氨基酸序列,快速且高精度地预测复杂的三维结构(图片来源:DeepMind)

“已知的已知”和“已知的未知”都已经或者即将被 AI 占据,但是“已知的未知”才是 AI 的“最优区间”,因为人类在“已知的已知”领域做得也不错,AI 的作用仅是锦上添花,如自动驾驶。所以,“已知的未知”领域才是创业和投资的“黄金点”,类似的还有药物设计与发现、材料科学的高效设计与发现、气候变化和环境问题的精细建模、脑连接组与神经元活动规律解码等。但它也是这个领域的学生和从业者的噩梦,因为 AI 最先取代的,就是这个领域的所有行业。AI 过处,寸草不生。

第三类是一个独特且微妙的知识类别:“较少被了解的已知 / 未知的已知”(less known / unknown known)。较少被了解的已知是指知识存在,但尚未被广泛传播,公众认知度极低,如小众学科的专有技术、特定文化背景下的独特经验以及个人原创但并未广泛传播的领悟或思想;未知的已知是指知识掌握在特定个体或组织手中,但从未公开。例如,企业拥有未公开的市场数据与内部研究成果,个人的职业直觉、创新创意、情感体验等难以量化的主观经验等。这个领域的知识有两个特点:从人类社会的角度看,就是“稀缺”,通常需要高价或者非正常手段才能获取;从大模型的角度看,就是“缺失”,即 AI 的知识体系在这一领域是空白,因此无法直接模仿或“思考”。所以,这个领域的知识,是人类在认知维度上拥有的核心优势。

图的最右侧是“未知的未知”(unknown unknown),是指人类目前甚至无法明确意识到的问题和领域。由于没有明确的方向,没有定义清楚的问题,更没有数据,AI 无能为力,只能有待人类自身产生颠覆性的认知突破。

显然,“已知的已知”已经被AI统治——在这个领域,人已经不可能和 AI 一较高下。所幸的是,人类在这个领域干得还不错而且有极高的社会关注度,因此在“以人为中心”的伦理和政策的保护下,AI大概率会成为助手,而非替代,由此避免人类的大规模失业所导致的社会问题。而“已知的未知”正在或即将被 AI 占领,因为人类笨拙的表现和较低的社会关注,人类终将彻底让渡整个领域。

因此,在AI时代,人类与 AI 的角力聚焦在“未知的已知”这个知识领域。AI 学习和推理需要大量的公开数据,而这个领域的知识本质上处于半封闭或完全封闭状态,使得 AI 难以有效获取并学习。因此,为保证人类的竞争优势,一个直接且简单的策略就是有意识地调整知识的管理和传播策略:个人、企业与科研机构应更谨慎地处理知识传播,战略性地保留关键数据与技术,避免完全公开。

但是,这种有意识地制造和维护信息不对称的策略,从根本上与人类自启蒙时代以来所追求的知识普及化、标准化与共识化背道而驰。我们不禁要问:为了确保人类的独特性和独立性,是否值得放弃使文明不断加速的、让知识价值最大化的公开和共享?这种类似中世纪的、让关键知识掌控在少数人手里的被动防守策略是否真的能有效限制AI?

(本文节选自《通用人工智能》,内容有删减,标题为编者所加。)

本期我们送这本书

互动问题:在信息过载的时代,你是否觉得自己的注意力很容易分散?你认为我们应该如何像文章中提到的那样,优化自己的注意力分配,从而更有效地获取有价值的知识?

截至8月28日中午12:00,大院er会选择3名回答了互动问题的小伙伴,送上这本《通用人工智能》。

Image

我们正经历一场前所未有的智能跃迁。人工智能带来的,远不止于技术革新,更是一场深刻重塑人类认知、教育与生存方式的范式转移。

这场跃迁的关键,不在于技术会走多远,而在于——人类如何重新认识自我。当知识不再稀缺,学习的意义何在?当智能无处不在,智慧的栖身之所又在何处?当工具变成智能体,人的核心价值又该如何彰显?

清华大学基础科学讲席教授、清华大学心理与认知科学系主任刘嘉,站在历史的交汇点,以独特的跨学科视角,深入解析通用人工智能的演化路径与底层逻辑、语言如何承载认知,以及人类能力结构如何在新时代被重新定义。

这不仅是一本关于人工智能的认知地图,更是一种穿越喧嚣技术浪潮的思维方式。它关乎技术,也关乎心智;它直面未来,也照见我们自身。