大语言模型如何编码心智：一个稀疏参数模式研究实例

npj Artificial Intelligence ：大语言模型如何编码心智：一个稀疏参数模式研究实例

在心理学中，心智理论（Theory of Mind，ToM）指的是理解自己和他人心理状态的能力，包括情绪、信念、意图、欲望、假装与知识等。近年来，大语言模型（LLM）在部分心智测试中（如下图所示）已展现出一定的心智能力，甚至在讽刺与暗示检测等任务上表现优于人类。这引出了一个基础性的科学问题：大语言模型的心智能力是如何在模型内部产生的？模型参数在其中发挥了怎样的作用？

来自斯坦福大学、普林斯顿大学、明尼苏达大学、伊利诺伊大学香槟分校、史蒂文斯理工学院等机构的跨学科团队提出了一个全新视角：大语言模型的心智能力可能依赖于一种极度稀疏的参数模式，即模型中存在一小部分对心智推理过程高度敏感的关键参数集合。相关成果已发表于Nature旗下 npj Artificial Intelligence 期刊。

如上图所示，研究团队首次提出“心智敏感参数模式”的概念，并通过以下步骤加以验证：

• 敏感性分析：计算心智推理任务对模型参数的海森矩阵，定位对推理过程最敏感的参数；

• 模式识别：发现这些敏感参数呈现出明显的稀疏化分布模式；

• 渐进式微扰：在保持整体语言能力不变的前提下，对该稀疏参数模式进行逐步扰动；

• 能力评估：检验扰动是否导致模型心智能力显著下降。

实验结果表明，该心智敏感参数模式仅占模型全部参数的 0.001%，但扰动它即可使大语言模型在心智测试中的表现下降超过 25%。

更令人惊讶的是，这些参数模式高度集中于 Transformer模型架构中的位置编码模块（如 RoPE），其作用是调控查询向量（Query）与键向量（Key）在不同时间步的对齐角度，从而影响模型在推理过程中对词语的注意力分配。扰动这些参数会破坏模型对故事事件顺序的理解，直接影响“谁知道了什么”这一心智推理核心要素。

该工作为大语言模型心智能力的产生提供了机制层面的解释：大语言模型的心智能力并非由海量参数的简单堆叠自发涌现，而是依赖于一个高度结构化的稀疏参数子集，该子集在推理过程中决定了模型对词语的注意力分配方式。这一发现不仅为未来人工智能心智能力的检测与评估提供了依据，也使利用参数级工具精确调控大语言模型的心智能力成为可能。

本研究第一作者为斯坦福大学研究生吴宇恒；史蒂文斯理工学院徐兆卓与张登辉教授担任通讯作者；普林斯顿大学博士生郭文韬、明尼苏达大学刘子锐教授及伊利诺伊大学香槟分校季姮老师参与指导。