从海量用户行为中挖掘 LLM 智能，十项基准全线提升

随着大模型走向 Agentic AI 和工业级应用，LLM 系统开始承担更复杂的规划、决策与执行任务。在广告、电商、推荐、搜索等实际应用场景中，同一个关键词背后，也可能对应用户截然不同的需求。如何让模型从给定的上下文信息中识别这些差异，更能理解用户的真实需求，是模型进一步服务小红书的各类真实场景需要解决的问题之一。

例如，同样搜索“背包”，有人可能准备周末短途徒步，也有人正在规划多日露营。关键词相同，背后的需求却可能不同。如果只看当前问题，模型很难区分；但在匿名化的历史行为信息中，一些线索可以帮助模型理解需求差异。比如，对轻便徒步装备的持续关注，可能意味着更偏向短途出行；而对大容量装备的关注，则可能对应更长时间的户外计划。要理解这些线索，模型需要从上下文中学习，把分散的证据联系起来，判断哪些行为更能反映当前需求，并追踪偏好随时间发生的变化。Vela 将这种面向具体用户的能力称为LLM 智能的用户维度（the user dimension of LLM intelligence）。

Vela 关注和探索的是，能否把匿名化、脱敏处理的海量真实用户行为转化为训练信号，既提升用户理解，也增强更广泛的 LLM 能力？小红书 AllSpark 团队联合商业算法提出 user behavior as supervision（用户行为作为监督信号），并构建 Vela 框架，将匿名化的真实用户行为历史转化为可训练的任务和回答轨迹。研究基于经过匿名化和脱敏处理的大规模行为数据，覆盖约 10 万个匿名化样本主体，最终构建了约 7.5 万条训练样本用于基础模型训练。

相较 Qwen3.6-35B-A3B 基座，Vela 在用户理解主基准 VelaBench 上提升 11.5 分，在四项用户相关独立基准上平均提升 6.2 分，在五项通用基准上平均提升 4.0 分。其中，Vela-35B-A3B 的 VelaBench 得分达到 63.0，超过 Qwen3.8-2.4T-A95B 的 62.3。

图1：Vela-35B-A3B 与基座及部分参考模型的逐基准结果，蓝色表示 Vela。

01

用户理解，也是 LLM 智能的一部分

Vela 从三个特点界定这类能力：

• 面向个体。 模型需要理解眼前这个人的需求，避免用“平均用户”的偏好替代个体判断。

• 跨越长时间。相关证据分布在数周甚至数年的行为中，既有稳定偏好，也有阶段性的兴趣变化。

• 基于证据。对用户的判断需要得到历史行为支持，不能把一次浏览直接等同于长期喜好，也不能凭空推断个人特征。

这些特点让用户理解成为一类综合能力任务，模型要从长上下文中找到相关信号，过滤噪声，结合搜索、浏览和购买等不同证据，并随新行为出现更新判断。虽然网页、教材、代码和合成数据为模型提供了丰富的知识与推理训练，但其中的用户相关内容往往难以完整反映个体的长期行为，以及需求和偏好随时间发生的变化。

真实行为记录提供了另一类学习材料。其中既包含用户所处情境和做出的选择，也包含随时间变化的反馈。历史可以作为问题的证据，实际发生的行为可以形成监督。例如，后续购买能够检验预测是否正确，历史中的多条记录则可以支持对偏好的总结。进一步地，我们发现用户理解的能力非常符合模型能力梯度，即越前沿模型往往在内部benchmark上有着越好的效果，但是这些前沿模型仍然有很大的提升空间。因此，Vela 将真实用户行为转化为多种有难度的训练任务，让模型从中学习如何理解用户、整合证据，并进一步检验这些训练能否提升模型的通用能力。

02

从行为历史到可学习、可验证的任务

Vela 的方法围绕三个问题展开：模型可以看到哪些行为、这些行为能够构成什么任务，以及回答如何验证。每个任务包含一段用户行为历史和多道问题，并配套独立保存的参考答案或评分标准。

1. 整理行为历史，明确模型可见的证据

Vela 使用带有时间信息的行为记录，覆盖浏览、搜索、购买、发布、关注和负反馈六类行为。在任务构建前，数据经过匿名化处理：移除用户资料、姓名、联系方式和账号 ID 等信息，并排除仍包含身份信息的记录。保留下来的历史按时间排序，让模型能够结合不同类型的行为，判断需求和偏好如何变化。

对于较长的历史，Vela 将其划分为约 7.2 万至 12 万 token 的片段，切分时保留每条行为记录的完整性。在每个片段中，前约三分之二作为模型可见的历史，后约三分之一作为隐藏的后续行为。预测题要求模型根据截止时点之前的证据作答，真实后续行为则用于提取答案、验证预测；归因题会在题面中披露需要解释的已观察结果。

2. 用 91 种模板，把行为历史构造成具体问题

Vela 设计了 91 种任务模板。每个模板明确任务目标、出题条件、允许使用的证据、回答格式和评分要求。构建任务时，先根据当前历史片段实际包含的行为选择适用模板，再生成具体问题。这些模板分为预测类和依据评分标准评估的分析类，共覆盖四种题型：

• 选择题（Objective）：给出候选项，要求模型预测用户后续会选择哪些产品、内容或其他对象。真实答案来自相应的后续行为，干扰项从其他用户的候选对象中采样。

• 开放预测题（Open-prediction）：不提供候选项，要求模型直接写出预测，例如用户接下来可能购买的产品。回答需要与真实后续行为进行语义匹配。

• 开放分析题（Open）：依据可见历史总结用户特征、兴趣偏好或语言风格。这类问题没有唯一正确答案，评分关注回答是否满足任务要求、是否得到历史证据支持。

• 行为归因题（Attribution）：在题面中披露某项已发生的行为，例如一次购买或负反馈，要求模型结合此前的历史解释这一选择。评价的是解释与历史证据的一致性。

预测类问题由预定义规则构造，规则从隐藏的后续行为中提取真实答案，并为选择题组织候选项。分析类问题则由任务生成模型 Composer 根据模板和可见历史生成具体题目，同时制定该实例的评分细则；归因题还会提供需要解释的已观察结果。Composer 需要明确各项评分要求及其证据依据，缺少必要材料时跳过该问题，也不能把自己写的一份用户总结当作唯一标准答案。

同一段历史中的多道问题被组合为一个任务。对于同一项后续行为，预测题与归因题只选其一，避免归因题披露的结果成为预测题的答案。

图2：Vela 框架，将行为历史转化为任务，再进行难度筛选和训练轨迹构建。

下面的图3 以一个示意性的徒步场景说明任务构建过程：用户先搜索“轻便徒步背包”、浏览 20 L 日用背包对比，发布短途徒步计划，并对大型登山包内容给出负反馈；截止时点之后，后续记录显示用户购买了一个 20 L 日用背包。基于这段历史，Vela 可以构造一个包含两道题的任务：一道选择题，要求从 20 L 日用背包、65 L 登山包和六人帐篷中预测后续购买；一道开放分析题，要求总结用户对徒步装备的偏好，并给出历史证据。

前一道题的参考答案由示例中的后续购买记录确定，后一道题的评分标准检查是否识别轻便、短途等偏好，是否引用对应行为，以及是否避免无依据的个人特征推断。模型作答时看到的是可见历史和两道问题，后续购买记录及评分标准单独保留，用于后续验证。

图3：行为历史、任务模板与具体任务的示例。预测答案和评分标准不进入被测模型的输入。

3. 用真实结果和评分细则，验证模型回答

选择题先提取模型最终选择的候选项，与真实答案精确匹配，再计算集合 F1。开放预测题由评分模型 Scorer 从自由文本中提取预测对象，识别与真实答案语义等价的表达；系统据此统一预测对象的表示，再计算同一指标。集合 F1 同时考察预测是否准确、是否覆盖真实结果：未匹配的预测会降低准确性，遗漏真实结果会降低覆盖程度，重复表达不能重复计分。

开放分析题和归因题使用任务专属评分细则。Scorer 依据题面要求和允许使用的历史证据，对各个维度分别给出 0–1 分，再对这些维度取等权平均；一个任务包含多道题时，再取各题得分的平均值，形成任务总分。例如，徒步偏好总结会分别检查结论是否准确、是否有具体行为支持，以及是否加入了证据无法支持的个人属性。

参考答案和评分标准不进入模型的作答输入，评测用户也不参与训练数据构建。经过这一步，行为历史被转化为具有明确输入、作答要求和验证方式的候选任务；接下来，Vela 再根据任务难度与回答质量选择训练样本。

03

按任务难度和回答质量，筛选训练数据

任务生成后，Vela 先判断哪些题适合用于训练。具体做法是让基座模型对每个任务回答四次，再根据评分结果计算平均得分，作为任务难度的估计。Vela 保留平均得分在 0.2–0.8 之间的任务，筛掉模型已经很容易完成、或当前难以完成的题目。

接下来，Vela 为保留的任务生成四条回答轨迹，并选取得分最高的一条。只有当这条回答的得分高于前一步基座模型的平均得分时，才将其纳入训练集。这样，筛选同时考虑了两个问题：任务是否有学习价值，以及回答是否提供了比基座当前表现更好的示范。

经过这两步筛选，10 万个候选任务最终形成约 7.5 万条 Vela-Instruct 训练样本，用于训练 Vela-35B-A3B。此外，Vela 使用基座模型自身生成的回答构建了9,375 条 Vela-RFT 样本，用于检验模型能否通过学习自身筛选后的回答提升能力。

04

用户理解提升，也带来了通用能力收益

为了区分任务内的提升与更广泛的收益，团队设置了三组评测：

• VelaBench：覆盖框架中的任务类型，包含来自训练之外用户的 982 个任务。

• 用户相关独立基准：覆盖购买意图、画像与兴趣总结、用户属性与购买行为理解，以及广告检索词生成。

• 通用基准：覆盖数学、科学知识、指令遵循和上下文学习。

表1：论文原表。括号内为相对 Qwen3.6-35B-A3B 的分数变化，Avg. 表示组内平均分。

表中提升均为分数差。Vela-35B-A3B 在这十项基准上均优于同规模基座。用户任务中，ProfileSummary 从 20.4 提升至 30.5，AdRecommendation 从 51.1 提升至 62.3。通用能力中，IFBench 提升 6.7 分，CL-bench Life 提升 5.6 分。

从能力要求看，用户理解与通用任务都涉及上下文学习、证据整合和指令遵循。实验表明，行为监督的收益可以延伸到这些通用评测；具体由哪些能力变化带来迁移，仍值得进一步研究。

与更大模型比较，Vela-35B-A3B 在 VelaBench 上的 63.0 分，高于 DeepSeek-V4-Flash 的 58.6 和 Qwen3.8-2.4T-A95B 的 62.3。这表明，在用户理解这一具体能力上，利用合适的行为监督，可以让较小模型达到很有竞争力的表现。

仅使用基座自身生成轨迹的 Vela-35B-A3B-RFT，也在 VelaBench 和用户相关独立基准上分别取得 2.0 分、平均 1.6 分的提升，同时保持通用基准平均分不变。

05

更多行为数据，以及更强的后续训练基础

扩大数据规模，用户理解继续提升

训练样本从 4.7K 增至 75K，VelaBench 从 59.2 提升至 63.0，用户相关独立基准平均分从 43.5 提升至 47.5。通用基准在所有测试规模上均高于基座，75K 时平均分达到 58.2。各类能力对数据规模的响应有所差异，VelaBench 在 37.5K 至 75K 之间仍继续提升，显示出进一步扩展的潜力。

图4：不同训练数据规模下的效果。虚线表示基座模型表现。

完成强化学习后，收益依然保留

为了检验 Vela 能否为后续强化学习提供更强基础，实验比较了两种训练方式：一种直接在 Qwen3.6-35B-A3B 基座上进行 RL；另一种先用 Vela-Instruct 完成监督微调，再进行 RL。两种方式使用相同的 RL 训练数据、算法和配置，区别在于是否先经过用户行为数据训练。

完成 RL 后，先经过 Vela 微调的模型在 VelaBench 上达到66.2 分，直接从基座进行 RL 的模型为 58.5 分；在 ProfileSummary 上，两者分别为 37.6 分和 29.9 分，均相差 7.7 分。这表明，用户行为监督不仅能直接提升模型表现，还能为后续强化学习提供更强的能力基础。

图5：相同 RL 设置下，从 Vela 出发训练获得更好的最终结果。

06

真实行为，为 LLM 能力学习提供新的信号

大模型的能力越来越强，也越来越多地在搜索、广告、推荐等核心业务的环节中被使用。它要求模型跨越长历史、识别有效线索，容忍噪声数据，并依据证据形成和更新判断。Vela 将这些要求转化为训练任务，探索了真实用户行为作为监督来源的价值。实验既观察到业务上用户理解、行为预测能力的提升，也观察到通用评测和后续强化学习的收益。

这项工作的启发是：真实世界中持续产生的行为与反馈，可以成为扩展 LLM 训练信号的重要来源。 如何覆盖更多场景、选择更有价值的行为信号，并将其转化为可靠的学习目标，将决定这条路线能够走多远。

///

作者介绍

• 重云，AllSpark Pevek 组正式员工。

• 沐川，AllSpark Pevek 组负责人。

• 猿飞，Ads Core 组负责人。

欢迎投递：

【基础模型算法实习生】小红书招聘

【广告Agentic投放算法实习生-商业算法】小红书招聘