LLM在转转主搜向量召回的应用

一、引言

在多品类快速发展的背景下，平台有意地引导或用户心智的改变，使得用户进行N品类搜索次数显著升高，但N品类多数拥有一批核心玩家，他们之间又有更隐蔽的术语表达。不同于1+4品类成熟的商品标题和类目体系，N品类的商品标准化仍在起步阶段，导致流量的增多反而带来了更多的少无结果query。

究其原因，ES搜索引擎所使用的文本硬匹配技术是简单的文字匹配，我们的搜索词必须一字不差的在商品描述里出现，ES才能进行商品召回，这是一种最为保守的召回方法，但是用在N品类会引发一些问题。N品类多数为核心玩家，他们对N有自己的表达方式，比如相机，我们不懂相机的搜索词可能是佳能，索尼等，而这些这些核心玩家，他们搜索更多的是小痰盂等昵称，从而导致此类query无商品召回，也就没有流量效率。搜索在N品类发力的关键便是意图理解-扩召回，指标上表现为少召回率。

二、破局思路：不造大模型，只做精准赋能

面对N品类的多元搜索需求，直接研发大模型不仅周期长、资源成本高，还难以适配搜索场景的高频迭代；而传统机器学习模型，又无法突破 “语义理解” 的技术瓶颈。

我们果断拒绝技术堆砌，选择以“中小型领域模型+极小任务模型”的敏捷路线，核心逻辑不是“为用大模型而用大模型”，而是“用对技术解决真问题”。这一务实选择很快迎来验证：当我们将转转私域交易数据注入基础模型后，即便线上日志中几乎没有汽车领域数据，模型仍能精准识别 “蔚来、理想是新能源汽车品牌，大众以燃油车为主”。这种超越字面的语义理解能力，正是破解N品类搜索难题的核心钥匙。

三、技术深潜：向量召回的主流程落地

为平衡 “语义理解深度” 与 “搜索低延迟要求”，我们设计了 “离线训练 - 在线推理” 双阶段架构，实现技术效果与工程效率的双向兼顾。

3.1、架构总览：大模型训小模型的效率密码

• 离线端核心逻辑：用大模型打磨 “语义理解能力”，再通过知识蒸馏将能力迁移到轻量级模型，解决大模型推理成本高的问题
• 在线端核心逻辑：用户发起搜索后，实时生成query语义向量，通过Faiss库完成近似最近邻检索，快速召回匹配商品

3.2、知识注入 - 让模型懂“转转黑话”

高质量数据是模型的 “核心养料”。我们从用户支付日志中筛选出30万左右优质query-商品对（支付行为直接保证了 “搜索意图和商品匹配” 的真实性与相关性），通过两大动作完成私域知识注入：

（1）Post Training 任务设计

核心是让模型模拟 “真实搜索场景”：给定用户搜索词 “小痰盂”，让模型生成对应的商品标题 “佳能 EF 50mm f/1.8 镜头 小痰盂”。通过这一过程，模型主动学习二手交易场景下的 “术语 - 商品” 关联规则，比如 “小痰盂” 与特定镜头型号的绑定关系。

（2）LoRA 轻量微调

Lora（Low-Rank Adaptation）微调是一种高效的参数微调方法，用于在大模型基础上进行轻量级适应。其核心思想是在预训练模型的权重旁引入低秩矩阵分解，通过训练少量新增参数来逼近全量微调的效果。具体而言，在模型的注意力层中，原始权重矩阵  被保留冻结，新增一个低秩表示 ，其中  和  是低秩矩阵，秩远小于原矩阵维度。前向传播时，输入经过  得到输出。

由于仅需训练  和 ，Lora显著减少了可训练参数量和显存占用，使得在有限资源下对大模型进行多任务微调成为可能。在转转的场景中，Lora被用于Post Training阶段，以query生成商品标题为任务目标，实现私域知识注入，提升模型对多品类隐性表达的理解能力。

3.3、领域任务微调 —— 让向量 “辨得清”

为解决“相似术语易混淆”的问题（比如“iPhone 13”和“iPhone 13 Pro”），我们设计了 “硬负样本 + 对比学习”的组合方案：

• 样本筛选策略：正样本选 “query 类目与商品类目完全匹配” 的商品；hard负样本挑 “形近神远” 的同类目差异商品（如 “iPhone 13” 对应 “iPhone 13 Pro”）；easy负样本选跨类目商品（如 “iPhone 13” 对应 “华为 Mate 50”），二者按1:1配比构建成负样本。
• 模型训练逻辑：基于Qwen2.5-7B模型做对比学习，Loss选择InfoNCE，InfoNCE loss通过最大化查询与正例样本的相似度、最小化与负例的相似度，增强向量空间的判别能力。即通过优化向量空间距离，让 “小痰盂” 与佳能 50mm 镜头的向量更接近，与其他镜头、非镜头商品的向量更远。

3.4 知识蒸馏 —— 让小模型有 “大能力”

大模型虽能精准理解语义，但推理速度慢、部署成本高，无法满足搜索场景实时响应的要求。我们通过知识蒸馏将qwen2.5-7B的能力迁移到Bert上，从而实现 “能力迁移”：

1. 软标签传递：让 Teacher 大模型生成 “带概率的软标签”，比如“小痰盂”匹配“佳能 EF 50mm 镜头”的相似度为0.9、匹配“尼康 50mm 镜头”的相似度为0.3、匹配“相机背包”的概率0.1，这种“非黑即白”硬标签所没有的细节，能让小模型捕捉术语与商品的关联强度差异。
2. 双损失协同优化：用 KL 散度衡量 “师生模型输出分布差异”，保证小模型复刻大模型的语义判断逻辑；KL散度定义为如下，其中和分别为教师与学生在温度下的softmax输出。高温使分布更柔和，便于小模型学习语义相似性结构。

1. 工程效果：蒸馏后的小模型体积压缩至原大模型的1/60，推理速度提升N倍，核心语义匹配性能基本不变，完全满足线上实时搜索需求

4、总结

本项目不仅在线上运行时未带来显著的压力，还显著提升了主搜对用户意图的理解能力，特别是在识别用户的核心购买意图方面。通过优化向量召回和，我们在商品召回的全面性和商列筛选的精准性上都取得了显著进步。

重要的是，这些成果验证了我们方法论的正确性和可持续性。我们通过对模型的微调与蒸馏，成功实现了正向反馈。搜索意图识别的改进不仅是全局效果提升的一个标志，也证明了结合大模型的强大泛化能力和知识储备，以及小模型的高效灵活性，可以在有限的算力资源下实现AI在特定任务中的应用价值提升。这一成就为我们未来在更多领域应用AI技术提供了坚实的基础和明确的方向。

关于作者

白朋辉，转转算法工程师，主要负责意图理解，大模型在搜索落地的相关工作。