WWW 2026 | 频谱解耦与增强：让多模态大模型学会“去噪提纯”
京东零售 郭瑾瑾约 9 分钟01
摘要
大规模多模态对比学习近期在获取丰富且可迁移的表征方面取得了显著进展，但其根本局限在于对所有特征维度“一视同仁”的处理方式，以及忽视了所学特征内在的频谱结构。实证研究表明，高维嵌入向量常坍缩至狭窄的锥形区域，导致任务相关语义信息被压缩在有限子空间内，而大量维度被噪声与虚假相关性占据。这种频谱失衡与信息纠缠现象严重损害了模型的泛化能力。针对上述问题，我们提出了频谱解耦与增强（SDE）框架，首次建立了嵌入空间几何结构与频谱特性间的理论联系。该框架通过奇异值分解将特征维度自适应划分为三类：包含核心语义的强信号、反映辅助相关性的弱信号，以及代表无关扰动的噪声。随后采用基于课程学习的频谱增强策略，在确保训练稳定性的理论保障下，选择性地放大信息丰富的成分。
为进一步优化表征质量，我们设计了双域对比损失函数，通过在特征空间和频谱空间的联合对齐优化，将频谱正则化有效融入训练过程。实验表明，SDE在多个大规模多模态基准测试中持续提升表征的鲁棒性和泛化性能，显著优于现有最优方法。该框架可与现有对比学习流程无缝集成，为多模态表征学习提供了高效实用的解决方案。
02
引言
学习稳健且可泛化的表征是深度学习的核心挑战，尤其在大规模神经网络训练场景下更为突出。对比学习（Contrastive Learning）作为近年来突破性的学习范式，在计算机视觉、自然语言处理及多模态任务中均展现出卓越性能。其最新进展包括：利用大语言模型（LLM）生成合成数据增强训练集，或通过对抗噪声注入等特征干预手段提升模型鲁棒性。
然而，现有方法存在一个根本性局限：对特征维度的均质化处理。实证研究表明，高维嵌入空间常坍缩为狭窄的锥形区域。例如，在512维嵌入空间中，余弦相似度0.56的向量仅占据超球面极小表面积，表明有效表征维度远低于名义维度。这一现象揭示了当前多模态表示学习的两大核心困境：
1.频谱分布失衡：关键语义特征集中于有限子空间，而弱信号与噪声占据大部分维度，形成各向异性结构，导致下游任务优化困难。
2.统一优化缺陷：标准对比学习方法对所有维度等权处理，引发：语义纠缠：任务相关特征与噪声难以分离；鲁棒性缺失：噪声扰动无差别污染所有维度；泛化瓶颈：虚假相关性在优化中被错误放大。
尽管已有研究利用奇异值分解（SVD）分析神经网络参数冗余，但对特征空间的探索仍属空白。本文首次建立"狭窄嵌入锥"现象与表征频谱特性间的理论联系，提出频谱解耦与增强（SDE）框架，包含三项核心创新：
频谱解耦：在训练过程中实时运用SVD，将特征划分为强信号、弱信号和噪声三个子空间；
频谱增强：针对不同子空间采取差异化策略——放大主导信号、归一化弱信号、抑制噪声；
双域对比学习：在特征空间和频谱空间同时施加对齐约束，增强表征的鲁棒性与泛化能力。
SDE首次将频谱感知的特征对齐机制引入对比学习框架，为稳健的多模态表示学习奠定了实用且通用的基础。大量实验表明，在MMEB多模态基准测试上，SDE显著优于现有最优方法，验证了其与现有对比学习流程无缝集成的有效性。
03
方法
1. 频谱解耦
假设我们从视觉语言模型（VLM）的主干网络中提取出特征矩阵，其中包含 m 个样本和 n 个特征维度。我们利用奇异值分解（SVD）来分析其频谱特性：
这里，U 和 V 是正交矩阵，Σ 包含非负的奇异值 σ1≥σ2≥⋯≥σr>0（r 为矩阵的秩）。V的每一列定义了特征空间中的基础方向，而奇异值则量化了各个方向上能量集中的程度。
基于已有的研究，特征空间中存在大量冗余信息。具体来说，较小的奇异值往往对应着冗余或噪声；相反，较大的奇异值通常编码了最显著、与任务最相关的信息。
基于这一观察，我们将特征空间解耦为三个不同的子空间，依据正是奇异值的大小：
强信号（Strong signal）：占据主导地位的维度，包含任务关键语义，对模型性能至关重要；
弱信号（Weak signal）：细微但潜在有用的变化，可能有助于模型的理解能力和泛化性；
噪声（Noise）：随机波动或无关干扰，通常会损害模型鲁棒性。
为了划定这三个子空间的边界，我们采用四分位距（IQR）方法，并借助 Marchenko-Pastur 分布来建立随机协方差矩阵特征值的理论边界。对于元素独立同分布、均值为0、标准差为 ϑ 的矩阵F，其协方差矩阵的特征值会收敛到一个特定区间。相应地，奇异值满足：
这些理论边界帮助我们估计奇异值的分位数，从而将特征维度合理划分到上述三个子空间中。
通过频谱解耦，我们能够在训练过程中将有效信息与无用噪声分离开来，为后续的表征学习奠定基础。
2. 频谱增强
在解耦特征空间的基础上，我们设计了一套自适应的频谱增强策略，针对不同子空间中的奇异值进行差异化处理，以提升模型的鲁棒性和泛化能力。对于特征矩阵 F及其SVD分解，我们按如下方式重构增强后的特征矩阵：
其中 Δ 是一个对角扰动矩阵，针对三个子空间采用不同的处理策略：
强信号增强
强信号子空间包含任务相关的核心信息。为了防止过拟合并增强鲁棒性，我们向这些方向的奇异值注入受控的对抗噪声。噪声强度由训练进度和奇异值的相对大小共同决定：
这里，（以最大奇异值做归一化），α(t)∈(0,1)是随训练步数 t 变化的课程因子——训练初期采用强增强，中期适度增强，后期弱增强，实现渐进式学习。
弱信号归一化
弱信号子空间包含细微但有潜在价值的变化。为了在保留这些信息的同时维持稳定性，我们采用频谱归一化：根据相对大小和课程因子自适应地衰减这些奇异值：
这种处理能更积极地抑制弱信号，鼓励模型利用细粒度特征而不放大噪声。
噪声抑制
噪声子空间通常包含破坏性的干扰。特别是在训练初期，我们采用信噪比正则化来抑制这些值。抑制程度由信噪比和训练进度共同调节，随着学习稳定逐渐放松：
其中量化了信号子空间与噪声子空间的能量比。信噪比越高，噪声抑制越激进。
扰动分析
综合以上策略，扰动矩阵Δ可统一表示为：
理论上，该扰动的Frobenius范数满足上界约束。由于奇异值单调递减，弱信号和噪声子空间的累积能量有限，因此整个增强过程由课程因子 α(t) 精确控制，既不会引入训练不稳定性，又能自适应地促进判别性特征学习、抑制噪声，全面提升模型的鲁棒性和泛化能力。
3. 双域对比学习
为了充分发挥频谱解耦和增强的优势，我们提出双域优化范式，同时在特征空间和频谱空间中对齐表征。这种方法不仅保证了实例级别的对齐，还强制了频谱结构的全局一致性，从而得到更鲁棒、语义更丰富的表征。
实例级对齐
传统对比学习专注于特征空间中的实例对齐：拉近相似样本，推远不相似样本。我们采用经典的 InfoNCE 损失：
其中 s(⋅,⋅) 是余弦相似度，τ 是温度系数。
然而，单纯的实例对齐不足以捕捉全局结构一致性。它容易受到正交变换的对抗攻击——正交矩阵 Q 能保持样本间的距离（即Qx,Qy=s(x,y))，但会扭曲语义结构。这意味着，仅依赖实例对齐可能无法捕捉模态间的高层次结构一致性。
频谱对比损失
为解决上述局限，我们引入频谱对比损失，从频谱视角强制对齐，包含两个互补部分：
1）频谱分布对齐：奇异值向量 σ 表征了各维度的能量分布。对齐和
可确保两个模态在特征重要性上保持一致。我们使用Hellinger距离度量分布差异
2）子空间一致性约束：频谱对齐控制各维度的重要性，而子空间对齐则确保主成分方向的一致性。前 k 个奇异向量 V 张成主导语义子空间，我们通过最小化其Gram矩阵的偏差来强制正交对齐，这保证了跨模态的主方向保持一致。没有这一约束，正交变换可能任意旋转子空间而保持实例距离，从而破坏语义连贯性。
总目标函数
综合以上，我们的双域目标函数整合了实例级对齐和频谱结构对齐：
其中 λ(t) 是动态权重系数，随训练逐渐减小，将优化重点从宏观结构逐步转移到微观实例对齐，防止过度正则化。通过联合优化实例判别能力和全局频谱一致性，我们的框架兼具特征对齐和结构对齐的优势，既能抵御正交变换的对抗攻击，又能确保学到的表征同时捕捉局部和全局几何特性，实现更强的鲁棒性和泛化性。
04
实验结果
数据集与基线
MMEB 是一个大规模、多任务类型的评测基准，专为评估多模态嵌入模型而设计。该基准整合了 36 个数据集，涵盖四大核心任务：图像分类、视觉问答（VQA）、信息检索和视觉定位。具体而言，MMEB 提供 20 个分布内（In-Distribution, IND）训练数据集，而测试范围则覆盖全部 36 个数据集，其中包含 20 个 IND 数据集和 16 个分布外（Out-of-Distribution, OOD）数据集。这种"训练-测试"的多样化配置，使我们能够全面检验模型在跨任务、跨领域场景下的鲁棒性与泛化能力。我们采用每个数据集的 Precision@1 指标。
主要实验结果
如表 1 所示，SDE 框架在 MMEB 基准测试中全面领先于基线方法。
泛化性分析
实验表明，即便仅在单一任务类型（如分类、视觉问答或检索）上训练，SDE框架依然展现出卓越的跨任务迁移能力。其中，专门训练于检索任务的模型表现尤为突出，在分类和视觉定位任务上分别较VLM2Vec提升了27%和17%。这些结果充分验证了频谱解耦与增强机制能够有效提取可迁移的鲁棒特征，使模型捕捉到更丰富且通用的多模态语义信息。
定性实验结果
SDE框架通过频谱解耦技术实现了特征的"去噪增信"：强信号占比从10.42%跃升至17.32%，弱信号从7.75%增至12.17%，而噪声成分则从81.84%有效压缩至70.51%。这种重组使得仅占17%的强信号承载了88.7%的语义能量，而占比七成的噪声仅消耗7.3%的能量。最终，模型成功将表示提炼为最紧凑的语义核心，在保持表达力的同时显著提升了嵌入向量的判别性能。