量子位

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26

V-CAST团队 投稿
量子位 | 公众号QbitAI

AI看长视频,模型需要逐帧把画面编码成视觉Token,再送进语言模型理解。

帧数一多,重复的画面会吃掉计算和显存;可压缩太狠,短暂出现的线索、前后动作变化又很容易被漏掉。

针对这一问题,来自中山大学、香港理工大学等校的研究团队提出了V-CAST:在视觉Token送入语言模型前进行筛选剪枝,全程免训练、即插即用。

Image

剪枝后还能保留多少理解能力?团队在Qwen3-VL、LLaVA和Qwen2.5-Omni的6个模型配置、10个视频及音视频基准上进行了验证:

  • 在256帧长视频评测中,V-CAST平均分领先次优压缩方法1.5分;
  • 在768帧音视频实验中,保留未压缩模型97.1%的表现,总推理耗时降低50.0%;
  • 在Qwen3-VL-8B的32帧实验中,仅保留25%的视觉Token,平均表现仍达原模型的98.2%。

剪枝后还能保留多少理解能力?团队在Qwen3-VL、LLaVA和Qwen2.5-Omni的6个模型配置、10个视频及音视频基准上进行了验证:

Image
△V-CAST的长视频理解表现、性能保留率与推理效率。

压缩视频Token,关键在于时空信息覆盖

视频模型将画面编码成视觉Token。帧数越多,语言模型生成答案前的预填充计算越重。重复背景和动作也会占用计算与显存,因此可以先筛掉部分Token。

难点是,动作排序、计数和事件定位需要串起不同时刻的线索。若预算集中在少数画面上,模型就可能漏掉动作前后的变化。因此,压缩既要覆盖不同时间段,也要保留帧内细节。V-CAST先决定每帧留多少Token,再决定留哪些,并保留原有时空坐标。

两个观察:时间覆盖与位置对应

观察一:预算相同,时间覆盖也可能不同

每帧该分到多少Token?均匀分配能兼顾各个时刻,却不会区分短暂的动作切换与长时间重复的背景。

按全局差异分配预算容易找到特别的画面,却可能遗漏阶段之间的变化。V-CAST关注相邻帧的转折,把更多预算分给动作或场景正在变化的时刻。

Image
△不同策略在长短视频中的帧预算分配。

观察二:特征压缩后,位置仍需对应

压缩后的内容还需与原位置对应。Qwen3-VL为视觉Token记录时间、高度和宽度坐标。将不同位置的Token合并后,新特征就难以对应到某个原始位置。

V-CAST直接选择Token子集,保留原始顺序和坐标。为验证这一选择,论文比较了局部池化、固定位置选择与随机选择。

Image
△左:合并和直接选择Token时的位置变化;右:在2×2局部网格内,比较池化与直接选择的效果。

在相同25%保留率下,两种直接选择策略均优于局部池化,支持了保留位置对应关系的设计。

两步压缩:先分预算,再选细节

基于这两个观察,V-CAST在视觉编码与投影之后、语言模型预填充之前,依次完成帧间预算分配和帧内筛选。

Image
△V-CAST先分配每帧的Token预算,再筛选帧内Token。
  • 根据相邻帧的变化分配预算

V-CAST用平均特征概括每帧,再用局部曲率衡量特征随时间变化的转折。转折越明显,分配的Token越多,同时为每帧保留最低额度,兼顾变化与覆盖。

  • 用两个互补信号选择帧内Token

拿到每帧预算后,V-CAST给Token计算两项得分:

  • 与整帧平均特征的差异。帮助保留画面一角的小物体等局部细节。
  • 特征激活强度。帮助保留视觉编码器响应较强的区域。

两项得分相加后,每帧按预算保留高分Token,兼顾显眼区域与局部细节。整个过程无需计算Token两两相似度,额外开销较小。

  • 保留原始顺序与时空坐标

选中的Token沿用原始顺序、时空坐标和位置编码。整个流程无需训练,也无需提取解码器注意力权重。

以Qwen为主:6个模型配置、10个基准

实验从Qwen3-VL-8B扩展到32B、MoE、LLaVA和音视频模型,在统一设置下与其他五个方法进行比较。

Qwen3-VL-8B:比较输入长度与压缩预算

Qwen3-VL-8B主实验覆盖32/64帧输入、25%/15%视觉Token保留率,在四个视频理解基准上比较表现。

Image
△Qwen3-VL-8B-Instruct主实验。

32帧、25%保留率下,V-CAST四项基准平均得分63.1,达到原模型的98.2%。64帧下得65.0分,比次优方法VidCom²高1.0分。预算压至15%时,32帧和64帧的平均分仍均为所比较压缩方法中的最高。

从8B到32B,再到MoE

扩展到Qwen3-VL-32B-Instruct后,在32帧、25%保留率下,V-CAST平均得分66.5,高于VidCom²的65.6。

Image
△Qwen3-VL-32B-Instruct在32帧输入下的评测结果。

剪枝还让部分受显存限制的评测得以完成。同一运行配置下,未压缩的Qwen3-VL-30B-A3B-Instruct无法完成64帧评测;V-CAST在25%保留率下完成评测,平均得分68.1。

Image
△Qwen3-VL-30B-A3B-Instruct在64帧输入下的评测结果。OOM表示显存不足。

从Qwen扩展到LLaVA与音视频模型

换到LLaVA-OneVision-7B(32帧)和LLaVA-Video-7B(64帧),保留25%的视觉Token,仍分别达到原模型99.5%和95.4%的平均表现。

Image
△LLaVA-OneVision-7B和LLaVA-Video-7B的评测结果。

在Qwen2.5-Omni-7B的768帧实验中,音频输入保持完整,视觉Token保留25%。V-CAST五项基准平均得分49.6,达到原模型的97.1%,总推理耗时降低50.0%。

Image
△Qwen2.5-Omni-7B在768帧设置下的五项基准得分及总推理耗时。

从32帧到256帧:检验长视频上下文利用

更多帧既带来新线索,也带来重复画面。实验将输入从32帧增加到256帧,检验模型能否利用新增信息。在256帧下,V-CAST四项长视频评测平均分领先VidCom²1.5分。

Image
△不同方法在32~256帧输入下的长视频理解表现。

效率:预填充延迟降低51.2%,总耗时降低13.6%

剪枝主要减少预填充计算,完整评测还包含视频读取、视觉编码和答案生成,因此总耗时降幅更小。测试采用Qwen3-VL-8B-Instruct,在VideoMME上输入32帧、保留25%的视觉Token。

Image
△Qwen3-VL-8B-Instruct在VideoMME上的评测得分和推理开销。

相比未压缩模型,V-CAST预填充延迟降低51.2%,峰值显存降低13.0%,完整评测耗时降低13.6%。LLaVA-OneVision-7B的预填充耗时也从96.6秒降至26.5秒,峰值显存降低11.4%。

Image
△LLaVA-OneVision-7B的预填充延迟、生成延迟和峰值显存。

消融与迁移:收益来自哪里

在相同预算下替换各个组件后,曲率分配在32帧和64帧下均取得最高平均分。以32帧为例,MLVU与VideoMME总体得分的均值从全局独特性策略的62.6升至63.1。

帧内筛选也需要两个信号互补:只看特征差异可能漏掉与整帧特征相近的关键信息,只看激活强度又可能留下重复区域。两项得分结合时,平均分最高。

曲率分配也可单独复用。实验保留VisionZip和VidCom²原有压缩机制,加入曲率预算分配。在25%保留率下,两者在LongVideoBench、MLVU和VideoMME上均有提升。

Image
△为VisionZip和VidCom²加入曲率预算分配前后的表现。

案例:预算分到了哪些时刻

在寻找黄道光出现日期的案例中,关键线索只出现片刻;统计釉色种类则需关注多个上釉阶段。V-CAST分别在天象出现的片段和上釉转折处保留了更多Token。

Image
△两段视频中各帧保留的Token数量。红线表示V-CAST。

保留的画面也影响最终回答。在婚礼集数定位和杂技动作识别两个案例中,V-CAST均给出了正确答案。

Image
△不同方法在剧情定位和杂技识别案例中的回答。

总体而言,V-CAST通过曲率分配时间预算、双锚点评分筛选空间细节,并保留原始坐标,在无需训练的前提下压缩视觉Token。

不同模型和输入长度上的结果表明,合理分配有限预算,有助于兼顾视频理解表现与推理效率。

论文题目:V-CAST:Video Curvature-Aware Spatio-Temporal Pruning for Efficient Video Large Language Models 作者:林欣莹、刘旭洋、王一宇、马腾、李佳晟、温子辰、任文琦 单位:中山大学深圳校区、深圳河套学院、香港理工大学、香港科技大学(广州)、上海交通大学
项目主页:https://xinyouu.github.io/V-CAST/
代码:https://github.com/xinyouu/V-CAST

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

— 完 —

【学术投稿】请在工作日发送邮件至:[email protected],标题注明【投稿】,并告诉我们:你是谁,从哪来,投稿内容附上项目/主页链接,以及联系方式。

🎓 我们会 (尽量) 及时回复你 :)

🌟 点亮星标 🌟

科技前沿进展每日见