单张照片重建3D人体总「穿模」？用群体偏好对齐+无标签训练，让四肢不再「漂移」丨CVPR'26

VLM-GPA团队 投稿 
量子位 | 公众号 QbitAI

单靠一张RGB照片还原精准的3D人体模型，究竟有多难？

虽然基于扩散模型（Diffusion Models）的人体姿态估计方法让生成结果变得多样化，但“幻觉”也随之而来：

人体四肢莫名穿透身体、脚底悬空、或者在复杂遮挡下姿态完全走样。

针对这些顽疾，来自南洋理工大学（NTU）、香港科技大学（广州）、商汤科技以及A*STAR的研究团队提出了一种全新方案：VLM-Guided Group Preference Alignment。

他们开发了一个具备“双重记忆”和“自我反思”能力的VLM裁判代理，并提出了一套全新的群体偏好对齐（Group Preference Alignment）框架。该框架灵感源自大语言模型中爆火的GRPO技术，并将其首次成功适配到3D人体网格恢复（HMR）领域，显著提升了模型在野外复杂场景下的表现。

目前，该论文已被CVPR 2026接收。

痛点：为什么扩散模型也会“飘”？

在单目HMR任务中，由于深度信息的缺失，同一个2D观察在数学上可能对应无数种3D姿态。

现有的扩散模型虽然能生成多个候选结果来覆盖这种不确定性，但由于缺乏显式的3D几何约束，生成的模型往往“中看不中用”：

1. 物理不可行：四肢比例失调，或者手脚穿过身体（穿模）。

2. 深度歧义：在侧面视角下，人体与背景或自身的深度关系完全错乱。

3. 图像漂移：虽然3D姿态看上去还行，但投影回2D画面时与原图人像无法重合。

传统的优化方法或判别网络（Scorer）往往只看2D特征，容易被遮挡和杂乱背景误导。那么，能不能请一位懂几何、懂语义、还懂物理常识的“老师”来指点模型呢？

创新一：给VLM裁判装上“双重记忆”与“反思脑”

研究团队发现，多模态大模型（VLM）本身就蕴含了丰富的人体语义和空间逻辑。但直接让它打分，往往会遇到“标准不统一”、“打分随性”的问题。

为了让裁判更专业、更稳定，研究人员为VLM裁判构建了双重记忆机制：

1. 规则记忆（Rule Memory）：这相当于一本“避坑指南”，存储了如“肢体长度比例一致性”、“关节极限角度”、“深度一致性”等硬性物理准则。

2. 原型记忆（Prototype Memory）：这相当于一套“错题本”和“范文集”，存储了过去判断过的典型成功案例和失败反面教材。

更核心的设计在于自我反思（Self-reflection）能力。在探索阶段，裁判会自动对比预测结果与真实值（GT）的差异，如果发现自己判断失误，它会通过反思自主总结并提炼出新的判断规则。

有了这套机制，裁判在评价野外复杂场景时，能表现出更好的逻辑一致性。

创新二：HMR领域的“GRPO”实验

受DeepSeek等模型中GRPO算法的启发，团队提出了专为人体重建设计的群体偏好对齐框架。

这种方法不再局限于“两两比较（DPO）”，因为在HMR这种多假设生成任务中，pairwise比较难以捕捉全方位的最优方向。该框架针对同一张图生成的一组（Group）候选预测进行整体评估：

群体“内卷”：通过VLM裁判打分并转化为相对优势（Advantages），精准识别最自然的姿态。

无标签训练：该过程完全不需要3D真值标签，模型可以直接利用海量无标注的野外照片进行微调，打破了实验室数据集的局限。

效果实测：遮挡再重，逻辑不乱

实验结果显示，该方法在3DPW和Human3.6M等权威数据集上均刷新了记录。特别是在野外场景的3DPW测试集上，其MPJPE误差相比之前的生成式SOTA模型降低了8.2%。

看这几个细节：

在极端遮挡下（如冲浪、打电话）：即便手臂被挡住大半，新模型依然能推导出符合生理逻辑的3D姿态。

在复杂交互中：有效消除了人体自有的“穿模”现象，让模型在侧面观察下也显自然。

总结与展望：从人体到万物，一种通用的空间逻辑对齐范式

这项研究证明了：大模型裁判+群体偏好对齐，在极度依赖空间逻辑的3D感知领域潜力巨大。这种架构更展示了一种通用的视觉对齐范式，其应用场景远不止于HMR：

1. 3D场景重建：纠正家具重建中的畸变或悬空。

2. 机器人交互：引导机器人学习更符合生物力学的交互动作。

3. AIGC物理对齐：解决视频生成中的形体崩溃和物理违和感。

将视觉常识与生成模型的灵活性通过偏好学习相结合，是通往物理真实感AI的关键一步。

当然，这一方法仍有其局限性，由于提出的群体偏好对齐框架在偏好数据集构造阶段涉及多样本生成与频繁的VLM调用，其计算成本相对较高，且对齐效果上限仍受限于底层VLM对3D几何的理解深度。未来，随着多模态大模型能力的进一步增强，这种“以智治智”的范式进化，或许将彻底改变AI生成与理解3D物理世界的方式。

团队介绍：

该论文的作者来自南洋理工大学、香港科技大学（广州）、商汤科技及A*STAR研究所。

论文发表：

CVPR 2026

论文链接：

https://arxiv.org/abs/2602.19180