NeurIPS 2026｜小红书内容智能与生成组 AIGC 算法团队提出多图合成一致性优化新方法 DeCoRL

论文标题：

DeCoRL: Decomposed Consistency Reinforcement Learning for Multi-Image Composition

论文链接：

https://arxiv.org/abs/2610.39265

摘要

小红书智创 AIGC 团队提出多图合成一致性优化框架 DeCoRL，框架主要面向多张参考图融合时容易出现的身份混淆、属性漂移和目标遗漏问题。该方法将难以评估的整体一致性拆解为目标级判断，通过自动建立目标对应关系、逐个评估身份与外观，再以分解奖励引导强化学习后训练，让模型不仅能组合多张素材，也能更好地保留各个目标的特征。在覆盖 2–6 张参考图的 DeCo-Bench 及公开的 MICo-Bench 上，DeCoRL 均取得明显提升，尤其改善了多参考图场景中的一致性表现。

让多张照片里的不同人物、商品或其他物体出现在同一张画面中，是图像编辑从单图修改走向多素材创作的重要能力。但参考图一多，模型就容易混淆人物身份、改变物体外观，甚至遗漏指令要求的目标。如何在形成自然画面的同时，让每个目标仍然来自正确的参考图，是多图合成面临的核心挑战。

现有方法通常通过多图数据进行监督微调，让模型学习如何组合素材。然而，对最终图像的整体监督，并不容易明确传达“哪个目标应该保留哪张参考图的特征”。与此同时，直接对生成结果与全部参考图进行整体打分，也要求评估模型同时辨认多个目标及其来源，容易出现注意力分散和判断偏差。生成模型难以学好一致性，评估模型又难以准确指出哪里出了问题，限制了多图能力的进一步提升。

为此，小红书智创 AIGC 团队提出 DeCoRL（Decomposed Consistency Reinforcement Learning）。其核心思路，是与其让评估模型一次判断整张图是否一致，不如先找对目标，再逐个检查，把一个复杂的整体问题变成一组更清晰的局部问题。

01

方法

DeCoRL 将多图一致性拆解为目标级一致性。首先，模型根据编辑指令识别各张参考图中需要保留的目标，并定位它们在参考图和生成图中的对应区域。这样，评估时只需比较一对目标，而不必同时处理整张画面中的所有信息，从而减少背景和无关内容的干扰。

其次，团队训练了专门的单目标一致性奖励模型，让它围绕目标身份与视觉属性进行细粒度比较。例如，人物是否仍是同一个人，物品的形状、颜色和关键外观是否得到保留。相比未经专门训练的通用评估模型，这种针对性判断能够提供更有效的一致性反馈。

随后，DeCoRL 汇总各个目标的评价，得到整张生成图的多目标一致性奖励；对于未生成或未被检出的必需目标，则给予惩罚。该奖励用于强化学习后训练，推动生成模型学习如何同时保留多个参考目标，而不是只顾及其中最显眼的一个。同时，方法辅以整体画面质量评价，减少局部目标相似但整图不自然的问题。

这套设计的关键是改变反馈方式，从整张图看起来像不像，转向关注每个目标究竟有没有保留。监督微调提供了基础多图能力，目标级奖励则进一步强化跨图身份与外观的一致性。

02

效果与对比

为了评估参考图数量增加后的表现，团队构建了 DeCo-Bench，覆盖 2–6 张参考图，每档 40 个案例，共 200 个案例，参考素材均为真实照片。评估围绕各个目标与参考图的一致程度展开，检验模型是否能在复杂多源条件下保留目标特征。

实验显示，在监督微调的基础上引入 DeCoRL，综合得分从7.05 提升至 8.16；在更具挑战性的 6 张参考图场景下，得分从 6.15 提升至 7.61。在与多款主流图像编辑模型的对比中，DeCoRL 展现出较强的竞争力，部分指标达到先进水平，验证了该方法在提升多参考图像编辑一致性方面的有效性，同时也表明仍有进一步优化的空间。

在公开 MICo-Bench 上，DeCoRL 的综合分由监督微调后的 37.58 提升到 54.03，在论文表内列出的模型中取得最高综合分。其中，人物组合与拆解重组任务的提升尤为明显，为身份保持和多源素材重组能力的改善提供了进一步证据。

03

应用

多图合成的价值，在于让创作者能够组合不同来源的素材，同时保留想要的人物、物品和视觉特征。DeCoRL 为这类创作提供了新的优化思路，可探索用于多人物合影、商品与场景组合、穿搭素材重组，以及需要保持角色和道具特征的内容创作。

总体而言，DeCoRL 的启发，是复杂的生成目标，可以通过更明确、更细粒度的评价来学习。把整体一致性拆解为可判断的目标级一致性，有助于将多图合成推进到能够更可靠地保留素材。未来仍需在同类目标匹配、空间关系与交互表达，以及更多参考图的场景中进一步验证。

///

招聘

最后，小红书内容智能与生成组团队正在火热招人中！小红书内容智能与生成组团队以AI及多媒体技术为核心，主要负责小红书发布侧的产品研发，并向公司内部各业务线（生态审核、社交、直播、电商、商业化广告）提供内容创作、内容理解、互动体验等技术能力及解决方案。团队技术方向涵盖多模态AIGC、计算机视觉、语言语音、编辑渲染、算法工程等。本篇工作着手于图像可控生成，主要应用在小红书文字发布等功能的图像素材生产中。团队最近两年累积发表了30余篇相关领域顶会、顶刊论文，在技术上有InstantID、Storymaker、FireRedTTS、FireRedASR、FireRed-Image-Edit等知名技术开源代表作，在业务上也做出了语音评论、文字等功能。长期欢迎优秀校招、社招、实习生的加入，Let's work together！

有意向的同学请联系

[email protected]

///

作者简介

Core contributors

• 帝牙：小红书内容智能与生成组AIGC算法组工程师，支持小红书AIP图发布业务，图像编辑能力优化等。

• 谢风：小红书内容智能与生成组AIGC算法组工程师，支持小红书AIP图发布业务，图像编辑能力建设等。

• 路平：小红书内容智能与生成组AIGC算法组工程师，支持小红书AIP图发布业务，图像编辑能力优化等。

• 辉火：小红书内容智能与生成组AIGC算法组工程师，支持小红书图像编辑能力优化等。

• 令狐：小红书内容智能与生成组AIGC算法组负责人，主要研究方向包括AIGC图像生成与编辑大模型、多模态内容理解与生成等。

• 汤神：小红书内容智能与生成组负责人，主要负责小红书内容智能与生成组的基本能力建设等。