Qwen 开源“图层化”模型

本期播客

Qwen 开源图层化模型

阿里巴巴 Qwen 团队发布《Qwen-Image-Layered: Towards Inherent Editability via Layer Decomposition》论文, 同时开源 Qwen-Image-Layered 端到端扩散模型, 旨在解决图像编辑中的“连带破坏”问题。

模型能像 Photoshop 高手一样，把一张普通的照片（RGB 图像）自动拆解成(不仅能分层, 还能自动填补每一层的被遮蔽区域)多个相互独立、带有透明度（RGBA）的图层 。

开源项目和论文地址如下:

https://github.com/QwenLM/Qwen-Image-Layered

https://arxiv.org/pdf/2512.15603

vLLM-Omni

vLLM-Omni now supports Qwen-Image-Layered. See the recipes for up-to-date details.

1. 为什么要费劲“分层”？

现在的 AI 绘图很厉害，但在修改图片时有个痛点：当你只想换个背景或挪动一下人物时，AI 往往会顺便改变人物的长相、衣服褶皱，甚至让画面变得扭曲 。

• 传统图片像一张画死在画布上的画：牵一发而动全身 。
• 分层图片像一叠透明胶片：你在其中一张胶片上涂抹，完全不会影响到下面那张 。

通过这种分层表示，缩放、挪位置、改颜色等操作都能在不伤及其他元素的前提下精准完成 。

2. 核心技术“三剑客”

为了让 AI 学会这种复杂的分层技术，研究团队设计了三个关键组件：

• RGBA-VAE（通用的编解码器） ：传统的 AI 编码器通常只能处理普通 RGB 图片。研究者开发了一种新的 RGBA-VAE，它能同时听懂“普通图片”和“带透明度的图层”这两种语言，让输入和输出在同一个逻辑空间里对话，减少转换误差 。
• VLD-MMDiT（变长分层大脑） ：这是模型的核心架构。它可以处理不固定数量的图层（有的图简易，两层就够；有的图复杂，需要十几层） 。它引入了一个“Layer3D ROPE”技术，给每个图层贴上专属的层级标签，让 AI 知道谁在谁上面 。
• 多阶段训练策略 ：模型不是一蹴而就的。它先学习怎么画带透明度的单图，再学习画多层图，最后才进化到“看图拆层”的高级阶段 。

3. 如何获得训练数据？（PSD 提取流程）

高质量的“图层数据”在网上极其稀缺 。研究团队开发了一套自动化流水线，直接从真实的 Photoshop 设计文档 (PSD) 中提取图层 。

• 他们收集了海量 PSD，利用工具拆出原始图层 。
• 精简处理：过滤掉模糊或无关紧要的层，并合并那些不重叠的小碎层，让 AI 学得更高效 。
• AI 打标：用 Qwen2.5-VL 给这些图层组合写描述文字，让模型明白每一层到底是什么 。

4. 实验结果：它有多强？

• 拆得准：在对比实验中，Qwen-Image-Layered 拆分出的图层在边缘清晰度（Alpha 通道质量）和语义独立性上显著优于之前的模型（如 LayerD） 。
• 改得稳：在实际编辑任务中，它能轻松完成“把滑板少女挪个位置”或“修改文字”等指令，且保证背景纹丝不动，人物样貌完全一致 。
• 甚至能“从无到有”：它不仅能拆分已有图片，还能根据一句话直接生成一套完整的 PSD 图层素材 。

总结：

这篇论文的意义在于它将“AI 生成”与“专业编辑”结合得更紧密了。未来的 AI 绘图工具可能不再只给你一张“写死”的图，而是直接给你一个可以自由修改的 PSD 工程文件 。

例子

图层分解的应用

给定一张图像，Qwen-Image-Layered 可以将其分解为多个 RGBA 图层：

分解完成后，所有的编辑操作仅作用于目标图层，使其在物理上与其他内容隔离，从而从根本上确保了编辑前后的内容一致性。

例如，我们可以为第一层重新着色，而保持所有其他内容原封不动：

我们还可以将第二层的人物从女孩替换为男孩（目标图层使用 Qwen-Image-Edit 进行编辑）：

这里，我们将文本修改为“Qwen-Image”（目标图层使用 Qwen-Image-Edit 进行编辑）：

此外，图层化结构天然支持各种基础操作。例如，我们可以干脆利落地删除不需要的物体：

我们还可以在不产生畸变的前提下调整物体的大小：

在图层分解之后，我们可以在画布内自由移动物体：

灵活且可迭代的分解

Qwen-Image-Layered 并不局限于固定的图层数量。该模型支持变长图层分解。例如，我们可以根据需要将一张图像分解为 3 层或 8 层：

此外，分解操作还可以递归执行：任何图层本身都可以被进一步分解，从而实现无限深度的分解。