NeurIPS 2026 | 小红书智创 AIGC 团队提出视觉文本生成新方法 GlyphAnchor

论文标题： GlyphAnchor: Enhancing Visual Text Rendering via Position-Anchored Glyph Priors 论文链接： https://arxiv.org/abs/2609.02349 项目地址： https://github.com/FireRedTeam/GlyphAnchor 01 摘要 我们提出的 GlyphAnchor 可以通过 位置锚定字形先验 ，增强文生图和图像编辑模型的文本渲染能力。该方法以轻量级字形图块提供字形信息，结合分阶段监督微调与针对文字的后训练，在 长文本、复杂密集文本和生僻字 场景中持续改善对应基础模型的表现。我们在 FireRed-Image-Edit-1.1、Qwen-Image-Edit-2511 和 Z-Image 上进行了验证，实验表明，GlyphAnchor 在 保持整体图像质量的同时大幅提升文字准确性。

图 1：GlyphAnchor 的生成结果。 02 背景 准确的视觉文本渲染已成为文生图和图像编辑基础模型的关键瓶颈。近期图像扩散模型能够生成高质量场景并遵循复杂指令，但对于 长文本、复杂且密集排列的文本以及生僻字 ，生成效果仍不够可靠。在海报、笔记和信息图等富文本应用中，缺失或错误的单个字符就可能影响图像的可用性。模型需要同时做到 渲染正确的字符形状，将文本放在预期位置，并保持周围的风格和图像质量。
显式字形信息有助于提高文本准确性，但将所有文本渲染在整张画布上作为参考，会引入较大的 token 开销，并影响风格保真度；使用紧凑的字形块可以减少开销，但缺少空间定位时，仍可能遗漏文本或生成损坏的字符。因此，GlyphAnchor 将 紧凑字形块与布局锚点结合 ，同时提供字形与空间线索。 03 方法

图 2：GlyphAnchor 概览。提示词、可选的源图像和渲染后的字形块图像被编码为 token，拼接后输入文生图或图像编辑 DiT。字形块 token 位于额外的条件帧中，形成坐标锚定到目标布局的虚拟字形平面。
GlyphAnchor 通过模型原生的位置编码，将每个字形块锚定到目标图像中的预期位置。具体而言，模型将目标文本渲染为字形块，经 VAE 编码后，与标准视觉 token 序列拼接；字形块的位置编号根据目标布局分配，使其中心与对应文本边界框的中心对齐。布局既可由用户指定，也可由多模态大语言模型规划。
这一条件机制 轻量且易于适配不同的扩散 Transformer 基础模型。 对于采用三维 RoPE 或其变体的模型，只需添加字形 token 并重新分配位置编号，便可引入字形条件。该设计 不改变注意力模式，兼容各类标准注意力加速内核。
训练方面，我们采用 分阶段监督微调 ，逐步从目标图像中的真实文本裁切块过渡到渲染字形图块，使训练条件接近推理输入；同时对字形块进行随机换行、缩放、旋转等增强，减少对参考字形外观的过拟合。在此基础上，通过 文本感知 DiffusionNFT 后训练 ，联合优化文本与布局一致性、风格一致性和视觉融合，进一步改善困难样例中的稳定性与视觉质量。 04 效果与对比 我们在两个图像编辑模型 FireRed-Image-Edit-1.1、Qwen-Image-Edit-2511 和文生图模型 Z-Image 上实现了 GlyphAnchor ，并在 LongTextBench、OneIGBench-text、CVTG-2K、ChineseWord 和 InfoTextBench 上评估长文本、复杂密集文本及生僻字渲染能力。
通用文本生成：三个基础模型均获得提升

表 1：LongTextBench、OneIGBench-text 和 CVTG-2K 上的定量对比。紫色数字为加入 GlyphAnchor 后相对对应基础模型的差值，正值表示提升，负值表示下降。
GlyphAnchor 在三个基础模型上均提升了长文本渲染能力，其中两个编辑模型的提升尤为明显。在 LongTextBench 上，FireRed-Image-Edit-1.1 的中英文平均得分由 0.897 提升至 0.985 ，Qwen-Image-Edit-2511 由 0.912 提升至 0.984 ，Z-Image 由 0.936 提升至 0.981 。在 OneIGBench-text 上，三个模型的中英文平均得分也分别从 0.875、0.928、0.988 提升至 0.965、0.967、0.991 。已有较强文本渲染能力的 Z-Image，在引入显式字形条件后仍获得进一步提升。
生僻字渲染：显式字形信息改善生僻字生成

表 2：ChineseWord 上的定量对比。一级为常用字，二级和三级为较少使用的字符；紫色数字表示加入 GlyphAnchor 后相对对应基础模型的得分提升。
GlyphAnchor 在三个基础模型上均改善了常用字和生僻字的渲染。在 ChineseWord 上，FireRed-Image-Edit-1.1 的总体得分由 0.565 提升至 0.801 ，Qwen-Image-Edit-2511 由 0.496 提升至 0.807 ，Z-Image 由 0.476 提升至 0.565。
对于更难渲染的三级字，FireRed-Image-Edit-1.1 从 0.067 提升至 0.416 ，Qwen-Image-Edit-2511 从 0.051 提升至 0.438 ，Z-Image 从 0.025 提升至 0.102 。这些结果支持论文的核心假设：当提示词本身无法可靠地指定目标字符结构时，显式字形信息尤其有价值。
富文本生成与编辑：文本准确性和视觉质量同时提升 为评估内容密集、结构性强的富文本场景，我们构建了 InfoTextBench ，包含 133 个样本，提供中英文提示词，同时覆盖文生图和图像编辑。该基准从 文本准确性与整体视觉质量 两个方面评估生成结果。

表 3：InfoTextBench 上的定量对比。紫色数字表示加入 GlyphAnchor 后相对对应基础模型的得分提升；整体视觉质量为美学质量与提示词遵循得分的平均值。
在需要同时渲染多项文本、保持布局和视觉协调性的场景中，GlyphAnchor 提升了词级与短语级文本准确性，也改善了整体视觉质量。FireRed-Image-Edit-1.1 的词级 F1 从 0.433 提升至 0.898 ，短语命中率从 0.154 提升至 0.713 ；Qwen-Image-Edit-2511 的词级 F1 从 0.479 提升至 0.871 ，短语命中率从 0.167 提升至 0.737 。两个模型的整体视觉质量得分分别从 4.608、4.603 提升至 6.480、6.704 。Z-Image 的词级 F1 从 0.872 提升至 0.950 ，短语命中率从 0.807 提升至 0.885 ，整体视觉质量得分从 7.092 提升至 8.822 。

图 3：富文本样例定性对比。
定性结果展示了包含长标题、密集小字和结构化布局的样例。Nano Banana Pro 和 GlyphAnchor 均能较好地渲染这些样例，而其他对比模型仍出现字符损坏、词语遗漏或重复、小字难以辨认及布局错误等问题。 GlyphAnchor 能够生成文本完整、可读的富文本图像。 05 总结 GlyphAnchor 通过 位置锚定字形先验 ，以轻量方式为文生图和图像编辑模型提供显式字形信息与空间线索。结合分阶段监督微调与文本感知后训练，该方法在多个基础模型和基准上改善长文本、复杂密集文本及生僻字渲染， 在保持图像质量的同时提升文字准确性。 /// 作者简介

• 项强：现硕士就读于复旦大学，小红书智能创作 AIGC 组实习生，主要研究方向可控图像生成，图像编辑等。
• 谢风：小红书智能创作 AIGC 组算法工程师，支持小红书AIP图业务，图像编辑能力建设等。
• 令狐：小红书智能创作多模态算法负责人，主要研究方向包括 AIGC 图像生成与编辑大模型、多模态内容理解与生成。
• 汤神：小红书内容智能与生成组负责人，主要负责小红书内容智能与生成组的基本能力建设等。

最后，小红书智能创作团队正在火热招人中！小红书智能创作团队以AI及多媒体技术为核心，主要负责小红书发布侧的产品研发，并向公司内部各业务线（生态审核、社交、直播、电商、商业化广告）提供业界领先的内容创作、内容理解、互动体验等技术能力及解决方案。团队技术方向涵盖多模态AIGC 、计算机视觉、语言语音、编辑渲染、算法工程等。本篇工作着手于图像可控生成，主要应用在小红书文字发布等功能的图像素材生产中。团队最近两年累积发表了30余篇相关领域顶会or顶刊论文，在技术上有InstantID、Storymaker、FireRedTTS、FireRedASR等知名技术开源代表作，在业务上也做出了语音评论、文字功能等爆款功能。长期欢迎优秀校招、社招、实习生的加入，Let‘s work together！ 有意向的同学请联系： [email protected]