不会PS没关系，AI拼图技术已能以假乱真｜斯坦福研究
关注前沿科技约 4 分钟
Alex 发自 凹非寺
量子位 | 公众号 QbitAI
这是一份看似平平无奇的日式便当。
但你敢信，其实每一格食物都是P上去的，而且原图还是酱婶儿的：
△ 直接抠图贴上去，效果一眼假
背后操作者并不是什么PS大佬，而是一只AI，名字很直白：拼图扩散 （Collage Diffusion） 。 随便找几张小图拿给它，AI就能自己看懂图片内容，再把各元素 非常自然 地拼成一张大图——完全不存在一眼假。其效果惊艳了不少网友。
甚至还有PS爱好者直呼道：
这简直是个天赐之物……希望很快能在Automatic1111 （ Stable Diffusion用户常用的网络UI，也有集成在PS中的插件版） 中看到它。
为什么效果这么自然？
实际上，此AI生成的“日式便当”还有好几个生成版本——都很自然有木有。
至于为啥还有多种版本？问就是因为用户还能自定义，在总体不变得太离谱的前提下，他们可以微调各种细节。
除了“日式便当”，它还有不少出色的作品。
比如，这是拿给AI的素材，P图痕迹明显：
这是AI拼好的图，反正我愣是没看出什么P图痕迹：
话说这两年，“文字生成图像的扩散模型”着实大火了一把，DALL·E 2和Imagen都是基于此开发出来的应用。这种扩散模型的优点，是生成图片多样化、质量较高。
不过， 文字 终究对于目标图像，最多只能起到 模糊 的规范作用，所以用户通常要花大量时间调整提示 （prompt） ，还得搭配上额外的控制组件，才可以取得不错的效果。就拿前文展示的日式便当来说：
如果用户只输入“一个装有米饭、毛豆、生姜和寿司的便当盒”，那就既没描述哪种食物放到哪一格，也没有说明每种食物的外观。但如果非要讲清楚的话，用户恐怕得写一篇小作文了……
鉴于此，斯坦福团队决定从别的角度出发。
他们决定参考传统思路，通过 拼图 来生成最终图像，并由此开发出了一种 新的扩散模型 。有意思的是，说白了，这种模型也算是用经典技术“拼”出来的。
首先是分层 ：使用基于图层的图像编辑UI，将源图像分解成一个个RGBA图层 （R、G、B分别代表红、绿、蓝，A代表透明度） ，然后将这些图层排列在画布上，并把每个图层和文字提示配对。通过分层，可以修改图像中的各种元素。
到目前为止，分层已经是计算机图形领域中一项成熟的技术，不过此前分层信息一般是作为单张图片输出结果使用的。
而在这种新型“拼图扩散模型”中，分层信息成了后续操作的输入。
——从而平衡了还原度和自然度之间的关系，生成“神似”且毫无违和感的图片。
操作过程也很easy，在交互编辑模式下，用户在几分钟内就能创作一幅拼贴画。
他们不仅可以自定义场景中的空间排列顺序 （就是把从别处扣出来的图放到适当的位置） ；还能调整生成图像的各个组件。用同样的源图，可以得出不同的效果。
△
最右列是这个AI的输出结果
而在非交互式模式下
（即用户不拼图，直接把一堆小图丢给AI）
，AI也能根据拿到的小图，自动拼出一张效果自然的大图。
研究团队
最后，来说说背后的研究团队，他们是斯坦福大学计算机科学系的一群师生。
论文一作，Vishnu Sarukkai现为斯坦福计算机科学系研究生，还是硕博连读的那种。
他的主要研究方向为：计算机图形学、计算机视觉和机器学习。
此外，论文的共同作者Linden Li，也是斯坦福计算机科学系研究生。
在校求学期间，他曾到英伟达实习4个月，与英伟达深度学习研究小组合作，参与训练了增加100M+参数的视觉转换器模型。
论文地址：https://arxiv.org/abs/2303.00262
参考链接：
[1]https://twitter.com/_akhaliq/status/1631106075972755456
[2]https://www.reddit.com/r/StableDiffusion/comments/11fpf3s/collage_diffusion_creates_globally_harmonized/ — 完 — 3月29日 「中国AIGC产业峰会」 抢票开启 「中国AIGC产业峰会」定档3月29日，线下会场抢票开启！ 百度 袁佛玉 、智源 林咏华 、澜舟科技 周明 、小冰 徐元春 、科大讯飞 高建清 、启元世界 袁泉 、云舶科技 梅嵩 、特赞 王喆 、微软 关玮雅 、源码资本 黄云刚 、元语智能 朱雷 、无界Ai 马千里 、Tiamat 青柑 、峰瑞资本 陈石 等来自产学研界大咖嘉宾，还有重磅嘉宾陆续确认中。
扫描下方二维码，报名峰会线下会场啦～