视觉AI能力大一统！自动化图像检测分割，还能可控文生图，华人团队出品
关注前沿科技约 4 分钟
明敏 发自 凹非寺
量子位 | 公众号 QbitAI
现在AI圈确实到了拼手速的时候啊。
这不，Meta的SAM刚刚推出几天，就有国内程序猿来了波buff叠加，把目标检测、分割、生成几大视觉AI功能all in one！
比如基于Stable Diffusion和SAM，就能让照片中的椅子无缝换成沙发：
换装、换发色也是so easy：
项目一经发布就让不少人惊呼：手速也太快了吧！
还有人表示：我和新垣结衣的新结婚照有了
。
简单来说，这就是一个zero-shot视觉应用，只需要输入图片，就能自动化检测和分割图像。
该研究来自IDEA研究院（粤港澳大湾区数字经济研究院），创始人兼理事长为沈向洋。
无需额外训练
Grounded SAM主要由Grounding DINO和SAM两个模型组成。
其中 SAM （Segment Anything）是4天前Meta刚刚推出的零样本分割模型。它可以为图像/视频中的任何物体生成mask，包括训练过程中没出现过的物体和图像。
通过让SAM对于任何提示都返回有效的mask， 能够让模型在即使提示是模糊的或者指向多个对象的情况下，输出也应该是所有可能中一个合理的mask。这一任务用于预训练模型并通过提示解决一般的下游分割任务。
模型框架主要由一个图像编码器、一个提示编码器和一个快速mask解码器组成。在计算图像嵌入后，SAM能够在50毫秒内根据web中的任何提示生成一个分割。
Grounding DINO是该研究团队已有的成果。
这是一个 零样本检测模型 ，能够生成带有文字描述的物体box和标签。
在这些能力之上，他们还叠加了Stable Diffusion的能力，也就是开头所展示的可控图像生成。
值得一提的是，Stable Diffusion此前也能够实现类似功能。只要涂抹掉想替换的图像元素，再输入文本提示就可以。
这一回，Grounded SAM能够省去手动选区这个步骤，直接通过文本描述来控制。
另外结合BLIP（Bootstrapping Language-Image Pre-training），生成图片标题、提取标签，再生成物体box和mask。
目前，还有更多有趣的功能正在开发中。
比如人物方面的一些拓展：更换衣服、发色、肤色等。
具体食用方法也已在GitHub上给出。项目需要Python 3.8以上版本，pytorch 1.7以上版本，torchvision 0.8以上版本，并要安装相关依赖项。具体内容可看GitHub项目页。
该研究团队来自IDEA研究院（粤港澳大湾区数字经济研究院）。
公开消息显示，该研究院是一所面向人工智能、数字经济产业及前沿科技的国际化创新型研究机构，前微软亚研院首席科学家、前微软全球智行副总裁 沈向洋博士 担任创始人及理事长。One More Thing
对于Grounded SAM的未来工作，团队 有 几点展望：-
自动生成图像构成新数据集
-
具有分割预训练的强大基础模型
-
和（Chat-）GPT合作
-
构成一个自动生成图像标签、box和mask的pipeline，并能生成新的图像。
值得一提的是，该项目的团队成员中，有不少都是知乎AI领域活跃的答主，这次也在知乎上自答了关于Grounded SAM的内容，感兴趣的童鞋可以去留言请教~
[1] https://zhuanlan.zhihu.com/p/620271321
[2] https://github.com/IDEA-Research/Grounded-Segment-Anything
[3] https://segment-anything.com/ — 完 — 【AIGC 技术探索与应用创新】 4月13日「掘金城市沙龙·北京站」 限量免费参会！ 从 ChatGPT 看， AI 模型服务化趋势 是怎样的？AIGC 新时代下， 文本智能创作 面临什么样的变革？如何 轻松训练 AIGC 大模型 ？基于大模型的 AIGC 工作原理和 应用场景 是什么样？ 畅聊「AIGC 技术探索与应用创新」 ， 字节跳动 NLP 算法工程师陈家泽、 英特尔 AI软件工程师杨亦诚、 Google Cloud 机器学习专家王顺、 清华大学 KEG 知识工程实验室研究助理郑勤铠、 九合创投 COO 张少宇、 稀土掘金 江昪等多位业界专家已集结完毕！ 4月13日下午 ， 北京 大钟寺地铁站方恒时尚中心，邀你线下参会，更有多款稀土掘金原创周边等你来！ 扫描下方二维码， 抢线下免费参会票！