杭电小哥抢先搞定GPT读图功能，单卡就能实现新SOTA，代码已开源｜CVPR2023

Pine 发自 凹非寺
量子位 | 公众号 QbitAI

能读图的 GPT-4震撼发布 了！但要用它还得排队。。。

不如先试试这个～

加上一个小模型，就能让ChatGPT、GPT-3这类目前只能理解文本的大语言模型轻松 读图 ，各种 刁钻的细节问题 都能手拿把掐。 并且训练这个小模型 单卡 （一块RTX 3090） 就能搞定。

效果呢，直接看图。

比如说，给训练后的GPT-3输入一张“音乐现场”的图片，问它：现场在举办什么活动？

毫不迟疑，GPT-3给出了 音乐会 的答案。

再来加点难度，再给GPT-3酱紫的一张照片，让它来分辨照片中的帘子是什么类型的材质。

GPT-3： 蕾丝 。 Bingo！ （看来是有点儿东西在身上的） 这个方法呢，是杭州电子科技大学和合肥工业大学的一个团队的最新成果： Prophet ，半年前他们就已经着手进行这项工作。

论文一作是杭电研究生邵镇炜，他在1岁那年被诊断患有“进行性脊肌萎缩症”，高考时遗憾与浙大擦肩，选择了离家近的杭州电子科技大学。

目前该论文已经被CVPR2023接收。

跨模态任务上达到新SOTA

话不多说，直接来看在Prophet这种方法的加持下GPT-3的读图能力。

我们先来看看它在数据集上的测试结果。

研究团队在两个基于外部知识的视觉问答数据集OK-VQA和A-OKVQA测试了Prophet，均创造了 新SOTA 。

更具体点，在OK-VQA数据集上，和Deepmind的拥有80B参数的大模型Flamingo对比，Prophet达到了61.1%的准确率，成功击败Flamingo （57.8%） 。

并且在所需要的算力资源上，Prophet也是“吊打”Flamingo。

Flamingo-80B需要在 1536块TPUv4显卡 上训练 15天 ，而Prophet只需要 一块RTX-3090显卡 训练VQA模型 4天 ，再调用一定次数的OpenAI API即可。

其实，类似Prophet这种帮助GPT-3处理跨模态任务的方法之前也有，比如说PICa，以及之后的KAT和REVIVE。

不过它们在一些细节问题的处理中，可能就不尽如人意。

举个栗子 ，让它们一起读下面这张图，然后回答问题：图片中的树会结什么水果？

而PICa、KAT和REVIVE从图片中提取到的信息只有：一群人在广场上走路，完全忽略掉了后面还有一颗椰子树。最终给出的答案也只能靠瞎猜。

而Prophet这边，就不会出现这种情况，它解决了上述方法提取图片信息不充分的问题，进一步激发了GPT-3的潜能。

那Prophet是怎么做的呢？

小模型+大模型

有效提取信息，并准确回答问题，能做到这些Prophet依赖的是它独特的 两阶段框架 。

这两个阶段也分工明确：

• 第一阶段：根据问题给出一些具有启发性的答案；

• 第二阶段：这些答案会缩一些范围，使GPT-3有充分的空间发挥潜能。

首先是第一阶段，研究团队针对特定的外部知识VQA数据集训练了一个改进的MCAN模型 （一个VQA模型） 。

训练好模型后，从中提取两种具有启发性的答案：答案候选和答案感知示例。

其中， 答案候选 是以模型分类层输出的置信度为依据对答案进行排序，选取里面的top10。 答案感知示例 时指，将模型分类层之前的特征作为样本的潜在答案特征，这个特征空间中最相近的标注样本。

接下来就是第二阶段，这一步相对来说就很简单粗暴了。

讲上一步得到的“启发性答案”组织到prompt中，然后再将prompt输入给GPT-3，在一定的提示之下完成视觉问答问题。

不过虽然上一步已经给出一些答案提示，但这并不意味着GPT-3就要局限在这些答案中。

若提示给出的答案置信度太低或者正确答案并不在那些提示中，GPT-3完全完全有可能生成新的答案。

研究团队

当然，除了研究成果外，这项研究背后的团队也不得不提。

第一作者 邵镇炜 在1岁时就确诊“进行性脊肌萎缩症”，是肢体一级残疾，没有生活自理能力，生活和学习需要母亲的全程照顾。

不过虽然身体受限，但邵镇炜对知识的渴求并没有减弱。

2017年高考他拿下644分的高分，以第一名的成绩被杭州电子科技大学计算机专业录取。

期间还获得2018年中国大学生自强之星、2020年度国家奖学金和 2021年度 浙江省优秀毕业生等荣誉。 本科期间，邵镇炜就已经开始跟着余宙教授进行科研活动。

2021年，邵镇炜在准备研究生推免时与浙大擦肩，于是留校加入了余宙教授课题组攻读硕士研究生，目前他在读研二，研究方向是跨模态学习。

余宙 教授则是本次研究论文的二作以及通讯作者，他是杭电计算机学院最年轻的教授，教育部“复杂系统建模与仿真”实验室副主任。 长期以来，余宙专攻 多模态智能 方向，曾带领研究团队多次获得国际视觉问答挑战赛VQA Challenge的冠亚军。

研究团队 的大部分成员都在杭电 媒体智能实验室 （MIL） 。 该实验室由国家杰青俞俊教授负责，近年来 实验室 围绕多模态学习方向发表一系列高水平期刊会议论文 （TPAMI、IJCV、CVPR等） ，多次获得IEEE期刊会议的最佳论文奖。

实验室主持国家重点研发计划、国家自然科学基金重点项目等国家级项目20余项，曾获得过浙江省自然科学一等奖，教育自然科学二等奖。

项目地址：
https://github.com/MILVLG/prophet
论文地址：
https://arxiv.org/abs/2303.01903
参考链接：
[1] https://zhuanlan.zhihu.com/p/613601646
[2] https://mp.weixin.qq.com/s/auKTsPZHnzSHbJLPjhFVlA — 完 — 3月29日 「中国AIGC产业峰会」 抢票开启 「中国AIGC产业峰会」定档3月29日，线下会场抢票开启！ 百度 袁佛玉 、智源 林咏华 、澜舟科技 周明 、小冰 徐元春 、科大讯飞 高建清 、启元世界 袁泉 、云舶科技 梅嵩 、特赞 王喆 、微软 关玮雅 、源码资本 黄云刚 、元语智能 朱雷 、无界Ai 马千里 、Tiamat 青柑 、峰瑞资本 陈石 等来自产学研界大咖嘉宾，还有重磅嘉宾陆续确认中。

扫描下方二维码，报名峰会线下会场啦～

点这里 👇 关注我，记得标星哦～ 一键三连「分享」、「点赞」和「在看」 科技前沿进展日日相见 ~