GenAI新世界

AI 鲜测|Runway 的“神笔马良”功能又升级了,甚至能还原《黑客帝国》子弹时间效果?

Image

作者|椰子
邮箱|[email protected]
两个月前, Runway 更新的运动笔刷功能(Motion Brush),用画笔一刷,一个静态的图片,就能按照我们设定的方式运动起来,这功能也被网友戏称为“神笔马良”。
这次 Runway 又在此基础上进行升级,从能设置一个运动笔刷变成了五个运动笔刷,也就意味着我们能对视频进行更加丰富的调整,这五个设置相互独立,能玩出更多花来。
可以先看看 Runway 自己发布的官方演示视频:
视频里展现的多个人物向不同的方向转头或者是电线杆上的五只小鸟各有各的神态的场景,越来越有真正视频动态的感觉了。
甚至还刷到了有人用它还原了黑客帝国中子弹时间效果的视频:

视频来自@oFaleco

当然这个效果也确实一般,并没有想象中惊艳。
为了验证这个新的功能到底如何,我们进入Runway上传一张 Midjourney 生成的乡野田园的图片,自己来试一试这个功能到底好不好用。
Image
用笔刷将天空的云朵向右飘动,也给近景的草木都设置一些摆动。再加一点镜头的跟进。
Image
最后的成品是这样的:
可以看到除了笔刷数量从一个变五个之外,也新增了一个 Ambient 设置,这个设置可以增加环境中的随机变量,比如刚才让近处草木的随机摆动就是这个参数来控制。
将刚才的成品去掉镜头移动,可以更清晰的看到近处草在摆动。
当然,这个设置也会出现一些意想不到的效果。比如草里会突然窜出原本图画中并不存在的小人。
这些应用都比较简单,各个区域都相互独立,我们直接给上点难度。复原一下演示视频中的,五只小鸟运动的效果,我们用五只小狗来替代。
每只小狗的头部都在不同方向上进行运动。如果能再加上一些剪辑效果,基本上能和演示效果差不多。
再上点难度,试试魔幻的风格。上传一张由 Midjourney 生成的图片,这次是一张“在空中翱翔的双头龙”的图片。
Image
理想状态下,是想用多重运动笔刷功能,让这只龙的身体各个部分能单独的动起来,比如说翅膀上下运动,两只头可以各自单独的运动,云层也有一些浮动的效果。
虽然能看到翅膀、两只头都有自己的运动轨迹,但仍未能达到我们想象中让其躯干的各个部分灵活的运动起来的目的,整体看还是很僵硬。
出于好奇,用同样的图片交给 Pika 处理了一下:
单论这一次的生成效果来看,整体的动态效果比 Runway 更丰富,龙背上的绒毛都在摆动。
目前还是需要更多次的调优,才能让画面接近真实灵活的运动。
在 X 上也已经有很多人分享了自己的使用体验。
比如有的人在着重体现水流的运动:
Image

视频来自@cfryant

甚至还有大佬在实验新功能的面部精细调整,以及复杂场景下的人物、物体运动:
视频来自@JeffSynthesized
可以说 Runway 这次的多重笔刷,大幅度提高了 AI 视频的操作上限,通过对参数的不断的调整,能达到很多惊艳的效果。
生成一次就能有想要的效果是不现实的,很容易一不小心一天就都耗在这上面了。回过神来的时候,Token已经用的有点捉襟见肘了,又到了要续费的时候。
Image