对话智谱CEO张鹏:现在谈视频生成的商业化,为时尚早。
哥几个,国内的视频生成应用,又上新了。。
就在今天,大家可能还沉浸可灵无法自拔的时候,国内的智谱 AI 上线了一个叫清影的 AI 生成视频产品。
跟 Sora 类似的 DiT 架构,支持文生视频和图生视频,生成一个 6s 的视频大概需要 30s。别的不说,这生成速度放现在一众视频生成应用里,确实拿得出手。
看官方给的 demo,这清晰度,还有这水花和波纹,如果不仔细看可能真就让AI给忽悠过去了。
不过这个吗喽打工,就差点意思了。手指敲键盘部分还有背景基本上都是变形的,但这埋头苦干的样子还挺符合打工人的形象。
主要这玩意儿现在是免费的,上线之后世超第一时间就测评了一波。另外,我们也有幸跟智谱CEO张鹏聊了聊,谈了谈他对于视频生成应用和大模型的一些看法。
首先,咱还是先来看清影到底啥水平?
先是比较考验提示词能力的文生视频,按照镜头语言+主体细节+光影的公式,世超随意发挥了一把。
别的不说,清影的提示词中文友好,大概 20s 的时间就结束了,在生成时长上几乎可以完胜大部分现役视频生成应用。( 作为对比,可灵生成一个5s左右的视频需要几分钟甚至更长 )
效果上,面部光影在随着街景发生变换,还有过程中眨眼睛的细节,也很自然。特别是人物面部的一致性,6s 的视频,几乎没有看到有变形的地方。
除了窗外的街景要扣分以外,已经算得上是一个合格的 AI 视频作品了。
还有这头狮子。
风吹着旁边的狗尾巴草,身体上的起伏的确是有的,左上角已经出镜的动物,非要说是羚羊也能圆过去。只不过这狮子的状态不太像是要捕猎,更像午觉刚睡醒。
既然日常的场景还算得心应手,我们再换个天马行空的试试:一条在隧道中自主飞舞的反光织物。
隧道、反光织物、自主飞舞,包括隧道里的灯还有尽头应该有的光,提示词里的要点清影基本都 get 到了,而且生成的效果也十分丝滑,看上去真有点奇异博士悬浮斗篷的意思。
继续让 AI 发挥想象力,看看什么叫做 “ 五彩斑斓的黑 ”。
测试到这,清影文生视频在生成速度上没得说,对提示词的抓取也基本上没有出现遗漏,但生成效果包括很多细节仍然有处理得不到位的地方。
就比如视频中文字的生成不够准确,把 “ SWEET ” 变成了一串乱码。
理解不了物理世界规律的毛病,也是屡教不改。最经典的,篮球在这位老哥手上,基本就是隔空在闪,看不出有一点弹力,不是我说,当年的《 篮球火 》就应该让AI来拍。
当然,这些也都是目前视频大模型的通病了,即便是 Sora 来 ,也难免会犯错。
另外,图生视频这边,我们同样简单测试了几个。
像幼苗向上生长,打眼一看还挺符合植物生长规律。
世超还请公司顶流火锅出来亮相了一波。前 3 秒的效果还凑合,就是这站起来之后,都快给咱锅哥整出影分身了。
火锅:溜了溜了
反正测试下来,世超对清影最大的感受,就是生成速度对得起官方的宣传。
至于生成效果,一些特定场景下确实让人眼前一亮,但依旧无法完全解决,诸如理解不了物理规律等业内视频大模型的通病。
智谱技术人员告诉我们,他们的技术路线其实是循序渐进的。大概意思是,从自然语言理解和生成指令遵循的抽象能力开始,再逐步将这种能力具体应用到图片、视频、声音等不同模态上。
只不过这条技术路线,同样也会受限于很多东西,比如算力,还有数据。
一个是相比于大语言模型的文本数据,视频需要的数据可能从这两三年才开始收集、做标注,能用的数据少之又少。
另外,视频数据的质量也不够高。
高质量的文本数据包括了文本的完整性、内容之间的逻辑性、用词的规范性还有内容的知识性等等。换到视频数据也一样,甚至视频数据里包含的细节要复杂得多,像什么视频内容的丰富性,是不是高清,运镜分镜又是怎么处理的。。。
简而言之,视频模型所需的数据数量少,获取成本也更高。
由于底层的算力、数据,导致的视频内容可控性、画面闪烁和帧率等等一系列技术问题,即使是智谱,也认为现在谈视频大模型的商业化,还为时尚早。
但话又说回来,今年视频生成应用的接连涌现,也说明了一个问题:视频生成的方向是可行的,现在大家劲儿往一处使,剩下只是时间问题。
而除了对视频生成应用的探讨以外,被称为大模型四小龙之一的智谱,不光是在视频生成上有所布局,如果熟悉国内 AI 圈的人可能听说过,智谱几乎是全线在对标 OpenAI。
我们这次也跟智谱 CEO 张鹏聊了聊,他对于大模型行业的一些见解。
还有前阵子,百度 CEO 李彦宏提出“开源大模型将越来越落后”的观点,也引发了热议。
针对这些热议话题,我们试着询问了CEO 张鹏的看法。
对于 “ 百模大战 ”,在商业化方面,还是要打造分层生态圈,联手踏实落地,避免 “ 重复造轮子 ” 的内耗。
如今,中国大模型赛道正在从拥挤走向分层。大部分技术进步大抵如此:新技术产生,大家一拥而上;当技术发展到一定程度,自然而然地会分层——有些人解决底层的问题,有些人解决中间的问题,有些人解决上层的问题,相对稳固而不是混乱的生态,大家互相促进。
我们希望做的,就是用通用智能水平比较高的模型给大家赋能,智谱AI负责模型推理训练、算力、适配等高复杂事项,行业和企业端则可以无压力地部署应用,期待大模型的成果能够更广泛地应用于各个行业。
2024年大模型应用将进入落地期,一方面垂直领域大模型的商业化应用正在加速,另一方面多模态大模型涌现,应用场景也将更加丰富。
智谱希望做的,就是能用通用智能水平比较高的基座模型去赋能大家,让大家去做行业应用。我们做好 L0 的层面,赋能伙伴和客户做好 L1 和 L2。
真正能够提供商业化服务的公司还是比较少的。从一个模型概念到一个能运作的模型,再到一个能商业化的方案,中间每一步都是巨大的跨越。
撰文:西西
编辑:江江 & 大饼
美编:焕妍
图片、资料来源:
智谱AI、部分图源网络