ReaderMX.
元宇宙与人工智能三十人论坛

Sora 能力不行 成片全靠人工

元石濑约 10 分钟
Image
作者 | 石濑
编辑 | 卷毛

Sora，又翻车了。

还记得早前OpenAI联动视觉艺术家、电影制作人和设计师等专业创意人士用Sora整活的7支视频吗？

其中，多媒体制作公司shy kids打造的短片《Air Head（气球人）》（以下简称为气球人）因情节完整、叙事性强，引发广泛讨论。在国内各大平台上，网友们更是毫不吝啬地夸赞这部作品，甚至有人誉之为“Sora史上最佳发布”。

字幕制作：头号AI玩家

4月26日，X博主“Bilawal Sidhu”发文称，《气球人》并非Sora一键直出，实际制作过程中使用了大量转描技术（Rotoscoping）和人工后期创建的视觉特效。
截至目前，该条Sora“打假贴”在X上浏览量破190万。
Image
美国喜剧演员兼动画制作人Sway Molina在评论区留言表示，他现在对OpenAI产生了信任问题。
Image
还有网友指出，OpenAI在发布这些视频时，并没有说明视频经过后期编辑，有误导观众之嫌。
Image
Sora是OpenAI开发的首个文生视频模型，自今年2月份发布以来，便引起了业界的广泛关注和讨论。
据“头号AI玩家”观察，从运营官方社交媒体账号，到联动专业创作者、行业KOL，乃至TED等知名机构，几乎每隔一段时间，OpenAI就会放出Sora生成的创意视频，保持话题热度，吊足大家胃口。
ImageOpenAI官方运营的TikTok账号
然而，除了OpenAI官方发布的技术报告和演示视频，大多数人并没有实际体验Sora的机会。最近，《气球人》制作团队接受了在线媒体平台Fxguide的采访，基于他们使用Sora的亲身体验，揭示了Sora在视频生成方面的局限。
挤掉泡沫后，Sora的真实体验究竟如何？一线AIGC创作者又是如何看待此次Sora翻车的？
Image

与Sora交互靠“抽卡”，
需要详细撰写提示词

《气球人》的制作团队由三位成员组成：Sidney Leeder担任制片人，Walter Woodman同时担任编剧和导演，而Patrick Cederberg则负责后期制作。他们都来自多媒体制作公司Shy Kids，该公司旗下作品不仅获得过艾美奖提名，还曾入围奥斯卡奖。
即使在这样专业的团队手中，使用Sora的体验也堪称“曲折”。
为了保持短片画面一致性，Shy Kids采用的工作流大致可分为两个部分：先与Sora交互生成原始素材，再通过专业影视制作工具如AE（After Effects）进行后期编辑和修改。
用户与Sora的互动主要通过文本提示实现，其中ChatGPT负责将用户输入的文本转换为更长的字符串，来触发视频片段的生成。截至4月中旬，Sora尚未支持多模态输入。
首先，惨遭“打假”的是，Sora在实际使用中并没有表现出如宣传片所示那样保持主体一致性的超强能力。
负责后期制作的Patrick透露，在制作《气球人》时，团队采取的解决办法是“在文本提示中尽可能详细地描述对象”，如角色的服装和气球类型。
Image

Patrick，图源：fxguide.com

由于Sora没有提供任何功能来帮助用户控制不同镜头内容的一致性，制作团队使用Sora的整体体验仍是“抽卡”，即便使用相同的提示词，第一次和第二次运行生成的结果也大有不同。
原因在于，AI模型（如Sora）生成视频时，并非简单复制现有图像或视频片段，而是基于训练数据学习到的物体特征。
这些特征构成了物体的“潜在空间（Latent Space）”。在深度学习领域中，潜在空间是对物体概念的一种压缩和抽象的表示。
Patrick举了一个例子。
如果你要求Sora生成一个厨房长镜头，桌上有一个香蕉。在这种情况下，AI需要隐式地理解“香蕉”可能包含的特征，如“黄色”、“弯曲”和“有深色的末端”等。
由于潜在空间是压缩的，它远小于实际可能存在的所有香蕉图像的集合。这意味着AI可以高效地生成香蕉图像，无需维护一个庞大的“香蕉图像库（banana stock library）”。
每次AI运行并生成内容时，都是对潜在空间进行不同的解释或取样，这就是为什么使用相同的提示，每次生成的香蕉图像都有可能不同。
因此，提供详尽具体的“显示”指令，即“在文本提示中尽可能详细地描述对象”，可以帮助AI更好地理解你需要什么样的画面。

Image
后期工作量只增不减，
三人耗费近两周完成《气球人》

据介绍，Shy Kids的方法论是像拍摄纪录片一样进行后期制作和编辑，先围绕剧本生成大量镜头，然后从这些素材中编织出一个新故事，而不是严格按照剧本制作。
对于最终出现在短片中的镜头，Patrick估算他们生成了数百个片段，每个时长大约10秒到20秒，原始素材与最终成品的比例大概是300:1。
人工智能不行，只好人工来凑。
1.角色一致性？成吨后期堆出来的
Sora无法确保黄色气球头在每个镜头中都保持相同，尽管提示词要求的是一个黄色气球，但它给出的生成结果要么颜色不对，要么气球上会出现一个人脸。
ImageSora输出的原始画面
ImageSora输出的原始画面
由于真实影像中许多气球都配有绳子，Sora还会将绳子与气球关联在了一起，导致生成的气球人胸前都有一根绳子，并不符合制作团队对气球人形象的想象。
以上“画面瑕疵”都需要在后期制作中移除。
2.镜头渲染时间长，全靠人工后期提升分辨率
《气球人》虽然使用了Sora生成的素材，但其中很多都经过了调色和再处理。出于效率和质量的考虑，制作团队采用的是以低分辨率生成初始片段，然后使用AI工具Topaz进行分辨率提升。
Patrick解释说，Sora支持最高720P分辨率的操作，1080P也已经推出，但渲染时间较长。为了加快速度，他们以480P分辨率生成了《气球人》的全部内容。
Sora支持不同时间段的镜头渲染，如3秒、5秒、10秒、20秒，最长可达一分钟。渲染时间会根据一天中的时间以及云使用需求而变化。
Patrick提到，一般情况下，每次渲染需等待大约10到20分钟。团队倾向于渲染完整的20秒片段，以便在后期制作中有更多机会进行剪辑或编辑，从而提高获得满意画面的几率。
3.理解摄像机运动是AI的盲区
除了分辨率，Sora还允许用户选择宽高比，比如肖像模式或风景模式。这一功能运用在了短片中揭示主角真实身份的关键镜头中。但Sora无法原生渲染“摇摄”等这类镜头运动，在这个镜头中，制作团队先是以肖像模式渲染了这个镜头，然后通过后期裁剪手动创建了向上摇摄的效果。
Image
对于生成式AI工具来说，训练数据附带的元数据是一个宝贵的信息来源。例如，如果在静态照片上进行训练，相机元数据将提供镜头尺寸、光圈大小以及模型训练所需的许多其他关键信息。
然而，电影镜头中的“跟踪”、“摇摄”、“倾斜”或“推进”等概念，都无法通过元数据捕捉。
Patrick指出，Sora在早期版本中对摄影机角度的生成相当随机，输入“摄像机摇摄”的提示，也只有大约60%的机会得到正确的响应。
“九个不同的人可能会有九种不同的方法来描述电影拍摄现场的一个镜头，而且OpenAI的研究人员在邀请艺术家使用这个工具之前，并没有真正像电影制作者那样思考。”Patrick补充道。
无法理解影像制作的专业术语，Sora并非个例。几乎所有主要的AI视频生成公司都面临着同样的挑战。尽管AI视频公司Runway在提供描述相机运动的用户界面方面较为先进，但其渲染的片段质量和长度却不及Sora。
4.灯光和调色：后期特效拉满

Shy Kids在他们的提示词中使用了“35毫米胶片”这一术语，发现这样的提示能带来较高一致性的画面效果。
此外，通过提示“高对比度”或“主光”，Sora也能生成相应的视觉效果。
短片的整体视觉风格，则是在Sora生成画面的基础上，通过后期添加颗粒和闪烁特效，以此来模仿传统电影胶片的风格。这一步骤中，Sora并未提供额外的通道选项，如遮罩或深度通道。
5.版权带来的提示词限制
Sora无法生成侵犯版权或疑似侵犯肖像权的内容。例如，输入提示如“35mm电影中的未来宇宙飞船，一个男人拿着光剑向前走”，Sora会拒绝生成该片段，因为这个提示与《星球大战》过于相似。甚至像已经成为拍摄基本术语的“希区柯克变焦”，也会因版权问题被Sora拒绝。
6.调整镜头速度
在《气球人》的制作过程中，一个意外的现象是，Sora生成的许多镜头原始版本是以慢动作呈现的。具体原因尚不清楚，但制作团队不得不对这些镜头的速度进行调整。
Patrick提到：“确实有许多镜头是以50%到75%的速度生成的，我们花费了大量时间进行调整，以避免整个影片给人感觉是大型的慢动作项目。”
7.音效与旁白
视觉画面之外，短片的背景音乐《The Wind》是Shy Kids团队的原创作品，而旁白则是由Patrick亲自录制的。他补充说：“有时为了改变影片的节奏，我会额外写一行剧本，然后录制并使用Sora生成相应的镜头。这是该工具在后期制作中的另一个强大用途：当你需要填补某个空白或激发创意时，Sora能够帮助你快速生成内容。
据介绍，Shy Kids团队三人耗时大约1.5至2周完成了《气球人》的制作。目前，他们正在制作该部短片的续集。
比起靠Sora直接生成一部影片，将Sora作为辅助的视觉效果工具，结合实拍镜头和AE合成等传统影视制作手段，更加“技术性”地运用Sora是制作团队接下来探索的方向。
Image
AI视频工具的落地应用到哪一步了？
实际上，这已经不是Sora第一次翻车了。
今年2月，Sora刚发布不久，就有不少外部测试视频流出。率先拿到实测资格的彭博社发文称，Sora并不懂物理规则，生成视频的速度和效果都未能达到预期，远远没有到令人惊艳的程度。
Image彭博社实测：猴子长出鹦鹉尾巴
之前Sora翻车大多针对单个视频片段，而《气球人》的幕后制作过程则从影视制作的角度，揭示了当下以Sora为代表的AI视频工具的局限。
“气候尚早，代价颇大，还是专业用户的传统技艺在做底层支撑。这里面有大量的后期工作，再次佐证了，这些先进的工具不是一般创作者能驾驭的。”AIGC艺术家土豆人认为，从Shy Kids团队透露的使用体验来看，Sora还没有达到所谓世界模拟器的高度，现在呈现的内容还有很多瑕疵，离真正的商业级或影视级视频制作还有很大一段距离。
《气球人》更像是专业玩家带有实验色彩的一次探索。“对内容质量起决定性作用的是这个专业且完整的制作团队。”土豆人补充道，“技术还在早期阶段，所以选题、创作，还是围绕开发Sora潜力展开的，还没有真正到技术服务于内容的阶段。”
结合一线工作经验，实验电影人、AIGC艺术家海辛则认为，AI视频工具不一定只能为专业创作者所用，“也许现阶段能将其商业化运用的更多是传统影视广告从业者，但越来越多非影视背景的创作者也在用AI视频来表达自己”。
谈及现阶段用AI做视频的废片率时，海辛表示，目前AI在生成某些特定镜头，如月亮转动、花朵开花等空镜时，抽卡出片率会很高。而涉及人物表演的镜头则难度较大，抽卡废片率也会随之增高。
《气球人》导演Walter曾表示，Sora擅长创造看似真实的东西，但让他们兴奋的是它能够制造出完全超现实的东西。
对专业创作者而言，传统工作流是在可控性中寻找随机性，融入AI的新工作流则是在随机性中寻找可控性。
对于没有影视制作背景的普通用户来说，在随机性中寻找可控性仍是一大挑战。这或许也是Sora迟迟没有面向公众发布，而是选择先和创意软件巨头Adobe合作的原因所在。
目前，AI视频生成技术仍在快速迭代中。或许正如OpenAI研究员JasonWei所说的那样，Sora是视频生成的GPT-2时刻，它的出现会激励后续一系列模型的进步。
对标Sora，国内外近期涌现了不少新玩家。例如，生数科技联合清华大学推出的首个Sora级视频大模型“Vidu”，就支持一键生成最长16秒、分辨率达1080P的视频内容，如今已开放合作伙伴内测申请。
从“玩具”到真正的生产力工具，Sora们还有很长一段路要走。但可以预见，随着底层模型的发展，今年下半年，AI视频生成有望突破现有限制，在视频生成时长和角色一致性等方面逐步提升。

元宇宙与人工智能三十人论坛

因微信公众号整改，没有加“星标⭐️ ”的订阅号有时无法收到消息

1.为防止错过最新资讯，请将元宇宙与人工智能三十人论坛设为星标⭐️ 

2.点击“赞”和“在看”，提高我们相遇的几率。

3.精彩文章，请点击文末左下角“分享”给好友。

了解更多关注

Image
Image

KEEP THE THREAD GOING

更多来源文章

全球信息情报中心

01 上汽集团与飞书签署集团层面合作协议 7月27日，上汽集团与飞书签署集团层面合作协议，双方将以飞书AI和一体化协同平台为基础，加速人工智能深度融入研发、生产与经营全流程。 02 腾讯WorkBuddy正式上架鸿蒙电脑应用市场 7月27日，据腾讯云消息，腾讯WorkBuddy正式上架鸿蒙电脑应用市场，成为鸿蒙平台首…

阅读全文