八光分文化

冷湖AI短剧金奖《回溯曲》制作全流程揭秘

编按:2024年,八光分文化联合北京行知探索、冷湖火星小镇,与国内AIGC共创社区“故事接龙”一起发起了“冷湖奖AI短剧拉力赛”,在华强方特旗下的AI社区平台aitop100.cn持续四期大赛,开放授权冷湖科幻文学奖前六届获奖作品50篇,获得全国AIGC社区热烈响应,收获超500分钟的竞赛投稿,冷湖奖IP授权影视化结出了第一批奇异果实。
本篇创作谈来自拉力赛第二期金奖《回溯曲》作者胡深,他持续参与拉力赛全程,大赛首期即以《正面的世界》获得银奖,《眼》获三四期银奖,同时还有《盲》与冷湖奖作者毛植平共创并获得特别提名。值得一提的是,胡深本人也是冷湖奖获奖小说《正面的世界》作者,平时从事摄影和剪辑工作。
△ 大赛金奖作品《回溯曲》先导预告 △
■ ■ ■
2023年夏天受邀去冷湖时,和韩松老师在大巴车上聊天,他说一部小说的好坏很大程度上取决于它的叙事,再普通的故事,用了一种好的叙事手段,也有可能成为一部好的小说。这句话我印象深刻,因为《冷湖:回溯曲》(以下简称《回溯曲》)正是这么一部小说,同时也是这么一部短片。
Image
(《回溯曲》改编自毛植平《冷湖:回溯曲》,收录于第六届冷湖奖获奖作品集《冷湖Ⅵ 点亮火星》)
从解构的角度来看,《回溯曲》不管原著还是短剧,讲的都是一个普通甚至有点老套的故事——渐冻症老人没法演奏音乐,被机器人替代。所以,问题的关键就变成了应该如何去讲这个普通的故事。关于原著,毛植平老师用了许多叙事上的技巧,惊奇感十足;而关于这部短剧,我想则可以分别从五个方面解答一下。
1.剧本
《回溯曲》的剧本我一共用了三天零二十分钟写完,记得如此清楚,是因为创作的前三天我一笔未动——改编《回溯曲》的难度非常大,它本身不是一部传统的硬科幻,而是一部注重情绪和细节的小说。所以,在构思初期我就大刀阔斧地修改,首先把主线从“一只机械臂成长为一座音乐厅”的故事简化为“一个机器人成长为一个人”;其次增设了一个贯穿全剧的戏剧冲突:保姆型机器人是如何成为一个演奏家的?
Image
(《回溯曲》)
这个冲突完全脱离于原著,所以我必须自己找到合理的解释:明明有专业的演奏型机器人,为何男主角偏要用不是那么灵巧的保姆机器人来弹琴呢?
我在这里卡了三天,一笔未动。直到某天骑电动车下班回家等红灯时,见斑马线走来一对年迈的夫妻。老太太坐在轮椅上,老先生推着,两人虽不言语,但在我看来却是一个整体。这时我突然灵光大现,冲突的原因这不就找到了吗?就因为它是保姆型机器人呀!只有它才了解李松林的一生,只有它才知道李松林的喜好和脾气!
Image
(《回溯曲》)
寻思至此,立刻拧油门回家,到家后仅用二十分钟我就完成了2000字的完整剧本。接着我便专心开始下一个环节:寻找《回溯曲》本曲。
2.《回溯曲》的本曲
首先我请教的是毛植平老师,问他心目中的《回溯曲》是什么。

Image

(从这里可以看出当时我根本没有让AI弹奏钢琴的能力。)
确定了大致方向后,我准备用一些较为简单的曲子来躲避弹琴的细节,直到第二天我发现了一款可以转绘的工具LensGo,决然推翻了之前的决定,转而选择了肖邦的《第一叙事曲》。我很喜欢这首曲子,难度很大,结尾的爆发力极强。但是思来想去,《回溯曲》应该是一首较大编制的曲子,于是我让难度进一步升级,改为普罗科菲耶夫《第三钢琴协奏曲》,同样也是一首结尾极具感染力的曲子,而且难度只能用恐怖来形容。
确定了剧本和主线音乐后,接下来就是旁白和配乐。
个人认为,声音系统在影视中的重要性有时甚至要高于画面,因为只有声音有能力渲染氛围和调动情绪。我个人非常抵触目前的Suno(一款AI音乐创作软件),音乐质量极差,这里所谓的“极差”是指第一耳听起来还可以,但不能深究,每次听到Suno产出的音乐,就像看到一个机器人竭力去模仿人类的情绪,还总是不到位,反而增添了恐怖谷效应。当然了,以上这些只是针对于Suno无法处理细腻的情感而做出的批评,一些具有玩乐性质的罐头音乐,Suno还是有自己的优势(但相应的,自然也就不在本次AI短剧的讨论范围内了)。
关于渲染情绪和氛围的配乐,我比较中意的作曲家是罗威,有些钢琴随笔很有力量,而且偏冷门的曲子版权也不贵。除了《正面的世界》外,其余三只片子(《回溯曲》《眼》《盲》)大量使用了罗威的配乐。另外也有一些古典音乐,例如亨德尔和巴赫。
3.关于AI弹钢琴
为了完全还原这首曲子,我分别使用了五位钢琴家的素材片段。其中,钢琴曲的音轨(主要音轨)使用的是郎朗的演奏录音(经过处理)。
而“机器人演员”,我则用了孙榆桐在2018年桑坦德国钢琴比赛决赛的公开画面:
Image
Image
(这段录像清晰、稳定,贡献了绝大多数画面。注:画面中的所有人脸已经做过AI重绘)
以及阿格里奇在20世纪80年代的录像(不确定具体时间,总之那时还很年轻):
Image
Image
还有王羽佳的魔鬼刮奏:
Image
Image
(仔细看的话,会发现这里的机器人有明显的女性特征)
为了让机器人能够真实地弹奏钢琴,我调整了每一个“特型演员”的演奏节奏。并且下载了这首协奏曲的乐队总谱,将钢琴轨道分离后制作了“可视化乐谱”来对照机器人的演奏是否正确。
Image
(在视频轨道中插入可视化乐谱,方便检查机器人的手指是否按下了正确的按键)
后来我觉得这个视觉效果不错,在成片中也保留了一部分。
Image
(红圈内为保留可视化部分,个人解释为机器人能看到谱子2333)
至此,我已经完成整个片子里最耗时的部分,前二十天的工作基本都是围绕演奏部分的转绘和手指匹配。由于截止日期的逐渐逼近,其他故事的画面填充我只好草草了结,尤其是Q和李松林在卧室里的初次对话,根本没有时间调整,所以画面显得异常单调:
Image
Image
(基本就是两张图来回缩小/放大组成了对白画面)
4.关于剪辑的小技巧
Image
(《回溯曲》工程轨道)
影片所使用到的叙事技巧并不多,全部都是倒序,没有原著的技巧丰富。不过,我用了许多剪辑上的手法。
举个栗子:“震撼转场”。
片尾弹奏钢琴的片段,正常的逻辑是这样的:演奏结束,起身,致谢。切换回树下的回忆。
Image
Image
Image
Image
Image
Image
(正常逻辑的影片顺序)
这里我用了“震撼转场”,即在剧情(或者配乐)发展到最激烈的时候戛然而止,同时使用“爆炸低音”的音效来配合最后一个音符进行场景的切换。这样做,除了能增加感官上的冲击,还能再给观众挠一下痒痒:“弹完了之后呢?在线等,挺急的。”
Image
Image
(音符落下后立刻切换场景)
然后在进行了一轮新的剧情后,再拉回到演奏结束后的画面。同样的转场方式,我还在《眼》中使用过:
Image
Image
(从一个激烈的打斗中用一个巨大的音响拉回到现实。)
Image
(大赛银奖作品《眼》)
Image
(《眼》改编自万象峰年《赛什腾之眼》,收录于第四届冷湖奖获奖作品集《冷湖IV 赛什腾之眼》)
同样的,在《正面的世界》中我也使用过这种技巧:
Image
Image
(歇斯底里的扭画面中,随着一声核爆的巨响,画面切换为安静的水底。)
△ 大赛银奖作品《正面的世界》先导预告 △
同样的*3,在《盲》中也使用过:
Image
(画面在B剧烈的咳嗽声中直接切黑。)
Image
(《正面的世界》改编自胡深《正面的世界》,《盲》改编自毛植平《弥留之际》,均收录于第五届冷湖奖获奖作品集《冷湖V 不做梦的群星》)
5.配音
以个人方式制作AI短片其实是一件费时费力的工作,为了保证影片质量,每个片子我都使用了专业配音。
《正面的世界》配音老师,两天换了七次才找到合适的。而我个人最喜欢的《盲》(和毛植平老师共创的短片)中的女主配音,我们测试了近二十个老师才最终定稿。这位老师的声线和我们想象中的R完全匹配,而且抛开声音质量不谈,我们选择她的最大原因是因为她的情绪,她的情绪是隐忍的,克制的。高价值的配音老师给出的情绪并不是完全按照我们的要求,而是会根据剧本自己进行一些略微的改动,这些情绪的小改动甚至会影响到我们的剧本走向,简单来说就是可以发散出更多剧情。《盲》正是在这种条件下产生的。
Image
(《盲》)
《盲》是一部带有实验性质的短片。毛植平负责编剧、生图,我负责优化剧本、视频生成和最终剪辑。这部短片与《回溯曲》完全是两个极端,《回溯曲》我的大部分时间用来处理视觉效果,《盲》的大部分时间则用来调整配音和配乐。
虽然整部片子的呈现效果看起来较为简单,但实际上是耗费精力最多、细节调整最多的短片。
Image
总体来说,我接触AI只有三个月的时间,相比于其他更为专业的创作者来说还算萌新,所有生成的图片质量并不算高,同时在图转视频的方面更显幼稚(基本都是最简单的图生视频,Stable学了好久也没学会)。但我个人感觉,在一部影片中,炫酷的效果和高清的分辨率其实并不是最重要的,最重要的是内容。
或许几十年后,新的AI和新的特效会取代许多特效大片,但是像《辛德勒名单》和《阿甘正传》这种片子永远不会被取代。因为形式上的美终究会被淘汰,只有好的故事才能永远地打动人心。
以上。期待更多的好故事从冷湖诞生。

■ ■ ■
上期回顾:
《冷湖所有的鸟》AIGC改编创作谈(宋俊锋&刘家夷)。