本期创作谈来自2024年“冷湖奖AI短剧拉力赛”银奖作品《赛什腾之眼》主创滕睿、孙可凡。
△ 大赛银奖作品《赛什腾之眼》先导预告
在看到赛事的推荐书籍时，我们才发现对于国内的科幻小说了解很少，除了一些头部文学外，没怎么了解过其他的。凭借着对科幻的热爱，我们按照书单从头开始拜读，第一晚就看了三四篇。最终我们选定万象峰年老师的《赛什腾之眼》，是因为觉得这篇作品写得很美，不仅有数学之美，有科技与艺术的结合，也很符合我们的专业。
△ 万象峰年《赛什腾之眼》
收录于第四届冷湖奖获奖作品集《冷湖IV 赛什腾之眼》
正如《赛什腾之眼》的颁奖词那样：“这篇小说，无论是构思的独创性，还是对宇宙和生命的洞察感悟，以及科技本身的审美，乃至对限制性特殊题材的处理，还有文学表达，都堪称中国科幻近年少见的杰作。”这也是我们最深的感受。
◢ 01 文字分镜
这篇《赛什腾之眼》，从和团队成员确定改编，到写文字分镜与调整故事顺序，再到最后定下文字脚本，我们读了太多遍。万象老师写得非常优秀，以至于不需要我们去改变什么，只要在确定的时间上压缩文章，然后尽可能地还原整篇小说的故事框架。
我们最初的想法是整体控制在7-8分钟，一是大赛的建议作品时长是5-8分钟，二是我们开始得很晚，大概只剩二十天左右才开始的，所以也不可能太长。
△ 文字脚本（非完整版）
在写脚本时最大的难题就是对时间线的梳理。虽然《赛什腾之眼》不像诺兰的《信条》那样正反双时间线叙事，但是三条时间线的叙事手法还是给整体改编增加了很大的难度。虽然它们彼此没有什么剧情上的交织，但是因为有延续，所以传承性的物品，像是黄奔念的笔记、吴启星的毛衣，还有两仪臂等等，都要在合适的时间节点对故事进行引导。
好在万象老师已经把这个难题解决了百分之九十，因为他在构建这篇小说时就已经做好了穿插，而我们只需要根据自己的改编微调故事的顺序。
◢ 02 图片生成（最核心部分）
AI短视频相比传统流程的好处是几乎不用画分镜，通过不断“抽卡”来完善对镜头的思考。我们在制作中遇到比较棘手的问题是，小说故事的三个时间段跨度很大，导致在视觉呈现上环境会有巨大变化。为了尽可能地保证画风一致，我们根据冷湖的实景图片和拟定的蓝绿色主色调，生成了一张图作为主基调，便于Midjourney（下文简称mj）的图生图和风格参考。
然后就是核心人物（生物）的生成，干净的背景可以让角色参考更准确，虽然通过Stable Diffusion（下文简称sd）的LoRA模型+局部重绘来保证角色一致性会更有效，但是在较短时间内并没有成功，所以还是选择了mj的角色参考来出图。在处理小细节的修改与增加时主要靠两个方法：mj的重绘和sd重绘。mj的重绘可以通过更改图片和风格参考来在统一的画风中增加细节；sd工作流可以去除图片中不想要的部分。△ 从左至右：mj出图1 / mj重绘1 / mj重绘2最后在大场景的合成上，就需要借助传统技能ps了，因为mj无法生成大场景，并且场景具有非常多的细节，所以就需要分步生成，然后sd处理加ps抠图，最后再合在一张图片中。△ 从左至右：mj生图1 / mj生图2 / sd处理后的背景视频的生成主要以效果分，在只需短暂的几秒或更短的情况下，Runway和Pika是主力：Runway的区域控制，和Pika的运动效果，在不同场合可能有不同的效果。我们一般是两边同时“抽卡”，然后根据视频效果去做筛选。有连贯性的剧情则需要“即梦AI”的首尾帧来实现，首尾帧可以很大程度上保证画面的稳定，以此制作长镜头画面。不过首尾帧的制作也需要借助ps来调整运动图层的局部位置。首尾帧是目前ai做PPT短片非常好用的办法，虽然也有开源的，比如ToonCrafter，但是还是付费的香。配音作为能够直接表现人物形象和内心活动的介质，无疑是极为重要的，甚至可以说是一个人物灵魂鲜活的关键。那么该如何让一个AI生成的虚构人物，能够拥有与真人演员相似的语气和语句呢？诸多机械化的AI配音自然不能让人满意。在这里要感谢B站@花儿不哭 大佬提供的AI克隆软件GPTsoVITS，为我们提供了解决办法。这个软件能够让我们通过操作训练出一个适合人物和情节的音色，赋予人物更多的情感起伏和更为细致的语气停顿，让配音显得更为自然。配乐也同样重要，影片的氛围和情节推进都需要配乐的存在。我们尝试了两款AI音乐软件，分别为Suno和Udio，我们认为Udio或许更适合产出配乐，而Suno更适合生成带人声的歌曲。Udio更为人性化的生成方法和提示词输入，能够让我们更好地生成所需要的音乐，而不是一味的靠“抽卡”来获取所要的效果。同时，Udio可以由一段音乐向前/向后生成、补全的功能，也能让一首配乐更为统一，节奏和情绪更为连贯。成片的叙事手法或许略显贫瘠，因为《赛什腾之眼》本身具有复杂的故事线。为了不破坏故事整体的完整性，在敲定前期剧本镜头顺序时，我们没有在原著框架上做过多改动，仅在开头处，我们将较为紧张的“铁森林居民投票表决”这一情节部分前置，利用剪辑营造一种情感递进的效果，同时也留下悬念，使观众能够被本片所吸引。在剪辑手法上，我们主要使用了一些类似于快速截断、切换画面的手法。例如在很多年后的赛什腾观测站，金属的牌子忽然掉下，随着“啪”的落地声，画面迅速变黑，而后又随着一声电话被拿起的声音，吴启星与于大群通话的画面自然地出现。在视频合成上，我们主要使用Ae进行操作，Ae本身强大的功能和大量好用的插件能够让我们高效地进行视频制作，也能制作出较为精良的画面效果，以产生视觉冲击。总的来说，能交出这样一部ai短片，万象老师的原著发挥着决定性的作用，因为剧本的好坏往往决定着一部片子的下限。随着ai技术不断涌现，我们见证了许许多多制作精良的作品出现。在未来高速迭代的环境下，传统的制作方法或许会变得略显落后，但一个好的电影故事永远是能够触及灵魂、拨动心弦的，其内核也依旧会是对人性的探究，对未知的向往，对现实的映射。这样的故事无论采用怎样的制作方法，都会让我们为之着迷和沉溺。当然，这部片子也有很多问题，比如故事情节平平，剪辑手法单调，一致性不高等等，通过其他作者的分享，我们也吸收了很多经验。也有可惜的地方，比如费了很大力气跑出的“两仪臂”，为了短片的节奏舍弃掉了，但我们把它用在了封面上，也算是有了一个好的归宿。感谢冷湖为我们提供这样的机会和平台，让我们能够感受影视制作的魅力所在，以一次奇妙的体验，感受冷湖这片土地的脉搏涌动。也再一次感谢万象峰年老师，期待未来有更多优秀作品在冷湖诞生。
作者滕睿、孙可凡来自中国美术学院创新设计学院超视觉工作室Studio CHAOs。项目指导老师邴寅是动画导演、多媒体艺术家，超视觉工作室主任，硕士研究生导师，中国美术学院AI中心研究员。2024年，八光分文化联合北京行知探索、冷湖火星小镇，与国内AIGC共创社区“故事接龙”一起发起了“冷湖奖AI短剧拉力赛”，在华强方特旗下的AI社区平台aitop100.cn持续四期大赛，开放授权冷湖科幻文学奖前六届获奖作品50篇，获得全国AIGC社区热烈响应，收获超500分钟的竞赛投稿，冷湖奖IP授权影视化结出了第一批奇异果实。
滕睿&孙可凡约 7 分钟