ReaderMX.
爱奇艺技术产品团队

娱乐业也要进入「工业4.0」?

爱张鹏约 12 分钟

作为一个星战粉，2020 年《曼达洛人》第二季出来的时候，我非常沉迷于它创造的异世界。作为一个电视剧，能够把布景做到这般震撼而真实，这挺让人匪夷所思的。

带着好奇，我搜索相关资料，发现原来这个效果是用了新的技术：所谓的虚拟制作。
简单来说，虚拟制作是利用数字化的方式，使用一系列计算机辅助制片和可视化电影制作方法。将虚拟现实和增强现实与 CGI 和游戏引擎技术相结合，使制作人员能够看到场景在他们面前展开，仿佛这些场景就是在实景拍摄的。
最近又恰好看到了爱奇艺用虚拟制作打造的 THE9「虚实之城」沉浸式虚拟演唱会的新闻，发现原来他们也正在进行这个领域的探索。
在他们演唱会正式举办之前，我有机会和爱奇艺CTO兼IIG总裁刘文峰聊一聊。他的结论：娱乐业的数字化正处在一个加速的进程中，虚拟制作这样新的技术会带来一波新的创造力的解放。这听起来挺让人兴奋的。我整理了一下我们的交流，也分享给大家。
Image
图1：爱奇艺CTO兼IIG总裁 刘文峰

     从虚拟「影视城」到创造力解放

张鹏：你们为什么这次要使用「虚拟制作」，这个概念很新潮啊？
刘文峰：其实不是因为新潮，是因为必须。这次我们用了新的品牌：爱奇艺云演出，这个云演出如果不是用直播的形态，如果不是用这种配置虚拟制作的环境，云演出的含金量就会变得很小了。
Image
图2：THE9「虚实之城」演唱会片段
我们这次特别大的挑战是来自直播。粉丝更愿意在直播的环境下能够通过线上的互动，和他们喜欢的明星形成互动。如果不追求实时呈现，可能跟原来的影视制作是没有区别的，大家拿个绿幕就可以解决，并不需要用 LED 场景和虚拟制作技术来做这件事情，很可能在更小的棚里就能完成。直播要求我们创造一种新的更突破的形态才行。
张鹏：虚拟制作在布景上，有什么特别的吗？
刘文峰：我们每一个娱乐 IP，其实都在给观众展现想象中的世界，有可能是和真实世界很接近的现实世界的投影，也有可能是他想象不到的世界，用各种方式让你去想象。但虚拟制作，实际上是让表演的人和观众都觉得这个是真实存在的，这个是很不一样的。
用 LED 做虚拟制作，感受完全不同，它像大自然环境里的那种光线的真实感，让你沉浸其中。可以快速、轻松地制作出就像身临其境的场景体验，实现虚拟拍摄。你可以无限想象，无限探索，只要你想得到，就可以做出来。
张鹏：听起来这就是虚拟「影视城」，实景可能是要受到影响了。
刘文峰：我们是打算这么干的。影视城有很多景，它本身也是模拟真实景。但是临时搭景的成本一点也不低。我们想将这样的景数字化，可能是以毫米级或是厘米级做非常高清的数字化，做数字资产的景素材。当演员进入到虚拟拍摄平台，可以实现看上去和去影视城一样。比如，影视城本身也是模拟真实故宫的情景。在用 LED 的情况下，直接拿真实故宫的数字化场景进行虚拟拍摄，拍出来的真实程度可能会远高于影视城。
因为完全数字化，所有的东西都变成模型，还可以模拟出一个不可能下雪的地方下雪，比如说金字塔没有下过雪，实际上完全数字化以后，下雪可以做到非常逼真，这个是以前想象不到的。然后可以瞬间切换到不同场景。最后看景也会变得线上化，可以直接在资产库里挑出来想拍的景，在棚里面实现环游世界，各个地方都可以拍。
张鹏：虚拟制作的创作过程的核心是什么？
刘文峰：它的创作过程类似于游戏，但比游戏精度要高。游戏的精度相对在虚拟拍摄层面是不够的，虚拟拍摄需要做到和现实世界中人眼看到世界的精度类似，而难度也在这，所以后期需要更多的设计资源。
如果你是将真实的景做成一个数字世界，在虚拟拍摄环境下，更多的是需要将实景进行扫描，再到毫米级精度的能力。这种扫描，可以使用类似激光雷达对深度信息进行捕捉，用多个摄像头采集，再进行算法合成。利用算法把由太阳光造成的，不同时间点拍同一个位置的亮度问题解决掉，可以实现模拟出任何时候的场景。
张鹏：这等于我们具备一个虚拟世界的创造能力，可以实现完全数字孪生在世界各地拍片。如何看待虚拟制作在生产端的意义？
刘文峰：虚拟制作这个词很长时间了，但是过去拍摄都是纯粹绿幕。绿幕可以后期将背景去掉，叠加你想要的任何东西，但是它受限于实时性。因为它没有那么强的计算能力。绿幕还有很多问题，比如绿幕在现场的灯光，投射到眼球里是绿色的，这个颜色很难修。此外，对演员的要求极高，他完全感受不到自己在哪，很难保持一个表演状态。使用 LED 背景墙可以让演员实时看到，表演状态会非常快的到位。但要注意一点，虚拟制作和绿幕并不是完全对立，绿幕具有面积大、价格低廉、容易部署等优点，也是可以和虚拟制作相互结合的。
虚拟制作降低了生产门槛，人在里面可以更好地释放自己的表达，是生产力端的解放。我们也是准备建成一个平台，让每个人在平台上可以更容易、更轻松地去发挥。我们希望这个平台出来以后，可以一直复用，无论是我们自己的演员，还是需要在这个平台展现的演员，都可以使用虚拟拍摄的场景，制作出就像身临其境的感觉。
张鹏：看来虚拟制作可以让内容的生产变得更聚焦在创造力之上。

     娱乐业一样要步入「工业4.0」

张鹏：采用虚拟制作，而不是传统的布景方式，对演员是有解放的。同时对于整个的制作流程来说，它的本质上是一个全面的数字化和智能化？
刘文峰：是的，全面的数字化和智能化之后，它才能用到过去移动互联网、大数据、AI 等技术红利。你会发现原来是完全靠人，现在可以通过机器更有效率地完成，人可以更聚焦在创造上，而不是流程性的工序。这个是理解虚拟制作的本质，实际上它是一个完整体系的生产效率的提升。我开玩笑说「我们的智能制作这个事情类比于工业 4.0，可以叫影视工业 4.0。」
其实，从更宏大的视角而言，虚拟制作是智能制作里的一个子集或者是一个分支，这个分支更侧重于如何利用 XR、虚拟制作技术等来实现智能化的舞台，从而完成影视和综艺演出等内容的制作。所以它是更注重在拍摄环节里面的虚拟化场景。
张鹏：你们发展智能制作技术的起因是什么？
刘文峰：当时要解决的问题特别简单，我们综艺的拍摄周期变得越来越短，拍完到上线之间时间很短。最多拍摄时候有好几十个机位，同时拍一个场景。这时候选合适的演员和表情，如果用传统的手法，一定是需要更多的人，生产力的提升不是线性的，也会出现沟通的问题，最后质量还不好，所以大家很焦虑。
我们当时想，能不能将在互联网里积累的技术，反馈给 B 端制作团队使用的工具箱中。比如现在 AI 算法做面部识别，可以识别出每个镜头拍的人以及他的表情，这样可以用搜索快速找到想要找的人。我们在尽可能将每一步用上算法，节省了大量时间。后来发现团队的接受度越来越高，甚至有新的需求提进来。这个就是智能制作的动因。
智能制作还有一个好处在于，数字平行世界的边际成本是最低的，使得你有更多机会，在这件事情发生之前反复的优化迭代，最终找到最完美的解决方案，同时可以节省时间和降低成本。

     互动和网络效应

张鹏：在技术的推动之下，用户和内容制作之间的关系，会有什么样的变化？
刘文峰：我们一直尝试带来一些好的改变。我们在 18 年的时候尝试做互动。传统线性和单向的播出形式，用户的参与只能通过线下的交流，或者在社交网站上交流。弹幕是一种形式的互动，弹幕的出现改变了屏幕里面的内容，将播出的画面和弹幕合在一起去消费内容，这是一次创新。但它和内容结合的程度其实是弱的。所以我们做了互动视频，希望让用户像玩游戏一样，来控制视频故事情节的走向。
在这次演唱会中，我们探索将用户的互动直接变成节目的一部分，用户和用户的互动都变成内容。我们这次高阶票的用户会获取到应援棒，那个应援棒会寄到他家里，拿着应援棒，这个节目播出的时候，导演会控制当时用什么颜色。以后随着应援棒的传感器进一步发展，观众和节目实时的双向互动，将使得节目和玩法的想象空间变得很大。
张鹏：是的，弹幕其实还是异步的，但这个是实时的。说白了，用一切手段榨取真实世界里数字化的进程，能够越实时化，越孪生越好。
用户进来会变成内容，而内容也会吸引更多的用户，对于互动和内容的再定义好像变成你们整个生态不断扩展的一种手段，你怎么看？
刘文峰：用户和内容的双向正反馈，网络效应才会出来。内容创作和内容消费以及其商业化完全形成良性的增长和规模化，价值才会得到更加充分的释放。商业模式也可以变得更加立体，而不只是单一的消费。单一的消费更像贩卖式，持续性太弱了。形成规模效应和网络效应之后，会使得内容制作和内容消费两个闭环首尾相连。
张鹏：我觉得一个好的系统不在于他的绝对确定性，这样的系统往往扩展性是非常弱的，你需要在一个包含不确定的系统里面找确定性。而技术和网络效应可以促进这一点。

     流程、组织和能力的变化趋势

张鹏：节目生产流程长期变化就是组织变化，组织的长期变化就是能力和人的变化，这个层面上你有什么能推演一下？
刘文峰：我们已经在创造一种新形式的组织形态，就是创意者团队和技术团队的距离非常近，两者紧密合作。在项目立项过程中，技术团队是其中一部分。之前更多是导演指挥现场的人来实现节目制作，但是现在变成导演的需求，直接在我们 APP 的研发过程中就能够落地。这个是以前想象不到的。
Image
图3：虚拟内容设计师调整场景
这次导演不仅仅是将节目编排好，还要考虑将用户的虚拟分身，和演员之间实现互动，虚拟分身在有联线的时候会直接在屏幕上。所以组织形态变成，研发团队就在现场，直接接受导演的指挥。产品的研发和一个节目的研发融合在一起。以前是互相分开的，一个产品的研发更多的是分发端，你给我节目上线，我这边播出，现在是你给我流，我直接推过来。更进一步的是你给我流，我在上面增加产品的特性，然后输出给用户。
张鹏：总结起来就是未来伟大的导演身边，未来要有一堆理工男，能够理解艺术的理工男跟一个伟大的创作者一起去实现那样的东西，才是有效率。在你们那里，这些技术人员在剧组里算什么身份，怎么定义？以前似乎没有这样的人？
刘文峰：以前很少。这次节目组，让我挂名演出的总工程师。现在想想技术是整个团队里面的一部分了，所以技术的人员也是制作团队的一部分。未来成名大片里，也许能够找到越来越多理工男的名字。
张鹏：面向未来，跟原来的能力相比，有什么会变得不重要，而又有什么会变得很重要？
刘文峰：创意一定是非常重要的，永远重要。另外重要的是一定要有一些 IT 思维。你肯定不需要是那个程序员，但如何用 IT 的方式解决问题是很重要的。我们看到现在很多制作团队里，还非常传统的用小本记事情，用到的数字化可能就是微信记录。事实上稍微有点 IT 思维的人，可以更灵活的使用协同的工具。

     元宇宙中的沙盒框架

张鹏：最近关于 Metaverse(元宇宙）的讨论越来越多，你怎么看它？它会是下一代的娱乐的形态吗？
刘文峰：Metaverse 可以理解成一种理念：能够将虚拟的世界进行连接。如果在影视 IP 的最终展现形态的背后，是一个连接的虚拟世界，它会将游戏和影视的边界真正彻底打破。之前边界越来越模糊，是指像玩游戏一样去控制电影，但是他的结局还是有限的。但是当你的游戏就是你的电影本身，当你的电影随时可以切换游戏本身的时候，这个边界就真的完全打破了。
这个想法上的突破，实际上是我们希望能够使用共同的引擎来制作不同的内容。还可以利用 XR、VR、AR、AI、甚至加上区块链的技术，将人的身份在这个世界里面形成。这些技术合在一起之后，我们觉得目前的发展方向是把游戏、影视，甚至动漫等等不同题材和形式的内容连接在一起，这个是很重要的。
当一个 IP 的世界能够连接在一起之后，用户消费影视的时候，可以在任何一个时间点暂停进入游戏，他就成为里面的某个角色，他就可以开始打怪。好看的剧里的情节不断往前发展，其实是一个个钩子不断地钩住他的情绪。游戏也一样，游戏也是不断的通关打怪，这两者在人在娱乐心理上是相同的。
张鹏：游戏的世界是一个全面数字化的世界，连他的生产创造都是数字化的。接下来其实是要对影视制作者进行更彻底的数字化。最终游戏有可能变成一个可以持续存在的世界，电影是这个世界的一个副本，打一个副本就是看场电影。
刘文峰：那个副本每隔一段时间可以更新，再下载一个版本，就又有了一个新副本，你也可以有无数的副本。
AI 不一定真的有意识，但是 AI 可以让一些机器的语言，机器自动生成的意识的语言，去驱动 Metaverse 里面的一些故事，这些故事正好会是人想看的，或者是能够消费的。可以想象，这个世界可以变得很惊人。
张鹏：这会让它变成了一个超越现实世界的数字世界吗？
刘文峰：是超越的，而且还会出现多个。我个人认为 IP 创作的发展，是每一个都需要有一个独立的 Metaverse，有自己的世界观，世界观越完整越能够自制和发展，越能够有更长的生命力。过去看到很多的 IP 的生命周期可能是五年、十年之后就会慢慢被人遗忘。而将来能够和它的观众或用户之间形成深度互动的，这个 IP 本身也会是一个平台，这个平台就能将用户和机器和这个世界融合在一起，这个想象空间是极大的。我觉得未来的就是 Metaverse。
张鹏：我在想，爱奇艺是在用自己的科技的能力在 Metaverse 中构建一个的沙盒框架吗？这个框架有了之后，想让更多的人创造可以更多的复本？同时也不止是想吸引消费的观众，而是真正的用户，并且这个用户不光是在消费可能还在创作。
文峰：对。我们现在看起来像个内容创造和消费平台。现在这个平台不光是能分发，还能生长，最终的壁垒是一套生态，生态可以不断地诞生更强大的事物，这个事到最后发现技术在里面扮演的作用，不是规模效应，而是技术创新带来的迭代。
Image

也许你还想看

打破设备和局域网的限制，爱奇艺万能联播-上线云投屏

爱奇艺VR | 虚拟女友双儿

KEEP THE THREAD GOING

更多来源文章