ReaderMX.
爱奇艺技术产品团队

让虞书欣、李诞拍到停不下来！AR+AI双引擎的互动小游戏，如何打开IP新玩法？

爱爱奇艺创作中心约 8 分钟

有眼尖的朋友已经发现，近期爱奇艺的热播剧们有了新“看”法；在日常追剧的间隙，结合了IP要素的趣味视频互动特效小游戏玩法吸引了百万用户参与互动的热潮，更激发了The9全员、李诞等娱乐圈多位大咖艺人的脑洞，玩得停不下来。

Image

Image

Image

这也不禁让人发问：爱奇艺视频互动小游戏到底有什么魔力？

在当前各类短视频产品中，各种各样的拍摄玩法屡见不鲜，但基本是以人为核心的美化装扮玩法；此类玩法对用户的拍摄能力要求极高，需要掌握一定的运镜、分镜技巧，且颜值在线，才能拍出好看的视频。同时，更多的拍摄玩法均较为独立，很少和IP有进一步的关联及互动。

而在爱奇艺视频互动小游戏的场景下，以强互动的方式结合IP元素，只需用户根据提示进行游戏，就能拍出趣味性强的视频。同时IP在小视频场景的授权应用并不少见，但将IP内核通过互动游戏的方式来呈现尚属首次。在小游戏中，除了能充分展现IP形象元素外，还能通过游戏方式，让IP附带的内核以更加生动的形式与用户产生互动。

这篇文章将从技术实现和产品应用两个方向，梳理爱奇艺视频互动小游戏的新玩儿法。

AR+AI双引擎：视频互动小游戏背后的技术

为了让用户获得更好的互动体验，爱奇艺技术产品团队集成了AR+AI能力，从整体架构、人脸手势操控，到LUA游戏层的配置，都进行了一系列技术攻坚。
1. 整体架构
为了实现互动小游戏，爱奇艺自研的AR拍摄引擎VideoAR，集成了同样自研的AI引擎SmileAR，通过AR消息触发+贴纸渲染的形式，为AR拍摄道具提供了基础支持。
相较普通拍摄道具而言，互动小游戏形式更加自由，流程逻辑更加复杂，需要能够进行更强的控制。为此选择Lua编程语言来承载互动小游戏的上层逻辑。Lua以其轻量、高效、易于集成的优点，也是目前业内类似场景下的首选方案之一。
VideoAR集成Lua支持之后，加上AI检测及贴纸渲染能力，构成了互动小游戏的基础AR渲染能力，而游戏相关的部分，则全部在Lua内完成，由此降低了团队之间的耦合，保证小游戏高效开发、快速迭代、线上热更新。

Image

2. 人脸操控
对于小游戏，人脸关键点定位是其中一项重要的基础能力。人脸关键点是指人脸区域中能够体现表情状态的脸部位置，包括眼睛、嘴巴、鼻子等部位。基于人脸关键点定位得到的准确点位信息，可以实现瘦脸、局部美妆、虚拟穿戴等功能。

Image

人脸关键点定位示意图
对于小游戏需求来讲，主要有多个困难的点：端上的算力有限、需要实时交互以及精准的关键点定位和及时的跟随。
为了达成这些目标，技术团队展开了专项攻坚，总结下来主要是以下五点：
1. 降低时延，提升操控准确性。通过将耗时较长的人脸检测模块放在异步线程中的方式，在主线程中通过跟踪算法来跟踪脸部的运动，由此大幅降低了时延。
2. 人脸检测以MobilenetV2为主干网络，并进行了裁剪和训练中量化，保证了在移动平台的实时性。
3. 降低106点和240点模型的复杂度；为了达到更快的速度，我们减小了网络的输入尺寸以及主干网络的通道数，同时我们还进行了Hard mining，进一步减少了误检数和提高了模型稳定性。
4. 采用了多任务学习，提升展示效果。由于人脸姿态、表情变化大，因此人脸模型加入对姿态、表情等的预测，在测试数据上，误差降低了10%，大大增强了游戏体验。
5. 融合了直接回归和热度图预测。训练阶段，加入热度图预测模块可以提升直接回归的精度，但热度图预测较为耗时，在测试阶段直接移除，就可以在不增加耗时的情况下提升精度。

Image

3. 手势操控
为提高小游戏的互动性，小游戏中还采用了手势识别功能，用以触发响应动效。手势识别采用了SSD检测模型，使用MobileNet作为主干网络，在部署时使用量化技术提高执行速度，最终在移动端实现了实时手势检测。通过量化技术的提速，使游戏时手势识别的响应更加敏捷，识别效率更加精准。
因为浮点型数据在移动端计算很慢，我们使用TensorFlow对算法模型进行了Quantization-aware training的训练，新版的TensorFlow对量化的支持很完善，只要在训练代码中加入两行代码即可完成量化训练，我们先通过正常的训练获得收敛的模型，再对其进行量化训练。在高通骁龙，华为麒麟和联发科Helio等主流芯片上的CPU推理速度改进如下表：

Image人脸检测量化前后耗时对比

Image

4. LUA游戏层
参考游戏引擎的形式，爱奇艺技术产品团队对基础AR渲染能力进行了封装，包括：游戏基本元素封装、贴纸渲染、运动控制、AR消息、碰撞检测、音效管理等，完成从AR渲染引擎到小游戏引擎的转化，为上层的小游戏业务开发提供友好、高效的环境。
互动小游戏流程大多以消息触发来推动，针对这类较为通用的逻辑，爱奇艺技术产品团队构建了配置化框架，订立一套json格式的配置协议，将主要功能模块实现可配置化，再通过脚本转换为Lua代码，构成配置化能力层。由此无需直接编写代码，只要简单配置json，即可完成相当部分的游戏逻辑开发。配置化能力也已和自研的MusesEffect工具结合，进一步实现图形化配置。
实现小游戏的具体业务逻辑。基于前两层的封装，这里只需要聚焦核心逻辑，开发工作量大大精简。
对于部分较为复杂、无法通过贴纸形式实现的特效渲染效果，VideoAR还提供了开放特效能力支持，业务层通过直接编写shader加以实现。

Image

视频互动小游戏的多元应用

精彩纷呈的自制内容IP及版权内容IP，是爱奇艺的看家本领。内容IP在进行宣发时，都期望获得一种新的互动营销形式，能够进一步加深对IP的体验。因此，视频互动小游戏成为助力IP创新互动玩法的重要可选项。目前的互动小游戏玩法库，已经支持了十余种玩法供IP选择。合作伙伴会根据自身节目特点，选择一款玩法，并在该玩法基础上，进行定制化的UI设计及流程改造。
合作案例：在爱奇艺自制综艺《非日常派对》的合作中，根据节目的主题及节目的官方形象“奶兔”，我们在跑酷玩法的基础上，订制设计了小游戏“奶兔冲冲冲”。让用户通过点抬头的方式，操控奶兔在跑动的过程中，跳跃吃萝卜加分并躲避障碍。
在游戏上线后，艺人明星作为游戏发起人，通过粉丝效应，吸引粉丝群体体验和明星玩同款，有效扩大了节目的影响力，助力节目营销出圈。奶兔小游戏在上线后，成为最受用户欢迎的爆款。

Image

Image

Image

Image


目前已经有20余款IP节目，都选择订制自己的互动小游戏。包括《青春有你2》、《做家务的男人2》、《中国新说唱2020》、《乐队的夏天2》、《迷雾剧场》、《重启之极海听雷》、《潮流合伙人2》等。

Image

互动小游戏已经逐步成为IP节目的营销亮点，为应对来自节目组、用户的高标准严要求，运营、产研有效协同，稳健迭代，全力落地创新。
互动小游戏和儿童方向的结合
视频互动小游戏以其趣味的游戏玩法、生动的表现形式，上线后立即收获儿童小观众和家长的喜爱。为此爱奇艺旗下儿童品牌“奇巴布app”，也接入支持互动小游戏功能。接入后，奇巴布日均UGC投稿量跳跃式增长。同时因为优质内容的产生，奇巴布的播放量，也获得了极大的提升，形成了良性的业务增长。
为更好地服务儿童小观众群体，我们将更多的教育元素融入游戏中，寓教于乐。
案例：我们为奇巴布订制了无敌水果王的游戏

Image

在吃鸡腿玩法的基础上，额外增加学单词的玩法，小朋友在吃到不同的水果后，会听到对应的水果的英文发音，同时提供了单词加分逻辑，小朋友看单词吃到对应的水果，可以额外获得10倍加分。通过这种游戏玩法，将简单的英语启蒙融入到游戏过程中，帮助小朋友潜移默化地掌握更多地学习知识。游戏上线后也深受小朋友及家长的赞许。
互动小游戏赋能正片
是的，视频互动小游戏也能增强节目效果。在娱乐频道节目《青春你造吗》、《明星玩家》中，视频互动小游戏成为节目的重要环节，嘉宾艺人明星在节目中以真实逗乐地方式体验小游戏，成为节目一大亮点。
“游戏好玩，激发人的真性情，节目就好看，之前大胃王的游戏没有那么好玩，所以激发作用也不强，我们发现声控要效果更好一些。”娱乐中心合作伙伴反馈，在《明星玩家》节目录制中，声控游戏取得了不错的节目效果，郭麒麟玩嗨了。

Image

探索更多互动新玩儿法

视频互动小游戏在拍摄场景下，通过和用户的游戏化互动，引导用户完成视频的拍摄，为用户带来了新奇的趣味体验；小游戏也成为了IP在互动营销上的新亮点，帮助IP宣传出圈；最终为平台带来了更多的优质UGC内容，丰富了爱奇艺的内容生态。小游戏上线测试5个月来，累计体验人次超百万，收获了用户的喜爱与合作伙伴的肯定。
用户可以打开爱奇艺，在“我的”—“创作中心”—“拍摄”—“道具”中，找到对应的小游戏进行体验；也可以探索在观看IP剧目时，寻找我们为IP定制的专题活动，参与游戏体验还能获得红包、周边等奖励。

Image

这只是一个开始。我们将进一步丰富玩法类型，一方面引入更多的创新技术，诸如脸部变形、画面定格、手部追踪等；另一方面也将扩展不同的游戏模式，尝试多人互动、支线剧情、故事联动等新奇玩法，创造更好的体验。在各方团队的配合支持，以及集思广益的协同创新下，我们相信互动小游戏将会带来更多的爆款玩法，为用户、为IP及市场合作伙伴、为平台创造更大的价值！
Image
也许你还想看
ACM MM2020 | 一个卡通人脸识别的基准数据集
模仿人类自动上色！爱奇艺提出动画上色AI模型，每张只需0.7秒 | WACV 2021
Image 扫一扫下方二维码，更多精彩内容陪伴你！
Image

KEEP THE THREAD GOING

更多来源文章