BANG：B站视频图像分析与处理引擎
蔡春磊&叶天晓约 13 分钟蔡春磊
bilibili多媒体技术部资深算法工程师叶天晓
bilibili多媒体技术部技术专家
为了给用户提供更好的视频观看体验，B站已研发出很多先进的视频图像分析与处理算法。在视频转码任务中，这些算法既可以改善视频画质，也可以促进转码效率的提升，从而实现更高清、更流畅的视频效果。研发的算法种类繁多，用途各异，同时B站不同业务对于算法的要求也各不相同。为了能够 对各种基本算法进行高效部署和管理，同时向各个业务方提供简单灵活且统一的调用接口 ，B站研发了一套功能强大的 视频图像分析与处理引擎——BANG （ B ilibili video/image A nalyzing and processi N g en G ine）。
B站视频图像分析与处理引擎
BANG 向下包罗各种视频图像分析与处理算法，向上提供即插即用的调用接口，从而为直播和点播转码等业务提供服务。目前， BANG 已应用到多项视频云转码业务中。比如，在 质量可控的点播优化转码系统 [1] 中，负责感兴趣区域（ROI）检测、传统视频前处理，以及 机器学习视觉无损前处理算法 [2] 的部署；在 S12、TI11 赛事直播转码业务中，负责 深度学习超分和增强算法 [3] 的部署。
针对直播和点播转码业务的特点，BANG对于算法部署执行的效率有极高的要求。BANG 引擎内部采用了 高效的多级流水线架构 ，同时引入了 帧内分块并行、多帧并行 等多种并行机制，使整个转码流程可以获取尽可能大的吞吐量。此外，为了 充分利用 GPU 资源 ，BANG提供了基于 CUDA 的核心算子，同时还封装了 TensorRT、TensorFlow 等深度学习模型推理库，从而让核心算法工作在最高效率。
对于业务方，BANG 提供了一套 统一且简洁的调用接口 ，可以方便快捷地集成到各种直播、点播的转码系统中，有效避免了重复开发。转码系统调用算法时，只需 传入配置 视频图像分析与处理逻辑的字符串。BANG 可以 自动管理基本算法，生成符合业务需求的视频处理流水线 。比如，在 S12 超分算法中，为了避免对三次元人脸过度处理而产生失真，业务方只需通过配置，调用 ROI 检测和人脸区域旁路处理，即可达到人脸保护的效果。下面我们对 BANG 进行更详细的介绍。
一种典型的视频处理和转码系统是采用单线程，对每一帧依次进行解码、分析、处理和编码操作。虽然这样实现起来很简单，但由于每一帧的处理周期是所有操作的时间之和，因此系统的吞吐量非常低。为了提高系统的吞吐量，我们采用了多级流水线架构。下图中的模型展示了多级流水线提高吞吐量的原理。
BANG 的多级流水线架构可以显著提高吞吐量
如图所示，BANG 为解码、分析和处理阶段分配了独立的缓冲队列，同时为分析和处理单独分配了线程。因此，分析、处理可以与编、解码并行执行。在该流水线架构下，视频转码系统按照如下步骤对每一帧进行处理：
-
解码器对码流进行解码。解出一帧放入解码队列后，继续解码下一帧。
-
视频分析线程从解码队列中读取解码帧，然后对视频内容进行分析，获取 ROI、视频质量等信息。分析之后将视频帧和结果送入分析队列。
-
视频处理线程从分析队列中读取视频帧及其内容分析结果，然后按照配置对视频图像进行处理。处理之后的图像放入处理队列。
-
编码器读取处理队列中的视频帧，进行编码输出。
由于输入、输出以及内部处理的缓冲队列由BANG维护，因此调用 BANG 的方法非常简单。业务方只需提供一个返回处理结果的回调函数，并将解码图像一帧一帧送给 BANG 即可。BANG 在收到解码图像后，会对视频帧进行异步处理。处理结果会通过回调函数返回给转码系统。
基于高效的多级流水线结构， BANG 既可以被方便快捷地集成，同时也能取得到非常高的吞吐量。比如，在 S12 4k 超分项目中，超分模型本身的推理速度为 75fps；而采用 BANG 的超分转码系统，端到端也能达到同样的速度。换句话说， 在转码业务中，BANG 几乎可以让处理算法发挥出百分之百的效率 。从上面的示意图可以发现，整个转码系统的吞吐量取决于解码、分析、处理和编码中最耗时的模块。因此，为了进一步提高吞吐量，需要对比较耗时的分析和处理算法进行加速优化。在 BANG 中，视频图像分析和处理算法大致分为两类——基于传统方法的算法和基于深度学习的算法。我们对这两类算法采用了不同的加速策略。
基于深度学习的算法一般是以一个网络模型的形式存在。通过标准的卷积、归一化等操作，此类算法对图像进行端到端的处理。算法逻辑由模型结构和模型参数隐式定义。对于基于深度学习的算法，BANG借助 TensorRT 深度学习推理库进行部署。TensorRT 是 Nvidia 推出的加速深度学习推理的工具集，主要包含模型优化工具和运行时推理库。在 Nvidia 系列显卡上，TensorRT可以有效加速模型的推理速度。
Nvidia 关于 TensorRT 的介绍
我们首先利用 TensorRT对各种深度学习模型进行离线优化，将模型转换成 32 位和 16 位混合精度的模型。然后， BANG 调用 TensorRT 推理接口，载入模型文件后，即可进行推理，对图像进行分析和处理操作。实践表明， 与TensorFlow 推理库相比，使用 TensorRT 优化和部署模型可以取得约 100% 的加速 。不过，TensorRT 还在发展过程中，有一些个性化的操作还不支持。因此，BANG中仍加入了 TensorFlow 推理库，以部署包含特殊操作的深度神经网络。最近，随着 TensorFlow 逐渐式微，PyTorch 不断完善，BANG后续还将加入 PyTorch 推理库，以获得更大的兼容性。此外，考虑到模型推理前后往往涉及数据的基本预处理和后处理，比如像素拷贝、图像缩放、图像块融合等，BANG 也利用 CUDA 对这些通用的基本操作进行了 GPU 加速 。
虽然深度学习方法具有优异的性能，但其依赖于 GPU 资源，计算量非常大。因此这类方法主要适用于少数热门直播房间的转码业务。对于B站每天需要处理的数十万点播转码任务， 目前还无法替代传统算法 。传统算法一般由C/C++ 实现后运行在 CPU 上。SIMD 模式可以在一个指令周期内同时处理多个数据，可以显著加速密集的像素运算
对基础核心算法进行加速，可以减少视频分析和处理的执行时间，提高整个转码系统的吞吐量。
视频图像的数据量非常巨大。因此，对于需要处理所有像素的去噪、增强、超分等操作而言，计算压力极大。有时即使对算法进行 GPU、SIMD 加速之后，单线程处理整张图依然会耗费很多时间，从而影响系统的吞吐量。因此，对于优化后速度低于 60fps的算法，仅仅使用多级流水线架构仍无法满足 1080p 增强或 4k 60fps 超分直播这类任务的实时要求。
为了进一步提高转码系统的吞吐量，我们还需要继续提高图像处理环节的运行速度。 在多级流水线架构基础之上，我们引入了子线程机制 。在处理线程中开辟多个子线程，让子线程对单帧进行分块并行处理，或者对多帧并行处理。下图展示了两种并行机制进一步提高系统吞吐量的原理。在多级流水线架构中引入多线程机制可以进一步提高系统吞吐量
上图展示了两种不同的对视频图像处理环节进行多线程加速的方案。第一种是将图像分成多个子块，为每个图像块分配一个处理线程。图像块之间可以并行处理。这种并行机制适合去噪、增强等不需要全局语义信息的像素级处理，可以分块处理后再拼接图像。该方案能进一步降低系统延迟，适用于直播场景。
另一种并行机制是同时并行处理多帧。虽然是由单个线程处理整张图像，但同一时间处理多帧也能提高吞吐量。这种机制适合所有处理算法，尤其是需要图像全局信息的算法，比如图像填补修复等。不过相比于单帧分块机制，这种机制的延迟会稍大一些，更加适用于点播场景。 使用并行策略之后，视频图像处理的时间可以成倍减少，从而能显著提高系统的吞吐量 。分块并行和多帧并行的特点可以总结为下表。两种并行机制的吞吐量一样，但是系统延迟和适用范围有所不用
当然，在计算资源充足的条件下，上述两种并行机制可以同时启用。此时， BANG 可以同时处理多帧，每一帧内还并行处理多个分块。该模式可以进一步降低处理阶段的运行时间，使系统达到最大的吞吐量。
大幅提高处理阶段的运行效率后，视频图像分析模块往往会成为性能瓶颈。与处理算法不同，视频图像分析算法一般对图像的局部信息并不敏感。因此，可以将原图降采样后再送入分析算法。这样可以显著降低分析的复杂度，但仍能得到与直接使用原图相近的结果。在分析模块中，我们也引入了多帧并行机制，以进一步提升系统吞吐量。
通过引入多线程机制，BANG 可以充分利用计算资源，使整个转码系统的吞吐量成倍增长。比如，在使用深度学习增强算法的 KPL 赛事直播中，没有开启多线程机制时，系统只能使用一张 GPU 显卡，吞吐量只有 45fps 左右。达不到 60fps 的实时要求。而当启动分块并行机制后，可以配置对每张图使用两张显卡 分块并行处理。此时，单帧处理时间会减少一半，整个转码系统的吞吐量能翻倍 达到90fps，远远超过 60fps 的实时要求。为了实现这个功能，我们采用工厂设计模式，将所有分析算法与处理算法放入到工厂类中进行管理。在收到配置信息之后，对流水线配置信息进行解析，然后实例化需要执行的基本算法，再装配到一个流水线类中，即可初始化一套具有特定功能的分析与处理流水线。下面来看几个具体的案例。
4.1 S12、TI11 赛事直播：
4k 超分 + ROI 人脸保护 + 硬件编码在这个直播转码任务中，系统需要对 1080p 60fps 的源视频进行超分，得到 4k 格式视频，再经过硬件编码器压缩后输出码流。那么转码系统就可以通过传入下面的参数配置字符串，来调用 BANG 实现上述超分功能。
BANG="process='dnn_sr S12':scale=2x2:output_cuda_device='0'"但是使用上述配置进行超分时，会发现处理后画面中人脸的区域可能会被过度增强，出现失真现象。这是由于这些模型是专门针对游戏画面进行优化的，对于非自然的游戏画面内容效果很好，但是对自然场景下的三次元内容效果欠佳。那么此时可以修改 BANG 的配置参数，使用 ROI 检测和画质保护功能。
BANG="analyze=roi:process='dnn_sr S12|-face bicubic':scale=2x2:output_cuda_device='0'"上述配置中首先使用 "analyze=roi" 在 BANG 中添加一条功能为 ROI 区域检测的图像分析流水线。那么在 BANG 对每一帧进行处理时就会调用检测算法，检测出视频中的人体、人脸、文字等人眼比较感兴趣的内容。"process='dnn_sr S12|-face bicubic'" 表示对整张图进行深度学习超分处理，同时对人脸区域进行简单的放大处理，最后将自然放大的人脸图像块融合回超分图像上，就可以达到对人脸区域的保护效果。下图展示了配置 ROI 人脸保护后，三次元人脸更加自然，同时游戏内容依然清晰。
深度学习超分和 ROI 保护配合使用
4.2 点播优化转码前处理：
传统/深度学习前处理 + 多帧并行我们在 对热门的点播视频进行优化转码 [1] 的时候，会投入额外的算力，引入一些前处理算法，去除视频画面中的视觉冗余信息，提高整个转码系统的编码性能。这些算法包括传统方法和 深度学习算法 [2] 两大类。和直播转码系统一样，这些算法也可以通过 BANG 集成到点播转码系统中。使用时只需要修改配置参数即可，比如使用 CPU 资源进行传统方法前处理，参数可以配置成：
BANG="process='vod_code_process':frame_threads=8"该配置表示使用点播转码前处理方法对视频进行消除冗余的处理，同时通过 "frame_threads=8" 配置 8 个帧处理线程，对解码帧进行帧并行处理。在要使用深度学习方法时，也只需要修改配置字符串即可。
此外，BANG 还可以单独工作在分析模式，此时只对视频图像进行分析，输出分析结果，而不进行图像处理。比如在上述 质量可控的点播优化转码系统中 [1] ，我们使用 BANG 对视频源文件进行 ROI 检测，并保存 ROI 区域信息，以供后续多次编码重复使用（同一个文件，不同分辨率和帧率的编码过程可以使用同一个 ROI 信息文件，因此只需要进行一次 ROI 检测）。使用下面的配置就可以对视频进行 ROI 检测，同时保存 ROI 信息到 'roi.json' 文件中。BANG="analyze=roi:analyze_file='roi.json'"4.3 KPL 赛事直播：
1080p 增强 + 帧内分块并行对于 KPL 比赛的增强，我们采用了一个更大规模的神经网络，该网络在单张 GPU 下的速度只有 45fps，为了达到 60fps 的实时转码速度，可以配置使用多线程，如下。
BANG="analyze=roi:process='dnn_enhance KPL|-face bicubic':block_threads=2:gpu_list='1,2'"对于 KPL 比赛视频的增强，我们同样开启了 ROI 保护，防止对人脸过度处理。处理算法调用的是深度学习增强方法，模型使用的是专门针对 KPL 优化的模型文件。同时我们通过 "block_threads=2" 配置 BANG 分配两个处理线程，对每帧进行分块并行处理，通过 "gpu_list" 指定系统编号为 "1" 的显卡处理上半部分，编号为 "2" 的显卡处理下半部分。
在使用这样的配置之后，KPL 增强直播转码即可稳定达到 60fps，为用户提供清晰且流畅的观赛体验。
这种基于字符串的配置方法，可以让多个业务方十分方便和灵活地调用 BANG， 为各自的转码系统提供个性化的视频图像分析和处理的功能，有效避免了重复开发，显著提高了业务迭代效率。
为了 高效部署和管理大量的视频图像分析和处理算法，同时为直播和点播转码业务方提供简单、一致且灵活的调用接口 ，我们开发了一套功能强大的 视频图像分析与处理引擎——BANG （ B ilibili video/image A nalyzing and processi N g en G ine）。直播和点播转码系统可以很方便地集成 BANG，然后通过 基于字符串的配置方法 ，灵活地定制符合各自业务需求的图像分析与处理流程。通过采用 多级流水线架构、分块并行、多帧并行、基础算法加速 等技术，BANG极大优化了系统的吞吐量，满足了业务中苛刻的速度要求。未来，我们还将继续完善 BANG，加入更丰富的基本算法，同时对算法进行更深入的优化，将 BANG 打造成更加强大的视频图像分析与处理引擎，为视频业务提供更大的帮助。
以上是今天的分享内容，如果你有什么想法或疑问，欢迎大家在留言区与我们互动，如果喜欢本期内容的话，请给我们点个赞吧！
往期参考文章：
[1] 画质可控的场景自适应转码系统 [2] 视觉无损的深度学习前处理算法 [3] 4k 75fps！实时超分算法助力S12赛事直播