小红书技术REDtech

【世界杯专题03】让 4K 抵达每一块屏幕:世界杯音画质保障实战

Image

导语

禁区内的一次争抢,精彩往往就在一瞬间。清晰连贯的画面与富有层次的赛场声音,共同带来身临其境的观赛体验:观众能看清球员的跑位与拼抢,捕捉进球后的表情,也能听到现场的欢呼。高画质的难点在于增强草坪细节时抑制纹理忽清忽糊的“呼吸效应”,处理高速运动时减少画面重影,增强色彩时避免球衣颜色与肤色失真,还要满足直播的实时约束,适配不同终端的播放能力。本文结合世界杯赛事保障实践,围绕画面清晰度、运动连贯性与声音层次,介绍超分、插帧、色彩增强和去锯齿的画质增强方法,以及编码转码、终端播放与空间音频的优化方案。

01

画质增强:看清细节,保持运动流畅

世界杯内容覆盖实时直播、全场回放与集锦。直播要实时增强画质,回放要及时交付高清内容,两条链路的处理约束不同。

直播间峰值并发达到日常的百倍,4K 高帧率内容对传输容量与播放稳定性提出更高要求。低延迟又将增强与编码的处理窗口压到数百毫秒,细节修复、运动连贯与色彩调整都要在限时内完成。

回放要满足深夜赛事的次日补看需求,多场比赛集中产出还会加重排队,要求离线模型兼顾细节修复与处理吞吐。

准备周期短,算法调优、工程适配与档位设计并行推进。两条链路共用画质算法底座:直播采用轻量实时分支,回放采用计算量更大的离线模型。

Image

图1:世界杯音画质端到端全链路

去锯齿:修复边线锯齿与闪烁

部分转播画面的白线有阶梯锯齿,并随镜头移动出现边缘闪烁。锐化可能放大瑕疵,降噪难以修复跨帧变化。我们用时序模型参考历史帧的运动趋势,改善锯齿与闪烁。配对数据难以获取,我们用多种低质量去锯齿方法处理干净素材,模拟瑕疵,构造配对样本。通过场景检测区分演播厅与比赛实况,按需启用算法。

Image

图 2:简单行复制补齐缺失扫描行时,斜线出现阶梯锯齿的示意

超分:修复细节,抑制纹理闪烁

我们在同一模型中融合去噪、去模糊与超分,减少放大后的画面瑕疵。训练时组合编码瑕疵、噪声、模糊和下采样,调整强度与顺序,并增加高质量赛事素材,适应草坪、观众席等密集纹理。单帧增强可能让草坪纹理忽清忽糊。时序模型参考当前帧与历史帧的运动信息,适度减弱草坪增强并平滑过渡,抑制“呼吸效应”。我们联动调整前处理与编码器的增强强度,避免观众席过度增强;人物特写则平衡去噪与皮肤质感。

Image

图 3:去锯齿+超分前后的局部纹理与轮廓细节对比

插帧:保持运动流畅

插帧处理长传、急停变向和镜头横摇时,要保持运动连贯并减少拖影;切镜时需抑制重影。台标与记分牌则需避免被误判为运动而抖动、变形。我们用数十小时高帧率足球数据微调模型,对小幅运动增加稳定约束,单独监督台标与记分牌,对高频纹理施加双重损失。推理时对异常中间帧兜底,并抑制切镜重影。

Image

图 4:插帧处理流程

色彩增强:分区调整明暗,保护球衣与肤色

不同球场的光照、色温各异。逆光看台与明亮草坪同框时,统一提亮容易丢失亮部细节,整体提高饱和度又可能让球衣溢色、肤色失真,因此需按区域调整明暗与色彩。我们用内容感知型局部色调映射调整明暗,对草坪选择性增绿,对高饱和球衣做色域压缩,以软掩膜保护人脸,并抑制暗部亮度闪烁。回放采用 SDR+,调整 SDR 画面的亮度、对比度与饱和度,同时保护肤色。

Image

图 5:色彩增强处理流程

画质效果验证

Image

图 6:文字、球场白线与人像的局部画质对比

02

码控与转码:兼顾画质与处理效率

算法增强后的细节,还需要在编码压缩中保留下来。我们以主观画质标定各档位参数,联动调整模型与编码器,并分别适配直播的实时处理和回放的上线时效。

码率控制:按内容分配码率,限制峰值

项目初始的恒定码率(CBR)配置难以适应场景变化:简单画面消耗较多带宽,复杂画面又容易丢失细节。我们改用可变码率(VBR),通过 CRF 控制质量,再用 VBV 的最大码率和缓冲容量限制输出。

CRF 根据内容复杂度调整量化强度,让简单帧减少数据量、复杂帧获得更多码率;同时设置量化强度上限,避免过度压缩。VBV 约束缓冲窗口内的数据量,降低码率突增带来的传输与播放压力。前处理用锐化补偿高频量化损失,感兴趣区域(ROI)策略向运动员所在区域分配更多码率,自适应量化(AQ)则调整帧内不同纹理区域的量化强度。在主观画质对齐的条件下,这些联合优化使直播码率降低约 15%。

回放分两阶段转码:赛后先用快速配置生成可播放档位,再在观看高峰前用高压缩率配置重新转码,兼顾上线时效与后续带宽消耗。在画质持平的条件下,4K 增强档码率降低 13.3%。

处理架构:根据计算瓶颈选择并行方式

直播将单帧切块,交给多张 GPU 并行推理,并与插帧异步衔接,将超分额外延迟控制在 1—2帧。增强与编码链路再通过异步算子、编码器缓冲调优、GPU 调度和弹性伸缩,将转码处理延迟控制在数百毫秒。主备云环境对齐编码参数、码率策略与前处理效果,减少切换时的画质波动。

回放侧的重点是时效:可见性档编码复杂度低,切片、传输、拼接这些固定开销占了 53.4%,分布式的编码收益盖不住这部分开销。所以我们在这个档位上主动去掉分布式,改成单进程转码,把重心放到单机 CPU 调度上:反向超线程把编码线程数控制在物理核数以内,线程数取吞吐与资源都稳定的点。结果可见性档转码速度提升约 79.4%,笔记可见时间缩短 34.6%。

Image

图 7:可见性档单机转码链路优化

超高清档位完全反过来。它的 GPU 算力消耗极重,固定开销占比很低,分布式并行收益明显。单机多卡集中处理同一个任务做前处理,速度提升约 2.3倍;提高分片上限,以更高并行度压缩端到端耗时。多帧率的分布式正确性用逻辑分片解决:按时间范围划分区间并保留完整解码上下文,避免物理切割破坏帧间依赖;统一用恒定帧率和固定时长 GOP,让不同帧率档位的关键帧落在同一时间点,再按片源真实时长拼接,避免误差累积造成音画不同步。这套对齐把 ABR 切档做到 100% 对齐。最终超高清档位的增强转码速度提升57倍以上。

Image

图 8:超高清档多卡并行与分布式转码

03

多端适配:让高清画面稳定呈现

画质做出来了,还得让用户真的消费到。直播侧靠一套以下发调度服务为中心的系统,把 4K 在内的多档画质按页面、机型、机位分开下发,规则动态生效、容灾配置可热替换。稳定性是这一切的前提。直播链路每一层都做了主备冗余,转码一主一热备一冷备,CDN 多厂商并行分发、按分量比互备,赛前按极端流量场景准备了分级降级预案并做了多轮演练。

Image

图 9:直播档位下发系统

回放侧先把货备齐,通过超分增强让全部回放内容都能产出 4K 档位,再按端属性下发每端能消费的最高档位。端侧有三块硬骨头,投屏、web和鸿蒙。投屏的发端收端都依赖第三方投屏 SDK,更新慢、不支持 4K 探测,我们在 SDK 链路之外前置埋入 4K 下发与消费通道,不用发版就绕过了它的检测,加上 backup 兜底后投屏成功率不降反升,整体提高 16.82%。Web 端的卡顿来自浏览器性能瓶颈,我们把分片下载改成流式读取,百秒渲染卡顿降了 84%。

Image

Image

图 10:Web 端流式读取改造前后

04

音质:让赛场声音更有临场感

看台的欢呼、击球声和裁判哨声,也是观赛体验的一部分。此次回放片源主要包含解说与赛场环境声,只有立体声输入,没有独立的沉浸式音轨。我们通过自研上变换(Upmix)链路拆解、重组两个声道,构建具有高度和纵深层次的声场,以杜比全景声(Dolby Atmos)输出,让声音更有空间感。

中置与扩散场:听清解说,感受赛场氛围

解说要听得清楚,环境声要有包围感。我们将解说定位至中置声道,不参与扩散,保持人声位置稳定;看台欢呼、击球声与哨声则向水平和高度方向展开。分开处理后,可以扩大声场,同时减少环境声对解说清晰度的影响。

声场的宽度、纵深与高度分别调节。通过调整低频、高频在中置与左右声道间的能量配比,控制中置声像的宽度;通过梳状滤波与前后平衡因子,控制环绕声的纵深;高度层设置分频点,再调节高低频在不同声层之间的回渗比例,让上下声层自然融合。通过这些参数,分别调整人声位置和环境声的空间层次。

下混与渲染:适配耳机和外放

沉浸式音轨还需要适配普通耳机和手机外放。我们在 60—100Hz 范围内设置低频效果声道(LFE)的分频点,并将部分低频分配回中置声道,减少下混时的低频损失。下发服务按终端渲染能力选择音轨:具备相应能力的设备播放全景声音轨,其余设备回退到立体声。

耳机通过双耳渲染呈现空间感,支持头部追踪的适配组合,还能在头部转动时保持声场位置稳定。手机外放使用扬声器虚拟化,空间效果受扬声器数量与布局限制。

Image

图 11:杜比全景声生产技术链路

///

招聘

无论你是27届毕业的校招生,还是已经在一线摸爬滚打的技术人,我们正在招 AI 全栈 / PE 工程师和多媒体方向算法,等的就是这样的你,加入我们,你会获得:

  • 核心业务阵地—— 你写的每一行代码,直接影响亿万用户的日常体验

  • 完整的系统级视野—— 从图像到网络、从端到云、从传统信号处理到 AI 生成,全链路一站式练满

  • AI 加持下的角色重构 —— 一个人端到端拉通前后端 / 客户端 / 测试 / 部署,全栈 / PE 工程师最好的练兵场

  • 和顶尖同行的成长加速度—— 你的下一个 mentor,可能就是你论文引用过的那篇作者

  • AI-Native 的工作方式 —— 不纠结“用不用 AI”,只琢磨“如何让 AI 深度重构工作方式”

投递方式:

扫描下二维码一键投递,也可联系小红书同学获取内推码,网申时填写即可获得简历优先筛选特权。

校招简历投递

Image

社招简历投递

Image
Image

「世界杯」专题往期内容指路:

【世界杯专题01】体育直播全链路降延迟实践

【世界杯专题02】直播的三套技术底座,如何实现 3 周交付 40+ 需求、千万级 PCU 零事故