livephoto 4K 全链路技术实践

2025年10月16日晚上19:26分，在 OPPO Find X9 的新机发布会上，主持人抛出了一个让人惊喜的新机卖点：小红书成为国内首家支持 4K livephoto 分享能力的社区平台，Find X9 上相册直出的 4k 超高清 livephoto，可以直接在小红书上进行发布和消费。从此，livephoto 进入了 4K 时代。

我们为什么要做 livephoto 4k？过程中我们遇到了哪些技术难点? 来听听我们的故事吧。

01

我们为什么要支持 livephoto 4k 的消费能力

数据说明趋势

在发布端： 随着各手机厂商的相机对 livephoto 的支持，livephoto 的每日发布量（文件维度）稳步上涨。

而在消费端，随着手机配置的逐年提升，手机屏幕的分辨率正在越来越大。

数据告诉我们，从用户生产消费基础条件和创作者心智，超高清 livephoto 的消费支持都是正确的方向。再加上与 oppo 合作的契机，打造小红书高画质 livephoto 的用户心智。

02

为了支持更高清的 livephoto，我们需要突破哪些技术难点

一：文件体积增加，如何来平衡流畅度和清晰度

一张 4k 超清的 HDR livephoto 文件，相较于常规 1080p 的 livephoto，文件体积会增加 4-6 倍。文件体积和复杂度的增加，意味着用户在消费时，端侧需要加载和解析的信息量变大，下载速度/解析速度/手机功耗都会增加，从而导致用户流畅度体验的折损。

二：链路长，从生产到消费的每个环节都可能丢失清晰度

从发布到消费，需要经过 发布客户端-> 编辑客户端 -> 发布后端 -> 转码服务 -> 消费后端-> 播控服务-> 笔详客户端 -> 播放器 8个环节，每个环节都有复杂的处理逻辑，如果各个环节对不齐，都可以丢失掉创作者的原画清晰度。

03

我们是如何解决的

一：生产侧时间换空间，消费侧精细化档位调度

具体的解决思路是：

• 生产侧：通过编码参数优化，在保障还原用户相册画质的情况下，尽量降低文件的大小。代价是牺牲4K档位的一些时效性。

• 消费侧：通过精细的端云协同选档和预加载策略，平衡画质和流畅度。

生产转码-文件体积的魔法和平衡的艺术

如下两个 livephoto 视频，从肉眼上几乎看不出画质的差异，但是他们的体积相差了 4.15 倍。这就是媒体处理过程中的文件体积魔法和平衡的艺术。

文件体积的魔法和平衡的艺术：

多媒体编解码团队，提供了多种编码压缩算法，这些算法可以灵活地调整视频的压缩率，从而降低文件的大小。但是一味的追求压缩率，也会带来画质的损失和解码功耗的增加。如何在这3点之间找到平衡，找到三者的甜蜜点，是我们需要解决的问题。

我们的做法是:

1. 首先根据视频属性和编码目标，做离线算法评估，输出预设几组编码参数；

2. 应用这几组编码参数，通过多媒体 VA 平台，对同一组离线数据集进行编码处理，输出离线数据集；

3. 通过对比不同编码参数的客观数据（码率，编码耗时，mvmaf，psnr）,主观画质评测和解码功耗数据，敲定最优的编码参数集合。

转码参数优化流程

转码参数优化流程

通过上述体系的优化输出的转码策略，我们将一张包含丰富信息的 4k livephoto 的文件体积，控制在了原文件的 1/4。但是相较于普通的 1080p livephoto，文件体积还是增大了 1倍，如何去优化这部分文件体积带来的流畅度影响，就要交给实时的消费策略来实现了。

消费侧-端云协同的档位调度策略

超高清 livephoto 的消费，会增加端侧实时加载和渲染的耗时和功耗。而两个核心指标，会直接反映在播放流畅度和手机发热程度这样的用户体验上。不同场景下，流畅度与清晰度的优先级截然不同，如果采用单一的视频档位推送策略，要么会出现 “高清档在弱网或低配设备下频繁卡顿”的问题，要么会造成“标清档无法满足高端设备用户的画质需求”的浪费，难以兼顾各类用户的核心诉求。

为此，我们设计了一套端云协同的档位调度策略，我们的思考是：

• 云侧拥有灵活的策略配置和调整以及实验控制能力。

• 端侧拥有更实时的用户信号，包括用户当时所处的网络环境，手机的屏幕信息/功耗信息等。

端云协同的档位调度策略，可以充分发挥各端的优势，从而达到最优的用户体验。

实况视频端云协同策略架构

服务端内容消费属性和不同的消费场景，下发不同的档位信息和档位选择建议，这里包括：

• 基础的档位原信息：视频码流，视频链接

• 档位预加载信息：当前档位是否需要进行预加载

• 档位选择条件：不同网络环境下，档位的选择优先级以及选择条件

客户端根据实时信号，集合服务端的档位信息和选档条件，进行实际的档位预加载或实时档位选择

• 根据档位预加载参数，判断哪些档位可以进行提前的预加载，在用户实际消费前就已完成资源加载，提升流畅度。

• 根据档位选择条件以及当前用户手机实际情况，判断是否需要选择更高清的档位。

通过上述的端云协同选档体系，可以处理复杂的实际用户消费情况，在流畅度不受影响的情况下，让用户体验到最佳的画质。

二：链路长，那就一个节点一个节点的攻克

链路问题没有捷径，只能通过一个节点一个节点的梳理，通过合理的架构优化，来最大限度的还原作者的原始清晰度。

一张 live 图从发布到最终被用户消费到，需要经过 发布客户端-> 编辑客户端 -> 发布后端 -> 转码服务 -> 消费后端-> 播控服务-> 笔详客户端 -> 播放器 8个环节，我们逐一梳理了每个环节的逻辑细节，挖掘可能造成清晰度度损失的问题点，并逐一优化和解决，从而搭建起这条“清晰度还原之路”。

下图为 livephoto 4k 还原之路

发布端

发布客户端

在用户发布 livephoto 时，发布客户端会将封面和视频段分离成不同的文件，视频段无损上传到存储桶，从而保留了 livephoto 视频段的原始色彩信息和清晰度，确保了 4K livephoto 的无损发布。

发布后端

发布后端会将 livephoto 文件的原始信息，透传写入到视频媒资内，确保了基础媒资信息不丢失。

转码

转码侧，针对 4K livephoto 图，我们会应用多套的转码策略，输出多个清晰度档位。同时在 4K 档位中，保留视频原始的 HDR 信息。具体转码侧的优化，我们已经在上一章节详细介绍过，这里就不再赘述。

消费端

消费后端

消费后端对播控协议原文透传，不做二次加工，确保客户端拿到与服务端一致的调度信息，保证协议链路的完整性。

笔详客户端 & 播放器

解析播控协议，并将端侧实时信号（机型能力、网络质量、屏幕规格、瞬时功耗）与云端建议融合，输出最终的档位选择——这正是端云协同的另一端。播放器完成硬件解码、HDR 渲染与屏幕适配，把 4K 素材的画质在物理设备上尽可能还原地呈现给用户。

one more thing 屏幕看不到的细节，那就放大看

当前主流消费设备，屏幕分辨率还无法直接满足 4K 的渲染，为了让用户可以看到 4K 的画质细节，我们提供了放大看的能力，在屏幕无法完全渲染 4k 画质的场景下，用户也可以直接通过手动放大看的体验极致的 4K 细节。

04

最终效果

高清心智

由于超高清 livephoto 心智的建立，在2025年10月后 4k 实况图的发布量持续增长显著。

品牌效应

经过与 oppo 的合作，我们成功的打出了小红书 4K LIVE 无损分享的品牌。今年荣耀600系列发布时，在小红书上的 4K LIVE 无损分享，也作为了其产品的核心宣传点之一。

///

团队介绍

小红书多媒体技术团队：

我们是小红书多媒体技术部，一支深耕多媒体算法与工程的技术团队，业务覆盖点播（追求「零首帧、高画质、无卡顿」的沉浸观看）、直播（从超低延迟连麦到大型赛事保障）、实时音视频 RTC（攻克弱网对抗与音质优化的前沿阵地）以及图片（从极致压缩到语义级增强，让每张图片成为可被理解、可交互的视觉资产），是公司海量图片、点播、直播与实时音视频业务背后的核心引擎力量。

无论你是27届毕业的校招生，还是已经在一线摸爬滚打的技术人，我们正在招 AI全栈/PE 工程师，等的就是这样的你，加入我们，你会获得：

• 核心业务阵地—— 你写的每一行代码，直接影响亿万用户的日常体验

• 完整的系统级视野—— 从算法到网络、从端到云、从传统信号处理到 AI 生成，全链路一站式练满

• AI 加持下的角色重构—— 一个人端到端拉通前后端 / 客户端 / 测试 / 部署，全栈 / PE 工程师最好的练兵场

• AI-Native 的工作方式—— 不纠结“用不用 AI”，只琢磨“如何让 AI 深度重构工作方式”

投递方式:

扫描二维码一键投递，也可联系小红书同学获取内推码，网申时填写即可获得简历优先筛选特权。

社招简历投递

校招简历投递