小红书入选信通院“2024年云原生标杆案例”

等你加入的2025年01月16日约 4 分钟

为发掘并推广在云原生和应用现代化领域具有创新性、实用性和示范性的实践案例，为行业提供可借鉴的经验和模式，中国信息通信研究院（以下简称“信通院”）开展了“2024年度云原生与应用现代化标杆案例”评选活动，聚焦云原生、云原生安全、应用现代化三大板块。

本次评选共19个案例入围，覆盖互联网、金融、通信、医疗等多个领域。

“小红书大规模云原生混部和弹性实践”获评“云原生标杆案例—云原生应用实践”。

小红书早在 2013 年成立之初，便出于研发效能、迭代效率等考量因素坚定了云原生方向。截至目前，小红书的容器化（云原生化）率已经达到 90%以上，覆盖社区、搜索、推荐、广告等核心业务。

与此同时，随着小红书业务的高速发展，各类在、离线业务对计算资源的需求日益增长，我们观察到部分在线集群CPU利用率的水位却维持在较低水平。经过对业务和资源现状分析，发现：

在早期的资源使用上通常以满足业务需求为最高优先级，资源管理相对粗放。且在资源多样性、容量规划，在离线资源整合问题上相对滞后。引入云原生在资源隔离、统一调度和混部方面的能力，可以作为提升资源效能的有效技术手段。
业务流量日间、周中/周末潮汐现象明显，资源和应用缺乏弹性能力来应用流量潮汐，导致资源利用率平均水位不高。
在公司整体成本优化的大背景下，各业务线面临稳定性和资源效能的双重压力。混部作为一种涵盖云原生、系统软件的综合性工程，可以很好的解决稳定性和资源效能提升的矛盾，是一种全局视角下的最优效能提升方式。

通过对技术选型的深入分析，过去一年小红书云原生团队面向搜广推等核心业务场景，通过“资源合池” 、“统一调度” 、“系统软件优化”等多种方式，面向资源效能提升目标，落地了大规模云原生混部和弹性能力。技术创新点包括：

通过资源合池，业务混部，解决了独占资源池的机器碎片率高、机器利用率偏低、业务水位不高、资源池扩缩容过程复杂、效率低下等问题。
通过资源隔离、资源复用、干扰检测、冲突处理等技术手段完成统一调度体系落地，实现不同优先级的应用混合部署、降本增效，完善了资源视图、资源画像、服务级别超卖、Quota管理、负载感知调度、通用调度、异构资源调度等精细化调度能力。实现基于不同的调度需求，为在线服务提供强保障的资源交付能力、差异化的 QoS 保障能力，为离线服务提供最小资源需求的保障能力和极致的弹性能力。

统一调度、统一资源管理架构

构建了公司级弹性容器资源池，支持按需弹性、按需分配，推广全局应用弹性HPA（Horizontal Pod Autoscaling）和资源弹性CA（Cluster Autoscaling）能力，降低业务方低效稳定性buffer资源持有成本。在全局成本最优的前提下，完善了弹性池的结算机制、稳定性、使用体验、调度策略等产品化能力，推广针对独占资源池的弹性代运营模式，让业务拿收益。

中心化应用弹性HPA架构

中心化资源弹性CA架构

专注解决操作系统底层隐患，最大限度避免混部资源形态下不可预测干扰引发的业务稳定性问题。为了让业务更加稳定高效运行，优化并推动了公司OS统一，辅助混部能力和调优手段的标准化。面对传统内核问题修复困难，重启难度大，效率低的问题，投入建设内核hotfix和内核可观测、无现场问题定位、内核定制能力。并针对云底层黑盒干扰，性能差异明显，抖动多发等问题，全面推进“大node 小pod”策略，减少了云底层不可见干扰因素。通过推进小红书自有操作系统RedOS在公司各业务线适配落地，来解决业务夯机，性能抖动，磁盘打满等一系列混部场景下的稳定性问题，截止目前RedOS覆盖率达到40%以上。

小红书系统软件业务视图

混部和弹性能力覆盖小红书核心的搜索、推荐、广告、社区、电商业务，混部规模占小红书全局资源规模的35%以上，为离线业务提供混部离线算力天均数千万核时。完善了HPA、CA弹性能力，支持搜索、广告、推荐和交易等核心业务接入弹性体系，改变资源模式从「固定保有」向「固定保有+弹性」转变，帮助业务降低了约30%的成本。

未来，小红书云原生团队将面向混合云资源新架构，继续完善效能提升平台化、产品化能力，完成在离线统一调度、统一弹性体系化建设，并结合小红书混合资源管理能力升级，推动Finops实践落地。