CubeSandbox v0.8.0 发布:跨机流动再进化,调度可定制,运行可观测
在 v0.7.0 中,我们让沙箱跨机流动:基于 S3vol 后端,沙箱可以在 A 节点暂停、B 节点恢复;组件多版本共存让升级不再打断存量资产。
但当集群规模继续扩大、真正逼近生产时,更深层的问题会浮出。例如,跨机暂停恢复依赖 S3vol 后端,性能与稳定性仍有提升空间;调度策略为内置实现,装箱率和碎片率却没法按业务定制,策略调整后也缺乏验证手段;沙箱跑起来之后,指标和日志散落在各节点,排查问题需要逐台登录主机;沙箱内的服务崩了,只能靠上层平台自己做心跳拉起……
CubeSandbox在今天正式发布的 v0.8.0 里,对这些方向逐一作出回应:存储后端新增 JuiceFS,调度策略支持插件化定制,运行状态支持统一采集,异常恢复交还给沙箱自身;同时补齐了沙箱间通信能力,E2B 兼容性进一步增强。这一版共 128 个 PR、来自 46 位贡献者,包含 8 项核心特性以及大量功能增强与问题修复。
1、JuiceFS 存储后端(预览版)
此前,模板分发依赖 CubeMaster 向各节点推送制品,跨机恢复与跨机快照启动依赖 S3vol 后端。v0.8.0 新增基于 JuiceFS 存储后端,在延续跨机暂停恢复、从快照跨机启动等能力的基础上,带来两方面提升:一是模板支持跨节点共享,无需再逐节点分发;二是跨机暂停恢复的性能与稳定性进一步优化、方案更加成熟。元数据引擎支持 Redis、MySQL、TiKV 等多种选择;对象存储支持 MinIO、腾讯云 COS 等。
模板跨节点共享意味着制品无需再逐节点分发;对于已经部署 JuiceFS 的团队,也可以直接复用现有基础设施。该能力当前为预览版。
2、可扩展的调度插件系统与调度质量评估框架
随着集群规模扩大,调度策略往往需要结合业务特点进行定制。v0.8.0 支持三种方式自定义沙箱调度策略:内置插件、CEL 表达式、外部 gRPC 插件。 前两者适合实现较简单的节点选择规则;外部插件则将调度决策完整交给外部服务,集群拓扑、租户画像等信息都可以参与决策,集群的调度行为因此可以灵活、动态地调整。
配套新增的调度质量评估框架解决的是另一个问题:策略调整后的效果,如何在上线前得到验证。框架通过模拟集群拓扑、负载,在开发阶段即可衡量某种调度策略的装箱率、碎片、羊群度、调度延迟等指标,从而提高调度策略的开发效率。
3、沙箱指标与日志采集
沙箱进入生产环境后,缺少统一的指标与日志是问题排查的主要障碍。v0.8.0 支持采集沙箱资源指标与日志,提供默认看板配置,可直接在 Prometheus、Grafana 中查看;同时支持灵活对接用户已有的监控与日志运维系统,为生产化提供统一的运行监测与问题排查手段。
4、沙箱重启策略
在此前的使用中,沙箱内的服务发生故障时,沙箱实例本身仍在运行,上层平台需要自行实现故障检测与拉起逻辑。v0.8.0 支持为沙箱设置重启策略,当沙箱内的服务故障时,自动在同一节点上重启沙箱,将这一环节交还给沙箱基础设施自身。
5、FS-only 快照
完整快照同时保存内存状态与文件系统,但不少场景只需要文件系统:例如将配置完成的运行环境固化下来,再基于它批量冷启动新的沙箱,此时内存状态无需保留。v0.8.0 支持仅对沙箱文件系统进行快照(FS-only),降低快照存储成本;用户可以通过 FS-only 快照冷启动新的沙箱。
6、沙箱间端口映射互访
在多 Agent 协作场景中,沙箱之间经常需要直接通信。v0.8.0 支持沙箱之间通过母机端口映射(Port-Mapping)相互访问:这是一种 TCP 四层通信,任何基于 TCP 协议的服务都可以通过这种方式实现,不再局限于 CubeProxy 所支持的 HTTP/HTTPS/gRPC。同母机的沙箱之间,通过 hairpin 方式同样支持这种通信。
自此,一个沙箱访问另一个沙箱有两种方式可选:需要七层转发时使用 CubeProxy,需要承载任意 TCP 服务时使用端口映射。两种方式均支持同节点与跨节点的沙箱间访问。
7、Volume 框架增强:支持传递用户私有数据
沙箱与外部存储交互时,鉴权、分桶等业务逻辑往往需要用户身份信息。v0.8.0 的 Volume 框架支持传递用户私有数据,可用于实现鉴权、分桶等业务逻辑。
8、E2B SDK 兼容性进一步增强
v0.8.0 新增支持 E2B 的 /v2/sandboxes 与/v2/sandboxes/{id}/connect两个接口,使用 E2B SDK 2.51.0 及以上版本的用户可以直接创建和连接沙箱,无需再做适配层。此外,Python / Node / Go 三种语言的 SDK 同步新增了 E2B 兼容的 Sandbox.fork 与 Sandbox.is_running 能力。
兼容性详情见:https://cubesandbox.com/guide/e2b-compatibility
其他值得一提的特性
◆ 模板级沙箱 QoS。 可为特定模板创建的沙箱设置网络带宽、网络包速率、磁盘吞吐、IOPS 上限,避免单个沙箱占用宿主机全部资源、影响同机其他沙箱。
◆ 节点超卖配置。 支持 CLI 和 Web 两种方式设置;新增节点侧常驻进程 ops-agent,承接 CubeOps 下发的配置指令并修改 Cubelet 配置文件。
◆ 性能持续提升。 vsock 启用 VIRTIO_RING_F_EVENT_IDX,减少 guest 侧不必要的中断,双向吞吐从约 5.7 Gbps 提升至约 9.3 Gbps;解决 AMD 等 CPU 上资源采集读取 cgroup 导致并发创建耗时升高的问题;精简 ARM 沙箱快照恢复的 ioctl 数量;guest 内核日志统一重定向至 virtio-console,降低冷启动开销。
◆ 部署与运维。 K8s 部署支持私有 CA 镜像仓库,在 Helm 中配置 trustedCACerts 即可正常拉取镜像;控制面原生支持 Redis Cluster;DNS 解析流程迁移至控制面,沙箱可直接使用 K8s 集群 DNS;计算节点组件启动提速。
◆ 模板与存储。 快照链优化:同节点派生快照共用父快照、通过共享内存优化写流程、使用快照时自动预热;模板可指定沙箱以哪个用户(UID 或用户名)运行;制品分发并发数可配置。
◆ 高频问题、稳定性问题等 bug 修复。 v0.8.0 集中处理了超过 40 个生产环境里出现频率较高的问题:沙箱日志过多导致 panic、卷激活与删除并发时 panic 毒化锁、gRPC 连接池并发关闭偶发 panic、创建失败时 shim 泄漏、多 CLM 实例下 auto-pause 失灵等(详情可参考Changelog完整内容)。
Coming Soon……
v0.8.0 之后,Cube 计划是在今年内发布 v1.0.0(GA),大致的规划方向是:
◆ 功能完整:完整兼容 E2B API,多语言 SDK 能力一致;
◆ 稳定性:面向生产的高可用,沙箱异常自动恢复,全部组件高可用;
◆ 可观测性:日志、指标、事件开源对接,关键链路全程可观测;
◆ 性能:核心操作持续提速,跨机能力接近本机。
敬请期待!欢迎大家体验或升级到全新的 v0.8.0,也欢迎给 Cube 提 PR 或 Issue,参与 Roadmap 设计讨论,一起推动 Cube Sandbox 的演进。
完整Changelog:https://github.com/TencentCloud/CubeSandbox/blob/master/docs/zh/changelog/v0.8.0.md
Cube Sandbox 开源仓库地址:https://github.com/TencentCloud/CubeSandbox
Cube Sandbox 是腾讯云开源的一款基于 RustVMM 与 KVM 构建的高性能、开箱即用的安全沙箱服务。它既支持单机部署,也能方便地扩展到多机集群。对外兼容 E2B SDK,可在 60ms 内创建具备完整服务能力的硬件隔离沙箱,并将内存开销控制在 5MB 以内。