告别盲选！CostBench 衡量云数仓“每美元性能”
Tom Schreiber an约 4 分钟本文字数：2195；估计阅读时间：6分钟
作者：Tom Schreiber and Lionel Palacin
TL;DR
CostBench 是一个衡量云数据仓库成本效益的开放基准，它关注的是每美元性能，而不仅仅是速度。
它帮助团队为实时分析工作负载选择最具性价比的系统。
大多数基准测试（benchmark）只会告诉你查询运行的速度。这固然有用，但并不全面。
在云数据平台中，速度和成本密不可分。
如果数据仓库 A 比数据仓库 B 快，那么 A 在性能榜单上表现更佳。但如果 A 的运行成本是 B 的三倍，这种比较就完全不同了。你或许可以用相同的预算在 B 上配置更大的规模，获得更强的计算能力，从而让 B 以更低的总体成本超越 A 的性能。
这种比较之所以困难，是因为每个平台的成本计量方式（如 credits、DBUs、slot-seconds、compute units、RPUs）都各不相同。
尽管单位名称各异，但其核心问题是相同的：
系统完成工作负载需要多少计算资源？这些计算资源的成本又是多少？
CostBench 直接回答了这个问题。它还能揭示成本效益的瓶颈所在：是在数据摄取（ingest）阶段、数据就绪（query-ready）准备阶段，还是在服务读取（serving reads）阶段。
智能代理分析（Agentic analytics）对数据库的每一层都带来了更大压力。
新数据源源不断：包括事件、事务、日志、跟踪（traces）、用户活动、欺诈信号和运行状态。与此同时，用户和智能代理都期望能对最新数据快速获得响应。
如果数据库性能低下，智能代理的响应速度也会受影响。如果数据库成本高昂，团队便会开始限制智能代理的能力，例如减少重试次数、缩小数据集、提供更少的上下文信息，甚至不得不使用陈旧数据。
在 AI 时代，快速且低成本的特性必须覆盖整个分析路径：从持续数据摄取、查询就绪准备到数据读取。
读取侧压力（Read-side pressure） 源于查询量。一个简单的用户提问就能触发大量 SQL 查询：包括模式探索、验证、重试、精细化、深入分析和后续操作。每一次额外的查询都会消耗计算资源。在智能代理（agentic）规模下，查询量会直接转化为巨大的成本压力。
写入侧压力源于实时数据的新鲜度：新的数据必须持续不断地被摄取、压缩和组织，从而使查询能够跳过更多数据。这项工作在第一个查询运行之前就会消耗计算资源，并且决定了这些查询后续会消耗多少计算资源。
CostBench 将这种压力转化为一个端到端（full-path）的成本-性能衡量标准，包含两个可量化维度：
• 读取侧成本-性能 ：每投入一美元能获得多少查询性能。
• 写入侧成本-性能 ：每投入一美元能多么高效地将新鲜摄取的数据转化为可供查询的数据。
综合来看，这两个维度有助于回答在选择平台时至关重要的问题：
针对实时分析工作负载，哪个系统能以每美元投入提供最佳性能？
CostBench 的首个版本侧重于读取侧性能，即对已加载数据执行分析查询。我们还开始衡量写入侧性能，率先以 Snowflake 作为 ClickHouse 的对比基准。未来将覆盖更广泛的写入侧场景。
这为 CostBench 确立了一个清晰的路线图：旨在揭示实时成本-性能在整个分析流程中是否都具备一致性，从准备新鲜数据以供查询，到高效地执行查询。
CostBench 的首个版本将读取侧性能转化为可在主要云数据仓库之间进行比较的每美元性能结果。
我们使用基于真实匿名数据集的 43 个生产级分析查询，对 ClickHouse Cloud、Snowflake、Databricks、BigQuery 和 Redshift 进行了比较。随后，我们应用了 各供应商实际的计算计费模型，以便在同一成本-性能维度上评估每个系统：无论其速度快慢、成本高低。
随着数据规模的扩展，ClickHouse Cloud 是唯一能始终保持在“快速且低成本”区域的系统。其最近的竞争对手在成本-性能方面表现要差 23 倍。
这正是 CostBench 的价值所在：它将特定于供应商的运行时表现和计费模型转化为可供团队在选择平台时参考的实用成果。
该基准测试公开了工作负载、脚本、配置、定价假设、原始 JSON 结果以及方法论。如果某个结果出乎意料，你可以检查其生成设置。
你可以在 ClickHouse 基准测试中心 探索结果，检查原始数据，或者克隆 CostBench 仓库 并亲自运行该基准测试。
成本效益不应是一个黑箱。CostBench 让其变得透明可查。
/END/
征稿启示
面向社区长期正文，文章内容包括但不限于关于 ClickHouse 的技术研究、项目实践和创新做法等。建议行文风格干货输出&图文并茂。质量合格的文章将会发布在本公众号，优秀者也有机会推荐到 ClickHouse 官网。请将文章稿件的 WORD 版本发邮件至：[email protected]
关于我们
ClickHouse 是全球速度最快，资源利用最高效的在线分析列式数据库管理系统。现在，ClickHouse可以作为一个安全可扩展的无服务器应用在云中提供服务。通过云服务，ClickHouse使得任何人都能轻松获取高效的实时分析处理能力。2023年，ClickHouse正式进入中国，请访问clickhouse.com以获取更多信息。