大数据已死发表四年后，作者回来对答案了
alitrack约 5 分钟2023 年 2 月，Jordan Tigani 发了一篇后来被反复引用的文章：大数据已死。他是 BigQuery 的创始工程师，在那篇文里说，绝大多数公司的数据根本没那么大，行业被「买分布式系统抗数据爆炸」的叙事带偏了十年。
三年八个月过去，2026 年 10 月 28 日，他本人发了一篇续篇，开篇第一句就是「四年前我在 Big Data is Dead 里说过，大数据和普通数据的分界线一直在移动」。这次他带了基准测试来对答案。
对得怎么样？逐条看。
● ● ●
一、当年说了什么
先把原论点摆齐，不然没法判卷。那篇文章的证据来自 Tigani 在 BigQuery 十年的一手观察，核心数字几个：
重度客户的数据存储中位数不到 100 GB。年消费超过 1000 美元的客户里，90% 的查询处理的数据不到 100 MB。数据放满一周后，被查询的概率比最新一天低 20 倍。他见过的最大零售商客户，从本地 100 TB 搬上云后存储涨到 30 PB，涨了 300 倍，但计算需求几乎没变。
一句话：存储在涨，计算没涨，而单机硬件一年比一年猛。分布式系统解决的是一个大多数人没有的问题。
文末他给了个自检清单，五连问：你真有那么多数据吗？真要一次用那么多吗？真放不进一台机器吗？不是囤积癖吗？存汇总表不行吗？答到任何一个「否」，你就不需要大数据架构。
● ● ●
二、说中的部分
最硬的验证来自查询日志。 Fivetran 的 CEO George Fraser 后来专门去翻了 Snowflake 和 Redshift 公开的真实查询样本，结论是两家平台的中位查询扫描量都是 64 MB，99% 的查询处理数据不到 10 GB。这和 Tigani 当年在 BigQuery 看到的数字跨厂商一致。你的 iPhone 理论上跑得动中位数的那个查询。
赢家是 DuckDB。 Stack Overflow 开发者调查里，它的使用率从 2024 年的 1.4% 涨到 2025 年的 3.3%，冲到第四名，离 SQLite 只差 0.2 个点。Python 包在 PyPI 的月下载量接近 2500 万，20 多家财富 100 强在用。单机引擎能吃到这个曲线，前提是绝大多数负载单机真跑得动。
Hadoop 退场了。 Cloudera 6.3 停止维护，Hadoop 老 committer Arun Murthy 亲自写了篇《Hadoop is Dead. Long live Hadoop》给它收尾。企业向云平台迁移成了咨询公司的标准业务。
最狠的一刀来自 DuckDB 团队自己。 2025 年 5 月他们发了篇《The Lost Decade of Small Data?》，拿一台 2012 年的 Retina MacBook Pro，16 GB 内存，跑完了 TPC-H SF1000 的全部 22 条查询，数据库 265 GB，60 亿行，单条查询一分钟到半小时。结论是：2012 年的硬件配上现代软件就够了，行业追分布式架构那十年，可能是白走的。
● ● ●
三、没说中的部分
大数据平台活得比谁都好。 Databricks 的年化收入 2026 年 6 月到了 69 亿美元，还在以每年 50% 的速度涨。Snowflake 的产品年收入也在 50 亿美元量级。看营收，「大数据已死」像个笑话。
但拆开看，这两家的增长引擎已经换成了 AI：训练、推理、agent、治理。它们卖的还是大规模基础设施，只是买单的理由从「数据爆炸」变成了「模型爆炸」。Tigani 当年只论证了分析查询负载，这个论域切割恰好给今天留了出口。
AI 制造了真大数据。 训练语料、上下文缓存、agent 交互日志，这些是 PB 级的真实需求，原文一个字没覆盖。2023 年 2 月，GPT 时代刚开个头。
● ● ●
四、作者自己交卷
再说回 10 月 28 日那篇续篇《Bringing the Big Ducks》。Tigani 这次做的事很直白：拿 MotherDuck 最大的单机实例（192 核 1.5 TB 内存的 Giga），跑 TPC-DS。
1 TB 规模，99 条查询的几何平均值 690 毫秒。10 TB 规模，整个基准跑下来扫了 168 TB 数据，几何平均 5.6 秒。作为对照，Oracle 2022 年公布的数字里 Redshift 是 8 秒。
他当年说「大数据和普通数据的分界线一直在移动」，这次的判词是：四年前这条线在 1 TB，现在「至少再高 10 倍」，几十 TB 在单机上已经是常规操作。
这份答卷里有两处值得单独记下。
一是诚实。所有对比数字都引用别家自己公开发布的结果，不自己跑竞品，绕开各家禁止跑分的条款。跑分用的还是旧版 DuckDB 1.5.6，他说得很清楚：我没展示别人的最佳状态，也没展示自己的。
二是跑基准的不是他，是 Claude。原话是「我就是让 Claude 把基准跑了，没给特殊指令，我会检查输出确认它没干怪事」。他今年 3 月还写过一篇预测文章，说 agent 会接管大量分析工作，人类手写 SQL 会暴跌。这次算是自己先示范了一遍。
还有一句容易被漏掉的：他承认 MotherDuck「迟早要上分布式」，知道的进行中项目就有三个。但补了一句，需要分布式的负载很少，而且随机器变大一直在变少。四年前他把话说死，四年后他把边界画清楚。
● ● ●
五、判卷
回到最初的问题：这篇文章对了多少？
我的判法是三层。
论据层，对。中位查询 64 MB 这个数字被 Snowflake、Redshift、BigQuery 三家平台的真实日志交叉验证过，没有翻案迹象。
论点层，对了一半。「单机够用」从异端邪说变成了默认假设，2023 年之前架构师开口先谈 PB 方案，之后先问数据到底多大，这个默认值的翻转真实发生了。但「大数据平台会因此衰落」没发生，Databricks 和 Snowflake 换了个引擎继续涨。
叙事层，要打折。Tigani 是 MotherDuck 的 CEO，这篇文章和它的续篇都在为单机云数仓铺路，每一轮预测都精准落在自家产品的射程内。这不代表他说错了，只代表你读他的时候，该带着这个折扣读。
最后是那条最容易被忽略的暗线。真正死掉的东西，从头到尾都没被那篇文章点名。它叫「以数据规模为卖点的恐慌营销」，那个在你 PPT 第一页放「数据每两年翻一倍」曲线图的行业习惯。DuckDB 的崛起曲线、Hadoop 的收场、64 MB 的中位查询，埋葬的都是它。
大数据没死。死的是拿大数据吓人的生意。
● ● ●
参考来源
- 01
原文：https://motherduck.com/blog/big-data-is-dead/ - 02
续篇 Bringing the Big Ducks：https://motherduck.com/blog/bigger-ducks/ - 03
The Lost Decade of Small Data：https://duckdb.org/2025/05/19/the-lost-decade-of-small-data.html - 04
DuckDB 采用率与基准数据：https://duckdb.org/2025/10/09/benchmark-results-14-lts.html - 05
Fivetran CEO 谈真实查询规模：https://thecuberesearch.com/is-the-modern-data-stack-out-over-its-skis/ - 06
Hadoop is Dead：https://medium.com/@acmurthy/hadoop-is-dead-long-live-hadoop-f22069b264ac - 07
Future Casting the Modern Data Stack：https://motherduck.com/blog/future-casting-the-modern-data-stack/