alitrack

DuckDB 2.0.1 发了,2.0.0 的错结果一个没修

2.0.1 今天发布,2.0.0 那四个会算错数据的 bug 一个都没修上——补丁合进主分支的时间比这版晚七个小时。

DuckDB 2.0.1 在 11 月 20 日 13:34 UTC 挂上 GitHub release,PyPI 的 wheel 13:35 跟上,距离 2.0.0 刚好一个月。这是 2.0 LTS 的第一个补丁版,官方口径是 bugfix、性能、安全三样,博客十分钟能读完。

我干的事更省事:把上一篇里那几条能返回错数字的 SQL,原样贴到 2.0.1 上重跑。

四条里没有一条变好。DATE 列那条还是 0 行,边界那条还是报错,夏令时那条还是 120 行,窗口那列还是拿到隔壁列的值。

● ● ●

十个案子,两个版本并排跑

环境没变:WSL2,8 核,PyPI 上的 duckdb 2.0.0 和 duckdb 2.0.1 各装一个虚拟环境,跑同一个脚本。

用例
2.0.0
2.0.1
正确答案
date_trunc('hour', DATE 列)
 等于常量
0 行
0 行
1 行
date_trunc('month', 最大 timestamp)
报错
报错
1 行
纽约夏令时切换日的小时区间
120 行
120 行
180 行
top-N 窗口消除后的 n 列
0,1,2,3
0,1,2,3
1,2,3,4
TIMESTAMP_NS 的 hour/minute/second
1,1,1
0,0,0
0,0,0
UPDATE ... FROM 两行匹配同一行
返回 1 行
返回 2 行
行为变更

第五行是修好的:纳秒时间戳的 hour 在 2.0.0 上会把 00:59:59.999999999 进位成 1 点,2.0.1 给 0。这是官方 release notes 里的 #27923,对上了。

第六行不是 bug,是这版有意改的行为,下面单独说。

没复现出差异的还有几条:LIMIT 在空表聚合的 join 之上、lateral join 读 CTE、list_select 传空 list、Parquet 全 NULL 字符串列的 IS NULL 裁剪。我这几个最小写法太干净,没踩到点上,不代表那些修复不存在,只代表我的复现没测出区别。

十个案子的并排结果

十个案子的并排结果

● ● ●

为什么没赶上,原因全在时间线上

11 月 18 日 00:47 UTC,最后一次「Backport merged labeled fixes (8)」合进 v2.0-cyanoptera 分支。

11 月 19 日 11:25 UTC,GitHub 上这条 release 记录的创建时间。

11 月 19 日 18:00 UTC,修窗口列的 #29062 合进 main。四十二分钟后,修 date_trunc 和 cast 边界的 #29078 也合进 main。两个都带着 backport v2.0-cyanoptera 标签。

11 月 20 日 13:34 UTC,2.0.1 发布。

在仓库里搜标题带 29078 的 PR,返回 0 条。标签贴了,但没人真的拉一条 backport PR 到 v2.0-cyanoptera 上。那条分支在发布前还在断续收东西(#29019、#29056、#29057、#29064 都是这几天进去的),只是这两个没被收。

现在 v2.0-cyanoptera 比 v2.0.1 多四个提交,四个都不是它们。

补丁与发布的时间线

补丁与发布的时间线

● ● ●

一条 UPDATE 现在会更新两次

两行源数据匹配同一行目标,2.0.0 只更新一次、最后值是其中随便一个匹配;2.0.1 每个匹配都算一次,RETURNING 给出两行,最终值取决于谁后写。

我实测:目标行 1 行、源 2 行,2.0.0 的 UPDATE 返回 1 行,2.0.1 返回 2 行,(1,10) 和 (1,20) 都出来了,表里最后留的是 10。

这是有意的回退。2.0.0 为了把这个行为变成确定性的,把大更新串行化了,性能掉得厉害;2.0.1 先回到 1.x 语义,官方说 2.1 会给既正确又快的版本。

代价是非确定性。要确保更新结果可预测,就让每个目标行最多被一行源匹配,或者让所有匹配行被更新的列值相同。

SECRET 的前缀不再越界

scope 写 s3://bucket-,以前会匹配上 s3://bucket-1/,密钥可能被送到不该送的地方(#28684)。现在要求完全一致,或者后面紧跟一个斜杠。

我建了个 scope 为 s3://bucket- 的 secret,再查 which_secret('s3://bucket-1/file.parquet','s3'),返回空。2.0.1 之前这里能查到东西。

要改的地方:scope 写全主机名或桶名。URL 里带显式端口的,scope 也得带端口。

扩展仓库可以只写域名注册

以前注册自定义扩展仓库要写完整前缀,现在写域名就行:

CREATE EXTENSION REPOSITORY duckdb.org;
INSTALL AND LOAD spatial FROM duckdb.org;

我在 2.0.1 上跑通了,语句直接返回 20 个 sha256 密钥指纹。链路是:先读 https://duckdb.org/.well-known/duckdb-extension-repo.json,这个文件里没有密钥也没有扩展,只写了仓库真正的地址;再跟着指针读那个仓库自己的 .well-known 文件,把签名密钥钉住。谁能控制域名,谁才能改这个文件,所以它本身就是控制权的证明。

按域名注册扩展仓库的链路

按域名注册扩展仓库的链路

顺带一个设置变更:allow_extension_repositories 的默认值从 undecided 变成了 hosts,旧值不再接受。想只允许官方签名扩展的话设成 forbidden。

● ● ●

一个会静默清零内存的内核 bug

有些 Linux 内核版本的 MADV_FREE 有缺陷(CVE-2026-97945),被惰性释放又复用的内存会被静默清零。DuckDB 2.0.1 的自带分配器不再用这种方式归还内存(#28267),做法是把 jemalloc 的 muzzy_decay_ms 设成 0。

不能马上升级的,设环境变量 DUCKDB_JE_MALLOC_CONF=muzzy_decay_ms:0,效果一样。

这条我没法在本机复现——得先命中那个内核版本,再赶上回收后复用,属于撞运气。口径是官方博客加那个 PR,不是我实测。

同属「值得知道但我没实测」的还有两条:用 2.0.0 读 1.x 写出来的数据库文件,过滤带 NULL 的表会漏行(#28355,我手上没有 1.x 的样本文件);enable_external_access=false 以前仍然允许 CREATE SECRET,现在直接报 Permission Error。

● ● ●

现在能做什么

查询里有 date_trunc 跟常量比的时间条件,2.0.1 不是解法。实测有效的老办法还在:SET disabled_optimizers='expression_rewriter',四条全部回到正确值,0 变 1、报错变 1、120 变 180。这是整类表达式改写一起关,只建议用在确认受影响的查询上。

只想要 2.0.1 其他修复的(1.x 文件漏行、那个内核 bug、SECRET 越界),升级没问题。但那四个错结果 bug 还在,别把它们算进这版的功劳簿。

回到开头那份复现脚本。十分钟,两套包,一张表,结论就出来了:2.0.1 修了不少东西,但不包括让你表里的数字变对。

补丁版发布的意思是「把已知的坑填上」。release notes 只会写填了哪些,从不写还有哪些没填——这件事只能自己拿旧 SQL 跑一遍。手上要是有带时间条件的报表查询,一条 EXPLAIN 就能看出它是不是被改写成了范围扫描,跑完把执行计划贴出来看看。

● ● ●

参考来源

  1. 01
    Announcing DuckDB 2.0.1 LTS(2026-11-20) https://duckdb.org/2026/11/20/announcing-duckdb-201.html
  2. 02
    duckdb/duckdb v2.0.1 release(published 2026-11-20T13:34Z) https://github.com/duckdb/duckdb/releases/tag/v2.0.1
  3. 03
    PyPI duckdb 2.0.1(wheel 上传 2026-11-20T13:35Z) https://pypi.org/project/duckdb/2.0.1/
  4. 04
    PR #29078 Fix wrong results in date_trunc and temporal cast filter rewrites https://github.com/duckdb/duckdb/pull/29078
  5. 05
    PR #29062 Fix top-N window elimination returning the join key for a window column https://github.com/duckdb/duckdb/pull/29062
  6. 06
    PR #28978 Backport merged labeled fixes (8) https://github.com/duckdb/duckdb/pull/28978
  7. 07
    PR #28701 Revert multi-match deduplication in UPDATE ... FROM and MERGE https://github.com/duckdb/duckdb/pull/28701
  8. 08
    PR #28684 Fix remote path traversal and secret scope boundaries https://github.com/duckdb/duckdb/pull/28684
  9. 09
    PR #28805 CREATE EXTENSION REPOSITORY by host (implements #28719) https://github.com/duckdb/duckdb/pull/28805
  10. 10
    PR #28267 Set jemalloc muzzy_decay_ms to 0 to avoid MADV_FREE data loss https://github.com/duckdb/duckdb/pull/28267
  11. 11
    本机实测:WSL2 8 核,duckdb 2.0.0 与 2.0.1(均为 PyPI wheel),同一脚本跑 10 个用例