数据库筑基 1 | 理解 Heap
今天如果还要学数据库,那就只筑基。这就是数据库领域的九阳神功。
此篇从一个特别朴素的问题开始:你往 PostgreSQL 里 INSERT 一行,这行到底落在哪儿?
如果你只写过 SQL,大概会说"这关我什么事,数据库自己管"。但只要你愿意多问一句——它总得落在某个地方吧,某个文件的某个字节上吧——那接下来整篇文章,其实就是顺着这一句问出来的。
因为一旦承认"行有物理位置",heap 表的几乎所有机制就都不是孤立知识点了。它们会像多米诺骨牌一样一块推倒一块:写入为什么快、索引里到底存了什么、UPDATE 为什么会让索引膨胀、HOT 为什么要求新旧行待在同一个 block、vacuum 为什么不敢动中间的 block。推到最后你会发现,这些问题的答案是同一句话。
那句话是:位置即地址。
第一推:所谓"无序",只是不用你操心位置
heap 表的官方说法是"无序、以行的形式存储"。这话容易让人以为数据库把行随手一扔。
其实不是"随手一扔",是"不用你决定扔哪儿"。你 INSERT 时不指定位置,数据库也不费劲找位置——看见哪个 block 有空就塞进去。如果只有 INSERT,整个过程看起来就像在文件末尾追加(append only)。
第一个推论这就掉出来了:写入快,是因为省掉了"找位置"这一步。不用维护顺序,不用挪动已有数据,不用分裂节点。这是 heap 的天赋,也是它后来所有麻烦的起点——你没有对位置的控制权,就得接受数据库给你的那个位置。
第二推:位置是两级坐标
好,那数据库给的位置到底长什么样?
先看文件。一个 heap 表不是"一个文件",而是一组文件:main 存数据,fsm 记每个 block 还剩多少空间,vm 记块内可见性,unlogged 表还多一个 init。main 单个文件默认最多 1 GiB(编译时的 --with-segsize),写满了自动开新段,文件名后缀加数字。想看看你那张表对应哪些文件,直接问:
select pg_relation_filepath('tbl'::regclass);
再看文件内部。它被切成一块一块,默认每块 8 KiB(--with-blocksize)。为什么切块?为了寻址——访问第 10 个块,就是把 8 KiB × 10 当 offset 调一次读文件系统调用,不翻目录,线性、可算、便宜。
问题来了:一个 8 KiB 的块里能装很多行,光知道"第 10 号块"还是找不到具体那一行。
于是块里又分了一层:开头是 PageHeaderData,紧接着是一排 line pointer(lp1、lp2……),每个 lp 记着对应 tuple 在块内的偏移量;tuple 本身从块的尾部往前堆。lp 往上长,tuple 往下长,中间夹着空闲区——原文那张 block layout 图里 pd_lower 和 pd_upper 两支箭头相向而行,画的就是这件事。
于是地址成了两级:
ctid = (blockNum, lpNum)
第几号块,块里第几条。你可以直接把它查出来,这是最朴素的实证:
select ctid, * from tbl limit3;
-- (0,1) ...
(0,1) 就是 0 号块第 1 条。甚至可以直接拿它当查询条件:
select * from tbl where ctid = '(1,9)';
这不是什么黑魔法,翻译成人话就是"把 1 号块里第 9 条给我"。
位置即地址——从这里开始,它不再是一句口号,而是一个你能查出来的字段。
第三推:索引里存的不是行,是地址
有了地址,索引这件事突然变得很简单。
B-tree 的叶子节点里,key 是索引字段的值,value 不是整行数据,而是这个 ctid。命中索引之后,数据库拿着 ctid 再回表,去 heap 里把那一行读出来。
所以"回表"这个词的含义特别具体:按 blockNum 算 offset 定位到块,按 lpNum 找到 lp,再由 lp 找到 tuple。一整套动作,就是刚才那两级坐标的解码过程。
顺带还有个好处:vm 文件是按块记可见性的。如果某个块对所有事务都可见,Index Only Scan 就可以不回表——你要的字段索引里都有,何必再跑一趟 heap?而它判断的依据,恰恰也是 ctid 里的那个 blockNum。
你看,一个地址字段,把索引、回表、vm 全串起来了。
第四推:UPDATE 把地址弄坏了
现在把 UPDATE 放进来。
PostgreSQL 的 UPDATE 不是"在原地把值改掉"。它是给老记录打一个标记(变成 dead tuple),再往数据文件里写一条新记录,两者躺在同一个文件里。
后果立刻出现:ctid 变了。
而索引的 value 存的是老 ctid。麻烦就在这儿——索引指向了一个已经作废的位置。如果每次更新都得把所有相关索引项改成新 ctid,UPDATE 的代价就太吓人了:改一列,动了三五个索引。
这就是索引写 IO 放大的根源。不是索引设计得差,是"拿物理地址当指针"这个选择,在更新面前必然要付的账。
第五推:HOT 是怎么补的
PostgreSQL 的补救叫 HOT(Heap Only Tuple)。思路特别巧:既然索引里存的是 lp 编号,那就别改编号,改 lp 指向哪儿。
正常情形下,索引 value 指向 dead tuple 的 lp,那个 lp 再指向 dead tuple 本身。HOT 更新之后,这个 lp 改成指向新 tuple 的 lp——索引里那个旧编号一个字都不用动,顺着链条走下去,照样能找到 live tuple。
这里有个硬条件:新旧 tuple 必须在同一个 block 内。lp 是块内的编号,链条不能跨块。还有个条件:索引 key 没更新,key 变了索引项本身就得改,HOT 帮不上忙。
于是建表时的 fillfactor 就有意义了:它决定每个 block 留多少空间不写满。你给"非索引字段更新频繁"的表留出余量,新 tuple 才有地方落在同一个块里,HOT 才成立。这不是玄学调参,是在给那条 lp 链条预留物理空间。
想亲眼看看?装个 pageinspect:
create extension pageinspect;
select lp, lp_off, lp_flags, t_ctid
from heap_page_items(get_raw_page('tbl', 0)) limit8;
你会看到某个 lp 的 lp_flags 变成 2(redirect)——它不再指向一个 tuple,而是指向另一个 lp。索引里存的正是这个编号。有时候还会碰到更有意思的现象:更新之后,拿旧 ctid 去查,居然还能查到更新后的那行。那不是缓存,是 HOT 把那个 lp 重定向了。
第六推:dead tuple 留下的烂摊子
HOT 让索引免于更新,但 dead tuple 还躺在数据文件里,一点没少。
于是 vacuum 登场。它的活儿是把没人再需要的 dead tuple 清掉,顺带回收索引里的垃圾版本。
但 vacuum 不能想清就清。判断标准不是"这条记录老不老",而是"还有没有事务可能需要它"。事务快照里那个 oldest xid,就是一条分界线,它之后产生的 dead tuple version 一律不能动。
这条线会被谁往后拖?跑得特别久的查询和事务(pg_stat_activity 里的 backend_xmin / backend_xid)、逻辑复制槽(它要解析 WAL,得保留最老的 catalog 版本,看 pg_replication_slots.xmin)、还有开了 hot_standby_feedback 的备库——备库的快照也得算进来。这些全都能直接查:
select pid, state, backend_xmin, backend_xid
from pg_stat_activity where backend_xmin isnotnull;
select slot_name, xmin from pg_replication_slots;
所以你会看到那个经典现象:一个长事务挂在那儿,期间表被狂更新,这张表就必然膨胀。不是 vacuum 偷懒,是它不敢动。
第七推:闭环——为什么只能从末尾回收
现在把整条链收起来,回答原文末尾那个扩展问题:为什么 vacuum 只能回收最后一个数据文件末尾那些完全空闲的 block?
因为索引里存的是物理地址。
假设索引里有一条 ctid = (10,9)。如果我回收中间的 8 号 block,后面的块在物理上往前挪一位——原来 10 号块的内容现在待在 11 号块的位置。索引里那个 (10,9) 没变,可它指向的已经是别人的记录了,整个索引体系瞬间全错。
回收文件末尾的空闲块没这个问题:它后面已经没有块了,谁也不用挪。
你看,这不是什么特殊的 vacuum 规则。这就是"位置即地址"这个原始选择,在最后一环的回响。
收尾:所有优缺点都是推出来的
回头看,heap 的优缺点其实都是从同一个根上长出来的:
写入快——因为不用找位置; 整行读得快——因为一条记录的所有字段挨着存; 怕膨胀——因为 dead 和 live 住在同一个文件里; 不适合 OLAP——因为行存压缩率天然低,扫少量字段做大量计算时吃不到 CPU 的批处理红利。
理解了"位置即地址",这些就不是需要背的结论,而是可以自己推出来的结果。
下次有人问你"为什么 UPDATE 会让索引膨胀",你不用背答案。从"我 INSERT 的那行存在哪儿"开始,一路往下推就行。