PG用户亲手扼杀的2个核心开源项目

背景

zheap、zedstore Table Access Method, 这两个可能是用户亲手扼杀的Postgres创新项目.

zheap 来自EDB ( https://github.com/EnterpriseDB/zheap ) 引入undo回滚段, 解决HEAP表在高频更新业务中可能引发的bloat, xid wrap的问题.

zedstore 来自greenplum(母公司vmware时期) ( https://github.com/greenplum-db/postgres-archive/tree/zedstore/src/backend/access/zedstore ) 行列混合存储设计, 引入多种page type(包括undo), 解决HEAP表在高频更新业务中可能引发的bloat, xid wrap的问题. 同时满足HTAP混合场景诉求.

这两个项目设计目标非常的美好, 代码历经了几年的发展, 虽然截止到项目被放弃之前还有缺陷.

但是作为存储引擎这么巨大的项目, 必然会有空窗期, 到成熟有比较长的时间. 用户持续观望, 持续使用老的heap. 短期看不到用户把厂商搞犹豫了, 是伪需求? 是给友商做了嫁衣?

还有一个原因是PG发展太快, 每年发一个大版本, 一堆新特性, 用户一旦使用了这些新特性, 那么存储引擎作为最常用的功能, 是否能支持好这些新特性? TAM开发周期长, 还要兼容PG新特性, 就需要做减法, 做了减法用户又是否会愿意为了这个TAM放弃一些新功能呢? 不过一个好的现象是PG从14开始挤牙膏了, 每年的大版本还是照发, 但是每个大版本巨大的新特性发布相比以前少了.

edb 放弃了 zheap 的开发. cybertec fork过去喊了一阵口号后, 也没动静了, 也不想当雷锋吧?

zedstore的主力作者则去搞 neondatabase 开源云原生数据库(廉价版aurora)了, 期待他赚了钱回来把zedstore捡起来.

也许是第一曲线的用户牵引力太强, 第二曲线没了.

所以PG的用户吐槽归吐槽, 怪谁呢? heap TAM还是那个heap, 虽然也在缝缝补补, 但是老大难的bloat, xid wrap都还在.

参考

https://github.com/EnterpriseDB/zheap

https://www.pgcon.org/events/pgcon_2020/sessions/session/44/slides/13/Zedstore-PGCon2020-Virtual.pdf

https://github.com/greenplum-db/postgres-archive/tree/zedstore/src/backend/access/zedstore

zedstore att array 有点像vops瓦片存储理念 https://github.com/postgrespro/vops

用好周边工具, 数据库管理水平战胜90%老司机

1、管控软件

云猿生开源的kubeblocks, 如果你要管理很多套并且种类很多的数据库产品, 推荐选择.

• https://github.com/apecloud/kubeblocks

乘数开源的clup, 专门用来管理PostgreSQL和PolarDB的集群管理软件, 如果你要管理很多套数据库, 推荐选择. 并且clup还提供了企业版、自研的连接池、分布式存储、一体机、备份平台等, 企业可以关注一下.

• https://www.csudata.com/

若航开源的pigsty, 集成了300多个PG插件的PG集群和PolarDB集群管理软件, 如果你要管理很多套数据库, 并且对插件有特别多的需求, 推荐选择.

• https://pigsty.cc/zh/

2、审计监控诊断优化

海信聚好看的 DBdoctor, 采用ebpf技术, 在对数据库几乎没有影响的情况下实时监控数据库和服务器的各项指标, 发现和诊断问题根因非常方便.

• https://www.dbdoctor.cn/

Bytebase 的目标非常远大, 是位于您和数据库之间的中间件。它是数据库 DevOps 的 GitLab/GitHub，专为开发人员、DBA 和平台工程师打造。

• https://bytebase.cc/docs/introduction/what-is-bytebase/

D-Smart, Oracle老前辈白老大他们搞的, 专注企业级市场, 将业界顶级DBA经验的产品化作品, 产品功能包括数据库监控、诊断、优化等.

• https://www.modb.pro/db/567140

3、数据同步&迁移&备份恢复

NineData, 老领导出去创业做的产品, 产品涵盖了数据同步、迁移、备份、比对、devops、chatDBA等.

• https://www.ninedata.cloud/home

DSG, 非常老牌的数据库同步迁移企业级产品, 支持各种数据库的异构和同构迁移, 用他们的话说, 没有dsg搞不定的迁移, 比goldengate还牛.

• https://www.dsgdata.com/

通过信创并且开源的数据库:

PolarDB for PostgreSQL

• https://github.com/ApsaraDB/PolarDB-for-PostgreSQL