AustinDatabases

释放千万级硬件红利--关于升级PG数据库以实现降本50%与AI战略落地的调研申请

❝

开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群加群请联系 liuaustin3 ,(共3400人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 )(1 2 3 4 5 6 7 8群已经爆满  9群 为纯聊天群,默认不加入不得发广告,自己公众号文章链接等,发一次直接踢,默认加入8群,开10群PolarDB专业学习群115+)

经常有同学问,PostgreSQL什么版本值得上,什么版本要升级到什么版本,其实如果是我的话,如果现在使用POSTGRESQL 那么POSTGRESQL 16 及后续的版本都是可以考虑,或升级到更高版本的。

一般大型企业在升级数据库的时候,都会考虑升级的风险和收益的问题,而此次在使用 PG 15以下版本的机构或单位在升级PG的时候都会被问及一个问题,我们的升级的收益比是什么。

技术人员通常都会从技术角度来提出升级后的技术优势是什么,但是管理者不理解也听不明白你在说什么。如何用简单,明了,且非技术领导能听得懂的语言来提出PG升级的需求的合理性,是我们本次要说的问题。

从技术的角度升级PG从低于PG16版本到 PG18 有什么技术要点我们梳理一下。

在低版本和高版本的PG中,他们的实际技术差在如下方面:

OLTP

HTAP

向量数据库

多租户 SaaS

CDC 数据同步

Data Mesh

AI Agent 数据平台

但如上的信息,如何讲通给管理者,并得到他们的对数据库升级的认可,我们下面来进行一些升级部分的特性和语言的组合,争取得到领导的支持。

请把下面的话变成不是数据库专业的人可以听懂的信息,以一封邮件的模式来帮助大家升级PG的版本申请。


领导好,

目前公司的PG使用中出现如下问题,

1 在业务高峰期,PostgreSQL基于原理进行autovacuum操作,会出现卡顿,IOPS升高等问题,我们已经自研了分析表膨胀的系统,已经大幅度的抑制了这样的情况在白天业务繁忙的情况下发生。但随着业务的增长,晚间进行vacuum的时间较长,这是当前PG版本和原理所决定的情况。部分情况3-4个小时无法跑完vacuum。

2 公司AI化有一些需求,目前的版本无法支持AI的一些向量,矢量计算的需求,

3 公司业务需求,物理库中存在大量的逻辑库,每个逻辑库建立逻辑复制进行数据的CDC,造成,在数据库高可用的情况下,数据库切换无法满足逻辑复制槽同步到新主的需求,云上采用云供应商的方案,云下开源产品并无完整完善的妥帖方案。

4 在公司引入新型硬件后,原有的PG版本并未更新,新型NVMe SSD 并未真正利用相关性能,造成公司硬件投资并未产生对应效应。

基于以上原因特提出升级POSTGRESQL调研需求,并目标对标POSTGRESQL 18版本。

优势分析如下。

1  新版本PG数据库充分利用公司的新型硬件,提供异步I/O,数据库在处理如数据查询,vacuum操作提供了更快的速度,可减少高峰期和夜间数据库维护导致的时间长,和IOPS消耗较大的问题。

2 新版本可以解决当前公司AI本地化矢量运算的需求,通过适配高版本的pgvector向量索引和SIMD加速的方式,可以提供更优的AI本地化方案的支持。

3 新版本解决公司当前逻辑复制多,HA切换后线下产品无法及时进行逻辑复制槽的切换的问题,并通过逻辑复制槽的新版本的优化,提供更高效的数据写入和同步能力。在系统维护,版本升级,需要进行硬件,或系统重启的情况下保证了公司的数据流的安全稳定持续的输出。

4 新版本优化了多列索引和大事务处理性能,例如引入 skip scan 和更高效的 B-tree 多列索引利用率即使面对大量并发查询和数据操作,数据库也能保持高效响应。这意味着公司现有业务扩展和用户增长不会因为数据库性能瓶颈而受限。

5 新版本优化了数据导入的性能,对于大数据部门导入数据有大幅度性能提升,新版本支持pipeline优化,减少CPU和内存的开销,在同样配置的主机上可以传输更大的数据量,为企业做到了降本增效。

基于以上的分析,本次 PostgreSQL 升级调研以 PG18 为研究版本,具体小版本将根据后续 bug 修复和稳定性情况确定。调研过程中,将在相同操作系统和硬件环境下,对现有版本与 PG18 进行全面压力测试和性能对比,重点验证关键性能提升点。数据库运维团队将与测试部门紧密协作,开展压力测试和稳定性评估,并形成完整的测试报告,为开发部门和管理层提供可靠依据,帮助评估新版本对业务的支持能力及升级价值。

数据库升级
数据库升级
Image