谢谢阿里云PG RDS的研发老师--积极解决低版本PG 内置DuckDB的数据查询问题
❝开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共3350人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9)(1 2 3 4 5 6 7群均已爆满,开8群近400 9群 200+,开10群PolarDB专业学习群100+)
事情是这样的,我们有一些PostgreSQL RDS产品,用于服务很多商户,我们希望能提高客户使用的感官,在产品里面添加了报表的功能,也就是客户可以查看一个月之内的数据报表,随着我们的产品用户越来越多,客户的需求越来越复杂,我们在产生一个月报表的部分,希望能以更快速的呈现,虽然现在的速度已经不错了,但我们想给客户更好的。
所以我们就舔着脸找阿里云的老熟人,PostgreSQL的老师们,其实本来阿里云要求的是 RDS PostgreSQL 15 版本的产品才能使用,POSTGRESQL HTAP的功能,也就是我们俗称的,OLAP in PostgreSQL.
但为什么说舔着脸,因为我们的数据库版本是PG13的,且不能迁移升级,因为大型企业一个数据库产品升级那时要非常严格,要过很多流程和审批,测试,压测,一套下来没有半年没戏。
所以我们希望在PG13的这个产品上,能支持RDS_DUCKDB 的OLAP的加速,且是增量同步的部分。
这里就产生问题了,其实主要问题还是原生PG的逻辑复制槽的功能比较单薄,没有PG15后面的PostgreSQL的逻辑复制槽的功能丰富且可操作性高。
矛盾,冲突就来了,如何弄,如何搞,此时上云的好处就来了,这年月你的找人给你的商业活动负责呀,要不这只能中午出门,因为裸奔早晚出事。
这里科普一下,如果是PostgreSQL,PG15 PG16 17 18 RDS的版本,直接就可以上DUCKDB来解决问题了,我也就不会求阿里云的RDS的老师们了。
CREATE EXTENSION rds_duckdb;
在所需要的库打开加载rds_duckdb
SELECT rds_duckdb.duckdb_version();
打开你所在库duckdb的支持
SET rds_duckdb.execution = on;
查看你加载的duckdb的版本
SELECT rds_duckdb.create_duckdb_table('本地表名称');
将你需要OLAP查询的表进行DUCKDB 处理
如果有一些加速的需求可以在调整你的工作线程和对duckdb的内存方面的设置
SET rds_duckdb.worker_threads = 32;
SET rds_duckdb.memory_limit = 16384;
操作完毕后可以查询行 列之间的数据点位的差距
SELECT * FROM rds_duckdb.duckdb_sync_stat;
基本上当发现这个表有大的时间段的查询,就直接走PostgreSQL + DUCKDB了。
其实这个问题,还是的说到需求,大部分业务都存在不好的SQL的问题,及SQL还可以,但数据量一查一个月,半年的情况,就是大的问题,优化SQL,寻找方案都是数据库管理的事情。
这话又回到阿里云的RDS POSTGRESQL这边,这也是关系处的,我这人,嘴毒,心狠,还刺头,不过还是碰上好人了,就图下面的老师,PG RDS的核心研发。
给我们想各种的方案,方法,操碎了心。
结果我们先放一边,就说负责的心,和工作的态度,对待客户的责任感,你让我这个嘴毒,心狠,刺头的人,也的化在人家的绕指柔里面。
行了不说了,除了感谢就是感谢,谁要赶上RDS POSTGRESQL 算是捞着了,都是好说话的 nice 人。
这里有遇到了PostgreSQL 非要在数据库里面查询报表的问题,或者在PG里面有烂SQL的问题,优化难度超高的问题,可以试试PostgreSQL + DuckDB插件的解决方案,看看能不能帮助您解决问题。想省钱的试用的,可以从下面的链接进去,8折的券,有什么问题,咱们可以一起讨论解决,终究通过一个POSTGRESQL 解决更多的问题,谁不喜欢呢。(8折券只有我 刺头刘有,谁让咱这关系处的呢)
和架构师沟通那种“一坨”的系统,推荐只能是OceanBase,Why ?
OceanBase Hybrid search 能力测试,平换MySQL的好选择
写了3750万字的我,在2000字的OB白皮书上了一课--记 《OceanBase 社区版在泛互场景的应用案例研究
OceanBase 6大学习法--OBCA视频学习总结第六章
OceanBase 6大学习法--OBCA视频学习总结第五章--索引与表设计
OceanBase 6大学习法--OBCA视频学习总结第五章--开发与库表设计
OceanBase 6大学习法--OBCA视频学习总结第四章 --数据库安装
OceanBase 6大学习法--OBCA视频学习总结第三章--数据库引擎
OceanBase 架构学习--OB上手视频学习总结第二章 (OBCA)
OceanBase 6大学习法--OB上手视频学习总结第一章
没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛
跟我学OceanBase4.0 --阅读白皮书 (OB分布式优化哪里了提高了速度)
跟我学OceanBase4.0 --阅读白皮书 (4.0优化的核心点是什么)
跟我学OceanBase4.0 --阅读白皮书 (0.5-4.0的架构与之前架构特点)
跟我学OceanBase4.0 --阅读白皮书 (旧的概念害死人呀,更新知识和理念)
OceanBase 学习记录-- 建立MySQL租户,像用MySQL一样使用OB
“合体吧兄弟们!”——从浪浪山小妖怪看OceanBase国产芯片优化《OceanBase “重如尘埃”之歌》
MongoDB “升级项目” 大型连续剧(3)-- 自动校对代码与注意事项
MongoDB “升级项目” 大型连续剧(2)-- 到底谁是"der"
MongoDB “升级项目” 大型连续剧(1)-- 可“生”可不升
MongoDB 大俗大雅,上来问分片真三俗 -- 4 分什么分
MongoDB 大俗大雅,高端知识讲“庸俗” --3 奇葩数据更新方法
MongoDB 大俗大雅,高端的知识讲“通俗” -- 2 嵌套和引用
MongoDB 大俗大雅,高端的知识讲“低俗” -- 1 什么叫多模
MongoDB 合作考试报销活动 贴附属,MongoDB基础知识速通
MongoDB 使用网上妙招,直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)
MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模
MongoDB 麻烦专业点,不懂可以问,别这么用行吗 ! --TTL
免费PolarDB云原生课程,听课“争”礼品,重塑云上知识,提高专业能力
非“厂商广告”的PolarDB课程:用户共创的新式学习范本--7位同学获奖PolarDB学习之星
“当复杂的SQL不再需要特别的优化”,邪修研究PolarDB for PG 列式索引加速复杂SQL运行
“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!
POLARDB 添加字段 “卡” 住---这锅Polar不背
PolarDB 版本差异分析--外人不知道的秘密(谁是绵羊,谁是怪兽)
PolarDB 答题拿-- 飞刀总的书、同款卫衣、T恤,来自杭州的Package(活动结束了)
PolarDB for MySQL 三大核心之一POLARFS 今天扒开它--- 嘛是火
PostgreSQL 新版本就一定好--由培训现象让我做的实验
说我PG Freezing Boom 讲的一般的那个同学,专帖给你,看看这次可满意
PostgreSQL 无服务 Neon and Aurora 新技术下的新经济模式 (翻译)
“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!
全世界都在“搞” PostgreSQL ,从Oracle 得到一个“馊主意”开始
PostgreSQL 加索引系统OOM 怨我了--- 不怨你怨谁
PostgreSQL “我怎么就连个数据库都不会建?” --- 你还真不会!
PostgreSQL 稳定性平台 PG中文社区大会--杭州来去匆匆
PostgreSQL 分组查询可以不进行全表扫描吗?速度提高上千倍?
POSTGRESQL --Austindatabaes 历年文章整理
PostgreSQL 查询语句开发写不好是必然,不是PG的锅
这个 PostgreSQL 让我有资本找老板要 鸡腿 鸭腿 !!
MySQL相关文章
一篇为MySQL用户,分析版本核心差异的文章--8.028-8.4的差异
那个MySQL大事务比你稳定,主从延迟低,为什么? Look my eyes! 因为宋利兵宋老师