删除数据“八扇屏” 之 锦门英豪 --我去-BigData！

❝

开头还是介绍一下群，如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题，有需求都可以加群群内有各大数据库行业大咖，可以解决你的问题。加群请联系 liuaustin3 ，（共3000人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9）(1 2 3 4 5 6 7群均已爆满，开8群350+ 9群 100+)

删除数据很简单吗？ 很简单一条delete语句就可以了，在深入一点的，可以想到需要主键删除，在查询中获得需要删除数据的主键，直接 delete 主键即可。如果你想到这里，恐怕是不够。今天就来一段，我说说你听听，在想当初。

在想当初，一家行业头部公司，服务几十万的客户，南来的北往的，在行业内无人不知无人不晓，服务的大客户里面有牌面十分大的，有南方的霸主，北方的枭雄，和中原的英豪，那个都惹不起，作为这家公司的数据库部门，每天小心翼翼，伺候着各方来客。

这天就来了一个南方的富豪，对旗下的托管的数据库的数据进行成本的合算，一算了不得，按照现在的业务量，他一年的一个服务器费用就要十几万。然后就不干了，要缩减成本，10T的大库，单表几百G的有的是，要求删除数据。

在数据库里面插入数据容易，删除数据难，太难了，尤其是一个服务于大江南北，业界头部的公司，更是难，你的考虑你的服务的口碑，还的考虑客户的心情，现在媒体兴盛的年代，一个口碑你就完蛋了。

马上给客户做方案，多少表，什么功能，多少数据，多少索引，每年的数据预估多少，横向拆，纵向拆，可是这还不够。

客户自己外挂一个大数据分析，在这家公司也有大数据分析，全部挂载在POSTGRESQL的逻辑复制槽下。POSTGRESQL的逻辑复制槽都知道，那是鬼神敬畏，神仙也要让他三分。每天大量的数据通过他输送到各个部门。

用他简单，可删数据呵呵！ 这就是一个鬼门关，你一个delete语句下去，大量的数据就拥塞在了PG的逻辑复制槽下了。轻则马上加磁盘满足WAL堆积，重则客户大数据得不到数据，财务，总裁办看不到当天的数据，那就要砍头上刑。

所以必须有周密的删除计划，首先就是要拆，写程序自动分析指定字段的每个阶段的数据量，通过程序自动拆分匹配的日期间隔，每条delete语句拆分后，每次的数据删除量都在1-2万行，最多不能超5万。是否命中索引，索引命令的效率如何，还要进行分析。

除此之外，还要有间隔措施，每个语句中要进行间隔，各种调试是间隔多少毫秒合适呀，才能给给数据库，给WAL，给我们的大数据予以消费数据的喘息。同时要有完善的数据删除日志，可查，可调，可分析。

做了这些还不行，还要看客户的脸色和随时随地的质询，你们怎么干的呀，什么技术，什么路数，什么门派。此时只能鼓起勇气，咱们是锦门派，天下第一，删除数据没有比我再在行的，我们可以使用，鞭锏锤抓，斧钺钩叉，拐子流星，上下都行，可以在弹指挥间将数据平稳的送上西天，最后送上超度的 vacuum 福音咒！

阿弥陀佛！！！ 善哉善哉，我们还给他们做了多重的备份，你要想借尸还魂我们也可以随时做到。

南方的富豪说，好好好，小英雄我这次就拜托与你，把我这10T的数据库变成500G，给你半天的时间可否，你要的也要的，你不要的，也得要的，你要的否，你还的保证我业务正常，CPU平稳，内存不溢出，否则有你的好看！

锦门派掌门，双手抱拳，高声喝到，洒家没有问题，还有啥需求客官您吩咐！ 随即带着门下众多弟子，开始了工作，什么文档方案加演示，测试数据加报告，什么天上飞的，地下游的，都的给我进锅里炖着。客户看到方案和报告，及锦门堂主的慷慨激昂的套词，连声说到，呜呼呀，还有此等服务，真是没有想到，锦门也有这等豪雄，要不说锦门第一。

待到锦门堂堂主，上了教练场带着一种弟兄，拿着自动的脚本，灵活的SQL，加完善的日志上了阵，哪知这个该死的催命的 POSTGRESQL 逻辑复制槽堆积了，咨询探究原来是数据链路太长，卡在了大数据消费。

我*)&(^&)^()()&&)_)_()())&&(^&^()&

这就是，DB业界一杂家！武艺精湛，锦门堂，万全准备无一失，可惜数据链路长，牵扯问题多又多，一条delete引纷争！ 横批，HTAP才是你的终点！！

https://zt.itpub.net/topic/peanit/list.html?id=307635  

如果今天帖子看完想鼓励一下我，有钱捧个钱场，有力捧个力场，不行您就点10票，呱唧呱唧，今天这相声说的好！

跟我学OceanBase4.0 --阅读白皮书 (OB分布式优化哪里了提高了速度)

跟我学OceanBase4.0 --阅读白皮书 （4.0优化的核心点是什么）

跟我学OceanBase4.0 --阅读白皮书 （0.5-4.0的架构与之前架构特点）

跟我学OceanBase4.0 --阅读白皮书 （旧的概念害死人呀，更新知识和理念）

聚焦SaaS类企业数据库选型（技术、成本、合规、地缘政治）

MongoDB “升级项目” 大型连续剧(4)-- 与开发和架构沟通与扫尾

MongoDB “升级项目” 大型连续剧(3)-- 自动校对代码与注意事项

MongoDB “升级项目” 大型连续剧(2)-- 到底谁是"der"

MongoDB “升级项目”  大型连续剧(1)-- 可“生”可不升

MongoDB  大俗大雅，上来问分片真三俗 -- 4 分什么分

MongoDB 大俗大雅，高端知识讲“庸俗” --3 奇葩数据更新方法

MongoDB 学习建模与设计思路--统计数据更新案例

MongoDB  大俗大雅，高端的知识讲“通俗” -- 2 嵌套和引用

MongoDB  大俗大雅，高端的知识讲“低俗” -- 1 什么叫多模

MongoDB 合作考试报销活动 贴附属，MongoDB基础知识速通

MongoDB 年底活动，免费考试名额 7个公众号获得

MongoDB 使用网上妙招，直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模