全网最专业PolarDB-MySQL 大SQL解决方案--之代理设置与强制HINT (三)
❝开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共3300人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9)(1 2 3 4 5 6 7群均已爆满,开8群近400 9群 200+,开10群PolarDB专业学习群100+)
https://www.aliyun.com/minisite/goods?userCode=qyua9rvi
https://www.aliyun.com/minisite/goods?userCode=qyua9rvi
上期内容
全网最专业PolarDB-MySQL 大SQL解决方案--之列式索引节点原理 (二)
全网最专业PolarDB-MySQL 大SQL解决方案--之如何添加列式索引 (一)
最近开始在大量的应用PolarDB的IMCI的功能,多个业务线在并发,都在测试。不同的业务线测试的结果可能也不尽相同,使用的方法和方案也都有各自的特点。
我特别想把PolarDB的IMCI推广的更好,让更多的业务享受到PolarDB的插件化数据库的特性。这里我准备写几期帖子,把我研究的部分也都和大家一一展示,如果有同道中人,也可以反馈您的使用中的问题,我们一并和阿里云的老师进行沟通,相信他们会做出更好的功能并逐步完善他。
今天我们是IMCI的第三集,上期说哪了,哦想起来说到了IMCI的基本操作,这期咱们继续,上期我们说了我们增加了列式索引,这里就要产生问题了,
1 怎么查看表已经创建了列式索引,通过下列函数就可以直接查询到对应的表的已经启用的列式索引,这里注意在使用这个函数的时候,语句中的单引号要变成双引号,否则会造成错误。
dbms_imci.check_columnar_index('<query_string>');
call dbms_imci.columnar_advise('select count(t1.a) from t1 inner join t2 on t1.a = t2.a group by t1.b');
+-------------------------------------------+
| DDL_STATEMENT |
+-------------------------------------------+
| ALTER TABLE test.t1 COMMENT='COLUMNAR=1'; |
| ALTER TABLE test.t2 COMMENT='COLUMNAR=1'; |
+-------------------------------------------+
2 rows inset (0.00 sec)
2 通过SQL语句来获取表,或者列的建设列存的语句
mysql> call dbms_imci.columnar_advise_by_columns('select count(t1.a) from t1 inner join t2 on t1.a = t2.a group by t1.b');
+-------------------------------------------------------------------------------------------------------------------------------------------+
| DDL_STATEMENT |
+-------------------------------------------------------------------------------------------------------------------------------------------+
| ALTER TABLE test.t1 MODIFY COLUMN a int(11) DEFAULT NULL COMMENT 'COLUMNAR=1', MODIFY COLUMN b int(11) DEFAULT NULL COMMENT 'COLUMNAR=1'; |
| ALTER TABLE test.t2 MODIFY COLUMN a int(11) DEFAULT NULL COMMENT 'COLUMNAR=1'; |
+-------------------------------------------------------------------------------------------------------------------------------------------+
2 rows inset (0.00 sec)
同时,工作中还包含了怎么批量进行语句添加的方法。这里就不赘述了,
下面也是本期的主要的主题就是语句的路由设置与基本原理,参见下图
1 在执行一个语句的时候,如何知道他的COST
方案:/ROUTE_TO_LAST_USED/ SHOW STATUS LIKE 'Last_query_cost';
通过上面这句话,将你经常运行的SQL先运行然后立即运行上面的语句,查看这条语句的COST值,如果语句较多,则需要针对多个角度来运行SQL获得COST的值,来限定到底应该设成什么样的值
这里有一个问题就是,设置值的问题,在复杂的一些系统中,可能需要反复调整值,尽量让一些适合列的走列存。
2 如果实在是不行,一些特殊的SQL就是要走列存,或者就是不要走列存,那么可以手动来集训SQL的调整,如同ORACLE 里面的HINT。
此方案是强制语句使用HINT到列存进行数据的解释
EXPLAIN SELECT /*+ SET_VAR(cost_threshold_for_imci=0) */ COUNT(*) FROM t1 WHERE t1.a > 1;
而如果强制语句就是不走列存,可以用下面的语法来解释。
EXPLAIN SELECT /*+ SET_VAR(USE_IMCI_ENGINE=OFF) */ COUNT(*) FROM t1 WHERE t1.a > 1;
写到这里,我们有一些经验,有些是失败的,
1 使用IMCI 不要把IMCI当做行存来频繁的高频并发的使用,首先我们要考虑他本身就是一个数据量较大,且需要进行CPU大量运算的部分,如果你的将高频并发的短小的SQL也发到上面来,那么IMCI会被高频的短小的SQL,“烦死”,所以COST要调整好。
2 不是有了IMCI咱们就不优化SQL了,这个想法是不对的,因为SQL垃圾你一味的用IMCI来解决不优化SQL带来的问题,是可以的,但你会带动运营成本的上升,可能你要加更多的IMCI来解决问题。
3 部分情况在强制走IMCI 并设置HINT 注意你的使用频率,再次强调 IMCI 不是垃圾桶,也不是高频SQL运行的首选,首选是serverless 弹出的行式节点。
和架构师沟通那种“一坨”的系统,推荐只能是OceanBase,Why ?
OceanBase Hybrid search 能力测试,平换MySQL的好选择
写了3750万字的我,在2000字的OB白皮书上了一课--记 《OceanBase 社区版在泛互场景的应用案例研究
OceanBase 6大学习法--OBCA视频学习总结第六章
OceanBase 6大学习法--OBCA视频学习总结第五章--索引与表设计
OceanBase 6大学习法--OBCA视频学习总结第五章--开发与库表设计
OceanBase 6大学习法--OBCA视频学习总结第四章 --数据库安装
OceanBase 6大学习法--OBCA视频学习总结第三章--数据库引擎
OceanBase 架构学习--OB上手视频学习总结第二章 (OBCA)
OceanBase 6大学习法--OB上手视频学习总结第一章
没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛
跟我学OceanBase4.0 --阅读白皮书 (OB分布式优化哪里了提高了速度)
跟我学OceanBase4.0 --阅读白皮书 (4.0优化的核心点是什么)
跟我学OceanBase4.0 --阅读白皮书 (0.5-4.0的架构与之前架构特点)
跟我学OceanBase4.0 --阅读白皮书 (旧的概念害死人呀,更新知识和理念)
OceanBase 学习记录-- 建立MySQL租户,像用MySQL一样使用OB
“合体吧兄弟们!”——从浪浪山小妖怪看OceanBase国产芯片优化《OceanBase “重如尘埃”之歌》
MongoDB “升级项目” 大型连续剧(3)-- 自动校对代码与注意事项
MongoDB “升级项目” 大型连续剧(2)-- 到底谁是"der"
MongoDB “升级项目” 大型连续剧(1)-- 可“生”可不升
MongoDB 大俗大雅,上来问分片真三俗 -- 4 分什么分
MongoDB 大俗大雅,高端知识讲“庸俗” --3 奇葩数据更新方法
MongoDB 大俗大雅,高端的知识讲“通俗” -- 2 嵌套和引用
MongoDB 大俗大雅,高端的知识讲“低俗” -- 1 什么叫多模
MongoDB 合作考试报销活动 贴附属,MongoDB基础知识速通
MongoDB 使用网上妙招,直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)
MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模
MongoDB 麻烦专业点,不懂可以问,别这么用行吗 ! --TTL
免费PolarDB云原生课程,听课“争”礼品,重塑云上知识,提高专业能力
非“厂商广告”的PolarDB课程:用户共创的新式学习范本--7位同学获奖PolarDB学习之星
“当复杂的SQL不再需要特别的优化”,邪修研究PolarDB for PG 列式索引加速复杂SQL运行
“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!
POLARDB 添加字段 “卡” 住---这锅Polar不背
PolarDB 版本差异分析--外人不知道的秘密(谁是绵羊,谁是怪兽)
PolarDB 答题拿-- 飞刀总的书、同款卫衣、T恤,来自杭州的Package(活动结束了)
PolarDB for MySQL 三大核心之一POLARFS 今天扒开它--- 嘛是火
PostgreSQL 新版本就一定好--由培训现象让我做的实验
说我PG Freezing Boom 讲的一般的那个同学,专帖给你,看看这次可满意
PostgreSQL 无服务 Neon and Aurora 新技术下的新经济模式 (翻译)
“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!
全世界都在“搞” PostgreSQL ,从Oracle 得到一个“馊主意”开始
PostgreSQL 加索引系统OOM 怨我了--- 不怨你怨谁
PostgreSQL “我怎么就连个数据库都不会建?” --- 你还真不会!
PostgreSQL 稳定性平台 PG中文社区大会--杭州来去匆匆
PostgreSQL 分组查询可以不进行全表扫描吗?速度提高上千倍?
POSTGRESQL --Austindatabaes 历年文章整理
PostgreSQL 查询语句开发写不好是必然,不是PG的锅
这个 PostgreSQL 让我有资本找老板要 鸡腿 鸭腿 !!
MySQL相关文章
一篇为MySQL用户,分析版本核心差异的文章--8.028-8.4的差异
那个MySQL大事务比你稳定,主从延迟低,为什么? Look my eyes! 因为宋利兵宋老师