数据库HTAP概念新解读，一定和你知道的不一样

❝

开头还是介绍一下群，如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题，有需求都可以加群群内有各大数据库行业大咖，可以解决你的问题。加群请联系 liuaustin3 ，（共3300人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9）(1 2 3 4 5 6 7群均已爆满，开8群近400 9群 200+，开10群PolarDB专业学习群100+)

相信关注此号的人，且加群的人，知道一件事，每天早晨，德哥的公众号都会准时推出AI的文章，每天我都转。近朱者赤，近墨者黑，这么长时间了，我也应该要红点。

所以今天我把前两天会上蹭德哥的知识，来验证一下，看看对不对，我如果记得没有错，问题是如何提高混合搜索的能力，提高混合搜索的性能的问题。研究后我的出了HTAP的新概念，HTAP 有了全新的定义，和原先的定义毫无关系。

HTAP = Hybridized Targeting and Approximation Pipleline

下面我们就一步步推到出新概念的来由，在混合搜索中，两种搜索的方式并不能一次进行处理，混合搜索的慢的关键是，至少在搜索中会产生两次搜索：

一次是普通的查询，如我们的普通查询属于标量查询，而我们的AI查询是语义查询，属于向量查询，属于将数据嵌入到向量中，通过相似度量来进行匹配查找。所以现在的AI查询的大模型大多是基于语义查询服务的。

但基于混合查询中需要将两种查询进行混合处理如BM25算法，这样的算法同时支持语义查询和关键字匹配的数据查询法。

可能有同学问，向量就向量查询，标量就标量查询，为什么要混合，个人查个人的不就行了。

我们假设你要查询一个数据，问题是这样，请查询到身穿红色衣服的，美丽的，衣服上写着25数字的女性。这里在查询中，就是一个标量和矢量混合的查询，25那个数字是一个确定的标量需要与查询的文档进行匹配，是一个精确的值，有严格的要求。

而这就产生我们上面提到的问题，标量和向量的搜索在一起，是一次查询，还是两次查询，目前的通用模式是两次查询，也就是我先查一遍标量，再查一遍矢量，然后合并结果处理结果，展现结果。

所以结论是，现在矢量和标量的查询是一个串行的工作，一个做完在做一个。

而现在分层式混合索引（Hierarchical Hybrid Index）将查询分层处理

+-----------------------------------------------------------+

|                    Merge Layer (Global)                  |

|   -> Global Top-K Aggregation (distance + scalar weight) |

+-----------------------------------------------------------+

|                    Query Layer (Dispatch)                |

|   -> Node Selection via Vector Centroid Tree             |

|   -> Parallel Local Queries Execution                    |

+-----------------------------------------------------------+

|               Coordinator Layer (Control Plane)          |

|   -> Global Vector Centroid Index                        |

|   -> Node Statistics & Routing Metadata                  |

+-----------------------------------------------------------+

|                    Node Layer (Local Index)              |

|   -> Local Hybrid Index (B-tree + HNSW / IVF)            |

|   -> Local Top-K Search                                  |

+-----------------------------------------------------------+

关键的地方是

HybridIndex = {

scalar_index: B-tree / Bitmap Index,

vector_index: HNSW / IVF-PQ / Flat Index,

routing_key: partition_key

}

这里先通过标量也就是我们熟悉的 B-TREE 快速定位到需要进行数据过滤的行，然后通过向量将需要处理的行进行向量计算，最后融合算子，通过权重的函数来得出最接正确的结果。

而更关键的是中间的两层，协调层和查询蹭，协调蹭相当于路由，将需要进行查询的节点找到，然后通过查询层，将标量和向量查询发送的数据存在的节点。

最后是合并层，将数据查询完毕后的结果通过综合的评分，去重，以及排序将结果返回给查询方。

所以我们之前提出的，HTAP是 OLAP+OLTP，而我理解的HTAP是 TP是上面负责进行标量查询的部分，AP是负责向量查询的部分，这个HTAP赋予了新的定义。

HTAP = Hybridized Targeting and Approximation Pipleline

中文的意思是，结构化向量查询一体化

Hybridized Targeting and Approximation Pipleline

这就是近朱者赤，近墨者黑，我今天还挺红！

MongoDB “升级项目” 大型连续剧(3)-- 自动校对代码与注意事项

MongoDB “升级项目” 大型连续剧(2)-- 到底谁是"der"

MongoDB “升级项目”  大型连续剧(1)-- 可“生”可不升

MongoDB  大俗大雅，上来问分片真三俗 -- 4 分什么分

MongoDB 大俗大雅，高端知识讲“庸俗” --3 奇葩数据更新方法

MongoDB 学习建模与设计思路--统计数据更新案例

MongoDB  大俗大雅，高端的知识讲“通俗” -- 2 嵌套和引用

MongoDB  大俗大雅，高端的知识讲“低俗” -- 1 什么叫多模

MongoDB 合作考试报销活动 贴附属，MongoDB基础知识速通

MongoDB 年底活动，免费考试名额 7个公众号获得

MongoDB 使用网上妙招，直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模

数据库优化系列