向量数据库被屠榜,半年新王笛卡尔含金量几何?
媒体争相报道,朋友圈刷屏热议,笛卡尔的横空出世让向量数据库的排行榜头名再次易主,并且以惊人的性能优势,在部分数据集上与其他竞争对手拉开了巨大差距。相较于之前的领先者SOTA,笛卡尔的成绩飙升了惊人的286%。
值得关注的另外一点是,此前榜单中六个数据集的榜首分属两个厂商,而笛卡尔(图中右上红色曲线)之所以被业界如此关注,也是因为其结束了此前榜单中分庭抗礼的局面,成为真正的“王者”。
下图为对数坐标系,横坐标代表召回,纵坐标代表QPS(每秒处理的请求数),越往右上角意味着算法性能越好。
⬅️数据集评测结果(左右滑动查看)➡️
ANN-Benchmarks屠榜,评测结果未在零一万物官网展示
ANN-Benchmarks作为向量数据库和近似最近邻搜索(ANN)领域的评测工具,因其标准化测试框架和真实数据集的使用,而具备一定的权威性。它为各种算法和数据库提供了一个公平的比较平台,通过查询速度、准确率、内存消耗等评估指标,综合展现产品的性能。测试方法的公开透明也确保了结果的公正性和可重复性。
此次笛卡尔(Descartes)的表现在媒体圈掀起不小的话题,但零一万物的官网并没有做出展示。
Zilliz 创始人 & CEO 星爵的一条朋友圈也从一个角度回应了这个事件:Zilliz于2017年创立,于2019年开源了向量数据库产品 Milvus。他们是最早将 RAG(检索增强生成) 的概念从美国引入国内的厂商,并一直坚定地为大模型布道。“可是,这些努力似乎总赶不上友商强大的媒体宣传和PR能力。有位投资人甚至质疑‘向量数据库真的有门槛吗? 人家半年就能做到世界第一?’”
对于此次评测,第三方业界专家指出,除了ANN-Benchmarks之外,还有如big-ann、VectorDBBench等其他权威的榜单。这些不同的评测工具可能各有侧重,提供了多样化的视角。特别是big-ann作为NeurIPS官方比赛,其结果往往受到业界的广泛关注。零一万物也并没有止步于评测上的领先。
全栈向量技术,笛卡尔的杀手锏?
向量数据库性能的关键,就是向量检索能力,那么如何提高这个能力呢?
即减少考察的候选集和降低单个向量计算的复杂度。
在解决考察候选集过大的问题时,团队引入了全导航图技术。这一创新方法构建了全局多层缩略图,实现了图上坐标系导航,从而在保证检索精度的同时,有效地裁剪了大量无关向量。与哈希、KD-Tree、VP-Tree等传统方法相比,全导航图技术不仅提高了导航的精确度,还大大增强了裁剪力度,显著缩小了候选集范围。
为了进一步优化向量检索过程,零一万物还自研了自适应邻居选择策略。这一策略突破了以往仅依赖真实top-k或固定边选择策略的局限性,让每个节点都能根据自身及其邻居的分布特征来动态地选取最佳邻居边。这一创新方法不仅加快了收敛速度,使得RAG向量检索性能提高了15%-30%,还增强了检索结果的准确性。
针对单个向量计算复杂度过高的问题,团队采取了两级量化方案来降低计算复杂度。同时,通过列式存储方式充分利用SIMD的并发能力,进一步挖掘了硬件潜力。与传统的PQ查表方式相比,这一方案不仅降低了计算复杂度,还使得性能大幅提升了2-3倍。
写在最后
笛卡尔在ANN-Benchmarks评测中取得了显著的成绩,但这仅仅是一个开始。对于零一万物来说,真正的挑战在于如何将这一技术优势转化为实际的产品优势,满足广大用户的需求。3月18日,零一万物宣布决定全面开放笛卡尔向量数据库的搜索内核,并免费供商业使用。(GitHub链接:https://github.com/01-ai/Descartes)
取得评测第一只是走向成功的一小步。在未来的道路上,零一万物还需要面对更多的挑战和竞争。但无论如何,笛卡尔的横空出世已经为向量数据库领域注入了新的活力,我们有理由期待它在未来的表现。
参考链接:
https://www.lingyiwanwu.com/en