0

0

零一万物自研全导航图向量数据库,横扫权威榜单6项第一

王林

王林

发布时间:2024-03-11 16:01:02

|

1388人浏览过

|

来源于机器之心

转载

3 月 11 日,零一万物宣布推出基于全导航图的新型向量数据库 「笛卡尔(Descartes)」,已包揽权威榜单 ANN-Benchmarks 6 项数据集评测第一名。

向量数据库,又被称为 AI 时代的信息检索技术,是检索增强生成(Retrieval-Augmented Generation, RAG)内核技术之一。对大模型应用开发者来说,向量数据库是非常重要的基础设施,在一定程度上影响着大模型的性能表现。

在国际权威评测平台 ANN-Benchmarks 离线测试中,零一万物笛卡尔(Descartes)向量数据库登顶 6 份数据集评测第一名,比之前榜单上同业第一名有显著性能提升,部分数据集上的性能提升甚至超过 2 倍以上。

零一万物表示,笛卡尔向量数据库将用在近期即将正式亮相的 AI 产品中,未来也将结合工具提供给开发者。

向量数据库成 AI 2.0 基础设施
获资本市场青睐

随着大模型为代表的 AI 2.0 时代到来,图片、视频、自然语言等多模态的非结构化数据量陡增,区别于用来处理结构化数据的传统数据库。向量数据库专门用来存储、管理、查询和检索向量化的非结构化数据;它就像一块外接的记忆盘,可供大模型随时调用,以形成「长期记忆」,也被昵称为大模型记忆的「海马体」。

大模型天然有四个缺陷,向量数据库就像是量身定制的「特效药」,能精准解决每个痛点。

  • 实时信息:大模型训练时间长,更新慢,无法反应最新的信息,其知识存在「截止期」的挑战。向量数据库采用轻量化更新机制,可以快速补充最新信息。
  • 隐私保护:用户的安全隐私数据不宜直接提供给大模型训练,否则会有泄密风险,向量数据通过在推理阶段扮演信息传递的中间载体,破解了隐私保护的难关。
  • 幻觉矫正:大模型常表现出的推理失真或产生幻觉的现象,可以通过向量数据库提供的丰富知识参照,有效矫正和减轻此类问题。
  • 推理效率:大模型推理成本高,向量数据库能够作为一种缓存机制,避免每一次查询请求都需要重新执行复杂的推理计算,大大节省了计算资源。

AI 2.0 掀起的科技变革和平台变革,进一步强化了向量数据库的作用。Google、微软、Meta 等大厂的相关产品先后问世,Zilliz、Pinecone、Weaviate、Qdrant 等创业公司也异军突起。2023 年,OpenAI 的向量数据库合作方 Pinecone 完成了 B 轮 1.38 亿美元融资,国内初创企业 Fabarta ArcNeural 也完成了上亿元 Pre-A 轮融资。
 
挑战权威榜单
包揽评测六项第一

ANN-Benchmarks 是当下业界最权威的向量数据库性能测试工具,它可以展示不同算法在不同真实数据集下的表现。

在以下 6 份评测数据集涵盖 glove-25-angular、glove-100-angular、sift-128-euclidean、nytimes-256-angular、fashion-mnist-784-euclidean、gist-960-euclidean 六大数据集,横坐标代表召回、纵坐标代表 QPS (每秒内处理的请求数),曲线位置越偏右上角意味着算法性能越好,零一万物笛卡尔向量数据库在 6 项数据集评测中都处于最高位。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

零一万物自研全导航图向量数据库,横扫权威榜单6项第一

零一万物自研全导航图向量数据库,横扫权威榜单6项第一

零一万物自研全导航图向量数据库,横扫权威榜单6项第一

零一万物自研全导航图向量数据库,横扫权威榜单6项第一

零一万物自研全导航图向量数据库,横扫权威榜单6项第一

问问小宇宙
问问小宇宙

问问小宇宙是小宇宙团队出品的播客AI检索工具

下载

零一万物自研全导航图向量数据库,横扫权威榜单6项第一

                                      截至 3 月 10 日,ANN-Benchmarks6 项评测中,零一万物笛卡尔(Descartes)向量数据库均居第一

「吞吐量 QPS」 是衡量信息检索系统(例如搜索引擎或数据库)查询处理能力的重要指标。在原榜单 TOP1 基础上,零一万物笛卡尔向量数据库实现了显著性能提升,部分数据集上的性能提升超过 2 倍以上,在 gist-960-euclidean 数据集维度更大幅领先榜单原 TOP1 286%。

零一万物自研全导航图向量数据库,横扫权威榜单6项第一

                               零一万物笛卡尔向量数据库与原榜单 TOP1 QPS 性能对比

技术揭秘

令人好奇的是,笛卡尔如何实现上述优秀性能?

众所周知,RAG 是一种结合了检索和生成的技术,它通过从海量数据中检索查询到的信息,来增强语言模型的生成能力。和传统检索方法类似,从本质上讲,RAG 向量检索主要解决两大问题:

1. 通过建立某种索引结构,减少检索考察的候选集;
2. 降低单个向量计算的复杂度。

零一万物笛卡尔向量数据库在处理复杂查询、提高检索效率以及优化数据存储方面相比业界拥有显著的比较优势。针对第 1 个问题,零一万物团队有两大杀手锏:

零一万物自研全导航图向量数据库,横扫权威榜单6项第一

  • 领先的全导航图技术。目前业内现状主要通过哈希、KD-Tree、VP-Tree 等方式,导航效果不够精确,裁剪力度不够,零一万物研发的全局多层缩略图导航技术,图上坐标系导航,既能保证精度,又能裁剪大量无关向量。
  • 首创自适应邻居选择策略,填补业界空白。零一万物自研的自适应邻居选择策略,突破了以往仅依赖真实 topk 或固定边选择策略的局限,新策略使每个节点可以根据自身及邻居的分布特征动态地选取最佳邻居边,更快收敛接近目标向量,从而让 RAG 向量检索性能提高 15%-30%。

针对第 2 个问题,零一万物采用了两级量化方案增强 RAG。零一万物用两级量化降低计算复杂度,同时列式存储充分利用 SIMD 的并发能力,进一步发挥硬件能力,相比传统 PQ 查表,性能得到大幅提升到 2-3 倍。

除此之外,零一万物还有索引结构优化、连通性保障等全栈向量技术方案提高笛卡尔向量数据库的性能。

全栈向量技术:精度更高、性能更强

通过上述全栈向量技术的加持,让零一万物笛卡尔向量数据库不仅登顶权威榜单 ANN-Benchmarks6 项评测第一名。更在实际应用场景中具有精度更高、性能更强等核心优势。

零一万物笛卡尔向量数据库目前聚焦于高性能向量数据库。高性能向量数据库通常是指向量数据集规模在千万级及以下(如 2000 万 128 维浮点型向量),通常而言,高性能向量数据库可以轻松应对百分之八九十的日常场景,比如帮助企业客户构建私域知识库、智能客服系统;在自动驾驶领域,使用高性能向量数据库可来加速自动驾驶模型训练等。

零一万物高性能向量数据库具有以下优点:

  • 超高精度:基于多层缩略图和坐标系实现层间导航和图上方位导航,以及图连通性保障,实现精度大于 99%,相同性能下,精度大幅领先业内水平。
  • 超高性能:高效的边选择和裁剪技术,千万数据库 ms 响应。

以电商推荐场景为例,上架商品数量可能千万级,每个商品可以由一个向量表达。即使库中向量数不算很大,如果电商用户基数非常庞大,高峰时每秒用户请求数非常大,可能达到几十万甚至上百万的 QPS。使用高性能向量数据库可以有效提升电商场景里面搜索、广告业务的推荐效果,让大家忍不住一直买买买。

零一万物表示,笛卡尔向量数据库是团队基于 RAG 的初步尝试,将在近期发布的 AI 生产力产品中得到有效应用。未来各家大模型优化到一定程度后,向量数据库的能力可能决定各家大模型的天花板。零一万物后续会持续专注研发和分享,为用户带来更好的技术和体验。

相关专题

更多
堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

359

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

558

2023.08.10

页面置换算法
页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章,大家可以免费体验。

378

2023.08.14

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

325

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

2066

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

346

2023.08.31

MySQL恢复数据库
MySQL恢复数据库

MySQL恢复数据库的方法有使用物理备份恢复、使用逻辑备份恢复、使用二进制日志恢复和使用数据库复制进行恢复等。本专题为大家提供MySQL数据库相关的文章、下载、课程内容,供大家免费下载体验。

250

2023.09.05

vb中怎么连接access数据库
vb中怎么连接access数据库

vb中连接access数据库的步骤包括引用必要的命名空间、创建连接字符串、创建连接对象、打开连接、执行SQL语句和关闭连接。本专题为大家提供连接access数据库相关的文章、下载、课程内容,供大家免费下载体验。

315

2023.10.09

笔记本电脑卡反应很慢处理方法汇总
笔记本电脑卡反应很慢处理方法汇总

本专题整合了笔记本电脑卡反应慢解决方法,阅读专题下面的文章了解更多详细内容。

1

2025.12.25

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号