《向量数据库指南》——AI原生向量数据库Milvus Cloud 2.3 Enhancement
发布时间
阅读量：
阅读量
Enhancement
MMap 技术提升数据容量
以下是改写后的文本
filter 场景性能提升
对于标量与向量混合查询场景，在 Milvus 的运行流程中是先进行标量过滤然后进行向量检索操作。这种设计会导致在标量过滤阶段处理完大量数据后仍需继续耗时的向量检索操作。如果过滤掉的数据占比过高将会导致索引性能明显影响甚至崩溃。为此我们改进了 HNSW 索引的数据过滤策略从而提升了该场景下的性能表现从 2.3.0 版本开始这一优化措施正式生效并获得了显著的效果提升。此外我们还通过引入自动化的向量化处理机制有效提升了标量数据过滤的速度进而实现了整体查询效率的显著提升
Growing 索引
将 Milvus 的数据划分为两类：一类是可被预先构建的索引支持的已有结构化数据；另一类是无法通过传统方式高效处理的流式增量数据。对于前者类别的信息，在已有结构化布局下便于借助预建的索引实现快速查询；但对于后者类别的信息，则仅限于采用逐行遍历的方式进行精确匹配这一传统方法进行处理；这种处理方式在面对大量实时增量数据时会导致性能瓶颈问题较为明显；为此，在 2.3.0 版本中引入了 Growing index 功能模块；通过动态机制实现对流式增量数据的实时性支持的同时又能维持高效的查询性能水平
多核环境资源利用率提升
向量近似计算主要应用于现代检索系统的开发与应用中,CPU使用率是一个关键参数,特别是在多核处理器环境下,由于线程竞争的存在,系统往往难以突破70%的CPU使用率限制。通过改进算法框架,Milvus 2.3.0能够充分挖掘CPU资源,实现性能的显著提升。
全部评论 (0)
还没有任何评论哟~