向量数据库中的查询延迟是指处理搜索或检索请求所需的时间，从发送查询开始到返回结果结束。它通常以毫秒 (ms) 为单位衡量，反映了数据库处理最近邻搜索等操作的效率，这些操作由于高维向量比较而计算密集。延迟通过跟踪每个查询执行的持续时间来衡量，通常使用处理开始和结束的时间戳。应用性能监控 (APM) 系统、自定义日志记录或特定数据库指标收集器等工具用于聚合多个请求的这些数据。例如，推荐系统中涉及十亿维向量搜索的查询可以记录其开始和结束时间，然后分析这些值以计算统计摘要。
平均延迟和基于百分位的指标（例如，第 95 或 99 百分位）用途不同。平均延迟是通过将所有查询持续时间相加再除以查询总数来计算的，它提供了系统性能的总体概念。然而，平均值可能会受到异常值（例如少数极其缓慢的查询）的影响而产生偏差，从而掩盖了差异性。基于百分位的指标通过显示特定比例请求的最差情况延迟来解决此问题。例如，第 95 百分位延迟表示 95% 的查询在该值或低于该值时完成，而 5% 的查询更慢。这对于需要一致响应性的应用程序至关重要，例如实时欺诈检测，其中偶尔的延迟可能会扰乱用户体验。一个平均延迟为 50ms 但第 99 百分位为 500ms 的数据库仍然可能无法满足高优先级用例的服务级别协议 (SLA)。
在优化向量数据库中的延迟时，索引方法、硬件资源和查询复杂度等因素起着关键作用。例如，HNSW 或 IVF 等近似最近邻 (ANN) 索引可以通过牺牲部分精度来换取速度，从而降低延迟，但其性能会因探针数量或图连接数等参数而异。此外，分布式系统可能会因网络瓶颈或负载不均而出现延迟峰值。开发人员通常在实际工作负载下（测试并发查询或大型数据集等场景）对延迟进行基准测试以识别瓶颈。FAISS 或 Milvus 等工具提供内置的延迟指标，使团队能够比较不同配置（例如，GPU 加速与仅 CPU）并针对特定的百分位目标调整系统。平衡速度、精度和资源成本对于满足应用程序需求至关重要。