在面向用户的向量搜索应用程序中，尾部延迟（p95/p99）优先于平均延迟，因为它直接反映了最差的用户体验。平均延迟会平滑掉异常值，但 p95 和 p99 捕获了最慢的 5% 和 1% 的请求，这对于一致性至关重要的应用程序来说至关重要。例如，如果一个推荐系统的平均延迟是 50ms，但 p99 是 2 秒，那么 1% 的用户将经历明显的延迟，这会导致沮丧或放弃使用。相反，优化 p95/p99 可以确保即使在不完美的情况下——例如流量高峰或硬件差异——大多数用户也能获得快速、可预测的响应。
向量搜索工作负载本身是可变的，这使得尾部延迟成为衡量实际性能的更好指标。与简单的键值查找不同，向量搜索涉及计算量大的操作，例如在高维空间中进行最近邻搜索。这些操作会根据查询复杂性、数据分布或索引策略而差异很大。例如，分层可导航小世界（HNSW）索引可能在大多数查询中表现良好，但偶尔会遍历次优路径，导致零星延迟。同样，硬件因素，例如缓存未命中或服务器上的后台进程，也可能无法预测地减慢一小部分请求的速度。通过关注 p95/p99，开发者可以识别并解决这些边缘情况，例如优化索引遍历或隔离资源密集型工作负载，而平均指标可能会忽略这些问题。
面向用户的应用程序还需要严格的服务水平协议 (SLA) 来保证可靠性。例如，使用向量搜索进行产品推荐的电商网站无法承受在购物高峰期有 1% 的用户需要等待数秒才能看到结果。尾部延迟指标帮助团队设置切实的 SLA 并设计能够优雅处理负载的系统。通常采用请求对冲（将重复请求发送到多个节点并使用第一个响应）或数据分片以减小每个节点的索引大小等技术来减轻尾部延迟。通过衡量和优化 p95/p99，开发者可以确保性能改进转化为更好的用户留存和满意度，而不仅仅是无法反映实际使用模式的统计平均值。