在像聊天机器人这样的交互式环境中，RAG（检索增强生成）系统的可接受延迟通常为总响应时间 1-2 秒，其中检索和生成阶段分别不超过 500-1000 毫秒。 用户期望近乎即时的交互，超过 2-3 秒的延迟可能会中断对话流程。 例如，如果用户提出问题，系统应快速检索相关文档并生成响应，以模拟类似人类的轮流对话。 此目标平衡了计算复杂性与用户体验，因为较慢的响应可能会导致用户失去兴趣或感到沮丧。
为了满足延迟目标，通过使用高效的索引和查询策略来优化检索阶段。 像 FAISS 或 Annoy 这样的向量数据库可以实现快速近似最近邻搜索，从而将检索时间从几秒减少到几毫秒。 例如，将文档块预索引到更小的、可搜索的单元（例如，256 个 token 段）可以加快匹配速度。 缓存频繁或相似的查询（例如，使用 Redis）可以绕过重复请求的完整检索，例如关于营业时间的常见常见问题解答。 此外，限制检索到的文档数量（例如，前 3-5 个结果）可以防止不必要的处理开销，同时保持相关性。
对于生成阶段，优先考虑模型效率。 与像 GPT-4 这样的大型模型相比，较小的语言模型（例如，7B-13B 参数模型）通常以更快的推理速度提供足够的质量。 像量化（将模型精度降低到 8 位或 4 位）或硬件加速（GPU/TPU）这样的技术可以将生成时间缩短 30-50%。 例如，使用 NVIDIA 的 TensorRT-LLM 优化或像 vLLM 这样的框架可以通过并行生成 token 来减少延迟。 为了协调这两个阶段，实施异步流水线：一旦检索到第一个相关文档，就开始生成响应，而不是等待所有检索结果。 像 Prometheus 这样的监控工具可以跟踪每个阶段的延迟，从而可以进行调整（例如，扩展资源或调整模型大小）以保持在目标范围内。
