是的，防护措施可能会引入 LLM 输出的延迟。防护措施是对 LLM 生成的内容应用额外的逻辑或验证层，以确保其满足特定标准，例如安全性、正确性或格式。这些检查需要计算工作，从而增加了模型生成响应和将其传递给用户之间的时间。例如，如果防护措施扫描输出中禁止的关键字或验证响应是否遵循结构化的 JSON 模式，则每个步骤都会引入处理开销。防护措施越复杂，潜在的延迟就越大。
延迟的一个关键因素是防护措施的实施方式。简单的检查（如使用正则表达式进行关键字过滤）可能会增加最小的延迟。但是，更高级的防护措施（例如，使用辅助机器学习模型来检测有害内容或验证事实准确性）需要额外的推理时间。例如，通过审核 API 重新路由 LLM 输出的防护措施会引入来自外部服务的网络延迟和处理时间。同样，重新格式化或重构输出的防护措施（例如，将自由文本答案转换为预定义的模板）可能涉及解析、验证，以及在初始输出未通过检查时进行重试。这些步骤会累加，尤其是在按顺序应用防护措施时。
开发人员可以通过优化防护措施设计来缓解延迟。例如，与 LLM 的响应生成并行运行某些检查，缓存频繁的验证结果，或者在可能的情况下使用轻量级验证逻辑。但是，存在权衡：对于关键应用程序，可能需要更严格的防护措施（例如，针对数据库的实时事实检查），尽管会增加延迟。在实际工作负载下测试和分析防护措施的性能对于平衡安全性和响应能力至关重要。例如，客户支持聊天机器人可能会优先考虑具有基本不当言语过滤器的快速响应，而医疗助理可能会证明使用严格准确性检查的较慢输出是合理的。影响取决于用例和防护措施的复杂性。