LLM 中的安全护栏是旨在保持模型输出安全、相关并与特定指南对齐的机制。 它们充当过滤器或规则，约束模型可以生成的内容，确保它避免有害、有偏见或离题的内容。 与塑造其一般行为的模型核心训练不同，安全护栏通常应用于推理（生成响应时）以强制执行实时检查。 例如，即使底层 LLM 在技术上“知道”如何描述非法活动，安全护栏也可能会阻止模型生成非法活动的指令。 这些控制对于使 LLM 可用于生产至关重要，在生产中，可靠性和安全性是不容谈判的。
安全护栏通常通过预处理、后处理和模型特定技术的组合来实现。 在预处理中，可能会扫描用户输入中是否存在表明有害意图（例如，仇恨言论、自残参考）的关键字或模式，然后再将查询发送到模型。 后处理涉及分析模型的输出以检测和修改或编辑有问题的内容。 例如，开发人员可以使用正则表达式从响应中删除个人身份信息 (PII)，或者使用辅助分类器来标记有害语言。 一些系统还集成了检索增强过滤器，其中知识库或阻止列表定义了禁止的主题。 一个实际的例子是客户服务聊天机器人，它使用安全护栏来避免讨论竞争对手的产品，这是通过根据预定义的禁用术语列表过滤响应来强制执行的。
虽然安全护栏增加了一层安全性，但它们也有局限性。 过于严格的规则会使模型过于谨慎，导致不相关的拒绝（例如，拒绝回答“我如何制作蛋糕？”因为“制作”一词触发了误报）。 开发人员必须平衡特异性和灵活性——使用语义相似性检查等技术而不是生硬的关键词匹配。 例如，医疗建议 LLM 可能会允许一般健康提示，但通过检测上下文（例如，“mg”单位与药物名称配对）来阻止剂量建议。 像 OpenAI 的 Moderation API 或 Microsoft 的 Guidance 等开源库这样的工具提供了实现这些检查的框架。 最终，安全护栏需要持续的测试和迭代，以适应边缘情况，同时保持模型的实用性。