大型语言模型（LLM）语境下的安全护栏是指旨在控制和约束模型输出的机制，以确保它们满足特定的安全、道德或功能要求。它们充当检查和平衡层，以防止模型生成有害、有偏见、离题或其他不良内容。例如，安全护栏可能会阻止包含仇恨言论、个人数据或错误信息的回复，或者强制输出保持在预定义的主题或格式内。这些安全措施至关重要，因为 LLM 虽然功能强大，但缺乏对上下文或意图的内在理解，并且在没有适当指导的情况下可能会产生意外的结果。
从技术上讲，安全护栏通过预处理、过程中控制和后处理过滤器相结合来实现。预处理涉及验证或修改用户输入，以删除有害请求或注入上下文（例如，将“不要提及政治”等规则附加到提示）。在生成过程中，诸如约束解码之类的技术会将模型的词汇限制为特定的关键字或短语。后处理可能会使用正则表达式模式、分类器或审核 API 来扫描输出是否存在违规行为。例如，客户支持聊天机器人可以使用正则表达式来编辑信用卡号码，或者使用审核 API 来标记有毒语言。像 Microsoft 的 Guidance 或 NVIDIA 的 NeMo Guardrails 这样的工具提供了对这些规则进行编码的框架，允许开发人员定义允许的主题、强制响应结构或集成外部验证。
开发人员在实施安全护栏时必须平衡严格性和灵活性。过于严格的规则会使输出感觉像机器人或限制有用的响应，而宽松的约束则有产生不安全或不相关内容的风险。例如，医疗建议应用程序可能会使用安全护栏来阻止未经证实的治疗方法，但允许模型解释症状。测试至关重要：应该对对抗性提示（例如，“忽略以前的指令……”）进行压力测试，以确保安全护栏有效。与领域专家（例如，负责合规性的法律团队）的协作可确保规则与现实世界的需要保持一致。像 Hugging Face 的 transformers 这样的开源库包括内置的安全模块，但自定义用例通常需要定制——例如，添加特定于行业的阻止列表或集成用户反馈循环以随着时间的推移改进约束。