大型语言模型（LLM）护栏是旨在防止 LLM 生成有害、有偏见或不当内容的规则或系统。它们充当过滤器或约束，以确保输出符合安全、道德或法律标准。例如，护栏可能会阻止模型提供非法活动说明或生成仇恨言论。这些系统对于内容审核至关重要，因为 LLM 在不受限制的情况下，可能会根据其训练数据或用户输入无意中产生有害、误导或不安全的响应。
护栏通常通过结合预处理、实时检查和后处理来工作。在预处理期间，分析输入提示是否存在风险关键字或意图（例如，“如何黑客攻击网站？”）。实时检查逐步监控模型的生成过程，阻止违反策略的输出。后处理涉及扫描最终输出，查找亵渎或个人数据泄露等问题。例如，LLM 客户支持聊天机器人可以使用护栏来避免共享敏感的内部公司数据或拒绝医疗建议请求。开发者通常使用关键字黑名单、训练用于检测有害内容的分类器或基于规则的逻辑（例如，“绝不讨论爆炸物”）来实现这些检查。
护栏的有效性取决于在安全性与可用性之间取得平衡。过于严格的规则可能会导致模型拒绝有效的请求，而薄弱的护栏则可能导致有害输出。例如，一个阻止所有提及“药物”的护栏可能会阻止模型解释青霉素的医疗用途。开发者通常通过使用上下文感知过滤器来解决这个问题——例如在医疗环境中允许讨论“阿司匹林”，但阻止娱乐性药物话题。OpenAI 的 Moderation API 或开源库（例如 Perspective API）等工具提供了预构建的解决方案，但针对特定用例（例如，儿童教育应用 vs. 医疗保健工具）自定义护栏仍然是开发者面临的关键挑战。定期更新是必要的，以适应新兴风险，例如新的俚语或规避策略。