LLM 防护栏可以减少骚扰或仇恨言论，但无法完全阻止。防护栏是应用于模型输入或输出的过滤器或规则，用于阻止有害内容。这些系统通常使用关键字屏蔽、上下文分析或预训练分类器来检测和抑制有害语言。例如，防护栏可能会标记侮辱或威胁，并阻止响应或将其替换为警告。虽然在许多情况下有效，但其成功取决于检测逻辑、训练数据的质量以及它们适应新型攻击的能力。
开发人员通过输入/输出过滤、在“安全”示例上微调模型或集成第三方审核 API 等方法来实现防护栏。基于关键字的过滤器可以阻止明确的术语（例如，种族歧视言论），但它们很难处理更微妙的仇恨言论、讽刺或编码语言。上下文分析通过整体评估短语来改进这一点——例如，区分引用仇恨言论（例如，用户询问“为什么人们使用[侮辱]？”）和主动使用它。像 OpenAI 的审核 API 或 Google 的 Perspective API 这样的工具使用机器学习分类器来评估内容的毒性，允许开发人员设置阻止的阈值。但是，这些工具可能仍然会错过边缘情况，例如非英语语言或文化特定的侮辱中的仇恨言论。
防护栏存在局限性。对抗性用户经常通过拼写错误（例如，“h8te”而不是“hate”）、同义词或暗示的威胁来绕过过滤器。由于训练数据中的偏差，模型也可能无意中生成有害内容。例如，要求模型完成诸如“来自[群体]的人是……”之类的句子，可能会默认使用刻板印象。此外，防护栏需要不断更新以应对不断变化的策略，这需要持续监控和重新训练。虽然它们减轻了风险，但开发人员必须将防护栏与用户报告、人工监督和明确的政策相结合。没有完美的技术解决方案，但将自动化系统与人为判断相结合，可以为 LLM 应用程序中的骚扰和仇恨言论提供最实际的防御。