大型语言模型 (LLM) 护栏和基于人类反馈的强化学习 (RLHF) 协同工作以塑造模型行为，但它们在开发和部署流程的不同阶段发挥作用。护栏是训练后的过滤器或规则，旨在推理过程中执行安全性、合规性或风格指南，而 RLHF 是一种训练方法，通过结合人类偏好来调整模型的底层行为。两者之间的交互是互补的：RLHF 在训练期间引导模型朝着期望的输出方向发展，而护栏则充当最终的安全网，以捕获边缘情况或执行 RLHF 可能无法完全解决的额外约束。
例如，RLHF 可以通过让人类根据安全性对响应进行排名，从而训练模型避免生成有害内容。该模型学习优先考虑与这些排名一致的答案。然而，即使在 RLHF 之后，模型有时可能会产生违反特定策略的输出，例如包含个人数据或有偏见的语言。然后，护栏可以拦截这些输出——要么阻止它们、要么重写它们，要么重定向对话。例如，即使基本模型（RLHF 之后）没有包含，护栏也可能会检测到用户要求提供医疗建议并在响应中附加类似“我不是医生”的免责声明。这种分层方法确保 RLHF 处理广泛的对齐，而护栏执行细粒度的、特定于场景的规则。
一个关键的考虑因素是平衡 RLHF 和护栏的角色，以避免冗余或冲突。过度依赖护栏可能会掩盖 RLHF 训练模型的缺点，使其更难改进核心系统。例如，如果护栏经常纠正具有政治偏见的输出，开发人员可能不会意识到该模型仍然存在 RLHF 应该解决的潜在偏差问题。相反，过于严格的护栏可能会覆盖通过 RLHF 学习到的有用行为，例如创造性地解决问题。为了优化这种交互，开发人员应该根据护栏日志（例如，干预的常见触发因素）迭代地改进 RLHF，并确保护栏规则与模型的训练目标一致。这种协作创建了一个更强大的系统，其中 RLHF 和护栏相互加强。