带有 Token 级别过滤的 LLM 护栏通过实时分析和控制模型生成的每个单独的 Token（单词或子词）来工作。 这种方法在文本生成过程本身中进行干预，而不是在输出完成后。 在每一步，当模型预测下一个 Token 时，护栏系统会评估该 Token 是否符合预定义的安全、道德或内容准则。 如果 Token 违反这些规则，系统会阻止它、替换它或调整模型的概率分布，以引导它朝着可接受的替代方案发展。 例如，如果模型开始生成有害术语（如“仇恨”），则护栏可能会在序列的早期（例如，“ha”）检测到该 Token，并通过将其概率设置为零来阻止该单词的进一步完成，从而迫使模型选择不同的路径。
Token 级别过滤依赖于允许列表/拒绝列表、正则表达式模式或机器学习分类器等技术来评估 Token。 允许列表将生成限制为预定义的安全 Token 集，而拒绝列表则阻止特定的高风险 Token。 更高级的系统使用经过训练的轻量级分类器来标记与有害内容（例如暴力或偏见）相关的 Token。 例如，分类器可能会检测到“如何制造枪支”上下文中的 Token“枪”是有风险的并阻止它，同时允许相同的 Token 出现在无害的上下文中，例如“枪支所有权法”。 这些检查已集成到模型的解码循环中，通常通过在对下一个 Token 进行采样之前修改 logits（Token 概率）来实现。 开发人员可以使用 Hugging Face 的 transformers 库之类的 API 来拦截 logits 并应用自定义过滤逻辑，从而确保实时强制执行而不会中断生成工作流程。
实施 Token 级别的过滤需要平衡安全性和输出质量。 过于严格的规则会导致不连贯或重复的文本，因为模型很难找到有效的路径。 例如，阻止所有医疗术语可能会阻止有害的建议，但也可能使模型无法建设性地讨论健康主题。 为了解决这个问题，一些系统使用上下文感知检查，例如评估多 Token 序列（例如，“偷车”与“汽车盗窃统计数据”）或根据用户意图调整过滤器灵敏度。 诸如 NVIDIA 的 NeMo Guardrails 或 Microsoft 的 Guidance 框架之类的工具提供了用于添加这些检查的模块化系统，允许开发人员将 Token 级别规则与更广泛的对话策略分层。 然而，延迟仍然是一个挑战——向每个 Token 生成添加计算步骤会降低推理速度，需要诸如缓存或并行处理之类的优化来维持性能。