强化学习 (RL) 中的策略蒸馏是一种将知识从复杂或集成的 RL 策略（通常称为“教师”）转移到更简单、更高效的策略（“学生”）的技术。目标是创建一个紧凑的模型，该模型模仿原始策略的行为，同时更容易部署、运行速度更快或更稳健。当教师策略计算成本高昂（例如大型神经网络），而学生需要在有限的内存或实时决策等约束下运行时，这尤其有用。蒸馏侧重于捕获教师的基本决策模式，而无需复制其全部复杂性。
该过程通常涉及使用教师的输出作为监督来训练学生策略。例如，学生不是通过与环境的试错交互来训练（如在标准 RL 中），而是通过匹配教师在不同状态下的动作概率或价值估计来学习。这可以使用监督学习技术来完成，其中学生最小化一个损失函数，该函数衡量其预测与教师之间的差异。例如，在玩游戏的 RL 代理中，教师可能会输出给定游戏状态下可能移动的概率分布。然后训练学生重现这种分布，从而有效地学习教师认为最佳的动作，而无需探索环境本身。蒸馏还可以将来自多个教师的知识（例如，在不同条件下训练的策略集合）组合成单个学生策略，从而更好地泛化。
策略蒸馏的一个关键优势是效率。经过蒸馏的学生策略可以用更少的参数或更低的计算开销来实现与教师相当的性能，使其适用于在边缘设备上部署。例如，机器人应用程序可能会将模拟中训练的大型策略蒸馏成在嵌入式硬件上运行的轻量级版本。但是，挑战包括确保学生不会丢失教师行为的关键细微差别。如果学生的架构过于有限，它可能无法捕获罕见但重要的决策。此外，蒸馏依赖于教师的专业知识，因此教师中的错误或偏差会传播给学生。诸如添加熵正则化或将蒸馏与有限的环境交互相结合等技术可以缓解这些问题。总的来说，策略蒸馏平衡了性能和实用性，使 RL 系统能够在现实世界场景中有效地扩展。