强化学习（RL）中的自举是指智能体使用其自身预测来更新状态或动作值的估计，而不是仅仅依赖于完整的经验轨迹的方法。自举不是等待观察一系列动作的完整结果（例如在蒙特卡罗方法中），而是将即时奖励与后续状态的当前价值估计相结合。例如，像 Q-Learning 或 SARSA 这样的时序差分 (TD) 学习算法通过根据观察到的奖励和下一个状态的估计价值更新状态的价值来使用自举。 这种方法允许智能体逐步学习，在每一步之后进行更新，而不是等待一个 episode 结束。
自举的一个主要优点是效率。由于更新发生得更频繁，智能体可以更快地适应新信息，尤其是在具有长 episode 或连续任务的环境中。 例如，在 Q-Learning 中，智能体使用以下公式更新状态-动作对的 Q 值： Q(s, a) = Q(s, a) + α [r + γ * max_a’ Q(s’, a’) - Q(s, a)] 在这里，术语 max_a’ Q(s’, a’) 表示未来奖励的自举估计值。 这减少了蒙特卡罗方法中看到的方差，蒙特卡罗方法依赖于完整的 episode 回报。 但是，自举会引入偏差，因为价值估计本身在早期训练期间可能不准确。 尽管存在这种权衡，但自举在实践中被广泛使用，因为它平衡了学习速度和稳定性。
自举的一个挑战是，价值估计中的错误会传播并影响学习。 例如，如果智能体由于初始随机性而高估了某个状态的价值，则后续更新可能会强化此错误，从而导致次优策略。 像 Double Q-Learning 这样的技术通过解耦动作的选择和评估来解决这个问题，以减少过度估计偏差。 自举是许多 RL 算法的基础，包括深度 Q 网络 (DQN)，其中神经网络逼近 Q 值，更新在很大程度上依赖于自举目标。 了解何时以及如何使用自举对于设计在即时反馈和长期准确性之间取得平衡的高效 RL 系统至关重要。