深度 Q 网络 (DQN) 中的目标网络是一种稳定技术，用于解决在强化学习中训练神经网络近似 Q 值时出现的不稳定性。在 DQN 中，智能体通过更新一个神经网络（即“在线网络”）来学习策略，以预测给定状态下采取行动的预期未来奖励（Q 值）。然而，由于在训练过程中使用同一网络来估计当前和未来的 Q 值，这些预测的目标会迅速变化，导致反馈循环和不稳定的学习。目标网络是在线网络的一个独立的、更新速度较慢的副本，它生成更稳定的 Q 值目标用于训练，从而减少这种波动性。
目标网络之所以必要，主要原因在于解耦当前 Q 值和目标 Q 值的估计。如果没有目标网络，在线网络的更新将立即影响未来 Q 值的计算，从而形成一个移动的目标。例如，如果在线网络的权重在每个训练步骤后都发生变化，它为下一个状态预测的 Q 值（在 Bellman 方程中使用）也会随之改变，使得网络更难收敛。通过引入目标网络——一个更新权重频率较低（例如，每 1,000 个训练步骤更新一次）的在线网络副本——目标可以在多次更新中保持固定。这能稳定学习过程，类似于在优化中使用固定参考点可以防止震荡。
目标网络的一个实际应用例子是它们在原始 DQN 算法中用于玩 Atari 游戏。在该算法中，在线网络在每个步骤都使用经验回放缓冲区中的经验进行更新，而目标网络的权重则定期从在线网络复制。另一种变体，用于像 DDPG 这样的算法中，采用“软更新”机制，目标网络的权重使用一个参数（如 tau (τ = 0.01)）与在线网络的权重逐渐融合。这种方法避免了突变，并保持更平滑的目标值过渡。如果没有目标网络，DQN 通常无法学习到有效的策略，因为目标值估计会由于快速变化的目标而发散。通过将目标生成与即时更新解耦，目标网络能够在复杂环境中实现更可靠的收敛。