深度 Q 网络 (DQN) 是一种强化学习算法，它将 Q 学习与深度神经网络相结合，使智能体能够在复杂环境中学习最佳行动。传统的 Q 学习使用表格来存储 Q 值（特定状态下行动的预期奖励的估计值），但在具有大型状态空间（如视频游戏或机器人技术）的环境中，这种方法变得不切实际。DQN 用近似 Q 值函数的神经网络代替该表格，从而允许它跨状态进行泛化并处理高维输入（如图像）。DQN 的主要创新包括经验回放和目标网络，它们可以稳定训练并提高样本效率。例如，在 Atari 游戏中，网络可能会将原始像素帧作为输入，并输出每个可能行动的 Q 值（例如，向左或向右移动）。
DQN 解决了强化学习中的两个主要挑战：相关数据和移动目标。经验回放将智能体的经验（状态、行动、奖励、下一个状态）存储在缓冲区中，并在训练期间随机抽取小批量。这打破了连续更新之间的相关性，否则可能会破坏学习的稳定性。目标网络是用于在训练期间计算 Q 值目标的单独神经网络。通过定期（例如，每 1,000 步）而不是持续更新目标网络，DQN 降低了网络追逐自身变化预测的反馈循环的风险。例如，在训练智能体导航迷宫时，目标网络可确保用于误差计算的 Q 值在短时间内保持一致，从而实现更稳定的更新。
实施 DQN 需要仔细的设计选择。神经网络架构通常包括用于基于图像的输入的卷积层和用于决策的全连接层。重放缓冲区大小、学习率和目标网络更新频率等超参数会显着影响性能。一个常见的陷阱是高估 Q 值，这可以通过 Double DQN 等技术来缓解。虽然 DQN 在离散行动空间（例如，游戏控制）中表现出色，但它在连续行动（例如，机器人手臂运动）中表现不佳，在这种情况下，DDPG 等算法更适合。开发人员可以使用 TensorFlow 或 PyTorch 等框架来构建 DQN 模型，但训练仍然是计算密集型的，通常需要 GPU。例如，基于 DQN 的仓库机器人可以通过处理激光雷达数据来学习避开障碍物，但微调网络和奖励函数对于可靠的性能至关重要。