深度 Q 学习 (DQL) 是一种强化学习技术，它将 Q 学习与深度神经网络相结合，使智能体能够在复杂的环境中学习最佳行动。 传统的 Q 学习使用表格来估计在给定状态下采取行动的价值（Q 值），但在具有大型或连续状态空间的环境中，例如视频游戏或机器人技术，这变得不切实际。 DQL 通过用近似 Q 值的神经网络替换 Q 表来解决这个问题，允许智能体跨状态进行泛化并处理高维输入，例如图像或传感器数据。 例如，DQL 智能体可以通过处理原始像素数据作为输入并预测最佳移动来学习玩 Atari 游戏。
DQL 的核心组件包括深度神经网络（Q 网络）、经验回放缓冲区和目标网络。 Q 网络将当前状态作为输入，并输出每个可能操作的 Q 值。 在训练期间，智能体与环境交互，将经验（状态、行动、奖励、下一个状态和完成标志的元组）存储在回放缓冲区中。 智能体不是从连续的经验中学习（这些经验可能高度相关），而是从缓冲区中抽取随机批次，从而提高稳定性。 目标网络是 Q 网络的副本，具有延迟更新，用于计算目标 Q 值，从而减少有害的反馈循环。 例如，在迷宫导航任务中，智能体可以通过反复从回放缓冲区中抽取过去的失败经验来学习避开死胡同。
DQL 中的主要挑战包括平衡探索和利用以及减轻高估的 Q 值。 探索通常使用 epsilon-greedy 策略处理，其中智能体随时间推移以递减的概率随机选择动作。 高估偏差（Q 网络夸大价值预测）通常通过诸如 Double DQN 之类的技术来解决，该技术将行动选择和评估分离。 实施 DQL 的开发人员应专注于超参数调整（例如，学习率、折扣因子）并监控诸如奖励收敛之类的训练指标。 实际应用范围从游戏 AI（例如，在复杂环境中训练机器人）到工业自动化（例如，优化机器人控制策略）。 尽管 DQL 功能强大，但成功通常取决于仔细的架构设计和强大的训练实践。