深度确定性策略梯度 (DDPG) 是一种强化学习算法，专为连续动作空间环境设计。它结合了深度 Q 网络 (DQN) 和策略梯度方法的思想，用于处理动作非离散、而是需要精细控制的任务，例如调整电机速度或转向角。DDPG 使用演员-评论家（actor-critic）架构：演员网络学习一个确定性策略，将状态映射到特定动作，而评论家通过估计这些动作的预期长期奖励（Q 值）来评估它们。为了稳定训练，DDPG 采用了目标网络（演员和评论家的延迟副本）和经验回放等技术，存储过去的转换以打破训练数据中的相关性。
该算法通过迭代改进演员和评论家来工作。评论家被训练来最小化时间差分（TD）误差，该误差衡量其 Q 值预测的准确性。演员则使用来自评论家的梯度进行更新，有效地引导其选择能够最大化预测奖励的动作。例如，在机械臂控制任务中，演员可能会输出每个关节的精确扭矩值，而评论家则评估这些扭矩是否能成功抓取物体。目标网络进行软更新（例如，使用一个小的插值因子，如 0.01），以防止可能导致学习不稳定的突然变化。经验回放允许智能体重用过去的数据，提高了样本效率并减少了对近期经验的过拟合。
DDPG 的主要挑战包括对超参数的敏感性以及在确定性策略中的探索问题。由于演员输出的是确定性动作，探索通常通过对动作输出添加噪声（例如，Ornstein-Uhlenbeck 噪声）来实现。开发者必须仔细调整学习率、噪声衰减率和批处理大小等参数。例如，在自动驾驶中，转向和加速动作是连续的，不当的噪声设置可能导致不稳定行为。虽然 DDPG 功能强大，但像 Twin Delayed DDPG (TD3) 这样的较新算法解决了它的一些不稳定问题。尽管如此，DDPG 仍然是连续控制任务的基础方法，尤其适用于需要精确、实时决策的场景，如工业自动化或基于物理的仿真。