深度神经网络 (DNN) 通过使智能体能够处理传统强化学习方法难以应对的复杂、高维环境来增强强化学习 (RL)。在 RL 中，智能体通过与环境交互并接收奖励来学习做出决策。经典的RL方法，例如 Q-learning，依赖于表格或简单函数来表示策略或价值估计。然而，当状态或动作过多时（例如，在基于图像的环境中），这些方法就会失效。DNN 通过近似策略或价值函数来解决这个问题，允许智能体从有限的数据中进行泛化，并在具有广阔状态空间的环境中运行。例如，深度 Q 网络 (DQN) 使用卷积神经网络来处理 Atari 等游戏中的原始像素输入，用神经网络直接预测动作值来代替表格 Q 值存储。
DNN 还使 RL 智能体能够学习状态和动作的抽象表示，这对于需要长期规划的任务至关重要。例如，AlphaGo 将 DNN 与蒙特卡洛树搜索相结合，以评估围棋中的棋盘位置并预测落子，围棋的可能状态比宇宙中的原子还多。该神经网络从数据中学习空间模式和战略概念，从而指导搜索算法。同样，在机器人技术中，DNN 处理传感器数据（例如，激光雷达或摄像头馈送），将原始输入映射到电机控制等动作，从而绕过手工特征工程。通过将高维输入压缩为低维嵌入，DNN 降低了决策过程的复杂性，从而使在实际场景中训练智能体成为可能。
然而，将 DNN 集成到 RL 中会带来挑战。训练稳定性是一个关键问题：神经网络可能会过度拟合到最近的经验，或者由于反馈循环而发散。诸如经验回放（将过去的转换存储在缓冲区中）和目标网络（使用网络的延迟副本以稳定 Q 值目标）等技术可以缓解这些问题，正如在 DQN 中看到的那样。策略梯度方法，例如近端策略优化 (PPO)，使用 DNN 直接优化策略，同时约束更新以避免剧烈变化。这些方法平衡了探索和利用，允许智能体学习稳健的策略。虽然 DNN 增加了计算成本和超参数调整开销，但它们将 RL 扩展到现实世界问题的能力使它们在现代实现中不可或缺。