强化学习 (RL) 中的潜在空间规划是指使用环境的压缩、抽象表示（潜在空间）执行决策的方法。智能体不是直接操作原始观测（如像素或传感器数据），而是学习捕获状态基本特征的低维编码。这种方法通过降低计算复杂性来简化规划，使智能体能够更有效地探索可能的未来轨迹。例如，在机器人任务中，原始摄像机图像可以被压缩成一个潜在表示，该表示编码对象的位置和运动，允许智能体在无需在每一步处理高维视觉数据的情况下规划动作。
潜在空间规划的一个关键优势是它与基于模型的 RL 的集成。在这里，智能体学习一个动态模型，该模型预测潜在状态如何随时间基于动作演变。通过在这个紧凑空间中模拟轨迹，智能体可以比在原始状态空间中更快地评估潜在的动作序列。例如，像 Dreamer 或 PlaNet 这样的算法使用神经网络来预测未来的潜在状态和奖励，从而能够通过像树搜索或基于梯度的优化这样的技术进行规划。这减少了在真实环境中进行详尽的试验和错误的需求，这在数据收集缓慢或成本高昂的环境中尤其有用，例如现实世界的机器人或复杂的模拟。
潜在空间规划的实际应用通常涉及在抽象和准确性之间取得平衡。例如，自动驾驶汽车智能体可以使用潜在模型基于摄像机和激光雷达数据的编码表示来预测交通模式，忽略像天气影响这样的无关细节。然而，一个挑战是确保潜在空间保留足够的信息以进行可靠的预测。设计不良的编码器可能会丢弃关键特征，导致有缺陷的计划。为了解决这个问题，像变分自动编码器 (VAE) 或对比学习这样的方法被用于训练保留任务相关信息的编码器。通过将高效规划与学习到的表示相结合，潜在空间方法使 RL 智能体能够扩展到复杂环境，同时保持计算上的可处理性。