策略迭代是强化学习中的一种基本算法，用于找到最优策略——一种告诉代理在每个状态下采取什么行动以最大化累积奖励的策略。 它通过两个交替阶段迭代地改进策略：策略评估和策略改进。 该过程从初始策略（通常是随机的）开始，计算在该策略下每个状态有多好（价值函数），然后根据这些价值更新策略以选择更好的行动。 这个循环重复进行，直到策略不再改变，表明收敛到最优策略。
第一阶段，策略评估，估计当前策略下每个状态的价值。 这是通过求解贝尔曼方程来实现的，贝尔曼方程将状态的预期长期奖励表示为立即奖励加上遵循该策略的未来折扣奖励。 例如，如果一个机器人在一个网格世界中导航，策略评估将计算每个网格单元的价值，假设机器人遵循其当前的移动规则（例如，总是向左移动）。 这一步通常以迭代方式实现，更新价值估计，直到它们稳定下来。 第二阶段，策略改进，更新策略以选择最大化新计算的状态值的行动。 使用网格世界示例，如果向上移动导致价值更高的单元格，机器人可能会从向左移动切换到向上移动。 这确保了策略相对于最新的价值估计变得更加贪婪。
如果给予足够的迭代，策略迭代保证收敛到最优策略，因为每次更新要么改进策略，要么保持不变。 然而，对于大型状态空间，它在计算上可能很昂贵，因为策略评估需要迭代地求解方程组。 实际上，开发人员经常使用近似值，例如在固定数量的迭代后停止评估或使用小的误差阈值。 例如，在一个具有数百万个状态的游戏中，精确的策略评估可能不可行，因此采用截断的迭代或并行计算技术。 尽管策略迭代对计算要求很高，但它仍然是一种基础方法，因为它清楚地分离了评估和改进，使其更容易理解和适应变体，例如修改后的策略迭代。