探索与利用是强化学习中的两个基本策略，用于解决智能体如何与环境交互以最大化奖励的问题。探索 指智能体尝试新的行动或访问陌生的状态，以收集关于环境的信息。这有助于智能体发现可能产生更高长期奖励的潜在更优策略。另一方面，利用 指智能体利用其当前知识来选择已知会产生良好结果的行动。挑战在于平衡这两种方法：如果存在但未被发现的更好选项，过度侧重于利用可能会导致次优行为；而过度探索可能会在低奖励行动上浪费时间。
这种权衡的一个经典例子是多臂老虎机问题。想象一排老虎机（臂），它们具有不同的支付概率。如果玩家只通过重复使用迄今为止支付最高的机器来进行利用，他们可能会错过一台初始支付略低但长期平均支付更高的机器。反之，如果玩家花太多时间探索其他机器，他们累积的总奖励可能会减少。类似地，在网格世界导航任务中，机器人可能会利用已知路径快速到达目标，但如果它不探索替代路径，可能会错过一条更短的路线。这些例子强调了需要一种策略，能够根据智能体对其当前知识的信心来自适应地在探索和利用之间切换。
有几种算法解决了这种平衡问题。例如，ε-贪婪 方法大部分时间选择已知最佳行动（利用），但以一个小的概率 (ε) 随机探索其他行动。另一种方法，上限置信度 (UCB)，根据行动的当前奖励估计及其周围的不确定性为其分配一个值，偏向于潜力更高的行动。汤普森采样 使用概率分布来建模不确定性，并按其最优可能性的比例选择行动。开发者通常根据问题的需求来试验这些方法——例如，使用 ε-贪婪为了简单性，或使用 UCB 用于不确定性量化至关重要的场景。选择取决于环境复杂性、探索成本以及实时决策需求等因素。