Q-learning 是一种无模型的强化学习算法，它使智能体能够通过试错学习在环境中采取的最佳行动。 核心思想是创建一个 Q 表，该表为每个可能的state-action对存储一个值（Q 值）。 此 Q 值表示在给定状态下采取特定行动的预期长期奖励。 智能体通过与环境交互来迭代更新这些值，从而平衡探索（尝试新操作）和利用（使用已知的高回报操作）。 随着时间的推移，Q 表会收敛以反映每个状态的最佳可能操作。
该算法使用贝尔曼方程来更新 Q 值。 例如，考虑一个机器人导航一个网格以达到目标。 当机器人通过采取行动 *a* 从状态 *s* 移动到 *s’* 时，它会收到奖励 *r*。 使用以下公式更新 *(s, a)* 的 Q 值：Q(s,a) = Q(s,a) + α * [r + γ * max(Q(s',a')) - Q(s,a)] 在这里，α（学习率）控制新信息覆盖旧值的程度，而 γ（折扣因子）决定未来奖励的重要性。 如果机器人找到一条产生高回报的路径，则会强化该路径上的 Q 值。 探索通常使用像 ε-greedy 这样的策略来管理，其中智能体以概率 ε 随机探索，否则利用最佳已知行动。
虽然 Q-learning 对于小的、离散的状态空间有效，但它在可扩展性方面存在问题。 例如，具有数百万种可能状态（例如，基于像素的输入）的视频游戏需要一个大到不切实际的 Q 表。 这种限制导致了像深度 Q 网络 (DQN) 这样的创新，它用神经网络代替了表格来近似 Q 值。 然而，Q-learning 仍然是理解强化学习原则的基础。 开发人员应注意诸如调整超参数 (α, γ, ε) 和确保充分探索之类的挑战。 在实际实现中，像经验回放（存储过去的转换）或随时间衰减 ε 这样的技术可以提高稳定性和性能。