Bandit 算法是一类机器学习技术，旨在解决不确定性下的决策问题。它们起源于“多臂老虎机”问题，这是一个假设场景，其中赌徒必须在多个具有未知奖励概率的老虎机（bandits）之间进行选择，以最大化收益。在推荐系统中，bandit 算法平衡探索（测试新选项）和利用（使用已知的高性能选项）以优化用户参与度。例如，流媒体服务可能会使用它们来决定是推荐一部热门电影（利用）还是推荐一部鲜为人知的电影（探索），以收集有关用户偏好的数据。
在推荐系统中，bandit 算法会根据用户反馈动态调整。常见的方法包括 epsilon-greedy、Upper Confidence Bound (UCB) 和 Thompson Sampling。例如，Epsilon-greedy 以很小的概率（epsilon）随机探索新项目，同时主要利用已知的偏好。UCB 通过计算奖励估计周围的置信区间来优先考虑具有高不确定性的项目。Thompson Sampling 使用概率模型来采样潜在奖励并选择项目。例如，电子商务平台可能会使用 Thompson Sampling 来测试产品推荐，并在用户点击或购买商品时更新概率。与依赖历史数据且无法快速适应的静态协同过滤不同，这些方法可以进行实时调整。
Bandit 算法在资源分配和响应能力方面具有效率，但也面临挑战。它们通过早期关注高潜力项目来减少浪费的展示次数，这对于冷启动场景（例如，音乐平台上的新歌）非常有用。但是，对于大型商品目录，可伸缩性可能是一个问题，因为维护数百万个商品的奖励估算需要大量的计算。调整探索率（epsilon）或置信区间等参数对于避免过度探索或停滞也至关重要。尽管存在这些挑战，但 bandit 算法因其平衡实时学习和用户满意度的能力而被广泛应用于推荐系统中，使其成为开发人员旨在优化动态内容交付的实用工具。