当预测模型过于紧密地学习训练数据，捕捉到噪声和随机波动而不是底层模式时，就会发生过拟合。这会导致模型在训练数据上表现异常出色，但在新的、未见过的数据上表现不佳。本质上，模型变得过度专门化于训练示例，失去了泛化能力。例如，想象一个回归模型，它通过使用具有高次多项式项的过度复杂的方程来完美拟合训练集中的每个数据点。虽然它可能在训练期间实现接近零的误差，但它很可能无法准确预测新输入的输出，因为它对训练数据中的不相关细节做出了反应。
当模型相对于训练数据的数量或质量而言过于复杂时，通常会出现过拟合。例如，具有许多层的决策树可能会将数据拆分为极其特定的子集，每个子集代表数据集的一小部分。这种粒度级别可能会捕捉到训练集特有的异常值或异常情况，这些异常值或异常情况不代表现实世界的情况。开发人员可以通过观察训练准确率和验证/测试准确率之间的巨大差距来检测过拟合。例如，神经网络可能在训练图像上达到 99% 的准确率，但在验证集上仅达到 70% 的准确率，这表明它正在记忆训练示例，而不是学习一般的特征，如形状或纹理。
为了防止过拟合，开发人员使用约束模型复杂性或提高数据质量的技术。诸如 L1 或 L2 之类的正则化方法会惩罚线性模型中的大系数，从而阻止过度依赖特定特征。交叉验证通过在数据的多个子集上测试模型来帮助评估模型是否具有泛化能力。修剪决策树以减少其深度或在神经网络中使用 dropout 层以在训练期间随机禁用神经元是其他常见的策略。通过扩充（例如，旋转数据集中的图像）增加训练数据也可以通过使模型暴露于更多变化来减少过拟合。平衡模型复杂性与数据可用性，并确保模型对于手头的问题不是过于灵活，是构建稳健的预测系统的关键。