要识别 Sentence Transformer 模型在微调期间是否欠拟合或过拟合，请监控其在训练和验证数据上的性能。欠拟合是指模型在训练集和验证集上的表现都很差。例如，如果训练损失保持较高水平且没有随 epoch 减少，并且验证损失也呈现同样的趋势，则表明模型没有学习到有意义的模式。这通常发生在架构过于简单、训练数据不足或学习率过低等超参数设置不合理的情况下。例如，在复杂的任务中使用有限的数据集和一个小型预训练模型（例如，all-MiniLM-L6-v2）可能会导致全面的高错误率。
过拟合的特征是训练性能和验证性能之间存在巨大差距。如果训练损失显著下降，而验证损失停滞不前或增加，则表明模型正在记忆训练数据而不是泛化。例如，一个模型达到接近于零的训练损失，但验证 Spearman 相关性停滞或下降（例如，训练集上为 0.8，而验证集上为 0.5）表明存在过拟合。当模型相对于数据集大小而言过于复杂时，这种情况很常见，例如，在一个包含 1,000 个示例的小型自定义数据集上微调一个大型模型（例如，all-mpnet-base-v2）。
要解决欠拟合，可以通过使用更大的预训练模型或添加层来增加模型容量。 使用同义词替换或反向翻译等技术来扩充训练数据。 调整超参数：如果损失仍在减少，则提高学习率（例如，从 2e-5 提高到 5e-5）或训练更长时间。 对于过拟合，应用正则化，例如 dropout（例如，在模型配置中设置 "dropout": 0.2）或权重衰减（例如，0.01）。 当验证损失停止改善时，使用提前停止来停止训练（例如，patience=3 个 epoch）。 通过切换到较小的架构或修剪层来降低模型复杂度。 数据增强和确保训练/验证数据分布对齐也有助于解决过拟合。 例如，如果过拟合发生在特定领域的任务中，则通过诸如掩码语言建模之类的技术添加未标记的领域内数据可以提高泛化能力。
通过基于这些模式系统地调整模型架构、数据和训练参数，您可以平衡模型的学习能力，而不会使其记忆。