嵌入模型中的微调是指调整预训练模型，使其更适合特定任务或数据集的过程。嵌入模型将文本、图像或音频等数据转换为捕获语义关系的数值向量。虽然预训练模型（例如，BERT、Word2Vec）提供通用嵌入，但微调会调整其参数以与特定领域的模式对齐。例如，在新闻文章上训练的模型可能在医学术语上表现不佳，因此在医疗保健数据上对其进行微调可以提高相关性。这涉及在新数据上继续训练，通常使用较小的学习率，以避免覆盖有用的通用知识。
微调的主要好处是提高了在专门任务上的性能。预训练嵌入捕获了广泛的语言模式，但可能会遗漏对特定领域至关重要的细微差别。例如，在法律文件中，“party”一词通常指的是合同中的实体，而不是社交活动。微调调整模型以识别这种区别，从而使嵌入对于诸如文档相似性或分类之类的任务更准确。一个实际的例子是调整句子转换器模型（例如，Sentence-BERT），通过在支持对话中训练它来进行客户支持工单聚类。这确保了嵌入通过技术问题而不是诸如“错误”或“慢”之类的通用关键字对工单进行分组。
实施微调通常涉及选择基本模型、准备标记或特定领域的数据以及调整超参数。对于文本模型，这可能意味着训练成对的相似句子（例如，问答对）以改进相似性得分。Hugging Face Transformers 之类的工具通过提供预训练模型和训练循环来简化此过程。开发人员可能会降低学习率（例如，1e-5 而不是 1e-4），以保留通用知识，同时适应新数据。过度拟合是一个常见的风险，因此像提前停止或添加 dropout 层之类的技术至关重要。评估涉及在下游任务（例如，分类准确性）上测试嵌入，以确保改进。例如，在临床笔记上微调医学 NLP 模型可能涉及验证其在检索系统中将症状链接到诊断的能力。