大型语言模型（LLM）中的微调是指通过在较小的、有针对性的数据集上进一步训练预训练模型，使其在特定任务或领域中表现更好的过程。像 GPT-3 或 BERT 这样的预训练模型从大量的文本中学习通用的语言模式，但它们本身并没有针对专门的应用程序进行优化。微调调整模型的参数，使其输出与特定用例的需求相一致，例如回答医学问题、生成代码或总结法律文件。这一步弥合了模型广泛的知识和任务的具体细微差别之间的差距，提高了准确性和相关性。
例如，开发人员可能会微调一个基础 LLM 来创建一个客户支持聊天机器人。基础模型可以处理一般的对话，但它可能难以处理公司特定的术语或工作流程。通过使用历史支持票证、产品文档和示例对话对其进行训练，该模型学会生成针对公司产品量身定制的响应。同样，可以通过在 Python 函数及其文档字符串的数据集上训练模型来微调代码生成模型，使其能够生成符合特定编码标准的代码片段。这些例子表明，微调如何在不需要从头开始训练的情况下改进模型的行为，从而节省时间和资源。
实施微调涉及几个步骤。首先，开发人员策划一个反映目标任务的高质量数据集，确保其格式正确（例如，用于文本生成的提示-完成对）。接下来，他们选择学习率和批量大小等超参数，以平衡训练效率和模型稳定性。像 Hugging Face 的 Transformers 或 OpenAI 的微调 API 这样的框架通过提供用于加载数据集、配置训练和评估结果的预构建工具来简化这一过程。然而，微调需要计算资源，特别是对于大型模型，因此开发人员经常使用像参数高效微调（例如，LoRA）这样的技术来降低成本。在保留数据上验证模型的性能以避免过拟合也至关重要。虽然微调功能强大，但对于需要频繁更新或最小训练量的任务，诸如提示工程或检索增强生成（RAG）之类的替代方案可能更适合。