要在 Haystack 中微调 Reader 模型，首先要准备数据集并配置训练管道。Haystack 的 Reader 组件通常基于 BERT 或 RoBERTa 等 Transformer 模型，专为抽取式问答而设计。微调涉及使用带标签的数据集将预训练模型调整到您的特定领域。首先，确保您的数据格式正确，通常采用 SQuAD 样式的 JSON 格式，其中包括上下文段落、问题和答案范围。例如，如果您正在构建一个医疗 QA 系统，您的数据集可能包含医患对话作为上下文，以及诸如“诊断是什么？”之类的问题的标记答案。
接下来，使用 Haystack 的 FarmTrainer 类设置训练管道，该类利用 FARM 框架进行训练。使用基本模型（例如，deepset/roberta-base-squad2）初始化您的 Reader，并定义学习率、批量大小和 epoch 等训练参数。这是一个简化的代码片段
from haystack.nodes import FARMReader
from haystack.modeling.trainer import FarmTrainer
reader = FARMReader(model_name_or_path="deepset/roberta-base-squad2")
trainer = FarmTrainer(reader=reader, data_dir="data/squad", train_filename="train.json", dev_filename="dev.json")
trainer.train(
learning_rate=3e-5,
n_epochs=3,
batch_size=16,
checkpoint_every=1000,
)
此代码从指定的目录加载您的数据集，将其拆分为训练集和验证集，然后开始训练。根据您的数据集大小和硬件调整超参数。例如，如果遇到 GPU 内存问题，请减小批量大小。
训练后，保存模型并将其集成到您的 Haystack 管道中。使用 reader.save(directory="my_finetuned_model") 来持久化模型权重。然后，将微调后的 Reader 加载到 Haystack 管道中以测试其性能
pipeline = Pipeline()
pipeline.add_node(component=FARMReader(model_name_or_path="my_finetuned_model"), name="Reader", inputs=["Query"])
使用测试集或手动查询验证模型。例如，如果您的数据集包含法律文件，请针对新上下文测试诸如“X 的处罚是什么？”之类的问题。微调可以提高模型在特定领域文本中定位精确答案的能力，但在训练过程中通过检查验证准确性来监控过度拟合。如果性能停滞，请考虑调整学习率或添加更多样化的训练示例。