要评估 Sentence Transformer 模型在语义文本相似度 (STS) 任务上的性能，通常使用基准数据集和相关性指标。例如，STS-B 数据集提供带有由人工标注的相似度得分（0-5 分）的句子对。在为句子生成向量嵌入后，计算每对句子的余弦相似度，并使用 Spearman 秩相关系数将其与真实得分进行比较。这衡量了模型的相似度排名与人类判断的一致程度。根据领域不同，还可以使用 SICK-R 或 MRPC 等其他数据集。Hugging Face 中的 evaluate 模块或自定义脚本等工具通过自动化得分计算来简化此过程。
对于检索任务，例如为查询查找相关文档，常用的指标包括 recall@k、平均精度均值 (MAP) 或归一化折损累积增益 (NDCG)。例如，在问答系统中，您将所有候选答案和查询进行向量化，然后衡量正确答案出现在前 k 个结果中的频率 (recall@k)。MS MARCO 数据集是检索任务的标准基准，模型的评分基于其从大型语料库中检索相关段落的能力。为了模拟真实世界的条件，确保评估包括多样化的查询和大量的候选集，因为这可以测试可伸缩性和鲁棒性。
实际实现涉及使用 SentenceTransformers 的内置评估工具等库。例如，model.evaluate() 方法可以通过比较预测的向量嵌入与真实标签来计算测试集上的指标。对于检索，您可以使用 FAISS 或 Annoy 构建高效的向量嵌入索引，并同时测量查询延迟和准确性。文本归一化、处理重复数据以及将数据拆分为训练集/测试集等预处理步骤对于避免偏差至关重要。始终在多个数据集上验证结果，以确保模型能够泛化到特定示例之外。这种结构化方法平衡了准确性和效率，同时为模型改进提供了可行的见解。