要在零样本或少样本学习中使用 Sentence Transformer 模型，首先要利用模型预训练的文本语义嵌入生成能力。 在零样本场景中，您可以直接比较输入文本的嵌入与候选标签或示例的嵌入，从而在没有特定于任务的训练的情况下进行预测。 对于少样本学习，您可以通过合并少量标记的示例来指导模型理解任务，通常是通过修改输入和标签之间的比较结构来实现。 关键步骤包括将文本编码为向量，定义候选标签或示例，并使用余弦相似度等相似性指标来推断关系。
在零样本学习中，首先定义代表任务可能结果的候选标签。 例如，如果要将客户反馈分类为“投诉”、“表扬”或“咨询”，请使用 Sentence Transformer 将每个标签（例如，“这是一个投诉”）编码为嵌入。 接下来，对输入文本（例如，用户消息）进行编码，并计算其嵌入与每个标签的嵌入之间的余弦相似度。 相似度得分最高的标签是预测的类别。 这种方法之所以有效，是因为该模型在各种文本上的预训练使其能够识别短语之间的语义关系，即使没有进行微调也是如此。 例如，输入“产品到货时已损坏”最有可能与“投诉”标签嵌入对齐。 为了提高结果，请制作模仿类别自然语言描述而不是单个词语的标签。
对于少样本学习，通过包含一小组标记的示例（例如，每类 3-5 个）来扩充该过程，以提供上下文。 一种方法是在编码之前将示例与输入文本连接起来。 例如，将“示例：投诉：‘我的订单已延迟。’表扬：‘优质服务！’”添加到输入文本，然后将组合的嵌入与候选标签进行比较。 或者，分别编码每个示例，并平均它们的嵌入以创建用于比较的“类原型”。 这有助于模型识别特定于您的任务的模式。 例如，如果您的示例包括“咨询：‘此商品何时发货？’”模型将学习将类似问题的结构与“咨询”标签相关联。 连接和原型平均之间的选择取决于计算约束以及上下文保留是否至关重要。
实际考虑因素包括选择合适的 Sentence Transformer 模型（例如，“all-mpnet-base-v2”以获得准确性，“all-MiniLM-L6-v2”以获得速度）以及预处理文本以匹配其训练数据格式。 在相似性计算之前对嵌入进行归一化，以确保公平的比较。 对于分类任务，将 softmax 应用于相似性得分以将其转换为概率。 如果性能低于标准，请尝试重新措辞标签或在少样本场景中添加更多示例。 虽然 Sentence Transformers 不需要为基本的零样本/少样本使用进行微调，但如果标记的示例可用，您可以进一步对任务数据上的模型进行微调。 始终使用小型测试集验证结果，以便在部署之前衡量有效性。