如果 Sentence Transformer 模型难以捕捉否定或讽刺等细微之处，有三种实用的方法可以提高性能：使用有针对性的数据进行微调、修改模型架构以及使用后处理或混合技术。每种方法都通过增强模型识别特定语言模式的能力来解决此限制。
首先，使用包含目标细微差别的特定领域数据集对模型进行微调会有所帮助。例如，如果问题是否定，则可以整理一个包含“我很高兴”和“我不是很高兴”等成对示例的数据集，确保它们的嵌入不同。同样，对于讽刺，收集标记为讽刺的文本片段（例如，“太棒了，又是一个星期一！”）及其字面对应项。在微调过程中使用对比学习，迫使模型区分带有和不带有细微差别的相似短语。Hugging Face 的 transformers 等工具通过允许自定义训练循环来简化此过程。数据增强技术，例如释义（“这部电影不坏” → “这部电影不错”）或添加带有否定词的合成示例，可以进一步强化这些模式。
其次，架构调整可以提高模型捕捉上下文的能力。Sentence Transformer 通常使用 token 嵌入的平均池化，这可能会忽略位置或依赖关系线索。在 transformer 编码器之后添加一个双向 LSTM (BiLSTM) 层有助于跟踪长距离依赖关系，从而更容易检测句子中的讽刺或否定标记，如“不”。或者，使用注意力池化代替平均池化，以更重视重要的 token（例如，“不令人印象深刻”中的“不”）。另一种选择是连接 transformer 不同层的嵌入——较早的层通常保留更多句法信息（如否定词），而较晚的层侧重于语义。尝试不同的层组合以找到合适的平衡。
第三，将模型与基于规则的系统或外部分类器结合使用。例如，使用单独的讽刺检测模型（在 Twitter 或 Reddit 等平台训练）来标记讽刺文本，然后相应地调整 Sentence Transformer 的输出嵌入。对于否定，应用后处理步骤，检查否定关键词（例如，“not”、“never”）并改变向量空间中嵌入的方向。您还可以构建一个集成模型：如果情感分类器在“是啊，没错”之类的短语中检测到负面情绪，但 Sentence Transformer 返回中性嵌入，则混合这两个结果。这种混合方法利用了多个系统的优势，而无需进行重大的模型更改。定期使用基准测试（如 Stanford Sentiment Treebank（用于否定）或 Sarcasm Corpus (SCv2)）验证改进是否有效。