在训练期间使用 Siamese 或 Twin 网络结构的句子转换器指的是一种模型架构，其中两个相同的神经网络（孪生网络）同时处理成对的输入句子。 这些孪生网络共享相同的权重和参数，以确保将两个句子编码为向量表示（嵌入）时的一致性。 主要目标是训练模型以生成嵌入，使语义相似的句子在向量空间中彼此接近，而不同的句子则彼此远离。 这种方法对于语义相似性、聚类或检索等任务特别有效，在这些任务中，句子对之间的关系比单个句子分析更重要。
在训练期间，Siamese 结构使模型能够通过比较句子对或三元组来学习。 例如，在对比损失设置中，模型可能会收到标记为相似（正对）或不同（负对）的一对句子。 孪生网络对两个句子进行编码，损失函数调整模型的权重，以最小化正对之间的距离，同时最大化负对的距离。 另一种常见的方法是使用三元组损失，其中将锚定句子与正例（相似）和负例（不同）进行比较。 通过共享权重，孪生网络确保相同的转换规则应用于所有输入，从而稳定训练并避免可能因单独的网络以不同方式处理每个句子而产生的偏差。
对于开发人员来说，实际的好处是效率和一致性。 由于孪生网络共享参数，因此与训练两个独立的模型相比，该模型需要更少的资源来训练。 这也简化了实现——例如，使用 PyTorch 或 TensorFlow 等框架，开发人员可以为 Siamese 网络的两个分支重用相同的编码器。 此外，这种结构允许预训练的语言模型（如 BERT）针对句子级别的任务进行微调，而无需进行重大的架构更改。 训练完成后，该模型可以用作单个编码器进行推理，生成有效捕获语义含义的嵌入。 这种方法已广泛应用于语义搜索等应用程序中，在语义搜索中，查询句子与由同一编码器生成的嵌入数据库进行比较，从而确保快速准确的相似性计算。