使用 Sentence Transformers 编码句子时，批量大小直接影响吞吐量和内存使用。较大的批量通常会通过允许模型并行处理更多句子来提高吞吐量，从而利用 GPU 的并行能力。然而，这也带来了更高的内存消耗成本，因为 GPU 必须存储批次中所有句子的中间激活。例如，将批量大小从 16 翻倍到 32 可能几乎使所需的内存翻倍，但同时也能使每秒处理的句子数量翻倍，直到达到 GPU 资源饱和点。
使用较大的批量可以提高吞吐量，因为加载数据和运行模型的固定计算开销分摊到了更多句子上。例如，如果编码 16 个句子需要 100 毫秒，那么编码 32 个句子可能需要 120 毫秒——这实际上使吞吐量翻倍（267 vs. 133 句子/秒）。然而，随着批量大小接近 GPU 的最大容量，收益会逐渐减少。如果一个 GPU 能在 200 毫秒内处理 64 个句子，那么增加到 128 个可能会导致内存错误或仅有微小的加速（例如 220 毫秒），使得这种权衡不太划算。开发者应该测试他们的硬件，找到吞吐量趋于稳定而内存保持稳定的“最佳点”。
在假设句子长度固定的情况下，内存使用量与批量大小大致呈线性关系。例如，在 16GB GPU 上使用 all-mpnet-base-v2 这样的模型，批量大小为 64 可能消耗 12GB 内存，为其他进程留有空间。超出此限制可能导致内存不足崩溃。为了优化，开发者可以根据输入文本长度动态调整批量大小（例如，较长的文本使用较小的批量）或按长度对句子进行排序以最大程度地减少填充浪费。诸如 PyTorch 的 DataLoader 和 collate_fn 等工具可以帮助实现自动化。测试期间务必始终监控 GPU 内存（例如，使用 nvidia-smi），以避免不稳定。