使用 GPU 代替 CPU 显著加速了使用 Sentence Transformer 模型编码句子的性能，这主要是由于 GPU 能够处理并行计算。Sentence Transformer 基于 BERT 或 RoBERTa 等 Transformer 架构，严重依赖于矩阵运算和注意力机制。这些运算涉及大规模计算，可以在数千个 GPU 核心上并行处理，而 CPU 有限的核心数（通常为 4-16 个核心）则以顺序或最小并行方式处理任务。例如，使用 all-MiniLM-L6-v2 这样的模型编码 1,000 个句子，在 CPU 上可能需要 10 秒，但在 NVIDIA A100 这样的现代 GPU 上只需要 0.5 秒。这种速度提升对于需要实时处理的应用（如语义搜索或聊天机器人）至关重要。
性能差异源于架构差异。GPU 专为高吞吐量并行任务而设计，非常适合 Transformer 模型中核心的矩阵乘法和张量运算。例如，当 Sentence Transformer 处理一批句子时，GPU 可以通过在其核心之间分配工作，同时计算批次中所有句子的嵌入。相比之下，CPU 顺序处理每个句子或批次，导致吞吐量较慢。PyTorch 或 TensorFlow 等库通过利用 CUDA（对于 NVIDIA GPU）来有效管理内存和计算，从而进一步优化 GPU 的使用。例如，GPU 可以将其高带宽内存中的模型权重保留下来，减少数据传输延迟，而 CPU 必须从较慢的系统 RAM 中重复获取权重。
尽管 GPU 具有优势，但在特定场景下，CPU 仍然具有相关性。对于小规模应用（例如，偶尔编码单个句子），将数据移动到 GPU 的开销可能会抵消速度优势。此外，GPU 需要专门的硬件、驱动程序支持和电源，对于所有部署来说，这可能不具有成本效益。例如，在笔记本电脑上原型设计低流量应用程序的开发人员可能更喜欢 CPU，以避免云 GPU 成本。但是，在处理大量请求的生产系统中，例如为包含数百万个文档的搜索索引构建嵌入，GPU 是必不可少的。最终的选择取决于规模：GPU 在批量处理方面表现出色，而 CPU 足以满足轻量级或零星的工作负载。