embedding 模型的选择会显著影响 RAG 系统中的检索质量，因为它决定了在搜索过程中文本语义的捕获和匹配程度。 像 SBERT、GPT-3 embeddings 和自定义训练选项等模型，根据用例、数据类型和计算约束，各有其独特的优势和权衡。 合适的模型可以平衡语义准确性、领域特异性和延迟或成本等实际因素。
SBERT (Sentence-BERT) 针对语义相似性任务进行了优化，使其能够有效地将查询与上下文相关的文档进行匹配。 例如，如果 RAG 系统从技术文档中检索答案，即使 “data encryption”（数据加密）和 “secure file transfer”（安全文件传输）等短语没有完全相同的关键词，SBERT 的双向训练也能使其理解这些短语之间细微的关系。 但是，SBERT 的性能取决于其训练数据，在特定领域（例如，法律或医学文本）上微调的模型将在这些领域中胜过通用版本。 其较小的尺寸也使其能够有效地用于实时应用程序，但与较大的模型相比，它可能难以处理极长或复杂的文本。
GPT-3 embeddings 由 OpenAI 的 text-embedding-ada-002 等模型生成，由于其在多样化数据上的广泛预训练，因此擅长捕获广泛的语义关系。 例如，通过利用输入的上下文线索，它们可能更好地处理像 “Java”（编程语言与岛屿）这样的模糊查询。 但是，GPT-3 embeddings 的可定制性较差，并且未经微调可能无法在小众领域中发挥最佳性能。 当使用基于 API 的服务时，它们还会引入更高的成本和延迟，这可能成为大规模系统的瓶颈。 相比之下，使用领域特定数据（例如，专利文档或公司内部术语）构建的自定义训练 embeddings 为专用应用程序提供精确检索，但需要大量标记数据和计算资源才能进行训练。 例如，使用在临床笔记上训练的 embeddings 的医疗 RAG 系统将比通用模型更好地识别像 “MI”（心肌梗塞）这样的缩写。 需要权衡的是前期投入以及为使模型与不断发展的数据保持一致而进行的持续维护。 最终，选择取决于准确性、成本和领域需求的平衡。
