用于语义搜索的最佳开源库通常专注于嵌入生成、向量相似度搜索以及与机器学习模型的集成。三个突出的选择是 FAISS (Facebook AI Similarity Search)、Sentence Transformers 和 Annoy (Approximate Nearest Neighbors Oh Yeah)。这些工具处理语义搜索管道的不同部分，从将文本转换为数值表示（嵌入）到高效地搜索大型数据集以查找相似内容。每个工具都有独特的优势，使其适用于特定的用例。
FAISS 由 Meta 开发，针对高维向量空间中的快速相似度搜索进行了优化。它使用倒排文件和乘积量化等高级索引技术来高效处理数百万个向量。例如，如果您有来自 BERT 模型的嵌入，FAISS 可以快速找到数据集中最相似的 top-k 条目。它支持 GPU 加速，这极大地加快了大型数据集的搜索时间。然而，FAISS 本身不处理嵌入生成——它使用预计算的向量，因此您需要将其与 Hugging Face Transformers 库中的模型等进行配对。常见的工作流程包括使用 transformer 模型生成嵌入，将其存储在 FAISS 索引中，并实时查询它们。
Sentence Transformers 基于 PyTorch 和 Hugging Face Transformers 构建，专注于生成文本的密集嵌入。像 all-MiniLM-L6-v2 或 multi-qa-mpnet-base-dot-v1 这样的模型经过微调，适用于语义相似性任务，非常适合将句子或段落转换为向量。与通用嵌入不同，这些模型经过训练，可以确保语义相似的文本（例如，“你多大了？”和“你的年龄是多少？”）具有紧密对齐的向量。该库提供了简单的 API 用于编码文本和计算相似度得分。例如，您只需几行代码即可编码查询和文档语料库，然后使用余弦相似度等相似度度量来对结果进行排名。这使得它天然适合优先考虑准确性而非原始速度的语义搜索系统。
对于轻量级或可扩展的近似最近邻搜索，Annoy（由 Spotify 开发）和 HNSWLib（分层可导航小世界图）是强大的选择。Annoy 使用随机投影树构建索引，以牺牲少量准确性换取更快的搜索时间，适用于对延迟敏感的应用。另一方面，HNSWLib 在高召回率场景下提供最先进的性能。像 Haystack 或 Milvus 这样的框架可以将这些组件连接起来：Haystack 提供集成嵌入模型、检索器（使用 FAISS 或 Annoy）甚至阅读器模型的管道，用于端到端的问答系统。例如，您可以使用 Haystack 部署一个语义搜索 API，该 API 结合使用 Sentence Transformers 进行编码和 FAISS 进行检索，所有这些只需最少的样板代码。这些工具共同提供了一个灵活的开源栈，用于大规模构建语义搜索应用程序。