要将 Sentence Transformer 嵌入集成到像 Elasticsearch 或 OpenSearch 这样的信息检索系统中，您需要生成文本的密集向量表示，并配置搜索引擎使用这些向量进行相似性查询。此过程包含三个主要步骤：嵌入生成、索引配置和查询处理。以下是具体方法：
1. 生成并存储嵌入 首先，使用预训练的 Sentence Transformer 模型（例如，all-MiniLM-L6-v2）将文本转换为密集向量嵌入。例如，您可以使用 Python 脚本离线处理数据集中的所有文档，生成 384 维的向量（MiniLM 模型的输出大小）。这些嵌入将作为字段存储在您的 Elasticsearch/OpenSearch 文档中。在配置索引时，定义一个具有正确维度的 dense_vector 字段类型。在 Elasticsearch 中，这看起来是：
"mappings": {
"properties": {
"text_embedding": {
"type": "dense_vector",
"dims": 384
}
}
}
在数据摄取过程中，用预先计算好的向量填充此字段。
2. 配置相似性搜索 要执行语义搜索，请使用相同的模型将用户的查询文本转换为嵌入，然后使用向量相似性度量（例如，余弦相似度）查找匹配的文档。在 Elasticsearch 中，这通过脚本查询完成：
{
"query": {
"script_score": {
"query": {"match_all": {}},
"script": {
"source": "cosineSimilarity(params.query_vector, 'text_embedding') + 1.0",
"params": {"query_vector": [0.12, -0.45, ...]}
}
}
}
}
OpenSearch 提供了内置的 k-NN 支持，允许在索引设置中直接配置近似最近邻 (ANN) 搜索，以便在大型数据集上实现更快的性能。
3. 性能优化 在索引期间预先计算嵌入，以避免运行时开销。对于大型数据集，使用 OpenSearch 支持 HNSW 图的 ANN 功能或 Elasticsearch 的近似 rank_feature 优化。考虑混合方法：在 script_score 中使用加权和将向量搜索与传统的基于关键字的评分（例如 BM25）结合起来，以平衡语义和词汇相关性。批量生成嵌入（例如，一次处理 100 个文本）和 GPU 加速（如果可用）可以减少处理时间。监控延迟和准确性之间的权衡——精确的向量搜索较慢但更精确，而像 HNSW 这样的 ANN 方法牺牲极少的准确性换取更快的结。