以下是设置向量搜索流水线的结构化解释，其中结合了来自所提供参考资料的实用细节
1. 核心流水线组件
向量搜索流水线涉及三个关键阶段：数据摄取、嵌入生成/存储和查询执行。首先，收集原始数据（文本、图像等），对其进行预处理，并将其分割成可管理的小块。接下来，嵌入模型将这些小块转换成向量表示，并存储在专门的数据库中。最后，搜索查询被转换成向量，并使用余弦距离等相似性度量与存储的嵌入进行匹配[1][2][6]。
2. 实施步骤
① 数据摄取与预处理
- 数据收集：从 API、数据库或文件（例如，CSV、PDF）中提取数据。对于实时用例，Kafka 等工具可以将数据流式传输到消息队列[2]。
- 分块：使用文本分割器将大型文档分割成较小的单元（例如，句子或段落）。 Elasticsearch 的 ingest pipelines 和 script processors 可以自动执行此步骤，以实现可扩展性[6]。
- 元数据丰富：将上下文（时间戳、源 URL）附加到分块以进行混合搜索[10]。
② 嵌入生成与存储
- 模型选择：使用开源模型，如
BAAI/bge-small-en（通过 HuggingFace）或商业 API。对于非文本数据，需要自定义预处理脚本[1][6]。 - 向量索引：将嵌入和元数据存储在 Elasticsearch（k-NN 搜索）、Postgres（PGVector）或 Upstash 等数据库中。 使用 Postgres 的示例
from llama_index.vector_stores.postgres import PGVectorStore
vector_store = PGVectorStore(host="localhost", database="vectordb")[1]
③ 查询执行
- 查询嵌入：使用与摄取数据相同的模型将用户输入转换为向量。
- 混合搜索：将向量相似性（例如，
closeness(field, embedding)）与元数据过滤器结合使用。 ClickHouse 在这方面表现出色，因为它支持基于 SQL 的向量操作以及传统的 WHERE 子句[8]。 - 重新排序：可选步骤，使用交叉编码器或基于 LLM 的相关性评分来优化结果[10]。
3. 工具链优化
- 实时流水线：对于新闻/文章数据，使用 Kafka 生产者来摄取内容，并使用 Bytewax 进行并行流处理[2]。
- 成本-性能平衡:
- 像
all-MiniLM-L6-v2这样的 CPU 优化模型可以减少对 GPU 的依赖[6]。 - Elasticsearch 或 ClickHouse 中的近似最近邻 (ANN) 索引可以提高大规模条件下的速度[8][10]。
- 监控：跟踪延迟（嵌入生成时间）、召回率以及分块大小对搜索准确性的影响。