LlamaIndex 主要通过语义相似性和基于向量的检索来处理文档排序，并辅以可定制的过滤和重排序技术。 当您使用 LlamaIndex 索引文档时，它通常使用 OpenAI 的 text-embedding-ada-002 或其他开源替代方案等模型将文本转换为向量嵌入。 这些嵌入捕获了文本的语义含义。 在查询期间，用户的输入也会转换为嵌入，并且 LlamaIndex 使用余弦相似度等指标将此查询嵌入与存储的文档嵌入进行比较。 相似度得分较高的文档排名较高。 例如，如果用户搜索“气候变化影响”，那么包含“全球变暖影响”或“二氧化碳排放后果”等短语的文档将因语义对齐而排名靠前，即使关键字重叠很少。
除了语义搜索之外，LlamaIndex 还支持基于元数据的过滤来细化排名。 开发人员可以在索引期间将元数据（例如，发布日期、类别）附加到文档。 查询时，他们可以应用过滤器来优先考虑满足特定标准的文档。 例如，医疗应用程序可能会将标记为“同行评审研究”的文档排名高于一般文章。 混合方法（例如将关键字匹配 (BM25) 与向量搜索相结合）也是可能的。 例如，对“Python 异步框架”的查询可能会首先通过关键字匹配检索包含“Python”和“async”的文档，然后使用向量相似性重新排序结果，以强调像 FastAPI 或 Tornado 这样的框架。 这种灵活性允许开发人员根据他们的用例来平衡精确率和召回率。
最后，LlamaIndex 能够进行后处理步骤以提高排名质量。 在初始检索之后，开发人员可以使用“节点后处理器”来重新排序结果。 一种常见的技术是采用交叉编码器模型（例如，来自 Hugging Face 的 sentence-transformers），这些模型比简单的向量相似性更彻底地比较查询和每个文档。 虽然速度较慢，但交叉编码器通过评估成对相关性来提供更细粒度的排名。 例如，在向量搜索返回大约“机器学习”的 100 个文档之后，交叉编码器可以识别与“无监督学习技术”最相关的 10 个文档。 开发人员还可以实现自定义逻辑，例如提高来自可信来源的文档的排名或惩罚过时的内容。 这些层确保排名与特定领域的需求紧密结合。