语义搜索中零样本检索的最新进展重点在于改进模型如何泛化到未见过的任务，而无需特定任务的训练数据。一项关键进展是使用对比学习和合成数据来训练更能捕捉语义关系的模型。例如，微软的 E5 模型采用了非对称对比学习，其中从大型文本语料库生成合成的查询-文档对。模型通过将查询和文档嵌入到共享空间中来训练区分相关和不相关对，即使目标任务不存在标注数据也是如此。这种方法通过利用预训练期间学习到的广泛模式，使模型能够泛化到新领域。像 E5 这样的模型在 BEIR 等基准测试中表现出色，BEIR 评估了跨不同数据集的零样本检索能力。
另一项进展在于改进模型架构，使其能更有效地处理零样本场景。SGPT（用于搜索的基于 GPT 的模型）使用基于提示的方法，通过将指令或任务描述输入到 GPT 风格的模型中来生成嵌入。例如，像“查找与 [查询] 相关的文档”这样的提示指导模型生成与检索目标一致的嵌入。这种方法利用了模型从预训练中获得的现有知识，无需对特定任务进行微调。同样，ColBERTer 通过实现查询和文档之间的词元级别交互来修改 ColBERT 架构，同时降低计算开销。这使得它能够在没有预先接触目标数据集的情况下，根据语义相似度高效地对文档进行排序，这在训练数据不可用的场景下非常实用。
最后，结合了双编码器和交叉编码器的混合方法改进了零样本检索流程。双编码器（例如，分别编码查询和文档的模型）能够快速检索候选，而交叉编码器（联合处理查询-文档对）则能以更高的准确性改进排名。例如，一个系统可以使用像 E5 这样的双编码器来获取初步的文档集合，然后应用像 MiniLM 这样的交叉编码器来重新排名。这个两步过程平衡了速度和精度，特别是在处理未见过的领域时。此外，像 InstructOR 这样的指令微调模型直接将任务描述（例如，“检索关于气候变化的科学论文”）嵌入到嵌入空间中，从而能够灵活地适应新任务。这些创新共同解决了在没有标注数据的情况下跨领域泛化的挑战，使零样本检索在实际应用中更加实用。