在训练样本稀缺或缺失的情况下，注意力机制通过使模型有选择地关注输入数据中最相关的部分，在少样本和零样本学习中发挥关键作用。在少样本学习中，模型必须仅用少量示例来适应新任务，注意力有助于识别有限的训练数据和新输入之间共享的模式或特征。对于零样本学习，模型处理从未明确训练过的任务，注意力允许它们将输入与未见过的类别的语义描述或属性对齐。通过动态地权衡不同数据元素的重要性，注意力减少了对大型标记数据集的依赖并提高了泛化能力。
一个实际的例子是基于 Transformer 的模型如何使用注意力进行少样本文本分类。假设一个模型被赋予了三个“餐厅评论”类别的例子。注意力机制可能会关注例子和新的查询文本中的“服务”或“菜单”等词，从而在预测过程中放大它们的影响。对于零样本任务，注意力可以将输入特征（例如，未知动物的图像）链接到存储在模型存储器中的文本描述（例如，“有条纹和四条腿”）。像 CLIP 这样的模型使用跨模态注意力来将图像区域与未见过的类别的文本嵌入对齐，从而无需事先对这些类别进行训练即可进行分类。这种选择性的关注有助于绕过对特定任务训练数据的需求。
注意力还可以提高这些场景中的效率。注意力机制不是平等地处理所有输入特征，而是将计算资源分配给关键元素。例如，在像原型网络这样的元学习框架中，注意力可以通过强调支持示例中的区分性特征来改进原型表示。在零样本设置中，对预训练知识库（例如，类层次结构或属性列表）的注意力使模型能够进行组合推理——例如，通过结合对来自先前知识的“马状”和“条纹图案”的注意力来识别“斑马”。这种适应性使注意力成为数据有限或任务新颖的场景的灵活工具，因为它允许模型在无需完全重新训练的情况下重新利用现有知识。