跨语言任务的零样本学习使模型能够在未明确训练过的语言中执行任务。 这种方法依赖于模型在预训练期间推广跨多种语言学习到的模式的能力。 例如，一个在英语、西班牙语和德语文本上训练的模型可能会推断出如何处理法语输入，而无需看到特定于法语的训练数据。 核心思想是语言共享底层结构（例如，语法、语义），模型可以识别并将其应用于未见过的语言。 这消除了在每种目标语言中对特定于任务的训练数据的需求，使其适用于标记数据稀缺或不可用的场景。
这项技术能力的技术基础在于多语言预训练和共享表示。 像 mBERT 或 XLM-R 这样的模型是在包含多种语言的大型、多样化的数据集上训练的。 在预训练期间，他们学习将来自不同语言的单词和短语映射到一个共享向量空间中，其中相似的含义在语言之间对齐。 例如，“cat”（英语）和“gato”（西班牙语）的嵌入可能占据附近的位置。 当在一种语言中对情感分析等任务进行微调时，该模型会将其对语言结构的一般理解应用于该任务。 这种调整会转移到其他语言，因为共享嵌入允许模型识别等效的短语或句法模式，即使具体单词不同。 诸如 SentencePiece 之类的分词策略通过将文本分解为跨语言的常见子词来进一步帮助实现这一点，从而能够处理未见过的词汇。
一个实际的例子是使用英语示例训练文本分类模型并将其直接应用于分类泰语文本。 该模型利用其预训练的泰语知识（来自多语言数据）和以英语学习的任务逻辑。 但是，性能因语言相似性和脚本等因素而异。 例如，一个模型可能在法语（更接近英语）上比日语（不同的脚本和结构）表现更好。 开发人员可以通过确保目标语言在预训练数据中得到充分表示，或者使用模型“源”语言中的提示（例如，“分类这段法语文本：[输入]”）来提高结果。 虽然不完美，但零样本跨语言学习提供了一种灵活、资源高效的方式来跨语言部署模型，而无需重新训练。