大型语言模型 (LLM) 通过在多样化的多语言数据集上进行训练并利用共享的语言模式来处理多种语言。在预训练期间，这些模型会摄取数百种语言的文本，从而能够识别跨不同语言系统的词汇、语法和上下文关系。分词起着至关重要的作用：现代分词器（如 BPE（字节对编码）或 SentencePiece）将文本拆分为适用于多种脚本的子词单元，从而处理具有大型字符集（例如，中文）或复杂形态（例如，芬兰语）的语言。例如，分词器可能会将德语单词“Lebensversicherungsgesellschaften”拆分为较小的单元，例如“Lebens”、“versicherungs”和“gesellschaften”，同时尽可能将英语单词视为完整的标记。
这些模型通过将跨语言的语义相似的短语映射到共享的向量空间来开发跨语言表示。例如，英语中的“chat”嵌入可能与西班牙语中的“gato”或法语中（表示“猫”）的“chat”紧密对齐，这取决于上下文。这使得无需显式并行数据即可实现翻译或跨语言检索等功能。然而，性能差异很大：具有大量训练数据的语言（例如，英语、中文）的处理精度高于低资源语言（例如，斯瓦希里语、巴斯克语）。像 mBERT 或 XLM-R 这样的模型通过使用平衡的训练数据和特定于语言的标识符来指导处理，从而明确地针对多语言任务进行优化。
在推理过程中，LLM 检测输入语言（通过提示显式检测或通过标记模式隐式检测），并以相同的语言生成响应。例如，如果用户用西班牙语查询，模型会激活相关的西班牙语词汇和句法规则。开发人员可以针对特定的多语言用例对模型进行微调：添加并行文本（例如，英语-日语句子对）可以提高翻译准确性，而特定于语言的提示（例如，“Responda en español:”）可以指导输出。仍然存在一些挑战，例如避免代码转换错误（无意中混合语言）或处理从右到左的脚本。像 LangChain 这样的工具通过将语言检测和路由逻辑集成到工作流程中来简化多语言应用程序。