词嵌入是词语的数值表示，它捕获了词语的含义和关系。它们将词语转换成高维空间中的向量（数字数组），其中具有相似含义或使用语境的词语彼此靠得更近。例如，“猫”和“狗”可能具有指向相似方向的向量，而“汽车”会离得更远。这种方法解决了传统方法（如 one-hot 编码）的问题，后者将词语视为孤立的符号并忽略语义连接。Word2Vec、GloVe 和 FastText 等流行的技术通过分析词语在大型文本语料库中的出现方式来创建这些嵌入。
嵌入通过从词语共现模式中学习的算法进行训练。例如，Word2Vec 使用神经网络来预测周围的词语（skip-gram）或从其上下文中预测目标词语（CBOW）。在训练期间，模型调整词向量以最小化预测误差。如果单词“银行”经常出现在“河流”、“金钱”或“贷款”附近，那么它的嵌入将反映这些关联。GloVe 采用不同的方法，构建单词一起出现的频率的共现矩阵，并对其进行分解以生成向量。这些方法确保共享上下文的词语（如“快乐”和“高兴”）最终具有相似的向量值，即使它们从未出现在完全相同的句子中。
开发人员使用嵌入来改进 NLP 任务，如文本分类或机器翻译。许多人没有从头开始，而是使用预训练的嵌入（例如，在 Wikipedia 上训练的 GloVe 的 300 维向量）作为模型的输入特征。这节省了计算时间并利用了现有的语义知识。例如，在情感分析模型中，嵌入有助于区分“极好”和“可怕”具有相反的含义，即使两者都是形容词。嵌入还可以在词语上进行数学运算：从“国王”中减去“男人”并加上“女人”可能会产生一个接近“女王”的向量。虽然嵌入没有明确地编码语法或逻辑，但它们捕获语义关系的能力使它们成为现代 NLP 系统的基础工具。