词嵌入是词语的数值表示，旨在捕捉它们在连续向量空间中的含义和关系。每个词都被映射到一个稠密向量（数字数组），其中向量之间的距离和方向反映了语义相似性。例如，“dog”（狗）和“puppy”（小狗）的嵌入在这个空间中会比“car”（汽车）的向量更接近。这种方法与传统的独热编码等方法形成对比，后者将词语表示为稀疏的、高维的向量，没有内在含义。嵌入通过理解上下文和关联，而不是将词语视为孤立的符号，使算法能够处理语言。
词嵌入通常使用神经网络在大型文本数据集上进行训练。Word2Vec、GloVe 和 FastText 等模型通过分析词语在句子中的共现方式来学习嵌入。例如，Word2Vec 使用两种方法：连续词袋模型 (CBOW) 从周围上下文中预测目标词，而 Skip-Gram 从目标词预测上下文词。通过这种训练，模型会调整向量值，使具有相似使用模式的词语在向量空间中靠得更近。例如，“king”（国王）和“queen”（女王）可能具有相似的向量，因为它们经常出现在相似的上下文中（例如，“royalty”（皇室）或“throne”（王位）），即使它们的性别关联不同。这些向量的维度不是人类可以显式解释的，而是共同编码了语义和句法特征。
开发人员使用嵌入来提高自然语言处理 (NLP) 任务的性能。例如，在情感分析中，嵌入帮助模型识别“excellent”（极好的）和“terrific”（了不起的）传达了相似的积极性，即使它们很少出现在同一个句子中。嵌入还支持迁移学习：预训练的嵌入（如来自 Google 的 Word2Vec 或 Facebook 的 FastText）可以插入到自定义模型中，从而节省训练时间和资源。此外，嵌入通过使用子词信息（例如，FastText 将“running”（跑步）分解为“run”（跑）+“ning”）来更好地处理词汇表外的词语。通过将文本转换为有意义的数值数据，嵌入弥合了人类语言和机器学习模型之间的差距，使其成为翻译、聊天机器人和搜索引擎等任务的基础。