在深度学习中，嵌入（embeddings）是一种将离散的、高维数据表示为连续的、低维向量的技术。它们将词语、用户 ID 或类别等项映射到一种密集数值格式，该格式能够捕捉项之间的关系。例如，词语“cat”（猫）可以表示为一个 300 维向量，而像“kitten”（小猫）这样相似的词语在该空间中的向量位置更接近。这种压缩表示有助于模型比原始的独热编码更高效地处理复杂数据。
嵌入广泛应用于自然语言处理（NLP）和推荐系统。在 NLP 中，词嵌入（例如 Word2Vec、GloVe）将词语转换为反映语义的向量。例如，“king”（国王）和“queen”（女王）的向量在方向上可能很接近，但在“性别”轴上有所不同。同样，推荐系统使用嵌入来表示用户和项（例如电影或产品）。用户嵌入可能编码了诸如“喜欢动作片”等偏好，而电影嵌入则可能捕捉了诸如“高预算”或“科幻”等特征。通过计算这些嵌入之间的相似度，模型可以预测用户与项的交互。
从技术上讲，嵌入是在训练过程中学习到的。神经网络包含一个嵌入层，该层以随机向量开始，并通过反向传播调整它们以最小化预测误差。例如，在 PyTorch 中，nn.Embedding(num_items, embedding_dim) 创建一个查找表，其中每个项 ID 都映射到一个可训练的向量。嵌入维度（例如 32、64）是一个超参数：较小的维度可能会丢失信息但降低计算成本，而较大的维度能捕捉细微之处但需要更多数据。这种方法将稀疏的分类输入转换为密集表示，模型可以有效地处理，从而提高性能和效率。