嵌入 (Embeddings) 是离散或高维数据的低维连续向量表示，它们在神经网络处理文本、类别或关系等复杂输入方面发挥着关键作用。神经网络通常难以处理原始的、非结构化数据（例如，单词或用户 ID），因为这些输入缺乏固有的数值意义。嵌入通过将此类数据映射到密集的、紧凑的向量空间来解决这个问题，其中相似的项目更接近。这种映射通常由神经网络在训练期间自动学习，使模型能够捕获数据中的语义或上下文关系。
例如，在自然语言处理 (NLP) 中，单词在输入到神经网络之前会被转换为嵌入。如果没有嵌入，像“猫”这样的词可能会表示为一个具有数千个维度 (例如，[0,0,…,1,…,0]) 的 one-hot 编码向量，这在计算上效率低下并且缺乏单词之间有意义的关系。相反，神经网络中的嵌入层将每个单词投影到一个密集的向量 (例如，300 维) 中，其中相似的词（如“猫”和“狗”）具有几何上更接近的向量。这使网络能够更好地泛化和理解上下文。类似地，在推荐系统中，用户和项目 ID 被嵌入以捕获潜在的特征（例如，用户偏好或产品特征），神经网络可以使用这些特征来预测交互。
嵌入与神经网络架构紧密集成。它们通常实现为一个可训练层（例如，PyTorch 中的 nn.Embedding 或 Keras 中的 Embedding），该层将离散 token 转换为向量。在训练期间，网络通过反向传播调整这些嵌入，细化它们的值以最大限度地减少预测误差。例如，在文本分类模型中，嵌入层学习将具有相似含义或功能的词语定位在向量空间中的彼此附近，从而提高模型识别模式的能力。这种方法不限于文本：嵌入也用于表格数据中的分类特征、图神经网络中的图节点，甚至视觉 Transformer 中的图像。通过将数据压缩和结构化为有意义的表示，嵌入使神经网络能够高效且有效地处理各种输入。