Embedding是数据的数值表示，它可以捕获语义关系，使机器能够有效地处理文本或图像等复杂信息。它们将高维、非结构化数据（如单词或像素）转换为密集的、低维的实数向量。这些向量编码了有意义的模式，因此相似的项目（如相关的单词或视觉上相似的图像）在向量空间中彼此更靠近。例如，在自然语言处理 (NLP) 中，“猫”和“狗”这两个词可能具有在数学上比“猫”和“车”更接近的embedding向量，这反映了它们的语义相似性。
Embedding是使用机器学习模型创建的，这些模型经过训练可以识别数据中的关系。在 NLP 中，诸如 Word2Vec 或 BERT 之类的模型通过分析大型文本语料库来学习。例如，Word2Vec 训练神经网络来预测周围的词（skip-gram）或从其上下文中预测目标词 (CBOW)。在训练期间，模型会调整词向量，以便出现在相似上下文中的词（例如，“国王”和“王后”）最终获得相似的embedding。类似地，图像embedding是使用卷积神经网络 (CNN) 生成的，该网络从像素（边缘、纹理、形状）中学习分层特征，并将它们编码为向量。这些模型通常在大型数据集（例如用于图像的 ImageNet）上进行预训练，并针对特定任务进行微调。
开发人员使用embedding来解决语义搜索、推荐系统或聚类等任务。例如，在搜索引擎中，将用户查询和文档转换为embedding允许通过向量相似度（使用余弦距离）对结果进行排序。Embedding还降低了计算复杂度：将一个词表示为 300 维向量比在 50,000 个词汇的词汇表上进行 one-hot 编码更有效。主要考虑因素包括选择正确的embedding维度（例如，BERT-base 为 768 维）以及是使用预训练的embedding还是训练自定义的embedding。虽然预训练模型（例如，GPT-4 的token embedding）可以节省时间，但特定领域的任务（如医学文本分析）可能需要进行微调才能捕获专门的术语。