常见的嵌入（embeddings）类型包括词嵌入、句子嵌入、图像嵌入、图嵌入和类别嵌入。这些技术将复杂数据转换为数值向量，使机器学习模型能够高效处理模式。每种类型都针对特定的数据结构和用例，使其成为现代 AI 系统中的基础工具。下面，我们将探讨主要示例及其实际应用。
词嵌入（Word embeddings）将单个词表示为稠密向量。例如，Word2Vec 使用两种架构：Continuous Bag of Words (CBOW) 根据上下文预测词，而 Skip-Gram 则做反向操作。GloVe 捕获全局词共现统计信息，通常在语义任务上表现更好。像 BERT 这样的上下文嵌入根据周围文本生成动态表示——“river bank”（河岸）中的“bank”与“bank account”（银行账户）中的“bank”获得不同的向量。这些嵌入技术支持情感分析、命名实体识别和机器翻译等任务。句子和文档嵌入（Sentence and document embeddings），例如 Doc2Vec 或 Universal Sentence Encoder，通过聚合词向量或在句子级任务上进行训练，将词级技术扩展到更长的文本，从而实现语义相似度比较或聚类。
图像嵌入（Image embeddings）使用卷积神经网络 (CNNs) 将像素转换为特征向量。在 ImageNet 上预训练的 ResNet 或 VGG16 等模型提取高级特征（边缘、纹理），这些特征对于目标检测或图像检索等任务非常有用。图嵌入（Graph embeddings）（例如 Node2Vec）通过保留结构关系将网络中的节点（社交网络、推荐图）表示为向量。类别嵌入（Categorical embeddings）处理表格数据集中的离散数据（用户 ID、产品类别），通常替代独热编码（one-hot encoding）以降低维度并捕获潜在关系——这在推荐系统中很常见。
选择合适的嵌入技术取决于数据类型和任务。预训练嵌入（BERT、ResNet）可以节省训练时间，但可能需要微调。自定义嵌入更能适应特定领域。例如，推荐系统可以将用于用户 ID 的类别嵌入与用于社交连接的图嵌入结合起来。理解这些选项有助于开发者有效平衡效率、准确性和资源限制。