机器学习中的 Embedding（嵌入）是将文本、图像或类别变量等复杂高维数据映射到低维连续空间的向量表示。这些表示在训练过程中学习，旨在捕捉数据中有意义的模式或关系。例如，在自然语言处理 (NLP) 中，词语通常从稀疏的 One-Hot 编码向量转换为稠密的嵌入向量，其中相似的词语（如“猫”和“狗”）在向量空间中位置接近。这使得嵌入成为将原始数据转换为算法能更有效处理形式的强大工具。
嵌入通常是通过训练模型，根据观察到的数据调整向量值来创建的。在 NLP 中，Word2Vec 或 GloVe 等模型通过分析文本中共现模式生成词嵌入：在相似语境中出现的词语会获得相似的向量。同样，推荐系统使用嵌入来表示用户和物品（如电影或产品）。在这里，嵌入经过训练，使得用户与其交互的物品在向量空间中更接近。例如，喜欢看科幻电影的用户，其嵌入可能靠近科幻电影的嵌入。除了文本和推荐系统，嵌入还可以表示图像（使用 CNN 特征）、图节点（用于社交网络）甚至表格数据类别，从而实现跨领域应用，例如根据用户行为搜索相似产品。
嵌入的关键优势在于能够有效地编码语义或关系信息。通过降维，它们可以在处理海量数据（例如，处理数百万个独特类别）时减少计算瓶颈，同时保留关键关系。对于开发者而言，实现嵌入通常涉及使用 TensorFlow 或 PyTorch 等库，它们提供嵌入层将离散输入映射到向量。实际考虑因素包括选择嵌入维度（例如，文本通常使用 50-300 维）以及决定是使用预训练嵌入（如 NLP 中的 BERT）还是训练特定于任务的嵌入。t-SNE 或 PCA 等可视化工具可以帮助检查嵌入是否捕获了有意义的模式。例如，绘制词嵌入可能揭示动物或颜色的聚类，从而验证其质量。嵌入是现代 ML 工作流的基础，使模型能够更好地泛化并大规模处理非结构化数据。