高维嵌入是数据的向量表示，其中每个元素被映射到数百或数千维空间中的一个点。这些嵌入通过将抽象特征（例如词语的含义或图像的视觉内容）转换为数值，从而捕获数据中的复杂模式和关系。例如，在自然语言处理 (NLP) 中，词语通常使用 Word2Vec 等模型表示为 300 维向量，其中相似的词语（例如“king”和“queen”）在向量空间中占据相邻位置。类似地，卷积神经网络 (CNN) 生成的图像嵌入可能使用 512 维或更多维度来编码视觉特征，例如边缘、纹理或物体形状。
高维嵌入被广泛使用，因为它们使机器能够以结构化的数学方式处理非结构化数据（文本、图像等）。在 NLP 中，嵌入帮助模型理解语义关系：“巴黎”的向量减去“法国”的向量可能类似于“柏林”的向量减去“德国”的向量，反映了“首都-国家”的关系。对于推荐系统，高维空间中的用户和物品嵌入（例如 64–256 维）可以通过测量向量之间的相似度来预测偏好。例如，Netflix 可能使用嵌入将用户和电影映射到同一个空间中，推荐与用户向量接近的电影。高维度允许这些模型捕获微妙的区别——例如区分文本中的“happy”和“joyful”，或者识别图像中的猫和狗——而较低维度可能混淆这些区别。
然而，高维嵌入也伴随着权衡。首先，它们需要大量的计算资源：存储和处理数千维会增加内存使用量并减慢最近邻搜索等操作。为了缓解这个问题，通常在训练后应用降维技术（例如 PCA 或 t-SNE）。其次，维度过高可能导致稀疏的数据表示，向量在空间中分布过于分散，降低泛化能力（即“维度灾难”）。开发者必须平衡嵌入大小和模型性能——例如，BERT 使用 768 维用于词嵌入，这对于大型模型效果很好，但对于较小的应用可能过多。最后，可视化高维嵌入具有挑战性，需要使用 UMAP 或 t-SNE 等工具将其投影到 2D/3D 中进行分析。尽管存在这些挑战，高维嵌入仍然是现代机器学习系统的基础工具。