嵌入（Embeddings）是数据的数值表示（如文本、图像或用户行为），它们在高维向量空间中捕获数据的语义或结构特征。聚类算法通过测量这些向量之间的距离来分组相似的数据点。由于嵌入将复杂数据转换为保留关系（如相似性或上下文）的格式，它们使得聚类技术能够识别原始数据中不明显的模式。例如，在自然语言处理（NLP）中，“dog”（狗）和“puppy”（小狗）这样的词可能具有彼此接近的嵌入，即使它们的原始文本形式不同，聚类算法也能将它们分组为相关概念。
该过程通常包括三个步骤。首先，使用模型将数据转换为嵌入，例如用于文本的 Word2Vec、用于图像的 ResNet 或用于特定领域任务的自定义神经网络。例如，可以使用 BERT 对客户评论进行嵌入以捕获其上下文含义。接下来，将 K-means、DBSCAN 或层次聚类等聚类算法应用于嵌入。K-means 基于欧氏距离将向量分组到 k 个簇中，而 DBSCAN 则识别点的密集区域。一个实际示例是基于行为嵌入（例如，应用程序使用模式）对用户配置文件进行聚类，以识别不同的用户群体。最后，通常使用 PCA 或 UMAP 等降维技术来在二维/三维空间中可视化簇，但实际的聚类是在原始嵌入空间中进行的，以确保准确性。
在使用嵌入进行聚类时，关键考虑因素包括嵌入的质量和距离度量的选择。例如，对于文本嵌入，余弦相似度通常比欧氏距离效果更好，因为它关注向量的方向而非大小。超参数调优（例如，在 K-means 中选择簇的数量 k）至关重要，并且可以根据轮廓系数（silhouette score）等指标或领域知识进行指导。此外，嵌入必须与聚类目标一致：未经微调的模型，其基于通用文本训练的嵌入可能不适用于医疗文档聚类。像 scikit-learn 用于聚类和 Hugging Face Transformers 用于生成嵌入的工具可以简化实现，但测试不同模型和算法的组合对于获得有意义的结果至关重要。