深度聚类是自监督学习 (SSL) 中的一种技术，它使用聚类目标来训练神经网络，而无需标记数据。 它与 SSL 的核心思想一致，即直接从未标记的数据创建监督信号。 在深度聚类中，模型通过优化聚类损失（例如，将猫与狗的图像分组）来学习将相似的数据点分组，同时改进其特征表示。 这种双重过程（迭代改进聚类和特征）使其非常适合 SSL 框架，该框架的目标是学习有用的表示，用于诸如分类或检测之类的下游任务。
一个关键的例子是 DeepCluster 方法，该方法在聚类图像嵌入（使用诸如 k-means 之类的算法）和更新神经网络以预测聚类分配之间交替进行。 例如，在计算机视觉中，模型可能会根据视觉模式将未标记的图像分组到集群中，然后根据从这些集群派生的伪标签进行训练。 另一个例子是 SwAV（在视图之间交换分配），它对同一图像的增强视图进行聚类，并强制它们聚类分配之间的一致性。 这些方法通过将聚类身份视为临时目标来消除对人工标签的需求。 同样，在 NLP 中，聚类单词或句子嵌入可能有助于将语义上相似的短语分组，然后模型将其用作训练信号。 通过在聚类和表示学习之间迭代，模型发现了数据中的结构，这有利于诸如情感分析或机器翻译之类的任务。
深度聚类的主要优点是它能够扩展到没有标签的大型数据集，这使其适用于医学成像或音频处理等注释成本高昂的领域。 但是，挑战包括频繁聚类步骤带来的计算开销以及退化解的风险（例如，所有点都折叠为一个聚类）。 为了解决这个问题，这些方法通常将聚类与其他 SSL 技术（如对比学习）相结合。 例如，SCAN（通过采用最近邻的语义聚类）首先使用对比学习来预训练特征，然后应用聚类来优化它们。 这种混合方法平衡了对比方法的稳定性与聚类结构发现的优势。 对于开发人员来说，实现深度聚类需要有效的聚类算法（例如，小批量 k-means）和仔细的超参数调整以避免不稳定，但它提供了一种灵活的方式来利用未标记的数据进行表示学习。