深度学习中的无监督学习涉及训练模型来识别数据中的模式或结构,而不依赖于标记的示例。与监督学习(模型从输入-输出对中学习)不同,无监督方法使用原始的、未注释的数据。深度学习架构,例如具有多层的神经网络,在这里特别有效,因为它们可以自动学习数据的分层表示。例如,自编码器(一种神经网络)将输入数据压缩到较低维度的潜在空间,然后重建它。这个过程迫使网络捕获数据的重要特征,这对于降维或异常检测等任务非常有用。通过利用深度网络建模复杂关系的能力,无监督技术可以揭示简单算法可能遗漏的隐藏模式。
一种常见的应用是在生成模型中,例如生成对抗网络 (GAN) 或变分自编码器 (VAE)。例如,GAN 使用两个神经网络:一个生成器,用于创建合成数据;一个判别器,用于区分真实数据和虚假数据。通过对抗训练,生成器学习在没有显式标签的情况下生成真实的样本。类似地,聚类(一种经典的无监督任务)可以通过深度学习来增强。深度嵌入聚类 (DEC) 等技术使用神经网络将数据转换为潜在空间,在该空间中,集群更易于分离。例如,在图像上训练的网络可能会学习按视觉相似性(例如,动物与车辆)对它们进行分组,而无需告知类别是什么。这些方法展示了深度学习如何通过处理图像、音频或文本等高维数据来放大无监督任务。
无监督深度学习也在预训练和迁移学习中发挥着关键作用。像 BERT(用于文本)或 SimCLR(用于图像)这样的模型首先在大量未标记的数据上进行训练,以学习一般特征,然后在较小的标记数据集上进行微调以完成特定任务。当标记数据稀缺时,这种方法尤其有价值。例如,自监督模型可能会预测图像中缺失的部分(例如,屏蔽和重建补丁)以学习有用的视觉特征。另一个例子是工业系统中的异常检测,在这种情况下,在正常操作数据上训练的模型可以标记偏差,而无需标记故障示例。通过将无监督学习的可扩展性与深度网络的表示能力相结合,开发人员可以构建强大的系统,以适应不同的数据类型和现实世界的约束。