深度特征是神经网络(通常是深度学习模型)学习到的数据中间表示。这些特征从网络的隐藏层中提取,捕获输入数据的分层模式。例如,在图像分类模型中,早期层可能检测边缘或纹理,而更深层则将这些特征结合起来识别复杂的形状或对象。深度特征与手工设计的特征(如颜色直方图或 HOG 描述符)不同,因为它们是在训练过程中自动学习到的,并针对模型旨在执行的特定任务进行了优化。
要理解深度特征如何工作,可以考虑一个在图像上训练的卷积神经网络 (CNN)。第一个卷积层应用滤波器检测边缘或角等基本结构。随着数据通过后续层,这些简单特征被组合成更抽象的概念——例如,检测汽车的轮子或花的花瓣。到最终层,网络可能会识别出“汽车”或“玫瑰”等高级对象。这些中间输出(深度特征)可以被重新用于其他任务。例如,预训练 CNN 的倒数第二层的特征可以作为输入,用于训练针对新数据集的更简单分类器,与从头开始训练模型相比,这样可以节省计算资源。
深度特征广泛应用于迁移学习和领域适应。例如,开发者可以使用像 ResNet 这样的预训练视觉模型从医学图像中提取特征,然后在这些特征之上训练一个小型神经网络来分类疾病。类似地,在自然语言处理中,BERT 等模型生成深度特征(embedding),代表句子中词语的上下文,这些特征可以被重用于情感分析等任务。然而,深度特征的质量取决于原始训练数据的相关性和所用层的深度——更深的层可能过度拟合原始任务,而早期层可能缺乏特异性。选择正确的层并进行微调是实际应用中的关键步骤。