训练 (Training) 和推理 (Inference) 是深度学习模型生命周期中的两个不同阶段。训练是指模型通过调整其内部参数来学习数据模式的过程。这包括向模型提供带标签的输入数据（例如，具有相应类别的图像），计算预测，使用损失函数测量误差，以及通过随机梯度下降（SGD）等优化算法更新参数。例如，经过训练的卷积神经网络（CNN）会对图像进行分类，它可能会迭代调整其过滤器以识别边缘、纹理和形状。训练需要大量的计算资源和时间，通常涉及 GPU 或 TPU 来处理大型数据集和复杂架构。
另一方面，推理是将训练好的模型应用于新的、未见过的数据以生成预测。训练完成后，模型的参数是固定的，它通过前向传递处理输入，而不更新权重。例如，训练好的图像分类器可能会接收用户上传的照片并输出“猫”或“狗”之类的标签。推理优先考虑效率和速度，因为模型通常部署在实时应用程序中。诸如模型修剪或量化之类的技术用于减少此阶段的计算开销。TensorFlow Lite 或 ONNX Runtime 等框架优化了边缘设备上推理的模型，确保低延迟和最小的资源使用。
关键的实际差异在于它们的目的和资源需求。训练是一个一次性的、资源密集型的阶段，侧重于学习，而推理是一个重复的、轻量级的过程，侧重于预测。例如，语音识别系统可能会在数周内接受数千小时音频数据的训练，但每次查询的推理时间只需几毫秒。开发人员必须平衡这些阶段：训练期间的过度拟合会损害推理的准确性，而低效的推理架构会降低用户体验。PyTorch 的 torch.jit 或 TensorFlow Serving 等工具通过将训练好的模型导出为针对部署优化的格式来帮助弥合差距，确保这两个阶段都符合应用程序的需求。