卷积神经网络（CNN）通过处理单个帧中的空间模式以及跨帧的时间关系，实现有效的视频特征提取。其核心在于，CNN应用卷积滤波器来检测每一帧内局部视觉特征，如边缘、纹理和形状。例如，早期层可能识别水平线或颜色梯度等简单模式，而更深层则将这些模式组合成更复杂的结构，如人体四肢或物体。通过将每个视频帧视为二维输入，CNN可以重用图像分析技术，例如使用池化层降低维度或使用跳跃连接保留精细细节。这种空间处理为理解场景中每一时刻发生的事情奠定了基础。
为了捕捉视频中的运动和时间变化，CNN通常会扩展为 3D 卷积或与循环架构结合。3D CNN 将滤波器应用于空间维度（高度和宽度）和时间维度（时间），从而能够检测物体运动或动作进展等特征。例如，3D 滤波器可以通过分析连续五帧中像素值的变化来识别“举手”动作。另一种混合方法是使用 2D CNN 提取逐帧特征，然后将这些特征输入到像 LSTM 这样的循环神经网络（RNN）中对序列进行建模。这种组合使系统能够跟踪检测到的特征（例如球的位置）如何随时间演变，从而能够预测“投掷”等动作。
实际应用利用这些概念进行动作识别或视频字幕等任务。例如，C3D（3D 卷积）架构使用 3×3×3 滤波器处理短视频片段，捕获时空特征以对“跑步”或“鼓掌”等活动进行分类。在视频摘要中，预训练的 2D CNN（例如 ResNet）可以提取关键帧特征，然后对这些特征进行聚类以识别重要场景。PyTorch 的 Conv3d 层或 TensorFlow 的 ConvLSTM2D 等工具简化了这些模型的构建。然而，计算效率仍然是一个挑战——以高分辨率处理每秒 30 帧的视频需要帧采样或使用轻量级 CNN（例如 MobileNet）进行初始特征提取等优化技术。通过平衡空间细节和时间上下文，CNNs 提供了一个灵活的框架，用于将原始视频数据转化为可行的见解。