深度学习模型通过识别数据中的模式并利用这些模式做出决策或预测来融入推理能力。虽然它们不像人类那样进行推理——理解抽象概念或应用形式逻辑——但它们通过处理数据的分层表示来近似实现推理。例如，用于图像分类的卷积神经网络（CNN）在其早期层中学习检测边缘、纹理和形状，然后在更深的层中结合这些特征来识别复杂对象。这种分层处理模仿了一种逐步推理的形式，尽管它是基于统计相关性而非显式逻辑。
模型模拟推理的一种方式是通过设计用于处理序列或结构化数据的架构。例如，Transformer 使用注意力机制来衡量句子中词语之间的关系，从而实现翻译或摘要等任务。当 Transformer 模型生成一个连贯的问题答案时，它并不是在“思考”，而是在利用输入标记与其上下文之间学习到的关联。类似地，图神经网络（GNNs）通过在节点和边之间传播信息来推理数据中的关系，模仿了分析社交网络或分子中连接的方式。这些架构编码了依赖关系，使得模型能够近似逻辑步骤，例如推断出“如果 A 与 B 相连，并且 B 与 C 相连，那么 A 与 C 相关”。
然而，深度学习模型在需要显式逻辑或因果推理的任务上表现不佳。为了解决这个问题，出现了诸如思维链提示（chain-of-thought prompting）或将神经网络与符号 AI 相结合的混合系统等技术。例如，模型在解决数学问题时可能会生成中间推理步骤（例如，“首先，计算 X，然后将其与 Y 比较”），尽管它仍然是在预测文本序列，而不是执行形式计算。研究人员还在探索神经符号方法，其中神经网络从数据中提取特征，然后符号系统将规则应用于这些特征。虽然这些方法不能完全复制人类推理，但它们通过将模型的输出结构化以符合逻辑过程来缩小差距。