像 GPT-4 或 Llama 这样的大型语言模型 (LLM) 通过利用其训练数据中的模式以及单词之间的统计关系来进行推理，而不是明确的逻辑推导。 当给出提示时，模型会通过分析提供的上下文来预测序列中的下一个标记（单词或子词）。 这种预测基于训练期间学习的权重，这些权重捕获了某些概念或短语一起出现的频率。 例如，如果被问到“3 + 5 是多少？”模型不会计算总和，而是检索答案“8”，因为它在训练数据中看到了类似的数学问题和解决方案。 这种过程由 Transformer 架构驱动，该架构使用注意力机制来权衡输入的不同部分在生成每个标记时的相关性。
LLM 中类似推理的行为源于它们将学习到的模式缝合到连贯序列中的能力。 例如，当解决诸如“爱丽丝有 5 个苹果；鲍勃又给了她 3 个。她有多少个？”这样的多步骤问题时，模型可能会逐步分解：首先将 5 和 3 相加，然后陈述结果。 这种模仿推理并不是因为模型理解算术，而是因为它在训练数据中看到了无数此类问题被逐步解决的示例。 注意力机制通过关注序列中的相关标记（例如，“5”、“3”、“苹果”）来帮助保持一致性。 开发人员可以使用诸如链式思考提示之类的技术来增强此行为，在这种技术中，模型被明确指示生成中间步骤（例如，“步骤 1：计算 5 + 3…”），从而通过镜像训练中结构化的解决问题示例来提高准确性。
但是，LLM 缺乏真正的推理能力，并且在面对新颖的场景时经常失败。 例如，如果被问到“如果浴缸能容纳 150 升水，并且每分钟排水 10 升，那么多久才能排空？”如果类似的例子在其训练数据中，模型可能会正确地回答“15 分钟”。 但是，如果问题涉及不寻常的约束（例如，“排水管每 5 分钟减速 1 升/分钟”），它可能会遇到困难，因为所需的逐步逻辑未反映在其训练模式中。 开发人员可以通过在特定领域的数据上微调模型或设计提示来指导模型分解问题来缓解这种情况。 最终，LLM“推理”是人类逻辑的统计近似，依赖于数据质量、架构和提示策略，而不是内在的理解。