大型语言模型 (LLM) 中的超参数是控制模型在训练和推理期间如何训练和行为的设置。与模型参数（例如，神经网络权重）不同，超参数不是从数据中学习的，而是在训练前手动设置的。它们直接影响训练效率、模型性能和计算资源使用。例如，选择不当的学习率可能会阻止模型收敛，而最佳的批量大小可以平衡内存使用和梯度精度。超参数还会影响模型泛化到新数据的能力，这对于获得高质量结果至关重要。
关键超参数包括学习率、批量大小、训练轮数以及模型架构选择，例如层数或注意力头数。学习率决定了模型在训练期间如何根据误差调整其权重。过高的速率会导致不稳定，而过低的速率会减慢进度。批量大小会影响内存需求和梯度估计——较小的批量会引入噪声，但会更频繁地更新权重，而较大的批量会提供更平滑的梯度，但会增加内存使用。架构超参数（例如，Transformer 层的数量）决定了模型捕获模式的能力。例如，GPT-3 使用 96 层，能够进行复杂的推理，但需要大量的计算能力。
调整超参数通常是一个经验过程。开发人员可能会使用网格搜索、随机搜索或贝叶斯优化等自动化工具来查找使验证准确性最大化的组合。对于推理，诸如温度（控制输出随机性）或 top-p 采样（限制令牌选择）之类的超参数会影响生成的文本。例如，设置较低的温度（例如，0.2）会产生更可预测的输出，而较高的值（例如，1.0）会鼓励创造力。平衡这些设置需要理解连贯性和多样性之间的权衡。最终，超参数选择是使 LLM 与特定用例保持一致的基础，无论是生成代码、回答问题还是总结文本。