扩展大型语言模型（LLM）需要提高其效率、性能和可用性，同时管理计算成本。最近的进展集中于优化架构、训练方法和部署策略，以便处理更大的模型或以更少的资源取得更好的结果。开发者正在优先考虑那些能够平衡模型能力与实际约束（如硬件限制和能源消耗）的技术。
一个关键的进展领域是架构创新。混合专家模型（MoE）等技术仅激活模型参数的子集来处理特定任务，从而在保持性能的同时降低了计算开销。例如，Google 的 Switch Transformer 等模型利用稀疏激活的专家更有效地处理输入。此外，注意力机制的改进，如 FlashAttention，优化了训练期间的内存使用，允许更大的批处理大小或更长的上下文窗口。Megatron-LM 或 DeepSpeed 等并行计算框架也能在数千个 GPU 上进行分布式训练，使得训练拥有数千亿参数的模型成为可能，而不会出现令人望而却步的减速。
另一个重点是提高数据效率和训练方法。研究人员不再仅仅依赖于扩展模型大小，而是正在改进模型从数据中学习的方式。课程学习（模型逐步学习难度更高的例子）或人类反馈强化学习（RLHF）（如 ChatGPT 中所示）等技术，无需更大的数据集即可提高性能。模型生成自身训练示例的合成数据生成技术也正在探索中，以解决数据稀缺问题。在部署方面，量化（降低权重的数值精度）和剪枝（去除冗余参数）等方法有助于缩小模型以实现更快的推理。TensorRT 或 ONNX Runtime 等工具使开发者能够针对特定硬件优化模型，从而降低生产环境中的延迟。
最后，硬件和推理优化的进展至关重要。TPU 和 GPU（例如 NVIDIA 的 H100）等专用芯片旨在加速 LLM 操作，而像 PyTorch 2.0 这样的框架将模型编译成优化的内核以实现更快的执行。推测解码等技术（其中较小的模型为较大的模型起草输出进行验证）可以减少推理时间。Meta 等公司通过其“闪存中的 LLM”方法展示了这一点，该方法使用内存高效策略在内存有限的设备上运行模型。这些创新共同降低了在实际应用中部署 LLM 的门槛，无论是聊天机器人还是代码助手，都能在不影响性能的情况下实现。