大型语言模型 (LLM) 通过架构设计、量化和内存高效的训练策略进行内存使用优化。 这些优化旨在减少存储和运行模型所需的计算资源，而不会显着影响性能。 开发人员专注于降低训练和推理过程中内存消耗的技术，使 LLM 能够在资源有限的硬件上运行。
一种关键方法包括模型架构调整。例如，稀疏注意力机制通过限制模型一次处理的令牌数量来减少内存。 像 GPT-3 这样的模型使用窗口注意力，其中每个令牌仅与附近令牌的子集交互，而不是与整个序列交互。 另一种技术是参数共享，其中层重用权重而不是存储单独的参数。 ALBERT 是 BERT 的一个变体，它采用跨层参数共享，可将内存使用量减少高达 90%。 这些设计选择降低了内存占用，同时保持了模型的功能。
量化和剪枝进一步优化内存。 量化将模型权重从高精度格式（如 32 位浮点数）转换为低精度格式（如 8 位整数）。 例如，GPTQ 和 QLoRA 是将 LLM 权重量化为 4 位的方法，可将内存使用量减少 75%，而精度损失最小。 剪枝从模型中删除冗余或不太重要的权重。 TensorFlow Lite 等工具应用基于幅度的剪枝，消除接近零的权重。 在训练期间，梯度检查点通过在反向传播期间重新计算中间激活而不是存储它们来节省内存。 像 PyTorch 的 checkpoint API 这样的框架实现了这一点，以计算时间换取内存节省。 总之，这些技术使开发人员能够在内存受限的设备（如手机或边缘设备）上部署 LLM。