NLP 中长文本序列的主要挑战在于有效地处理它们所需的计算和内存需求。像 Transformer 这样的模型依赖于自注意力机制，其复杂度与序列长度呈二次方关系。例如，一个包含 1,000 个 token 的序列需要模型计算 1,000 × 1,000 = 1,000,000 个 token 对的注意力得分。这使得在长文档（如法律合同或研究论文）上进行训练或推理变得非常缓慢或占用大量内存。即使采用硬件优化，许多模型也规定了固定的最大序列长度（例如，BERT 为 512 个 token），迫使开发人员截断或拆分文本，这可能会丢失关键上下文。
另一个问题是 GPU 内存的实际限制。现代 NLP 模型在处理过程中存储中间表示（例如，注意力矩阵），并且较长的序列需要指数级更多的内存。例如，一个处理 4,096 个 token 序列的 Transformer 模型可能需要 16GB 的 VRAM 仅用于注意力计算，这超出了许多消费级 GPU 的容量。开发人员经常求助于诸如梯度检查点（重新计算中间值而不是存储它们）或稀疏注意力模式（忽略某些 token 对）之类的变通方法，但这些方法会引入权衡。例如，像 Longformer 这样的模型中的稀疏注意力可能会错过细微的长程依赖关系，从而降低文档摘要等任务的准确性，在这些任务中全局上下文很重要。
最后，在长序列上保持连贯性和相关性是困难的。诸如问答或叙事生成之类的任务要求模型跨越数千个 token 跟踪实体、事件和关系。例如，在医疗报告分析中，患者病史早期提到的症状可能仅与最后几段中的诊断相关联。标准模型通常难以保留这种遥远的连接，从而导致不一致或不完整的输出。虽然诸如分层建模（分块处理文本并聚合结果）或内存增强网络之类的技术有所帮助，但它们增加了复杂性，并且可能无法完全解决该问题。这种限制在实时应用程序（如聊天机器人）中尤其明显，在这些应用程序中，延迟约束加剧了处理冗长对话的挑战。