是的，大型语言模型 (LLM) 可以分析和总结大型文档，但其有效性取决于它们的实现方式和模型的约束。 LLM 通过将文本分解为 token（文本单元，如单词或子词）来处理文本。 大多数模型对输入和输出都有最大 token 限制（例如，根据模型，为 4,000–128,000 个 token）。 对于超过此限制的文档，开发人员必须将文本分成块，分析每个部分，并合并结果。 例如，可以将 100 页的技术报告分成几章，分别进行总结，然后综合成最终摘要。 像 LangChain 或 LlamaIndex 这样的工具提供了框架来管理此过程，处理分块、上下文保留和聚合。
LLM 使用两种主要方法执行总结：提取式（选择关键句子）和抽象式（生成新句子）。 对于像 API 规范这样的技术文档，LLM 可能会提取关键端点和参数，同时用更简单的术语重写解释。 但是，准确性取决于模型的训练数据和源材料的清晰度。 例如，总结法律合同需要模型识别条款、义务和截止日期——如果语言含糊不清，这些任务可能会容易出错。 开发人员可以通过在特定领域的数据上微调模型或使用检索增强生成 (RAG) 从外部数据库中提取相关上下文来提高结果。 预处理步骤（如删除冗余文本或使用标题构建输入结构）也有助于模型专注于基本内容。
当处理非常大或复杂的文档时会出现挑战。 块之间的上下文丢失、术语不一致和主题重叠会降低摘要质量。 例如，如果孤立地总结，一篇具有相互关联部分的研究论文可能会失去细微差别。 为了缓解这种情况，开发人员可以实现分层摘要：首先创建章节摘要，然后将它们组合成高级概述。 通常需要进行后处理步骤，如针对源文本进行验证或人工审查。 此外，具有扩展上下文窗口（高达 128k 个 token）的新模型（如 GPT-4 Turbo）减少了分块的需要，但成本和延迟会增加。 平衡这些权衡需要测试不同的块大小、模型配置和验证方法，以确保摘要既简洁又准确。