大型语言模型 (LLM) 是在多样化的数据集上训练的，这些数据集来自互联网上公开的文本资源、书籍、代码仓库和专门领域。这些数据集旨在使模型接触到广泛的语言模式、主题和写作风格。目标是捕捉一般知识、语法和推理能力，同时平衡数量、质量和伦理考虑。大多数数据集都经过预处理，以删除噪音、重复或有害内容，但各组织的方法各不相同。
常见的来源包括网络内容，如 Common Crawl，它是开放网络的巨大快照，包含来自博客、论坛和新闻网站的数万亿个单词。例如，GPT-3 使用了 Common Crawl 的过滤版本，以及来自书籍（例如 BookCorpus）和 Wikipedia 文章的精选文本，以提高事实准确性。来自 arXiv 或 PubMed 的学术论文也用于训练模型的技术词汇，而 Reddit 等平台提供对话数据。像 Codex 或 StarCoder 这样的以代码为中心的模型严重依赖于公共代码仓库，如 GitHub，通常过滤掉允许许可的项目。这些数据集教授语法、逻辑和编程语言特有的问题解决模式。
专门的数据集解决了通用网络数据中的空白。例如，多语言模型使用 OSCAR（包含 166 种语言的语料库）或 mC4 来提高非英语性能。专注于对话的模型可能会结合客户服务日志或脚本电影对话。伦理和法律问题影响数据集的选择——例如，排除个人身份信息 (PII) 或受版权保护的文本。像 EleutherAI 这样的组织管理透明的数据集（例如 The Pile），结合了学术期刊、电子邮件和政府文件等利基来源。最终，数据集的选择取决于模型的预期用途，平衡广度、领域特异性和遵守数据使用策略。