要准备和格式化训练数据，以便在 AWS Bedrock 上使用 JSONL 文件微调基础模型，您需要将数据构建成 prompt-completion 对。JSONL 文件中的每一行都应是一个独立的 JSON 对象，包含一个“prompt”（输入文本）和一个“completion”（期望输出）。例如，一行可能看起来像：{"prompt": "Translate to French: Hello", "completion": "Bonjour"}。Bedrock 需要这种格式来在训练期间映射输入到输出。确保每个训练示例都在自己的行上，并且条目之间没有逗号，因为 JSONL 与 JSON 数组不同。使用 UTF-8 编码并验证换行符以避免解析错误。查看 Bedrock 的文档，了解文件大小限制或保留关键字等具体信息，以确保兼容性。
接下来，对数据进行预处理以提高模型性能。通过移除不相关的字符、标准化空白以及确保提示和完成的文本一致性来清理文本。例如，如果您的任务是分类，请标准化标签（例如，始终使用“positive”而不是“pos”）。将数据分成训练集和验证集（例如，90/10）以评估模型性能。如果您的数据集较小，考虑数据增强（重写提示）或对代表性不足的类别进行过采样等技术。分词对齐也至关重要——确保您的文本与模型的分词器对齐（例如，避免词中分割）。Python 中的 json 库等工具可以帮助自动化格式化，AWS Glue 或自定义脚本可以处理大规模预处理。
最后，在上传到 Bedrock 之前验证您的 JSONL 文件。使用代码检查工具或脚本来检查语法错误、缺失的键或结构不一致。例如，运行一个 Python 脚本，使用 json.loads() 加载每一行，并验证“prompt”和“completion”键是否存在。通过微调一个小型模型来测试数据的一个子集，以发现配对不当或过拟合等问题。AWS CLI 工具或 Bedrock 控制台可以帮助上传和验证文件。测试后，监控训练指标，如损失或准确率，以确保数据有效。如果出现错误，重新检查预处理步骤——常见的修复方法包括平衡数据集多样性或调整 prompt-completion 比例。正确格式化和验证的数据确保模型高效地学习预期的模式。