为了将反馈或人工参与流程融入 AWS Bedrock 输出中,您可以实施一个结构化的工作流程,该工作流程结合了自动生成、人工审查和迭代改进。首先,设计一个系统,让 Bedrock 生成的内容(如文本、摘要或代码片段)在最终使用之前首先由人工审查。例如,如果 Bedrock 生成产品描述,人工编辑可以验证准确性、语气和相关性。来自此审查的反馈(如更正、评分或注释)可以记录在数据库或反馈工具中。然后,此数据会告知对 Bedrock 中使用的提示或参数进行调整,以改进未来的输出。诸如 AWS Lambda 或 Step Functions 之类的工具可以自动将输出传递到审查界面并收集反馈。
一个实际的例子是使用使用 Bedrock 构建的客户支持聊天机器人。假设机器人偶尔会提供模糊的答案。您可以将其响应路由到仪表板,支持代理可以在其中批准、编辑或标记它们。代理可能会注意到提示“解释我们的退货政策”会导致过于技术性的语言。通过将提示修改为“以非技术用户的简单术语解释我们的退货政策”,模型的输出变得更加清晰。为了实现这一点,将反馈存储在 Amazon DynamoDB 表中,然后使用脚本分析常见问题并通过 Bedrock 的 API 以编程方式更新提示。这创建了一个闭环系统,其中人工洞察直接影响模型行为。
为了实现可扩展性,集成监控和版本控制。跟踪诸如批准率或编辑频率之类的指标来识别模式。例如,如果 Bedrock 生成的代码通常需要修复安全漏洞,您可以添加诸如“在所有代码示例中包含输入验证”之类的提示约束。使用 AWS CloudWatch 监控性能和 A/B 测试提示变体。如果仅靠提示工程不足以满足需求,诸如 Amazon SageMaker 之类的工具可以帮助重新训练自定义模型。通过将人工判断与系统数据分析相结合,您可以确保 Bedrock 输出与实际需求保持一致,同时保持效率。