Amazon Bedrock 的核心模型调用 API 本身不支持异步请求或批量处理。 与 Bedrock 中的基础模型交互的主要方法是通过同步 API 调用，如 InvokeModel，它处理单个输入并立即返回结果。 但是，您可以将 Bedrock 与其他 AWS 服务（如 AWS Lambda、Step Functions 或 Amazon SQS）结合使用，以实现异步工作流程或批量处理。 这种方法允许开发人员解耦请求处理、扩展处理能力并有效地管理大型工作负载。
要实现异步行为，您可以使用 AWS Lambda 来响应事件（例如，来自 Amazon S3 或 SQS）调用 Bedrock 模型。 例如，Lambda 函数可以处理存储在 SQS 中的请求队列，将每个请求发送到 Bedrock 的 InvokeModel API，并将结果存储在 DynamoDB 等数据库中。 这样可以避免在等待响应时阻塞您的应用程序。 或者，Step Functions 可以编排涉及 Bedrock 的多步骤工作流程，例如将模型调用与数据转换或错误处理链接起来。 例如，您可以使用 Step Functions 来重试失败的请求或聚合来自并行 Bedrock 调用的结果。 这些模式使您可以处理长时间运行的任务，而无需占用资源。
对于批量处理，您需要手动管理并行化和输入/输出处理。 一种常见的方法是将大型数据集拆分为较小的块（例如，使用 AWS Glue 或自定义脚本），通过 Bedrock 的 API 处理每个块，然后合并结果。 例如，Python 脚本可以读取 CSV 文件，迭代行，并使用并发线程或进程一次将 10 行的组发送到 Bedrock。 您需要处理速率限制（Bedrock 的默认值为每个账户每秒 10 个事务）和错误，可能使用指数退避。 结果可以写入 S3 或数据库。 虽然这比内置的批量 API 需要更多的设置，但它提供了灵活性，可以根据特定用例优化成本和性能。