要监控和衡量 Amazon Bedrock 请求的性能，您可以使用 AWS CloudWatch 指标、自定义日志记录和跟踪工具。Amazon Bedrock 与 CloudWatch 集成，提供内置指标，例如请求延迟、错误率和调用计数。您还可以检测您的代码以记录自定义指标（例如令牌使用情况），并分析日志以获得更深入的见解。
首先，利用 CloudWatch 的 Bedrock 内置指标。像 InvocationLatency（以毫秒为单位的响应时间）和 NumberOfRequests 这样的指标可以跟踪基本性能。对于错误率，请使用 BedrockServiceErrors 来捕获 HTTP 4xx/5xx 错误。这些指标会自动发布到 CloudWatch，您可以在其中创建仪表板来可视化趋势或为高延迟或错误峰值等阈值设置警报。例如，当 InvocationLatency 超过 5000 毫秒时触发的警报可能表示性能下降。CloudWatch 还允许您按 Bedrock 模型（例如，Claude 或 Titan）过滤指标，以隔离问题。
其次，跟踪令牌使用情况和自定义指标。Bedrock 的 API 响应包含元数据，例如某些模型的 inputTokens 和 outputTokens。在您的代码中提取这些值，并使用 AWS SDK 将它们记录为自定义 CloudWatch 指标。例如，在每次 Bedrock API 调用之后，使用 PutMetricData 记录使用的令牌。这有助于将令牌计数与成本相关联，因为定价通常基于令牌。如果令牌数据不可直接获得，可以通过计算输入/输出字符数并除以平均令牌长度（例如，英语的每个令牌 4 个字符）来近似计算它。
最后，实施结构化日志记录和跟踪。使用 AWS X-Ray 端到端地跟踪 Bedrock 请求，从而识别多步骤工作流程中的瓶颈。将详细的请求/响应数据（例如，时间戳、模型 ID）记录到 Amazon CloudWatch Logs 或 S3，并使用 Athena 或 OpenSearch 分析日志以查找频繁超时等模式。对于审计，启用 AWS CloudTrail 以记录 Bedrock API 调用。将这些工具组合起来以创建一个监控管道：CloudWatch 用于实时指标，X-Ray 用于跟踪，日志用于事后分析。这种方法在简单性和粒度之间取得了平衡，使您可以优化成本和可靠性。