是的，Amazon Bedrock 可以用于构建接受图像和文本输入或生成多模态输出的多模态应用程序。Bedrock 提供对基础模型的访问，例如 Claude 3 (Anthropic) 和 Titan Multimodal (Amazon)，它们支持图像和文本输入，以及用于图像生成的 Stable Diffusion (Stability AI) 等模型。这些功能使开发人员能够在单一工作流程中组合多个模型，从而实现处理或生成混合媒体的应用程序。
对于输入处理，Claude 3 等模型接受 base64 编码的图像字符串以及文本提示。例如，开发人员可以构建一个应用程序，用户上传产品照片并询问“这里有什么缺陷？”图像被编码成 base64 格式，并与文本提示一起包含在 API 请求体中。Claude 3 分析这两种输入并返回识别缺陷的文本响应。类似地，Titan Multimodal 可以接受图像并生成描述性文本，例如用于无障碍功能的 alt 文本。开发人员使用 Bedrock 的统一 API，通过 Boto3 等 AWS SDK 与这些模型交互。每个模型都有特定的参数——Claude 3 需要在 messages 数组中指定 MIME 类型和图像数据，而 Titan 使用 inputImage 字段——因此正确格式化请求是关键。
对于多模态输出，开发人员可以串联（chain）模型。文本到图像模型（如 Stable Diffusion）从文本提示生成图像，而基于文本的模型（如 Claude）生成摘要或分析。例如，一个应用程序可以接受像“描述并可视化一座未来城市”这样的文本提示，首先使用 Claude 创建详细描述，然后将该文本传递给 Stable Diffusion 生成图像。Bedrock 的 API 允许对每个模型进行单独调用，开发人员可以使用 AWS Lambda 等无服务器服务或 Step Functions 工作流程来编排这些步骤。虽然 Bedrock 处理扩展和基础设施，但开发人员必须管理输入/输出转换，例如调整图像大小以满足模型限制（例如 Claude 3 的 5MB 限制）或编码/解码媒体。这种方法使得交互式设计工具或医学影像分析系统等应用程序能够融合视觉和文本推理。