🛌 与 Amazon Bedrock 集成
本教程是社区贡献，不受 Open WebUI 团队支持。它仅作为如何为您的特定用例自定义 Open WebUI 的演示。想要贡献？查看贡献教程。
将 Open-WebUI 与 Amazon Bedrock 集成
在本教程中，我们将探 索将 Open-WebUI 与 Amazon Bedrock 集成的最常见和流行的方法之一。
先决条件
为了遵循本教程，您必须具备以下条件：
- 一个活跃的 AWS 账户
- 一个活跃的 AWS 访问密钥和密钥
- AWS 中启用 Bedrock 模型的 IAM 权限或已启用的模型
- 在您的系统上安装 Docker
什么是 Amazon Bedrock
直接来自 AWS 网站：
"Amazon Bedrock 是一项完全托管的服务，通过单一 API 提供来自 AI21 Labs、Anthropic、Cohere、Luma、Meta、Mistral AI、poolside（即将推出）、Stability AI 和 Amazon 等领先 AI 公司的高性能基础模型（FMs）选择，以及构建具有安全性、隐私和负责任 AI 的生成式 AI 应用程序所需的广泛功能。使用 Amazon Bedrock，您可以轻松试验和评估适用于您用例的顶级 FM，使用微调和检索增强生成（RAG）等技术用您的数据私有化定制它们，并构建使用您的企业系统和数据源执行任务的代理。由于 Amazon Bedrock 是无服务器的，您无需管理任何基础设施，可以使用您已经熟悉的 AWS 服务安全地集成和部署生成式 AI 功能到您的应用程序中。"
要了解有关 Bedrock 的更多信息，请访问：Amazon Bedrock 官方页面
集成步骤
步骤 1：验证对 Amazon Bedrock 基础模型的访问
在我们与 Bedrock 集成之前，您首先需要验证您至少可以访问一个（但最好是多个）可用的基础模型。在撰写本文时（2025年2月），有47个基础模型可用。您可以在下面的截图中看到我可以访问多个模型。如果模型旁边显示"✅ 已授权访问"，您就知道您可以访问该模型。如果您无法访问任何模型，下一步会出现错误。
AWS 为请求访问/启用这些模型提供了良好的文档：Amazon Bedrock 模型访问文档
步骤 2：配置 Bedrock 访问网关
现在我们至少可以访问一个 Bedrock 基础模型，我们需要配置 Bedrock 访问网关（BAG）。您可以将 BAG 视为 AWS 开发的代理或中间件，它围绕 AWS 原生端点/SDK for Bedrock 进行包装，反过来公开与 OpenAI 架构兼容的端点，这正是 Open-WebUI 所需要的。
以下是端点之间的简单映射供参考：
| OpenAI 端点 | Bedrock 方法 |
|---|---|
/models | list_inference_profiles |
/models/{model_id} | list_inference_profiles |
/chat/completions | converse or converse_stream |
/embeddings | invoke_model |
BAG 仓库可以在这里找到：Bedrock 访问网关仓库
要设置 BAG，请按照以下步骤操作：
- 克隆 BAG 仓库
- 删除默认的
dockerfile - 将
Dockerfile_ecs的名称更改为Dockerfile
现在我们可以使用以下命令构建和启动 docker 容器：
docker build . -f Dockerfile -t bedrock-gateway
docker run -e AWS_ACCESS_KEY_ID=$AWS_ACCESS_KEY_ID -e AWS_SECRET_ACCESS_KEY=$AWS_SECRET_ACCESS_KEY -e AWS_SESSION_TOKEN=$AWS_SESSION_TOKEN -e AWS_REGION=us-east-1 -d -p 8000:80 bedrock-gateway
您现在应该能够在以下地址访问 BAG 的 swagger 页面：http://localhost:8000/docs
步骤 3：在 Open-WebUI 中添加连接
现在您已经启动并运行了 BAG，是时候在 Open-WebUI 中将其添加为新连接了。
- 在管理面板下，转到设置 -> 连接。
- 使用"+"（加号）按钮在 OpenAI 下添加新连接
- 对于 URL，使用"http://host.docker.internal:8000/api/v1"
- 对于密码，BAG 中定义的默认密码是"bedrock"。您始终可以在 BAG 设置中更改此密码（参见 DEFAULT_API_KEYS）
- 点击"验证连接"按钮，您应该在右上角看到"服务器连接已验证"警报
步骤 4：开始使用 Bedrock 基础模型
您现在应该可以看到所有 Bedrock 模型可用！
其他有用的教程
这些是在将 Open-WebUI 与 Amazon Bedrock 集成时非常有用的一些其他教程。