Skip to main content

🌐 使用 OpenAI 兼容服务器开始

概述​

Open WebUI 不仅仅适用于 OpenAI/Ollama/Llama.cpp——您可以连接任何实现 OpenAI 兼容 API 的服务器，无论是本地运行还是远程运行。如果您想运行不同的语言模型，或者已经有喜欢的后端或生态系统，这是完美的选择。本指南将向您展示如何：

  • 设置 OpenAI 兼容服务器（包含几个流行选项）
  • 将其连接到 Open WebUI
  • 立即开始聊天

步骤 1：选择 OpenAI 兼容服务器​

有许多服务器和工具公开 OpenAI 兼容 API。以下是一些最受欢迎的：

  • Llama.cpp：极其高效，在 CPU 和 GPU 上运行
  • Ollama：超级用户友好且跨平台
  • LM Studio：适用于 Windows/Mac/Linux 的丰富桌面应用
  • Lemonade：基于 ONNX 的快速后端，支持 NPU/iGPU 加速

选择最适合您工作流程的！

🍋 使用 Lemonade 开始​

Lemonade 是一个即插即用的基于 ONNX 的 OpenAI 兼容服务器。以下是在 Windows 上试用的方法：

  1. 下载最新的 .exe

  2. 运行 Lemonade_Server_Installer.exe

  3. 使用 Lemonade 的安装程序安装并下载模型

  4. 运行后，您的 API 端点将是：

    http://localhost:8000/api/v0

Lemonade 服务器

详情请参阅他们的文档。

步骤 2：将您的服务器连接到 Open WebUI​

  1. 在浏览器中打开 Open WebUI。

  2. 转到 ⚙️ 管理设置 → 连接 → OpenAI 连接。

  3. 点击 ➕ 添加连接。

    • URL：使用您服务器的 API 端点（例如，Ollama 使用 http://localhost:11434/v1，或您自己的 Llama.cpp 服务器地址）。
    • API 密钥：除非需要，否则留空。

  4. 点击保存。

提示：如果在 Docker 中运行 Open WebUI 而模型服务器在主机上，使用 http://host.docker.internal:<your-port>/v1。

对于 Lemonade： 添加 Lemonade 时，使用 http://localhost:8000/api/v0 作为 URL。​

Lemonade 连接

步骤 3：开始聊天！​

在聊天菜单中选择您连接的服务器模型并开始使用！

就是这样！无论您选择 Llama.cpp、Ollama、LM Studio 还是 Lemonade，您都可以轻松试验和管理多个模型服务器——全部在 Open WebUI 中。

🚀 享受构建您完美的本地 AI 设置！