Skip to main content
warning

本教程是社区贡献,不受 Open WebUI 团队支持。它仅作为如何为您的特定用例自定义 Open WebUI 的演示。想要贡献?查看贡献教程。

note

本指南已通过手动安装的 Open WebUI 设置验证。

在 Intel GPU 上使用 IPEX-LLM 设置本地 LLM

info

IPEX-LLM 是一个 PyTorch 库,用于在 Intel CPU 和 GPU(例如,带有 iGPU 的本地 PC、Arc A 系列、Flex 和 Max 等独立 GPU)上以极低的延迟运行 LLM。

本教程演示如何使用在 Intel GPU 上托管的 IPEX-LLM 加速 Ollama 后端设置 Open WebUI。通过遵循本指南,您甚至可以在低成本 PC(即仅具有集成 GPU)上设置 Open WebUI,获得流畅的体验。

在 Intel GPU 上启动 Ollama 服务

请参考 IPEX-LLM 官方文档中关于如何在 Intel GPU 上安装和运行由 IPEX-LLM 加速的 Ollama 服务的本指南

tip

如果您希望从另一台机器访问 Ollama 服务,请确保在执行命令 ollama serve 之前设置或导出环境变量 OLLAMA_HOST=0.0.0.0

配置 Open WebUI

通过菜单中的 设置 -> 连接 访问 Ollama 设置。默认情况下,Ollama 基础 URL 预设为 https://localhost:11434,如下面的快照所示。要验证 Ollama 服务连接的状态,请点击文本框旁边的刷新按钮。如果 WebUI 无法与 Ollama 服务器建立连接,您将看到错误消息 WebUI could not connect to Ollama

Open WebUI Ollama 设置失败

如果连接成功,您将看到消息 Service Connection Verified,如下所示。

Open WebUI Ollama 设置成功

tip

如果您想使用托管在不同 URL 的 Ollama 服务器,只需将 Ollama 基础 URL 更新为新 URL,然后按刷新按钮重新确认与 Ollama 的连接。