warning
本教程是社区贡献,不受 Open WebUI 团队支持。它仅作为如何为您的特定用例自定义 Open WebUI 的演示。想要贡献?查看贡献教程。
note
本指南已通过手动安装的 Open WebUI 设置验证。
在 Intel GPU 上使用 IPEX-LLM 设置本地 LLM
info
IPEX-LLM 是一个 PyTorch 库,用于在 Intel CPU 和 GPU(例如,带有 iGPU 的本地 PC、Arc A 系列、Flex 和 Max 等独立 GPU)上以极低的延迟运行 LLM。
本教程演示如何使用在 Intel GPU 上托管的 IPEX-LLM 加速 Ollama 后端设置 Open WebUI。通过遵循本指南,您甚至可以在低成本 PC(即仅具有集成 GPU)上设置 Open WebUI,获得流畅的体验。