Langfuse 与 Open WebUI 集成
Langfuse (GitHub) 为 Open WebUI 提供开源可观测性和评估。通过启用 Langfuse 集成,您可以使用 Langfuse 跟踪应用程序数据以开发、监控和改进 Open WebUI 的使用,包括:
如何将 Langfuse 与 Open WebUI 集成
Langfuse 集成步骤
Open WebUI 中的管道是一个与 UI 无关的 OpenAI API 插件框架。它允许注入插件来拦截、处理和转发用户提示到最终的 LLM,从而增强对提示处理的控制和自定义。
要使用 Langfuse 跟踪应用程序数据,您可以使用 Langfuse 管道,它可以实时监控和分析消息交互。
快速入门指南
步骤 1:设置 Open WebUI
确保 Open WebUI 正在运行。为此,请查看 Open WebUI 文档。
步骤 2:设置管道
使用 Docker 启动管道。使用以下命令启动管道:
docker run -p 9099:9099 --add-host=host.docker.internal:host-gateway -v pipelines:/app/pipelines --name pipelines --restart always ghcr.io/open-webui/pipelines:main
步骤 3:连接 Open WebUI 与管道
在_管理设置_中,创建并保存一个 OpenAI API 类型的新连接,详细信息如下:
- URL:
http://host.docker.internal:9099
(这是之前启动的 Docker 容器运行的地址)。 - 密码: 0p3n-w3bu!(标准密码)
步骤 4:添加 Langfuse 过滤器管道
接下来,导航到_管理设置_ -> _管道_并添加 Langfuse 过滤器管道。指定管道正在 http://host.docker.internal:9099
上监听(如前面配置的),并使用_从 Github URL 安装_选项安装 Langfuse 过滤器管道,URL 如下:
https://github.com/open-webui/pipelines/blob/main/examples/filters/langfuse_filter_pipeline.py
现在,在下面添加您的 Langfuse API 密钥。如果您还没有注册 Langfuse,可以通过此处创建账户来获取您的 API 密钥。
注意: 要在启用流式传输时捕获 OpenAI 模型的使用情况(令牌计数),您必须导航到 Open WebUI 中的模型设置,并在_功能_下选中"使用情况"复选框。
步骤 5:在 Langfuse 中查看您的跟踪
您现在可以与 Open WebUI 应用程序交互,并在 Langfuse 中查看跟踪。
Langfuse UI 中的示例跟踪:
了解更多
有关 Open WebUI 管道的综合指南,请访问此文章。