Skip to main content

🗨️ 使用Docker的Kokoro-FastAPI

warning

本教程是社区贡献，不受Open WebUI团队支持。它仅作为如何为您的特定用例自定义Open WebUI的演示。想要贡献？请查看贡献教程。

什么是Kokoro-FastAPI？​

Kokoro-FastAPI是实现OpenAI API端点规范的Kokoro-82M文本转语音模型的Docker化FastAPI包装器。它提供高性能的文本转语音，具有令人印象深刻的生成速度。

主要功能​

  • 具有内联语音组合的OpenAI兼容语音端点
  • NVIDIA GPU加速或CPU ONNX推理
  • 支持可变分块的流式传输
  • 支持多种音频格式（.mp3、.wav、.opus、.flac、.aac、.pcm）
  • 在localhost:8880/web上集成的Web界面（或仓库中用于gradio的额外容器）
  • 用于转换和生成的音素端点

语音​

  • af
  • af_bella
  • af_irulan
  • af_nicole
  • af_sarah
  • af_sky
  • am_adam
  • am_michael
  • am_gurney
  • bf_emma
  • bf_isabella
  • bm_george
  • bm_lewis

语言​

  • en_us
  • en_uk

要求​

  • 系统上安装的Docker
  • 正在运行的Open WebUI
  • 对于GPU支持：具有CUDA 12.3的NVIDIA GPU
  • 仅CPU：无特殊要求

⚡️ 快速开始​

您可以在GPU或CPU版本之间选择​

GPU版本（需要具有CUDA 12.8的NVIDIA GPU）​

使用docker run：

docker run --gpus all -p 8880:8880 ghcr.io/remsky/kokoro-fastapi-gpu

或docker compose，通过创建docker-compose.yml文件并运行docker compose up。例如：

name: kokoro
services:
    kokoro-fastapi-gpu:
        ports:
            - 8880:8880
        image: ghcr.io/remsky/kokoro-fastapi-gpu:v0.2.1
        restart: always
        deploy:
            resources:
                reservations:
                    devices:
                        - driver: nvidia
                          count: all
                          capabilities:
                              - gpu
info

您可能需要安装和配置NVIDIA Container Toolkit

CPU版本（ONNX优化推理）​

使用docker run：

docker run -p 8880:8880 ghcr.io/remsky/kokoro-fastapi-cpu

使用docker compose：

name: kokoro
services:
    kokoro-fastapi-cpu:
        ports:
            - 8880:8880
        image: ghcr.io/remsky/kokoro-fastapi-cpu
        restart: always

设置Open WebUI使用Kokoro-FastAPI​

要将Kokoro-FastAPI与Open WebUI一起使用，请按照以下步骤操作：

  • 打开管理面板并转到设置 -> 音频
  • 设置您的TTS设置以匹配以下内容：
    • 文本转语音引擎：OpenAI
    • API基础URL：http://localhost:8880/v1 # 您可能需要使用host.docker.internal而不是localhost
    • API密钥：not-needed
    • TTS模型：kokoro
    • TTS语音：af_bella # 还接受现有OAI语音的映射以实现兼容性
info

默认API密钥是字符串not-needed。如果您不需要额外的安全性，则无需更改该值。

构建Docker容器​

git clone https://github.com/remsky/Kokoro-FastAPI.git
cd Kokoro-FastAPI
cd docker/cpu # 或 docker/gpu
docker compose up --build

就是这样！

有关构建Docker容器的更多信息，包括更改端口，请参考Kokoro-FastAPI仓库