Skip to main content

减少RAM使用

如果您在RAM受限的环境中部署此镜像，有几件事可以做来缩减镜像。

在树莓派4（arm64）版本v0.3.10上，这能够将空闲内存消耗从>1GB减少到~200MB（通过docker container stats观察）。

简要说明​

设置以下环境变量（或对于现有部署的相应UI设置）：RAG_EMBEDDING_ENGINE: ollama，AUDIO_STT_ENGINE: openai。

详细说明​

大部分内存消耗是由于加载的ML模型。即使您使用外部语言模型（OpenAI或独立的ollama），也可能会为其他目的加载许多模型。

截至v0.3.10，这包括：

  • 语音转文本（默认whisper）
  • RAG嵌入引擎（默认为本地SentenceTransformers模型）
  • 图像生成引擎（默认禁用）

前两个默认启用并设置为本地模型。您可以在管理面板中更改模型（RAG：文档类别，将其设置为Ollama或OpenAI，语音转文本：音频部分，使用OpenAI或WebAPI）。 如果您正在部署全新的Docker镜像，您也可以使用以下环境变量设置它们：RAG_EMBEDDING_ENGINE: ollama，AUDIO_STT_ENGINE: openai。请注意，如果config.json已经存在，这些环境变量将无效。