DeepSeek-Open WebUI部署

通过使用open webui，我们可以更方便地访问和操作vllm版本的模型，就像使用官方deepseek一样，直接在网页上进行对话。以下是对open webui的详细介绍和使用指南：

Open WebUI 是一个功能强大且用户友好的自托管 Web 用户界面，用于管理和操作各种本地和云端的人工智能模型。它支持多种大型语言模型（LLM）运行程序，包括 Ollama 和兼容 OpenAI 的 API，旨在完全离线操作。以下是关于 OpenWeb UI 的详细介绍：

主要特点：

• 用户界面：直观且响应式，适用于任何设备，提供卓越的用户体验。支持多种主题和自定义选项，满足个人喜好。
• 性能：快速响应和流畅的性能，即使在处理复杂任务时也是如此。支持多模型和多模态交互，实现更强大的功能。
• 功能：包括全面 Markdown 和 LaTeX 支持，本地 RAG 集成，Web 浏览功能，提示预设，RLHF 注释，对话标记，模型管理功能，语音输入和文本转语音，高级参数微调，图像生成集成等。
• API 支持：支持 OpenAI API 和其他兼容 API，扩展其功能。

安装和使用：

1. 创建conda虚拟环境

   conda create --name openwebui python=3.12.9

2. 安装Open WebUI

   pip install open-webui -i https://mirrors.aliyun.com/pypi/simple/

3. 启动Open WebUI

   

   TTSMaker

   TTSMaker是一个免费的文本转语音工具，提供语音生成服务，支持多种语言。

   下载

   # 禁用OLLAMA API
   export ENABLE_OLLAMA_API=False
   # 设置OpenAI API的基础URL为本地服务器
   export OPENAI_API_BASE_URL=http://127.0.0.1:8000/v1
   # 设置默认模型路径
   export DEFAULT_MODELS="/root/deepseekr1_1.5b/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B"
   # 启动Open WebUI
   open-webui serve

4. 配置Open WebUI

   

5. 开始提问

   

通过上述步骤，您可以轻松地使用Open WebUI来管理和操作vLLM版本的模型，实现便捷的网页对话体验。