在 Open WebUI + Ollama 上运行 DeepSeek-R1-70B 实现调用

您可以使用 Open WebUI 结合 Ollama 来运行 DeepSeek-R1-70B 模型，并通过 Web 界面进行交互。以下是完整的部署步骤。

🟢 1. 安装 Ollama

Ollama 是一个本地化的大模型管理工具，它可以在本地运行 DeepSeek-R1-70B。

1.1 下载并安装 Ollama

Ubuntu / Debian

curl -fsSL https://ollama.com/install.sh | sh

MacOS（Apple Silicon / Intel）
```
brew install ollama
```
Windows
参考官方安装指南：Ollama 官网

1.2 确保 Ollama 运行正常

运行以下命令，检查 Ollama 是否安装成功：

ollama -v

如果安装成功，将返回 Ollama 的版本号。

🟢 2. 下载 DeepSeek-R1-70B 模型

在终端中运行以下命令，下载 DeepSeek-R1-70B 模型：

ollama pull deepseek-r1:70b

⚠️ 注意：

DeepSeek-R1-70B 需要较高的显存（>=70GB），建议使用 A100 80GB 或 H100 80GB 级别的 GPU 运行。
如果显存不足，可以使用 deepseek-r1:7b 版本：
```
ollama pull deepseek-r1:7b
```

🟢 3. 运行 DeepSeek-R1-70B

启动 DeepSeek-R1-70B：

ollama run deepseek-r1:70b

如果您希望它 以 API 方式运行，可以执行：

ollama serve

默认情况下，Ollama API 监听 http://localhost:11434 端口。

🟢 4. 安装 Open WebUI

Open WebUI 提供了一个友好的 Web 界面来调用 Ollama 部署的模型。

4.1 启动 Open WebUI

运行以下 Docker 命令：

docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

这样 Open WebUI 就会运行在 http://localhost:3000。

4.2 连接 Ollama

进入 http://localhost:3000。
登录管理员账户（首次使用会提示创建账户）。
在左下角点击 “管理员面板” > 选择 “模型管理”。
在 “添加新模型” 处：
- 模型名称：deepseek-r1:70b
- API 地址：http://host.docker.internal:11434
- 选择 “Ollama 兼容” 模型类型。
点击 “验证连接”，如果测试成功，说明模型已正确接入。
保存配置，返回主页，即可在 Web 界面调用 DeepSeek-R1-70B。

🟢 5. 进行 DeepSeek-R1-70B 调用

在 Open WebUI 界面：

选择 deepseek-r1:70b
输入您的问题
点击发送
享受 DeepSeek-R1-70B 的智能回答 🎉

✅ 总结

安装 Ollama 并下载 deepseek-r1:70b。
运行 Ollama API (ollama serve)。
安装 Open WebUI 并连接 Ollama。
在 Web 界面中使用 DeepSeek-R1-70B 进行推理。

💡 进阶优化

使用 Docker Compose 启动 Open WebUI + Ollama

version: "3"
services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    ports:
      - "11434:11434"
    restart: always

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "3000:8080"
    depends_on:
      - ollama
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    restart: always

然后运行：

docker compose up -d

启用 Web 访问
```
ollama serve --host 0.0.0.0
```

🎯 这样，您的 Open WebUI + Ollama + DeepSeek-R1-70B 就可以正常运行了！ 🚀