使用 Nanocl 在 5 分钟内运行本地 LLM
Source: Dev.to
轻松部署和管理您自己的 AI 驱动的 ChatGPT 网站，使用 Nanocl、Ollama 和 Open WebUI。
概览
本指南将展示如何使用 Nanocl（一个轻量级容器编排平台）自行托管 AI 模型。通过将 Nanocl 与 Ollama（用于本地运行大语言模型）以及 Open WebUI（提供友好的网页界面）相结合，你可以快速搭建自己的私有 ChatGPT 类服务。
📺 观看 YouTube 视频教程
堆栈组件
- Nanocl – 简单、高效的容器编排，便于轻松部署和扩展。
- Ollama – 通过强大的 API 在本地运行大型语言模型。
- Open WebUI – 现代化的网页界面，用于与您的 AI 模型交互。
前置条件
在开始之前，请确保已安装以下组件：
-
Docker – 按照针对您 Linux 发行版的官方指南安装 Docker。
-
Nanocl – 安装 Nanocl CLI：
curl -fsSL https://download.next-hat.com/scripts/get-nanocl.sh | sh设置 Nanocl 的用户组和内部服务：
sudo groupadd nanocl sudo usermod -aG nanocl $USER newgrp nanocl nanocl install更多细节，请参阅Nanocl 文档。
-
（可选）Nvidia Container Toolkit – 若需要 GPU 加速，请遵循Nvidia 容器工具包安装指南。
第一步 – 使用 Nanocl 部署 Ollama
创建一个名为 ollama.Statefile.yml 的文件：
ApiVersion: v0.17
Cargoes:
- Name: ollama
Container:
Image: docker.io/ollama/ollama:latest
Hostname: ollama.local
HostConfig:
Binds:
- ollama:/root/.ollama # Persist Ollama data
Runtime: nvidia # Enable GPU support (optional)
DeviceRequests:
- Driver: nvidia
Count: -1
Capabilities: [[gpu]]部署 Ollama：
nanocl apply -s ollama.Statefile.yml第2步 – 使用 Nanocl 部署 Open WebUI
创建一个名为 openwebui.Statefile.yml 的文件：
ApiVersion: v0.17
Cargoes:
- Name: open-webui
Container:
Image: ghcr.io/open-webui/open-webui:main
Hostname: open-webui.local
Env:
- OLLAMA_BASE_URL=http://ollama.local:11434 # 连接到 Ollama
HostConfig:
Binds:
- open-webui:/app/backend/data # 持久化 WebUI 数据
Resources:
- Name: open-webui.local
Kind: ncproxy.io/rule
Data:
Rules:
- Domain: open-webui.local
Network: All
Locations:
- Path: /
Version: 1.1
Headers:
- Upgrade $http_upgrade
- Connection "Upgrade"
Target:
Key: open-webui.global.c
Port: 8080部署 Open WebUI：
nanocl apply -s openwebui.Statefile.ymlOpen WebUI 启动需要一些时间，因为它会下载必要的组件。你可以使用以下命令监控进度：
nanocl cargo logs open-webui -f第 3 步 – 访问 Open WebUI
在你的 /etc/hosts 文件中添加以下行，以映射域名：
127.0.0.1 open-webui.local现在打开浏览器并访问 . 您应该会看到 Open WebUI 的欢迎界面。
1️⃣ 创建管理员账户
点击 开始使用，填写您的信息，然后点击 创建管理员账户。
2️⃣ 下载模型
登录后，点击右上角的头像 → 管理员面板 → 设置 → 模型。点击右上角的下载图标，选择一个模型（例如 gemma2:2b），然后点击 下载。
[](https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.amazonaws.com%2Fuploads%2Farticles%2Fvgo6hvb0nqi4z4orj4uy.png)
等待下载完成。模型将出现在可用模型列表中。3️⃣ 开始聊天
模型准备就绪后，创建一个新聊天并对你的 AI 模型说 “Hi”！
就这样！现在您已经使用 Nanocl、Ollama 和 Open WebUI 运行了自己的自托管 AI 模型。