跳过云端，不失控制：在本地使用 Docker Model Runner 运行 AI 模型
Source: Dev.to
为什么 Local‑First AI 很重要
基于云的 LLM API 很方便，但也伴随一些权衡：
- 💸 令牌费用会快速累积
- 🔒 敏感数据离开你的机器
- 🌐 延迟和速率限制会拖慢迭代速度
- ⚙️ 对模型行为的控制有限
在本地运行模型可以颠覆这种局面。你可以完全拥有数据，避免按请求计费，并且在开发和测试阶段更快迭代。
Docker Model Runner 概览
Docker Model Runner 让你使用熟悉的 Docker 命令在本地运行 AI 模型。模型以 OCI 制品的形式打包和分发，能够无缝配合现有的 Docker 基础设施，如 Docker Hub、Docker Compose 和 CI 流水线。
支持的特性
- 任意符合 OCI 标准的注册表
- 主流开源 LLM
- 与 OpenAI 兼容的 API，便于应用集成
- 原生 GPU 加速，实现高性能推理
全部无需重新构建你的工具链。如果你已经在使用 Docker，已经完成了 90 % 的准备工作。
运行模型
docker model run Docker Model Runner 会从 OCI 注册表拉取模型，在本地初始化，并暴露一个推理端点，供你立即使用。
- 无需 Python 环境
- 无需自定义脚本
- 无脆弱的依赖
完整操作指南请参见 [Docker Model Runner Quick Start Guide]。
模型目录 & OCI 工作流
- 在 [Docker Hub] 上浏览精选的开源 AI 模型目录
- 使用 OCI 兼容工作流直接从 [Hugging Face] 拉取模型
由于模型是 OCI 制品，它们具备：
- 版本化
- 可移植性
- 易于在团队之间共享
这让协作和可复现性大大简化。
与 OpenAI 兼容的 API
Docker Model Runner 支持 OpenAI 兼容的 API，许多现有应用可以直接使用。你可以将其连接到以下框架：
- Spring AI
- LangChain
- OpenWebUI
你的应用只需调用本地端点，却表现得像在使用托管的 API，使本地开发与生产环境之间的切换毫无痛感。
GPU 加速
对于拥有强大硬件的团队，Docker Model Runner 提供原生 GPU 加速，在本地机器上实现快速、高效的推理。
- 无需手动配置 CUDA
- 无需驱动繁琐操作
只需 Docker 抽象出复杂性。更多 GPU 支持信息请参见 [Docker Desktop]。
跨团队扩展
Docker Model Runner 旨在实现规模化：
- 使用 Docker Compose 部署多服务应用
- 与 Testcontainers 集成，实现 AI 驱动的测试
- 安全地将模型打包并发布到 Docker Hub
- 为企业团队管理访问权限和授权
因为它是 Docker 原生的，能够自然融入 CI/CD 流水线和已有的治理模型。
理想使用场景
Docker Model Runner 在以下情况下表现尤为出色：
- 在不产生云费用的情况下原型化 AI 功能
- 完全本地化处理敏感数据
- 在生产部署前测试模型
- 在团队之间标准化 AI 工作流
- 避免供应商锁定
如果你已经在生产环境中信任 Docker，这就是 AI 所缺失的那一块。本地 AI 完全可以变得简单。
入门指南
使用 Docker Model Runner，你可以：
- 在本地运行 LLM
- 完全掌控你的数据
- 降低成本
- 使用你已经熟悉的 Docker 工具
👉 [Try Docker Model Runner]，让 AI 开发融入你的本地工作流。
无忧的本地推理，从这里起航 🚀