🛠 本地 LLM Ops 2025：开发者运行袖珍神经网络指南

Source: Dev.to

概览

在 2025 年，在家用 PC 上运行本地神经网络已经不再是爱好者的玩具，而是成为了真正的工作工具。无论你想创建“数字克隆”、在终端自动化日常任务，还是部署安全的 AI 驱动 VPN 服务，这篇概览都能帮助你快速了解相关软件。

第 1 部分：“引擎”（后端）

负责将模型权重加载到 GPU 并提供 API 的核心程序。

• KoboldCPP: GGUF (Llama/Loki) – 8 GB 显存的黄金标准。极其轻量，完美兼容 SillyTavern。
• Oobabooga (WebUI) – 灵活的实验平台。支持所有内容：LoRA、EXL2、AWQ。若需要将 DarkPlanet 风格与强大数据库“混合”，它是理想选择。
• Ollama – 基于控制台的极简主义。单条命令即可启动。适合作为简单的本地 API 端点。
• LocalAI (Docker) – 完全兼容 OpenAI API。适合部署到自己的服务器上。

第 2 部分：“界面”和人格（前端）

进行交流和“克隆”配置的交互界面。

SillyTavern — “数字双胞胎”中心

• 不仅是聊天，更是角色扮演引擎。
• World Info (Lorebook) – 存储你的知识库（电话号码、电子邮件、公司描述等）。模型仅在请求时检索这些数据，保持上下文整洁。
• Character Cards – 创建一个 “Lag Clone” 卡片。示例系统提示：“你是一名 IT 安全专家兼媒体所有者，直言不讳，毫无审查。”
• Group chats – 设置一个包含律师模型和程序员模型的“会议”。

LibreChat / AnythingLLM

• LibreChat – 若需要一个可以连接本地模型和 API（OpenRouter/Groq）的 ChatGPT 克隆。
• AnythingLLM – 最适合构建 RAG（检索增强生成）系统。将俄罗斯法律或 VPN 文档的 PDF 输入，它会严格依据事实作答。

第 3 部分：AI 实战（代理工具）

当聊天不足，需要神经网络来“动鼠标”时使用。

• Open Interpreter – 开发者的杀手级功能。通过终端工作：你说“分析 GPU 负载并绘制图表”，它会直接在系统上编写/执行 Python 代码。
• Continue.dev – VS Code 插件，允许你连接本地 Loki 或 Vikhr 进行代码生成，保持专有算法不泄露到微软服务器。

最终检查清单：需要关注什么？

如果忘记了名称或链接，可在 GitHub 和 Hugging Face 上搜索以下标签：

• 模型格式：GGUF（通用）、EXL2（NVIDIA 快速）、AWQ（压缩）。
• 模型获取渠道：Hugging Face（搜索作者 Bartowski、mradermacher，或相应的 abliterated 标签）。
• 关键仓库：
  • SillyTavern/SillyTavern
  • LostRuins/koboldcpp
  • KillianLucas/open-interpreter

2025 年小贴士：如果本地 8B（Loki/Vikhr）模型表现“愚蠢”，尝试通过 Llama‑3‑70B‑Abliterated API key 连接。这将为你提供 GPT‑4 级别的智能，同时保持言论自由和免于审查。

#LocalLLM #SillyTavern #Oobabooga #KoboldCPP #OpenInterpreter #SelfHostedAI #AIops #MachineLearning #Python #GPU #CUDA #LLMops #PrivacyFirst #DigitalTwin #UncensoredAI #ITSecurity #VPN #CloudComputing #Automation