Show HN：在单个 RTX 3090 上通过 NVMe-to-GPU 绕过 CPU 运行 Llama 3.1 70B
发布: (2026年2月22日 GMT+8 04:57)
1 分钟阅读
原文: Hacker News
Source: Hacker News
Question
大家好，我有点涉及复古游戏，在一些实验中碰到了以下问题：“是否可以让 transformer 模型绕过 CPU/RAM，直接把 GPU 连接到 NVMe？”
Solution Overview
这就是针对该问题的结果以及一个周末的随意编码（链接的库仓库也在 README 中）。它在消费级 GPU 上已经可以运行，专业级 GPU 上的表现应该会更好。
Further Reading
- Comments on Hacker News — 233 分，55 条评论