Show HN:Prompt-to-Excalidraw 演示,使用 Gemma 4 E2B 在浏览器中(3.1GB)

发布: (2026年4月19日 GMT+8 19:17)
1 分钟阅读

Source: Hacker News

TurboQuant Prompt → Diagram

描述任意图表,Gemma 4 E2B 会在浏览器中生成 Excalidraw。仅限桌面 Chrome 134+。

  • LLM 输出紧凑的代码(约 50 个 token),而不是原始的 Excalidraw JSON(约 5,000 个 token)。
  • TurboQuant 算法(polar + QJL)将 KV 缓存压缩约 2.4×,使更长的对话能够适配 GPU 内存。
  • 需要 WebGPU 子组(Safari/iOS 暂不支持),并且约 3 GB RAM(移动浏览器的内存上限远低于此)。

此演示在 WGSL 计算着色器中重新实现了 TurboQuant 算法,使其在 GPU 上以 30+ tok/s 的速度运行。配套的 turboquant‑wasm npm 包在 CPU 端使用 WASM + SIMD 实现了相同的向量搜索算法。

资源

0 浏览
Back to Blog

相关文章

阅读更多 »