关于 Tabby 的笔记：Llama.cpp、模型缓存和访问令牌

Source: Dev.to

Tabby 使用 llama.cpp 作为内部实现

一个值得注意的点是 Tabby 在底层使用了 llama.cpp。实际上，这意味着 Tabby 能够利用 llama.cpp 所擅长的轻量级、本地推理方式，从而在本地机器上高效运行大语言模型（LLM）。

模型缓存位置：TABBY_MODEL_CACHE_ROOT

Tabby 支持配置模型缓存文件的存放位置。环境变量 TABBY_MODEL_CACHE_ROOT 用于控制 Tabby 模型缓存的根目录。设置该变量是管理磁盘使用、将模型放置在更快的驱动器上，或在多个环境之间统一存储路径的简便方法。

注册表引用：registry-tabby

Tabby 的模型注册表可在此处找到。该仓库是了解可用模型或 Tabby 注册表条目组织方式的有用参考。

如何检查你的令牌

要查看用于身份验证的令牌，请按以下步骤操作：

1. 通过网页浏览器访问该服务。
2. 创建账户并登录。
3. 登录后，在账户或用户设置区域找到并确认你的令牌。

该令牌可在一次性基于浏览器的账户设置和登录后进行验证。