突破 AI 的内存墙：通过 token 仓储

Source: VentureBeat

代理式 AI 的内存瓶颈

随着代理式 AI 从实验阶段转向真实的生产工作负载，一个安静但严重的基础设施问题正逐渐凸显：内存，而非计算，也不是模型。内存。

从底层来看，当前的 GPU 根本没有足够的空间来容纳现代长期运行的 AI 代理所需的键值（Key-Value，KV）缓存。这一限制形成了瓶颈，阻碍了可扩展性和性能，促使研究人员和工程师探索管理和扩展内存容量的新策略。