讨论：AI 与隐私优先开发

Source: Dev.to

为什么 LLM 上下文窗口不是个人 AI 记忆的答案

作为开发者，我们常常尝试通过在上下文窗口中塞入更多 token 来解决“记忆”问题。但随着窗口的扩大，延迟也会增加，模型出现“幻觉”或失去对关键细节的关注的风险也随之上升。更重要的是隐私墙：我们如何让代理访问用户的长期数字历史而不泄露其数据？

我一直在深入研究自托管记忆中心的架构。其思路是维护一个本地、由用户控制的向量存储，充当 AI 代理的“长期记忆”。通过使用 Nexus Memory 之类的系统，你可以以编程方式为特定任务向代理提供仅需的上下文，而将其余数据安全地置于自托管防火墙之后。这种方式相比当前的“全部上传到云端”模式，对个人助理来说更具可持续性。

有没有人也在为个人使用场景尝试本地 RAG（检索增强生成）？你们是如何在保持 AI 上下文私密且持久的同时搭建技术栈的？