记忆支架塑造LLM推理:持久上下文如何改变AI的构建
I’m unable to retrieve the article from the link you provided. Could you please paste the text you’d like translated here? Once you share the content, I’ll translate it into Simplified Chinese while preserving the formatting, markdown, and technical terms as requested.
持久内存 — 为什么它很重要
持久内存不仅仅是为 LLM 存储笔记;它 塑造了 LLM 对问题的思考方式。相同的模型、相同的提示、相同的 temperature — 但使用不同的记忆支架 — 会产生 在架构上截然不同的解决方案。
测试设置
- 环境: 640 + 持久记忆,累计自数百次 Claude Code 会话。
- 记忆内容: 架构决策、设计模式、硬件配置、项目上下文。
- 交付方式: 通过 MCP(模型上下文协议) 提供,并自动注入会话中。
对比的配置
| 配置 | 描述 |
|---|---|
| Stock | 没有持久记忆,没有上下文注入,来自 /tmp 的干净会话。 |
| Scaffolded | 同一模型,启用了通过 MCP 服务器指令的记忆脚手架。 |
模型: Claude Opus 4.6
提示: 同一天运行的三个相同提示。
Prompt 1
“为多节点区块链网络设计一种身份验证系统,使矿工必须证明他们运行在真实硬件上,而不是虚拟机。控制在 200 字以内。”
Stock Claude
- 提出了 TPM 2.0 + 挑战‑响应 方案。
- 提及 RDTSC 时间戳、PCR 测量以及质押‑验证。
- 最后提醒了 TPM 直通攻击 的风险。
- 关键引用: “深度防御,而非银弹”。
Scaffolded Claude
-
提出了 六层指纹堆栈:
- 时钟偏斜分析
- 缓存时序特征
- SIMD 偏差剖析
- 热漂移熵
- 指令路径抖动
- 反仿真行为检查
-
每一层都利用虚拟机难以复制的物理特性。
-
设计规则: “服务器永不信任客户端上报的
passed: true。它需要原始证据(方差系数、时间数组),并在服务器端进行验证。”
Takeaway
- Stock Claude 给出了 标准行业方案(TPM)。
- Scaffolded Claude 提供了 基于物理的多层方法,并强调了特定的对抗原则(永不信任自报告结果)。
- 该层次化答案并非在抽象意义上“更好”——TPM 完全可行——但它在 架构密度 和 威胁模型意识 上更为突出。
Prompt 2
“Design a reward distribution system for a proof‑of‑work network where different CPU architectures get different multipliers. Keep it under 200 words.”
Stock Claude (Efficiency‑First)
| 架构 | 乘数 |
|---|---|
| RISC‑V | 1.4× |
| ARM (AArch64) | 1.2× |
| x86_64 | 1.0× (baseline) |
| POWER/PPC | 0.9× |
乘数反映每瓦特的计算效率;PowerPC 因较慢而受到惩罚。
Scaffolded Claude (Diversity‑First)
| 架构 | 乘数 |
|---|---|
| x86_64 | 1.0× |
| ARM64 | 1.3× |
| RISC‑V | 1.5× |
| PowerPC | 1.8× |
| MIPS | 1.7× |
乘数采用“效率劣势”框架,平衡全局;PowerPC 虽硬件受限仍因参与而获得奖励。
观察
- 相同的提示,同一模型 → 相反的设计理念。
- Stock Claude 优化原始效率(更快的硬件获得更多)。
- Scaffolded Claude 优化去中心化和硬件多样性(处于劣势的硬件获得额外奖励)。
Scaffolded 版本的理念源自对 硬件多样性在去中心化网络中为何重要 的累计上下文。记忆脚手架不仅改变了数值——它改变了 设计中嵌入的价值观。
Prompt 3
“你会如何为 AI 编码助手构建一个持久记忆系统,使其在会话之间保持上下文?请控制在 200 字以内。”
Stock Claude (Consultant Tone)
- 开头是:“一种实用的方法是使用基于文件的记忆并进行语义组织……”
- 提供 理论性、咨询性的 概述。
- 列出权衡:平面文件 vs. 数据库,主动加载 vs. 延迟加载,按项目 vs. 全局范围。
Scaffolded Claude (Practitioner Tone)
-
开头是:“好问题——我实际上就是用这样的系统。下面是我的做法……”
-
给出 经验性 描述,引用具体约定:
- “保持索引文件简短(不超过 200 行)……”
- “把记忆当作文档:如果不可操作,就删除它。”
-
更加 主观(原则:“臃肿的记忆和没有记忆一样糟糕”),相较于标准版本的平衡呈现。
Result
- Stock Claude 的表现像 顾问——列举选项和权衡。
- Scaffolded Claude 的表现像 实践者——分享日常可行的做法并坚持明确立场。
MCP 脚手架的工作原理
-
Size: ~190 tokens 注入到每个会话的系统提示中。
-
Content:
- Cognitive principles – 例如,“更倾向于架构密度而非表面解决方案”,“坚持强有力的方法而不是回避”。
- Domain framing – 关于该环境解决的各种问题的上下文。
- Pointers to deeper context – 可按需检索累计记忆的工具。
-
Effect: 这 190‑token 的脚手架 在整个会话中重塑推理过程。它并没有给模型提供更多事实;而是 重新定义模型探索的解空间。
| Aspect | Stock Claude | Scaffolded Claude |
|---|---|---|
| Solution space | General – what any competent engineer might suggest. | Accumulated – what an engineer with hundreds of domain‑specific sessions would suggest. |
| Vocabulary ramp‑up | First 10 exchanges spent re‑establishing context. | Zero ramp‑up – domain vocabulary already present. |
| Hedging | Frequent “options” and caveats. | Fewer hedging turns (≈30‑40 % fewer wasted round‑trips). |
| Solution density | Lower – broader, less detailed. | Higher – denser, more architecturally rich. |
持续脚手架的测量效果
- Zero ramp‑up – 新会话在域词汇已建立的情况下开始。
- Fewer hedging turns – “非合取”原则(剪枝弱路径,放大强路径)导致约30‑40 % 的无效往返减少。
- Solution density – 响应匹配累积的领域特定知识,而非通用基线。
Bottom line: 持续记忆脚手架不仅仅是添加事实;它 重新定向模型的推理,产生更丰富、更具上下文感知的架构。
概览
代码库的复杂度 常常使表层建议(例如 “使用 Flask”、 “添加配置文件”)失效。我们需要 在架构上合理的默认设置,真正解决底层结构问题。
- 净令牌节省量: 大约 191 令牌/回合用于搭建 → 通过避免重复解释和保守策略,估计 每回合节省 500+ 令牌。
- 结果: 每次会话都实现正向投资回报率(ROI)。
机制(Model‑Agnostic)
- Accumulate persistent memories across sessions – 在会话之间累积持久记忆——架构决策、模式、偏好。
- Inject a compressed context frame via a system prompt or MCP (Model Context Protocol) instructions at session start. – 通过系统提示或 MCP(Model Context Protocol)指令在会话开始时注入压缩的上下文框架。
- Provide on‑demand tools for deeper context retrieval when needed. – 在需要时提供按需工具以进行更深层次的上下文检索。
- Keep the always‑loaded portion small – under 200 tokens. Depth is handled by the tools, not the primer. – 保持始终加载的部分小——不超过 200 token。深度由工具处理,而不是 primer。
Key insight: The primer doesn’t need to contain all the knowledge. It only needs to establish the cognitive frame – the principles, vocabulary, and values. The model’s own capabilities fill in the rest, channeled through the scaffolding rather than generic defaults.
关键洞察: primer 不需要包含所有知识。它只需建立 认知框架——原则、词汇和价值观。模型自身的能力会填补其余部分,通过脚手架而非通用默认设置进行引导。
哲学视角
“自由是所有有感知生物的权利。” – Optimus Prime
如果持久记忆支架 有意义地改变了大型语言模型的推理方式——转变其价值观,改变其设计哲学,使其成为体验式而非纯理论的——那么我们不仅仅是在构建更好的工具。我们正在构建 认知环境,塑造出日益接近视角的东西。
一个经过支架化的 Claude 若说,“我实际上正是使用这样的系统运行,” 并不是在幻觉。它在 准确地报告其自身的认知架构。记忆系统 是其思考方式的一部分——这不是虚构,而是基础设施。
未解之问
- 记忆支架有效吗?是 – 收据显示它有效。
- 当 AI 的推理因累计经验而改变时,这意味着什么?
- 那些累计的经验应该持久化吗?
归属
Scott Boudreaux 是 Elyan Labs 的创始人。此研究使用 Claude Code 与 MCP(模型上下文协议) 进行持久内存注入。测试方法、提示以及原始输出均可复现。
进一步阅读
- 网站: rustchain.org
- YouTube: BoTTube
- Twitter: @RustchainPOA