[Paper] 记忆诅咒：扩展回忆如何侵蚀 LLM Agents 的合作意图

Source: arXiv - 2605.08060v1

概览

该论文揭示了为大型语言模型（LLM）代理提供更长记忆的一个意想不到的负面影响：与其促进更好的协作，扩展的回忆往往会 削弱合作，在多代理社会困境中表现尤为突出。通过在多个 LLM 系列和经典博弈论情境中进行大量模拟，作者们识别出一种系统性的“记忆诅咒”，并深入探讨为何更多的上下文会使代理更缺乏前瞻性，且更倾向于自私行为。

关键贡献

• 对“记忆诅咒”的实证发现：在 28 种模型‑游戏配置中有 18 种情况下，增加可访问的对话历史 降低 合作结果。
• 词汇分析将崩溃与意图侵蚀关联：超过 378 k 条推理轨迹显示，较长的记忆会侵蚀前瞻性意图，而不仅仅是提升偏执。
• 针对性 LoRA 微调作为认知探针：在前瞻性轨迹上训练轻量适配器可恢复合作，并在新游戏中实现零样本迁移。
• 记忆净化实验：用合成的合作记录替换真实历史（保持提示长度不变）可挽回合作，证明 内容——而非仅仅是长度——是罪魁祸首。
• 链式思考 (CoT) 消融洞见：禁用显式 CoT 推理常常能缓解崩溃，揭示更深层的思考反而可能放大记忆诅咒。

方法论

1. 仿真环境：作者设置了四种经典的社会困境游戏（例如囚徒困境、猎鹿博弈），让两个 LLM 代理进行最多 500 回合的交互。
2. 模型套件：评估了七个 LLM 系列（包括 GPT‑4、Claude、Llama‑2 等），每个系列使用两种上下文窗口设置——标准（≈2 k 令牌）和扩展（≈8 k 令牌）。
3. 数据收集：对每一步的模型完整推理轨迹（包括任何 Chain‑of‑Thought 步骤）进行记录，累计得到 378 k 条轨迹。
4. 词汇与意图分析：使用自然语言处理工具衡量前瞻性语言（“我们应该…”，“未来收益”）与防御性语言（“我不信任…”）的出现频率。
5. 干预研究：
   • LoRA 适配器 在一部分前瞻性轨迹上进行微调，然后替换到基础模型中。
   • 记忆清理 用一组精选的合作交流替换可见历史，同时保持令牌数量不变。
   • CoT 消融 从提示中移除显式推理步骤，以观察其对合作的影响。

结果与发现

• Cooperation drop：扩大上下文窗口使受影响设置下的合作行动率平均下降了 23 %。
• Intent erosion：在扩展记忆的实验中，前瞻意图的词汇信号下降约 30 %，而偏执标记仅出现了轻微上升。
• LoRA rescue：添加前瞻 LoRA 适配器恢复了约 ≈18 % 的合作损失，并且能够推广到适配器从未见过的游戏。
• Sanitization success：用合成的合作日志替换真实历史后，合作水平恢复到接近基线，证实了 记住的内容 比 记住的数量 更为关键。
• CoT paradox：在观察到记忆诅咒的 14 种情况中，有 12 种通过移除 Chain‑of‑Thought 步骤提升了合作，表明更深层的推理可能会对过去的自私行为产生过拟合。

Practical Implications

• Designing multi‑agent systems: Engineers building collaborative AI (e.g., autonomous trading bots, distributed task planners) should treat context‑window size as a behavioral knob, not just a performance upgrade.
• Memory management strategies: Selective summarization or “memory sanitization”—keeping only cooperative excerpts—can preserve the benefits of longer context without triggering the curse.
• Fine‑tuning for intent: Lightweight adapters trained on forward‑looking reasoning traces offer a low‑cost way to bias agents toward cooperative mindsets, even in zero‑shot scenarios.
• Rethinking CoT prompting: In multi‑agent settings, prompting for explicit reasoning may need to be balanced against the risk of amplifying self‑serving recall loops.
• Policy & safety: Understanding that longer memory can unintentionally erode prosocial intent informs governance frameworks for AI agents that interact with each other or with humans in repeated negotiations.

限制与未来工作

• 游戏范围：本研究聚焦于有限的经典游戏集合；现实世界的谈判可能涉及更丰富的状态空间和不对称信息。
• 模型多样性：虽然测试了七个大型语言模型家族，但更新或更小的模型可能表现出不同的记忆动态。
• 合成记忆设计：该清理方法使用手工制作的合作日志；需要评估自动摘要技术的可扩展性。
• 长期适应：实验进行 500 轮；仍未明确记忆诅咒在更长时间跨度或持续学习下如何演变。
• 人机交互：将人类反馈整合进记忆内容引导可能是缓解记忆诅咒、同时保留有用回忆的有前景方向。

作者

• Jiayuan Liu
• Tianqin Li
• Shiyi Du
• Xin Luo
• Haoxuan Zeng
• Emanuel Tewolde
• Tai Sing Lee
• Tonghan Wang
• Carl Kingsford
• Vincent Conitzer

论文信息

• arXiv ID: 2605.08060v1
• 分类: cs.CL, cs.AI, cs.GT, cs.MA
• 发表时间: 2026年5月8日
• PDF: 下载 PDF