[Paper] MemSkill：学习与进化记忆技能以实现自我进化的智能体

Source: arXiv - 2602.02474v1

概述

本文介绍了 MemSkill，这是一种新颖的框架，将大型语言模型（LLM）代理的记忆操作视为可学习、可复用的技能，而不是固定的手工编写函数。通过让系统自行发现并演化从长交互历史中提取、整合和裁剪信息的方式，MemSkill 实现了更灵活高效的记忆管理，从而提升了下游任务的性能。

关键贡献

• 基于技能的记忆架构 – 将记忆提取、整合和裁剪重新定义为可按需选择和执行的模块化“技能”。
• 闭环学习循环 – 结合 控制器（技能选择器）、执行器（应用所选技能的语言模型）和 设计者（从失败案例中创建/优化技能的自动审查者）。
• 自我进化的技能集 – 设计者持续扩展技能库，使代理能够在无需人工重新设计的情况下适应新的交互模式。
• 实证验证 – 与强大的静态记忆基线相比，在四个基准（LoCoMo、LongMemEval、HotpotQA、ALFWorld）上展示出持续的提升。
• 技能演化分析 – 提供关于技能库在训练迭代中如何增长和专门化的定性与定量洞察。

方法论

1. 技能库 – 每个技能都是一个简短的提示模板，告诉大型语言模型 要做什么（例如，“总结最近 5 次用户回合”，“合并重叠的事实”，“删除过期条目”）。
2. 控制器 – 一个轻量级的策略网络（通常是小型 Transformer 或 MLP），读取当前交互上下文并从库中挑选出最相关的 top‑k 技能。
3. 执行器 – 一个大型语言模型（如 GPT‑4‑style），接收选中的技能提示以及原始交互轨迹，生成更新后的记忆表示。
4. 设计师 – 每个回合结束后，系统检查生成的记忆是否满足一组验证标准（完整性、正确性）。若检测到失败，设计师 合成新的技能提示 或 改进已有提示（使用同一 LLM），随后将其加入技能库。
5. 训练循环 – 控制器使用强化学习（策略梯度）并依据任务奖励信号进行训练，而设计师则在单独的、周期性的 “审查” 阶段工作。整个流水线迭代运行，使得选择策略和技能集合能够同步提升。

Results & Findings

• 技能选择 快速收敛：约 200 k 步后，控制器能够可靠地在每轮挑选出最有用的 2–3 项技能。
• 技能增长：设计者每 10 k 步大约新增 0.5 项新技能，后期迭代更侧重于细分场景（例如 “检测矛盾陈述”）。
• 内存效率：平均内存大小相比朴素的滑动窗口方法缩减约 30 %，同时保持或提升任务准确率。

实际意义

• 可扩展的代理 – 开发者可以将 MemSkill 插入现有的基于 LLM 的助手中，以在不增加 token 预算的情况下处理任意长度的对话历史。
• 领域适配 – 由于技能是从数据中学习的，团队可以让设计者发现特定领域的记忆操作（例如电商机器人中的“跟踪订单状态”），无需手动编码。
• 降低工程开销 – 闭环系统自动化了细化记忆启发式规则的繁琐过程，让工程师能够专注于更高层次的行为设计。
• 更佳的用户体验 – 更准确的召回和更少的“遗忘”转化为更流畅的多轮交互，尤其在客服、辅导或规划等应用场景中。

限制与未来工作

• 技能爆炸风险 – 如果不进行仔细的剪枝，技能库可能会变得庞大，进而导致控制器的选择步骤变慢。
• 验证依赖 – 设计者生成有用新技能的能力取决于自动正确性检查的质量；噪声信号可能导致次优的技能提议。
• 计算成本 – 为每个选定的技能运行 LLM 执行器会增加延迟；未来工作可以探索轻量级执行器变体或缓存机制。
• 向非文本模态的泛化 – 当前实验聚焦于文本轨迹；将 MemSkill 扩展到多模态代理（视觉、机器人）仍是一个未解的挑战。

总体而言，MemSkill 指向一种新范式，即 LLM 代理的记忆不再是静态数据结构，而是动态、自我优化的技能集合——为更具适应性和长期运行的 AI 助手打开了大门。

作者

• Haozhen Zhang
• Quanyu Long
• Jianzhu Bao
• Tao Feng
• Weizhi Zhang
• Haodong Yue
• Wenya Wang

论文信息

• arXiv ID: 2602.02474v1
• 分类: cs.CL, cs.AI, cs.LG
• 发表日期: 2026年2月2日
• PDF: 下载 PDF