[Paper] 递归多智能体系统

Source: arXiv - 2604.25917v1

概述

本文介绍了 RecursiveMAS，这是一种新颖的框架，将整个多智能体系统视为对潜在表征进行的单一递归计算。通过使用轻量级的 “RecursiveLink” 模块将智能体循环连接，作者展示了协作本身可以被扩展——类似于最近的 “循环” 语言模型，它们通过反复细化自身推理来提升性能。该系统能够更快地进行推理，使用更少的 token，并在广泛的任务上实现更高的准确率。

关键贡献

• Recursive multi‑agent formulation – 将异构代理及其交互视为统一的潜在空间递归，实现代理之间的无缝状态转移。
• RecursiveLink module – 一个轻量级连接器，生成分布内的潜在“思考”，并在代理之间传递，无需昂贵的文本生成。
• Inner‑outer loop learning algorithm – 通过共享的基于梯度的信用分配联合优化所有代理和递归动力学，消除单独微调阶段的需求。
• Theoretical analysis – 证明相较于传统基于文本的多代理流水线具有更低的运行时复杂度，并展示递归轮次中的梯度流稳定。
• Extensive empirical validation – 在九个基准（数学、科学、医学、搜索、代码）上评估四种常见协作模式，报告平均 8.3 % 的准确率提升、1.2‑2.4× 的推理加速，以及相较于强基线 34.6‑75.6 % 的 token 使用量减少。

方法论

1. 潜在空间递归 – 与其让代理交换原始文本，不如让每个代理生成一个紧凑的潜在向量（即它的“思考”）。这些向量通过 RecursiveLink 反馈回系统，形成一个闭环，可以迭代多次。
2. RecursiveLink 设计 – 一个小型神经模块，用于对齐一个代理的输出空间与下一个代理的输入空间，确保生成的潜在状态保持在代理训练时的分布范围内。
3. 学习算法
   • 内部循环：运行固定次数的递归步骤，传播潜在状态并收集任务特定的损失。
   • 外部循环：在整个递归图上进行反向传播，同时为每个代理和 RecursiveLink 分配信用。
   • 在递归步骤之间共享梯度，使更新保持稳定，避免梯度爆炸或消失。
4. 协作模式 – 作者为四种典型设置（例如，规划者‑执行者、专家‑通用者、辩论以及层级监督）实现了 RecursiveMAS，以展示其灵活性。

结果与发现

• RecursiveMAS 始终优于 单代理递归模型 和 依赖完整文本交互的标准多代理流水线。
• 递归循环平均在 3‑5 次迭代 内收敛，表明加深推理并不需要大量的遍数。
• 梯度分析证实 在递归深度上保持稳定的范数，验证了内外循环的训练方案。

实际意义

• 降低 API 成本 – 通过在潜在空间中运行，RecursiveMAS 大幅减少 token 使用量，这直接转化为 OpenAI、Anthropic 等服务的使用费用降低。
• 更快的协作助手 – 实时工具（例如 AI 配对程序员、研究助理或医疗分诊机器人）现在可以在不受串行文本传递延迟影响的情况下协调多个专门模型。
• 模块化系统设计 – 团队可以插入已有的预训练代理（例如代码 LLM、检索模型、推理 LLM），让 RecursiveMAS 负责编排，简化工程流水线。
• 可扩展推理 – 递归机制提供了新的扩展旋钮：开发者无需训练更大的单体模型，只需通过增加递归步骤来加深推理，从而节省计算和内存。

限制与未来工作

• 递归深度权衡 – 虽然 3‑5 步在评估任务中表现良好，但更复杂的问题可能需要更深的循环，可能会重新引入梯度不稳定性。
• 异构性处理 – 当前的 RecursiveLink 假设潜在维度兼容；将其扩展到真正不同的模型架构（例如仅视觉的代理）需要额外的对齐机制。
• 基准范围 – 实验聚焦于结构良好的基准；真实世界的噪声环境（例如开放域对话）仍待测试。
• 未来方向 作者提出的包括：自适应递归调度（动态决定需要多少循环）、更丰富的跨模态潜在桥接，以及将 RecursiveMAS 应用于大规模分布式系统（例如边缘‑云协作）。

作者

• Xiyuan Yang
• Jiaru Zou
• Rui Pan
• Ruizhong Qiu
• Pan Lu
• Shizhe Diao
• Jindong Jiang
• Hanghang Tong
• Tong Zhang
• Markus J. Buehler
• Jingrui He
• James Zou

论文信息

• arXiv ID: 2604.25917v1
• 分类: cs.AI, cs.CL, cs.LG
• 发表时间: 2026年4月28日
• PDF: 下载 PDF