[Paper] 재귀적 다중 에이전트 시스템

Source: arXiv - 2604.25917v1

Overview

이 논문은 RecursiveMAS라는 새로운 프레임워크를 소개합니다. 이 프레임워크는 전체 다중 에이전트 시스템을 잠재 표현에 대한 단일 재귀 계산으로 취급합니다. 경량 “RecursiveLink” 모듈을 사용해 에이전트들을 순환시키면서, 협업 자체를 확장할 수 있음을 보여줍니다—마치 자체 추론을 반복적으로 정제하는 최신 “looped” 언어 모델과 유사합니다. 그 결과, 시스템은 더 빠르게 추론하고, 토큰 사용을 줄이며, 다양한 작업에서 더 높은 정확도를 달성합니다.

핵심 기여

• 재귀적 다중‑에이전트 공식화 – 이질적인 에이전트와 그 상호작용을 통합된 잠재‑공간 재귀로 표현하여 에이전트 간 상태 전이를 원활하게 함.
• RecursiveLink 모듈 – 경량 연결기로, 분포 내 잠재 “생각”을 생성하고 비용이 많이 드는 텍스트 생성 없이 에이전트 간에 전달함.
• 내‑외부 루프 학습 알고리즘 – 공유된 그래디언트 기반 신용 할당을 통해 모든 에이전트와 재귀 역학을 공동 최적화하여 별도의 미세‑조정 단계가 필요 없게 함.
• 이론적 분석 – 기존 텍스트 기반 다중‑에이전트 파이프라인보다 낮은 실행 시간 복잡성을 증명하고 재귀 라운드 전반에 걸친 안정적인 그래디언트 흐름을 보여줌.
• 광범위한 실증 검증 – 네 가지 일반적인 협업 패턴을 아홉 개 벤치마크(수학, 과학, 의학, 검색, 코드)에서 평가하고, 강력한 베이스라인 대비 평균 8.3 % 정확도 향상, 1.2‑2.4× 추론 속도 향상, 그리고 34.6‑75.6 % 토큰‑사용 감소를 보고함.

방법론

1. Latent‑space recursion – 에이전트가 원시 텍스트를 교환하는 대신, 각 에이전트는 압축된 잠재 벡터(그들의 “생각”)를 생성합니다. 이 벡터들은 RecursiveLink를 통해 시스템에 다시 입력되어, 여러 번 반복할 수 있는 폐쇄 루프를 형성합니다.
2. RecursiveLink design – 하나의 에이전트 출력 공간을 다음 에이전트 입력 공간과 정렬시키는 작은 신경망 모듈로, 생성된 잠재 상태가 에이전트가 학습된 분포 내에 머물도록 보장합니다.
3. Learning algorithm
   • Inner loop: 고정된 수의 재귀 단계를 실행하여 잠재 상태를 전파하고 작업‑특정 손실을 수집합니다.
   • Outer loop: 전체 재귀 그래프를 통해 역전파하여 모든 에이전트와 RecursiveLink에 동시에 크레딧을 할당합니다.
   • 재귀 단계 간의 그래디언트 공유는 업데이트를 안정화하고 폭발/소실 그래디언트를 방지합니다.
4. Collaboration patterns – 저자들은 유연성을 보여주기 위해 플래너‑실행기, 전문가‑일반가, 토론, 계층적 감독 등 네 가지 전형적인 설정에 대해 RecursiveMAS를 구현합니다.

결과 및 발견

• RecursiveMAS는 전체 텍스트 교환에 의존하는 단일‑에이전트 재귀 모델과 표준 다중‑에이전트 파이프라인 모두를 지속적으로 능가했습니다.
• 재귀 루프는 평균 3‑5회 반복에서 수렴하며, 추론을 심화시키는 데 많은 반복이 필요하지 않음을 보여줍니다.
• 그라디언트 분석을 통해 재귀 깊이 전반에 걸친 안정적인 노름이 확인되어, 내부‑외부 루프 학습 방식을 검증합니다.

실용적 함의

• Reduced API costs – 잠재 공간에서 작동함으로써 RecursiveMAS는 토큰 사용량을 크게 줄이며, 이는 OpenAI나 Anthropic과 같은 서비스의 사용료를 직접적으로 낮춥니다.
• Faster collaborative assistants – 실시간 도구(예: AI 페어 프로그래머, 연구 보조원, 의료 트리아지 봇 등)는 이제 직렬 텍스트 전달의 지연 없이 여러 전문 모델을 조정할 수 있습니다.
• Modular system design – 팀은 기존 사전 학습된 에이전트(예: 코드 LLM, 검색 모델, 추론 LLM)를 연결하고 RecursiveMAS가 오케스트레이션을 담당하도록 하여 엔지니어링 파이프라인을 단순화할 수 있습니다.
• Scalable reasoning – 재귀 메커니즘은 새로운 스케일링 조절 수단을 제공합니다: 점점 더 큰 단일 모델을 훈련하는 대신, 개발자는 재귀 단계를 추가하여 추론 깊이를 늘릴 수 있어 계산 및 메모리를 절약합니다.

제한 사항 및 향후 작업

• 재귀 깊이 절충 – 3‑5 단계가 평가된 작업에 잘 작동하지만, 더 복잡한 문제는 더 깊은 루프가 필요할 수 있으며, 이는 기울기 불안정을 다시 초래할 수 있습니다.
• 이질성 처리 – 현재 RecursiveLink는 호환 가능한 잠재 차원을 가정합니다; 이를 실제로 이질적인 모델 아키텍처(예: 비전 전용 에이전트)로 확장하려면 추가 정렬 메커니즘이 필요합니다.
• 벤치마크 범위 – 실험은 잘 구조화된 벤치마크에 초점을 맞추고 있으며, 실제 세계의 잡음이 많은 환경(예: 오픈 도메인 대화)은 아직 테스트되지 않았습니다.
• 향후 방향은 저자들이 제안한 바와 같이: 적응형 재귀 스케줄(실시간으로 필요한 루프 수 결정), 보다 풍부한 교차 모달 잠재 브리지, 그리고 RecursiveMAS를 대규모 분산 시스템(예: 엣지‑클라우드 협업)에 적용하는 것을 포함합니다.

저자

• Xiyuan Yang
• Jiaru Zou
• Rui Pan
• Ruizhong Qiu
• Pan Lu
• Shizhe Diao
• Jindong Jiang
• Hanghang Tong
• Tong Zhang
• Markus J. Buehler
• Jingrui He
• James Zou

논문 정보

• arXiv ID: 2604.25917v1
• 카테고리: cs.AI, cs.CL, cs.LG
• 발행일: 2026년 4월 28일
• PDF: PDF 다운로드