[Paper] BAMAS: Budget-Aware 멀티에이전트 시스템 구조화

Source: arXiv - 2511.21572v1

Overview

대규모 언어 모델(LLM) 기반 멀티‑에이전트 시스템은 복잡하고 다단계 문제를 해결할 수 있는 능력을 보여주고 있지만, 운영 비용이 금세 부담이 될 수 있습니다. 논문 **“BAMAS: Structuring Budget‑Aware Multi‑Agent Systems”**는 미리 정의된 예산 내에서 시스템을 설계하는 체계적인 방법을 제시하여 성능과 비용 사이의 균형을 맞춥니다.

Key Contributions

• 예산 기반 에이전트 선택: LLM 선택을 정수 선형 계획법(ILP) 문제로 공식화하여 작업 성능과 금전적 비용을 동시에 최적화합니다.
• 토폴로지 인식 협업: 강화 학습(RL)을 사용해 선택된 예산 하에서 효율성을 최대화하는 상호작용 그래프(누가 누구와 대화하는가)를 발견합니다.
• 엔드‑투‑엔드 파이프라인: 선택 → 구조화 → 인스턴스화의 실용적인 워크플로우를 제공하며, 이는 모든 LLM 기반 멀티‑에이전트 애플리케이션에 적용될 수 있습니다.
• 실증 검증: 세 가지 벤치마크 작업에서 **86 %**까지 비용을 절감하면서 정확도는 최신(SOTA) 기준과 동등함을 보여줍니다.

Methodology

1. 예산 및 후보 LLM 풀 정의 – 각 후보 모델(예: GPT‑3.5, Claude‑1, LLaMA‑2)은 토큰당 가격과 목표 작업에 대한 추정 성능 점수가 주석됩니다.
2. ILP 기반 선택 – 시스템은 전체 비용 ≤ 예산을 만족하면서 성능 점수의 가중합을 최대화하는 정수 선형 프로그램을 풉니다.
3. RL 기반 토폴로지 탐색 – 선택된 에이전트를 고정한 상태에서 강화 학습 에이전트가 방향 그래프에 간선을 제안합니다(예: “에이전트 A가 출력물을 에이전트 B에게 보냄”). 보상은 작업 성공(예: 정확도, 완료율)과 추가 통신의 한계 비용을 결합합니다.
4. 인스턴스화 및 실행 – 최종 그래프가 구현됩니다: 각 노드는 할당된 LLM을 실행하고, 학습된 토폴로지에 따라 메시지를 교환하며 전체 솔루션을 생성합니다.

이 접근법은 의도적으로 모듈식이며, ILP 솔버를 교체하거나 RL 알고리즘을 바꾸거나 비용 모델을 다르게 적용해도 전체 파이프라인을 재설계할 필요가 없습니다.

Results & Findings

Key takeaways

• 정확도 저하 없이 비용 절감 – 세 작업 모두 성능 차이가 통계적 잡음 수준에 머무릅니다.
• 하이브리드 에이전트 조합이 단일 모델 기준을 능가 – 예를 들어, 전처리를 위해 저렴하고 빠른 모델을 사용하고 최종 검증에 고가 모델을 결합하면 최적의 트레이드오프를 얻을 수 있습니다.
• 학습된 토폴로지는 대체로 희소하며, 많은 상호작용이 불필요함을 확인하고 API 호출을 줄일 수 있음을 보여줍니다.

Practical Implications

• 제품 팀은 하드 예산을 설정(예: 사용자 요청당 $0.05)하고 BAMAS가 자동으로 가장 저렴한 실행 가능한 에이전트 조합을 구성하도록 할 수 있어 수동적인 시도‑오류 과정을 없앨 수 있습니다.
• 서버리스 배포가 가능해집니다: 토큰 사용량을 최소화함으로써 개발자는 저비용 클라우드 함수나 심지어 엣지 케이스를 위한 온‑디바이스 추론에서도 LLM 기반 어시스턴트를 실행할 수 있습니다.
• 동적 스케일링 – 가격 변동(예: 신규 모델 출시) 시 BAMAS를 재실행하면 에이전트 풀을 즉시 재최적화하여 지속적인 비용 효율성을 유지합니다.
• 비용 설명 가능성 – ILP 공식은 특정 모델이 선택된 이유에 대한 명확한 감사 추적을 제공하므로 컴플라이언스 및 예산 보고에 유용합니다.

Limitations & Future Work

• 정적 예산 가정: 현재 파이프라인은 배포당 하나의 고정된 예산만 최적화합니다; 트래픽 급증 등 변동 예산을 다루려면 확장이 필요합니다.
• 성능 추정 의존성: ILP는 각 후보 LLM에 대한 정확한 사전 성능 점수가 필요하며, 새로운 작업에 대해서는 노이즈가 있을 수 있습니다.
• RL 토폴로지 탐색의 확장성: 10개 정도의 에이전트까지는 효과적이지만, 탐색 공간이 조합적으로 커집니다; 향후 그래프 신경망 기반 토폴로지 예측기를 탐색할 수 있습니다.
• 보다 폭넓은 평가: 저자들은 세 가지 작업만 테스트했으며, 자율 로봇이나 실시간 게임과 같은 분야에 BAMAS를 적용하면 일반성을 더욱 검증할 수 있습니다.

Authors

• Liming Yang
• Junyu Luo
• Xuanzhe Liu
• Yiling Lou
• Zhenpeng Chen

Paper Information

• arXiv ID: 2511.21572v1
• Categories: cs.MA, cs.AI
• Published: November 26, 2025
• PDF: Download PDF