[Paper] 병렬 다중 에이전트 시스템을 위한 Latency-Aware Orchestration 학습

Source: arXiv - 2601.10560v1

개요

The paper introduces LAMaS (Latency‑Aware Multi‑agent System), a framework that teaches a controller to orchestrate multiple AI agents in parallel while explicitly minimizing the end‑to‑end latency of the critical execution path. By treating latency as a first‑class supervision signal, the authors show that you can cut the longest‑running chain of operations by up to 46 % without sacrificing—and sometimes even improving—overall task performance.

주요 기여

• 지연 인식 오케스트레이션: 다중 에이전트 협업 문제를 전체 연산 비용이 아니라 임계 경로를 목표로 하는 지연‑감독 학습 과제로 정의합니다.
• 병렬 실행 그래프 구축: 컨트롤러가 에이전트를 동시에 스케줄링할 수 있는 실행 토폴로지 그래프를 생성하도록 하여 하드웨어 병렬성을 활용합니다.
• LAMaS 프레임워크: 다중 에이전트 시스템을 위한 신경망 구조 탐색(NAS) 루프에 지연 감독을 통합한 구체적인 구현을 제공합니다.
• 실증적 성과: 여러 벤치마크 MAS 작업에서 임계 경로 길이를 38‑46 % 감소시키며, 기존 최첨단(SOTA) MAS‑NAS 방법과 동등하거나 더 나은 정확도를 달성했습니다.
• 오픈‑소스 공개: 재현성과 커뮤니티 확장을 위해 전체 코드베이스(https://github.com/xishi404/LAMaS)를 제공합니다.

Methodology

1. Problem formulation – 저자들은 다중 에이전트 시스템을 directed acyclic graph (DAG) 로 보고, 노드는 개별 에이전트(예: 언어 모델, 플래너)이며 엣지는 데이터 의존성을 나타냅니다. critical path는 입력에서 출력까지의 가장 긴 지속 시간 체인입니다.
2. Latency supervision – 학습 중에 프레임워크는 대상 하드웨어에서 각 후보 DAG의 실제 벽시계(latency)를 측정합니다. 이 latency 신호는 더 나은 토폴로지를 예측하는 컨트롤러 네트워크에 피드백됩니다.
3. Controller architecture – 강화학습(RL) 컨트롤러가 그래프 구조(에이전트 선택 + 연결)를 샘플링하고, 작업 성능(예: 정확도, 보상)과 측정된 latency의 가중합으로 구성된 복합 보상을 받습니다.
4. Parallel execution engine – 샘플링된 그래프는 데이터 의존성을 준수하면서 독립적인 에이전트를 동시에 스케줄링하는 병렬 런타임에서 실행됩니다. 이는 감독에 사용되는 실제 latency를 제공합니다.
5. Search loop – 컨트롤러는 정책‑gradient 업데이트를 사용해 정책을 반복적으로 정제하며, 높은 작업 점수를 유지하면서 낮은 latency를 달성하는 그래프 쪽으로 점차 편향됩니다.

전체 파이프라인은 기존 NAS 접근 방식과 유사하지만, 일반적인 FLOPs나 파라미터 수 프록시를 실제 latency로 대체하고, 순차 실행 순서를 가정하는 대신 병렬성을 명시적으로 모델링합니다.

결과 및 발견

• Latency gains는 다양한 작업 전반에 걸쳐 일관되게 나타나, 컨트롤러가 지연이 큰 에이전트를 그래프 뒤쪽에 배치하거나 병렬 분기로 나누는 것을 학습함을 확인합니다.
• Task metrics는 변동이 없거나 약간 개선되어, 지연 최적화가 추론 품질과의 트레이드‑오프를 강요하지 않음을 보여줍니다.
• Ablation studies에서는 지연 감독을 제거하거나 순차 실행을 강제하면 성능 향상이 사라짐을 확인했으며, 이는 두 구성 요소가 모두 중요함을 강조합니다.

실용적 시사점

• 더 빠른 사용자 대면 AI 서비스: 챗봇, 가상 비서, 혹은 협업 봇이 눈에 띄게 더 빠르게 응답할 수 있어 실시간 사용자 경험에 필수적입니다.
• 비용 효율적인 확장: 핵심 경로를 단축함으로써 동일한 하드웨어에서 더 높은 처리량을 달성할 수 있어 대규모 배포 시 클라우드 컴퓨팅 비용을 절감합니다.
• 엣지 및 모바일 배포: 지연 시간을 고려한 오케스트레이션을 통해 병렬 코어는 있지만 전체 연산 예산이 제한된 리소스 제약 장치에서도 다중 에이전트 파이프라인을 실행할 수 있습니다.
• 개발자 도구: 오픈소스 LAMaS 패키지를 기존 MAS 파이프라인(예: LangChain, AutoGPT)에 통합하면 수동 튜닝 없이도 자동으로 저지연 오케스트레이션을 탐색할 수 있습니다.
• 하드웨어 인식 AI 설계: “모델 중심” 최적화(정확도, 파라미터)에서 벗어나 실행 그래프를 1차적인 요소로 다루는 “시스템 중심” 설계로의 전환을 촉진합니다.

제한 사항 및 향후 연구

• Hardware dependence: 지연 시간 측정은 검색 중에 사용된 특정 하드웨어에 종속되어 있으며, 학습된 오케스트레이션을 다른 플랫폼으로 이전할 경우 재평가가 필요할 수 있습니다.
• Search cost: RL 기반 검색 루프는 특히 매우 큰 에이전트 라이브러리의 경우 상당한 계산 오버헤드를 발생시킵니다.
• Static graphs: LAMaS는 현재 작업당 고정된 오케스트레이션을 생성하며, 런타임 시 현재 부하에 기반한 동적 적응(예: 실시간 적응)은 탐구되지 않았습니다.
• Broader benchmarks: 실험은 소수의 표준 MAS 작업에 초점을 맞추고 있으며, 초대형 언어 모델 앙상블이나 이종 센서‑액추에이터 시스템에 적용하는 것은 아직 미해결 과제로 남아 있습니다.

향후 연구 방향에는 하드웨어에 구애받지 않는 지연 시간 프록시, 실행 그래프의 온라인 적응, 그리고 **이종 클러스터(CPU + GPU + TPU)**에서 병렬성 패턴이 달라지는 경우를 포함한 프레임워크 확장이 포함됩니다.

저자

• Xi Shi
• Mengxin Zheng
• Qian Lou

논문 정보

• arXiv ID: 2601.10560v1
• Categories: cs.MA, cs.AI, cs.CL
• Published: 2026년 1월 15일
• PDF: PDF 다운로드