[Paper] 민첩한 비행은 멀티에이전트 경쟁 레이싱에서 등장한다

Source: arXiv - 2512.11781v1

Overview

이 논문은 드론이 빠르게 비행하고 전략적으로 레이스를 할 수 있도록 손으로 만든 저수준 보상이 필요 없다는 것을 보여준다. 여러 에이전트가 시뮬레이션 레이스에서 경쟁하도록 하고 “우승”이라는 고수준 목표에만 보상을 주면, 저자들은 고속 코너링, 공격적인 고도 변화와 같은 민첩한 비행 동작과 추월 및 차단과 같은 레이스 전술이 자연스럽게 나타나는 것을 유도했다. 이 접근법은 시뮬레이션과 실제 쿼드로터 모두에서 작동하며, 전통적인 단일 에이전트 진행 기반 훈련보다 전이 성능이 더 안정적이다.

Key Contributions

• Sparse‑reward multi‑agent training: 단 하나의 “레이스 우승” 보상만으로 에이전트가 저수준 비행 제어와 고수준 레이스 전략을 모두 학습할 수 있음을 입증한다.
• Emergent agility and tactics: 명시적인 보상 설계 없이도 에이전트가 공격적인 비행 영역과 경쟁 행동(추월, 방어 차단)을 스스로 발견함을 보여준다.
• Sim‑to‑real transfer advantage: 동일한 랜덤화 시뮬레이터에서 훈련된 다중 에이전트 정책이 물리적 드론에 적용될 때 단일 에이전트 진행 보상 정책보다 우수한 성능을 보인다.
• Generalization to unseen opponents: 훈련 중 만나지 않은 새로운 상대에 대해서도 경쟁력을 유지한다.
• Open‑source implementation: 재현성을 위해 코드, 시뮬레이션 환경, 학습된 모델을 제공한다.

Methodology

1. Simulation environment: 질량, 모터 추력, 센서 노이즈, 장애물 배치를 무작위화한 물리 정확도 높은 쿼드로터 시뮬레이터.
2. Agents & competition: 두 대(또는 그 이상)의 드론이 급커브와 선택적 장애물이 포함된 폐쇄 루프 트랙에서 레이스를 진행한다.
3. Reward design: 유일한 비영 제로 보상은 먼저 결승선을 통과한 에이전트에게만 주어지며, 그 외 모든 타임스텝은 보상이 0이다.
4. Learning algorithm: 에이전트 간에 공유되는 정책 구조를 사용한 Proximal Policy Optimization (PPO)으로, 각 드론이 자신의 경험을 통해 학습하면서 경쟁한다.
5. Domain randomization: 다중 에이전트와 단일 에이전트 베이스라인 모두 동일한 무작위화 파이프라인을 사용해 경쟁 효과만을 분리한다.
6. Real‑world deployment: 정책을 NVIDIA Jetson 등 온보드 컴퓨팅을 갖춘 맞춤형 쿼드로터에 이식하고, 시뮬레이션 레이아웃을 그대로 재현한 물리적 레이스 트랙에서 테스트한다.

Results & Findings

• Agility: 다중 에이전트 정책은 코너마다 수밀리초를 줄이기 위해 드론을 추력 한계의 90 %까지 지속적으로 활용한다.
• Strategy: 에이전트는 직선 구간에서 상대를 차단하고, 추월 시 더 넓고 빠른 호를 선택하는 전략을 스스로 학습했으며, 이는 명시적으로 가르쳐진 것이 아니다.
• Transfer: 실제 하드웨어에서 경쟁 기반으로 훈련된 정책은 시뮬레이션 성능에 근접한 결과를 유지한 반면, 진행 보상 정책은 불안정과 과도한 오버슈트 문제를 겪었다.

Practical Implications

• Rapid prototyping of high‑performance UAV controllers: 개발자는 복잡한 보상 설계 과정을 건너뛰고 경쟁 학습만으로 공격적이고 견고한 비행 정책을 얻을 수 있다.
• Robotics competitions & autonomous racing leagues: 이 접근법은 새로운 트랙과 상대에 최소한의 재학습으로 적응할 수 있는 강력한 베이스라인 에이전트를 대규모로 생성하는 방법을 제공한다.
• Safety‑critical drone applications: 경쟁이 에이전트를 동적이고 적대적인 환경에 적응하도록 강제하기 때문에, 결과 정책은 풍동, 이동 장애물 등 예상치 못한 교란에 더 회복력이 있다.
• Sim‑to‑real pipelines: 다중 에이전트 상호작용이 자연스러운 정규화 역할을 하여 도메인 갭을 감소시키고 실제 환경에서의 미세 조정 양을 크게 줄인다.
• Open‑source toolkit: 공개된 코드는 기존 ROS 기반 파이프라인에 쉽게 통합될 수 있어, 팀이 자체 컨트롤러를 경쟁 기반 베이스라인과 비교 벤치마크할 수 있다.

Limitations & Future Work

• Scalability to many agents: 실험은 두 대의 드론에 국한되었으며, 더 큰 군집이나 복잡한 레이스 포맷에서 행동이 어떻게 확장될지는 아직 미확인이다.
• Hardware constraints: 실제 테스트에 사용된 맞춤형 쿼드로터는 비교적 높은 추력‑대‑무게 비율을 가지고 있어, 소형 소비자용 드론에서는 성능 차이가 있을 수 있다.
• Reward sparsity trade‑off: 희소 보상은 설계가 간단하지만 훈련 시간이 길어지고 때때로 최적이 아닌 전략에 수렴할 위험이 있다.
• Generalization beyond racing: 향후 연구에서는 동일한 경쟁 프레임워크가 협동 화물 운반, 수색·구조와 같은 다른 도메인에서도 유사한 자율 스킬을 이끌어낼 수 있는지 탐색할 수 있다.

코드를 직접 사용해 보거나 결과를 재현하고 싶다면, 저자들이 GitHub에 모든 자료를 공개했다(논문에 링크 포함). 이 연구는 때때로 에이전트에게 “그냥 이겨라”라고 하면 비행을 가르치는 가장 현명한 방법이 될 수 있음을 강력히 보여준다.

Authors

• Vineet Pasumarti
• Lorenzo Bianchi
• Antonio Loquercio

Paper Information

• arXiv ID: 2512.11781v1
• Categories: cs.RO, cs.AI, cs.MA
• Published: December 12, 2025
• PDF: Download PDF