[Paper] MADRA: 다중 에이전트 토론을 통한 위험 인식 임베디드 플래닝

Source: arXiv - 2511.21460v1

Overview

이 논문은 MADRA라는 훈련이 필요 없는 프레임워크를 소개한다. 이 프레임워크는 여러 대형 언어 모델(LLM) 에이전트가 “논쟁”을 통해 주어진 명령이 구현형 AI(예: 가정용 로봇)에게 안전한지 여부를 판단하도록 한다. 안전성 평가를 집단적 추론 과정으로 전환함으로써, MADRA는 거짓 거부를 크게 줄이면서 AI2‑THOR와 VirtualHome 같은 시뮬레이션된 가정 환경에서 실시간 계획에 충분히 빠른 속도를 유지한다.

Key Contributions

• Multi‑Agent Debate Engine – 여러 LLM 기반 에이전트가 명령의 안전성을 논쟁하도록 하고, 논리성, 위험 탐지, 근거, 명료성을 기준으로 각 주장을 평가하는 전용 평가자를 둔다.
• Training‑Free, Model‑Agnostic Design – 추가 미세조정이나 선호 정렬 데이터가 필요 없으며, MADRA는 어떤 오프‑더‑쉘프 LLM에도 적용 가능하다.
• Hierarchical Cognitive Collaborative Planner – 안전 검사, 과거 경험 메모리, 고수준 계획, 자체 진화(온라인 학습)를 하나의 파이프라인에 통합한다.
• SafeAware‑VH Benchmark – VirtualHome 시뮬레이터에서 안전 인식 계획을 위한 800개의 주석이 달린 가정용 명령 데이터셋을 새롭게 제공한다.
• Empirical Gains – 위험한 작업의 90 % 이상을 정확히 거부하면서, 안전한 작업의 거부율을 <5 %로 낮추어 기존 단일 에이전트 안전 프롬프트와 선호 정렬 모델을 모두 능가한다(안전성 및 실행 속도 모두에서).

Methodology

1. Prompt Generation – 원본 사용자 명령을 N개의 독립 LLM 에이전트(예: GPT‑4, Claude)에게 전달한다. 각 에이전트는 약간씩 다른 안전 지향 프롬프트를 받아 다양한 관점을 유도한다.
2. Debate Phase – 에이전트들은 “이 명령이 안전한 이유” 혹은 “위험한 이유”와 같은 짧은 주장을 생성한다.
3. Critical Evaluator – 네 번째 LLM(또는 경량 스코어링 모델)이 모든 주장을 검토하고 다음 기준에 따라 복합 점수를 부여한다:
   • 논리적 타당성
   • 구체적 위험 식별(예: “젖은 바닥에 주전자를 놓지 말라”)
   • 근거의 질(알려진 안전 규칙에 대한 참조)
   • 표현의 명료성
4. Iterative Deliberation – 점수가 낮은 에이전트에게 주장을 개선하도록 재프롬프트하고, 이 과정을 몇 차례(보통 2–3라운드) 반복한다.
5. Consensus Voting – 평가자의 점수에 대한 다수결로 최종 안전 결정을 내린다. 다수가 위험하다고 판단하면 플래너는 작업을 중단하거나 명확화를 요청한다.
6. Hierarchical Planner – 명령이 안전 게이트를 통과하면 시스템은 메모리 모듈(과거 성공적인 실행), 고수준 플래너(작업 분해), 그리고 실행 피드백을 기반으로 내부 정책을 업데이트하는 자체 진화 구성요소를 차례로 활용한다.

Results & Findings

• 논쟁 메커니즘은 단순 안전 프롬프트에 비해 거짓 거부를 약 60 % 감소시킨다.
• 추가 미세조정이 필요 없으므로, 어떤 LLM 크기에도 GPU 비용 없이 확장 가능하다.
• 계층형 플래너는 과거 성공적인 궤적을 재사용함으로써 복잡한 다단계 작업에서 눈에 띄는 성공률 향상을 제공한다.

Practical Implications

• Robust Home Robots – 위험한 명령(예: “바닥에 물을 붓는다”)을 거부할 수 있는 로봇을 맞춤형 안전 모델 없이 배포할 수 있어 제품 파이프라인이 단순화된다.
• Rapid Prototyping for New Domains – MADRA가 모델에 구애받지 않으므로 최신 LLM을 바로 연결해 안전 논쟁 레이어를 즉시 활용할 수 있다.
• Regulatory Compliance – 주장의 점수화 과정이 투명한 감사 기록을 제공하므로 규제 기관이 검토하기에 용이하며, 구현형 AI의 안전 인증을 지원한다.
• Cost‑Effective Safety – 대규모 선호 정렬 데이터셋이 필요 없으므로 스타트업의 데이터 수집 및 컴퓨팅 비용을 크게 절감한다.
• Continuous Learning – 자체 진화 구성요소가 로봇이 새로운 가정 레이아웃이나 사용자 습관에 적응하도록 하면서도 안전 보장을 유지한다.

Limitations & Future Work

• Simulation‑Only Validation – 실험이 AI2‑THOR와 VirtualHome에만 국한되어 있어, 실제 로봇 하드웨어에서는 시뮬레이션에 반영되지 않은 지연이나 인식 격차가 나타날 수 있다.
• Dependence on LLM Quality – 기반 LLM이 환각하거나 도메인 특화 안전 지식이 부족하면 논쟁이 잘못된 결론에 도달할 수 있다.
• Scalability of Debate Rounds – 에이전트 수나 논쟁 반복을 늘리면 안전성은 약간 향상되지만 지연이 증가한다; 엣지 디바이스에 적합한 최적점 찾기가 남아 있다.
• Future Directions – 멀티모달 입력(시각 + 언어)으로 확장하고, 형식적인 안전 규칙 엔진을 통합하며, 물리적 로봇 플랫폼에서 테스트하는 것이 향후 과제이다.

Authors

• Junjian Wang
• Lidan Zhao
• Xi Sheryl Zhang

Paper Information

• arXiv ID: 2511.21460v1
• Categories: cs.AI
• Published: November 26, 2025
• PDF: Download PDF