[Paper] 다중 에이전트 상호작용 시퀀스 모델링을 위한 Diffusion Forcing

Source: arXiv - 2512.17900v1

번역을 진행하려면 번역하고자 하는 본문 텍스트를 제공해 주세요. 텍스트를 주시면 요청하신 대로 한국어로 번역해 드리겠습니다.

개요

이 논문은 **MAGNet (Multi‑Agent Diffusion Forcing Transformer)**을 소개한다. 이는 상호작용하는 사람들의 수에 관계없이 현실적인 움직임을 생성할 수 있는 단일 신경망 모델이다. diffusion‑based 생성 모델링과 에이전트 간 상호 영향을 명시적으로 고려하는 transformer를 결합함으로써, MAGNet은 파트너의 다음 움직임을 예측하는 것부터 수백 프레임에 걸친 전체 그룹 퍼포먼스를 합성하는 것까지 다양한 작업을 수행할 수 있다.

주요 기여

• 다중 에이전트 모션 생성을 위한 통합 자동회귀 확산 프레임워크, 작업별 모델이 필요 없게 함.
• 이중 예측, 파트너 인페인팅, 전체 장면 생성 모두 동일한 아키텍처에서 지원.
• 디노이징 단계에서 명시적인 에이전트 간 결합을 제공하여 임의의 그룹 크기 에이전트 간 일관된 협조를 가능하게 함.
• 참여자 수에 구애받지 않는 확장 가능한 설계로, 2인(이중) 상호작용에서 3인 이상(다중) 상호작용으로 원활히 확장 가능.
• 수백 타임스텝에 이르는 초장기 시퀀스 생성을 수행하면서도 시간적 일관성과 공간적 타당성을 유지.

Methodology

1. Diffusion Forcing Backbone – 모델은 동작 생성을 역확산 과정으로 취급합니다: 무작위 노이즈에서 시작해 반복적으로 “디노이즈”하면서 그럴듯한 동작 궤적을 생성합니다.
2. Transformer‑Based Conditioning – 각 디노이즈 단계에서 트랜스포머 인코더가 모든 에이전트의 부분적으로 생성된 포즈와 외부 조건(예: 목표 활동 라벨 또는 부분 관측)을 함께 입력받습니다.
3. Inter‑Agent Coupling Layer – 전용 어텐션 모듈이 에이전트 간의 쌍별 상호작용을 계산하여, 한 에이전트의 포즈 업데이트가 파트너들의 현재 포즈에 의해 영향을 받도록 합니다. 이것이 협조적 행동을 이끄는 핵심 “diffusion forcing”입니다.
4. Autoregressive Sampling – 모델은 프레임을 순차적으로 생성합니다: 프레임 t를 만든 뒤, 새로 생성된 포즈를 다음 확산 단계의 조건으로 사용해 장기적인 시간적 일관성을 유지합니다.
5. Flexible Conditioning – 서로 다른 조건 신호(예: 단일 에이전트의 관측된 움직임, 고수준 활동 태그, 혹은 조건 없이)를 교체함으로써 동일한 네트워크가 예측, 인페인팅, 자유형 생성 등을 수행할 수 있습니다.

결과 및 발견

• Dyadic Benchmarks – 표준 2인 상호작용 데이터셋(예: 댄스, 복싱)에서 MAGNet은 포즈 오류와 시각적 사실성 측면에서 특화된 최신 모델의 성능과 동등하거나 약간 능가합니다.
• Polyadic Scenarios – 3명 이상의 에이전트를 포함한 실험에서 MAGNet은 긴밀한 동기화(예: 그룹 댄스 포메이션)와 현실적인 간격을 유지하며, 원래 두 명만을 위해 설계된 기존 베이스라인 방법보다 우수한 성능을 보입니다.
• Long‑Horizon Generation – 이 모델은 최대 300프레임까지 일관된 움직임을 성공적으로 생성하며, 드리프트나 붕괴가 최소화됩니다. 이는 이전의 확산 기반 모션 생성기가 ~50프레임을 넘어선 경우 어려움을 겪던 것에 비해 눈에 띄는 개선입니다.
• Ablation Studies – 에이전트 간 결합 레이어를 제거하면 눈에 띄는 비동기화가 발생하며, 명시적인 상호작용 모델링이 협조 행동에 필수적임을 확인합니다.

Practical Implications

• Robotics & Human‑Robot Collaboration – MAGNet은 인간 팀원의 동작을 실시간으로 예측하는 데 활용될 수 있어, 로봇이 제조 또는 보조 환경에서 안전하고 원활한 협업을 위해 궤적을 조정할 수 있게 합니다.
• Virtual Production & Gaming – 콘텐츠 제작자는 각 캐릭터의 동작을 일일이 손수 만들지 않고도 실시간으로 군중이나 그룹 애니메이션을 생성할 수 있어, 영화, VR 경험, 멀티플레이어 게임의 제작 시간을 크게 단축합니다.
• Social Computing & Telepresence – 실시간으로 설득력 있는 그룹 제스처를 합성하면 원격 협업 도구를 풍부하게 만들고, 회의나 가상 이벤트에서 아바타가 보다 자연스럽게 보이게 합니다.
• Data Augmentation – 합성된 다인 동작은 행동 인식, 자세 추정, 행동 예측 등 하위 작업에 필요한 부족한 라벨 데이터셋을 보완할 수 있습니다.

제한 사항 및 향후 작업

• 계산 비용 – 자동 회귀 확산은 프레임당 여러 번의 디노이징 과정을 필요로 하며, 실시간 애플리케이션에서는 비용이 많이 들 수 있습니다. 저자들은 가속 샘플링이나 증류 모델을 탐색할 것을 제안합니다.
• 고품질 포즈 데이터 의존 – 학습은 깨끗한 3D 포즈 주석에 의존합니다. 잡음이 있거나 가려진 입력은 성능 저하를 초래할 수 있습니다.
• 제한된 의미론적 제어 – 활동 레이블이 생성 과정을 안내할 수는 있지만, 정확한 궤적이나 인간 간 거리와 같은 세밀한 제어는 아직 해결되지 않은 과제입니다.
• 향후 방향 – 저자들은 물리 기반 제약을 통합하고, 프레임워크를 이종 에이전트(예: 인간 + 로봇)로 확장하며, 장기 시퀀스 생성을 더욱 가속화하기 위한 계층적 확산 스킴을 조사할 것을 제안합니다.

저자

• Vongani H. Maluleke
• Kie Horiuchi
• Lea Wilken
• Evonne Ng
• Jitendra Malik
• Angjoo Kanazawa

논문 정보

• arXiv ID: 2512.17900v1
• 분류: cs.CV, cs.RO
• 출판일: 2025년 12월 19일
• PDF: PDF 다운로드