[Paper] Mesh4D: 단일 카메라 비디오에서 4D 메시 재구성 및 추적

Source: arXiv - 2601.05251v1

개요

Mesh4D는 단일‑패스, 피드‑포워드 시스템을 도입하여 움직이는 물체(예: 사람, 동물, 혹은 관절이 있는 장치)의 일반적인 단일 카메라 비디오를 시간에 따라 변형되는 전체 3‑D 메쉬로 변환할 수 있습니다. 전체 애니메이션의 압축된 잠재 표현을 학습함으로써, 모델은 추가 센서나 다중‑뷰 설정 없이도 완전한 3‑D 형태 및 그 움직임을 재구성할 수 있어 일상적인 영상으로부터 실시간 4‑D 콘텐츠 제작의 길을 열어줍니다.

주요 기여

• 전체 시퀀스 애니메이션을 위한 통합 잠재 공간 – 오토인코더가 전체 비디오의 변형 필드를 하나의 벡터로 압축하여 한 번의 재구성을 가능하게 합니다.
• 스켈레톤 기반 학습, 추론 시 스켈레톤 불필요 – 스켈레톤 사전지식은 학습 단계에서만 사용되어 네트워크에 타당한 변형을 학습시키지만, 테스트 시에는 원시 비디오만으로 작동합니다.
• 시공간 주의 인코더 – 공간 기하와 시간적 동역학을 모두 포착하여 빠르거나 미세한 움직임에서도 안정적인 표현을 제공합니다.
• 애니메이션 예측을 위한 잠재 확산 모델 – 첫 프레임 메쉬와 비디오를 조건으로 하여 전체 4‑D 메쉬 시퀀스를 한 번의 순전파로 생성합니다.
• 최신 수준의 결과 – 표준 재구성 및 새로운 시점 합성 벤치마크에서 기존 단일 카메라 4‑D 방법들을 능가합니다.

방법론

1. Data preprocessing – 각 훈련 비디오는 다중 뷰 캡처에서 얻은 실제 3‑D 메시 시퀀스와 스켈레톤 리그와 짝을 이룹니다.
2. Auto‑encoder backbone
   • Encoder: 시공간 트랜스포머가 비디오 프레임을 처리하며, 공간 패치와 시간 단계 모두에 걸쳐 어텐션을 적용합니다. 전체 애니메이션을 요약하는 단일 잠재 벡터를 출력합니다.
   • Decoder: 메쉬‑디코더는 잠재 벡터와 기준 메쉬(첫 번째 프레임)를 받아 변형 필드를 예측하고, 이를 기준 메쉬에 적용하면 전체 4‑D 메쉬 시퀀스를 생성합니다.
3. Skeleton regularization – 학습 중에 잠재 벡터는 기본 스켈레톤을 재구성하도록 강제되어, 추론 시 스켈레톤이 필요 없도록 현실적인 관절 움직임에 대한 강력한 사전 지식을 제공합니다.
4. Latent diffusion – 잠재 공간에서 확산 모델을 훈련시켜 애니메이션 예측을 정제합니다. 입력 비디오와 첫 프레임 메시에 조건을 부여하면 확산 과정이 누락된 세부 정보를 “채워” 시간적 일관성을 유지합니다.
5. End‑to‑end inference – 테스트 시 비디오는 인코더를 통과하고, 확산 모델이 잠재 변수를 샘플링한 뒤, 디코더가 즉시 전체 4‑D 메쉬 시퀀스를 출력합니다.

Results & Findings

• Mesh4D는 다양한 객체 카테고리(인간, 사족보행 동물, 관절이 있는 도구)에서 더 높은 품질의 메시와 보다 부드러운 움직임을 지속적으로 제공한다.
• 단일 패스 파이프라인은 반복 최적화 기반 접근법에 비해 지연 시간을 3배 이상 감소시켜, 거의 실시간에 가까운 응용이 가능하도록 만든다.
• Ablation 연구에서는 골격 정규화자를 제거하면 IoU가 약 6 % 감소하고, 시공간 어텐션을 비활성화하면 변형 오류가 약 30 % 증가한다.

실용적 시사점

• AR/VR 콘텐츠 제작 – 개발자는 간단한 휴대폰 영상만으로 완전 리깅된 3‑D 아바타나 인터랙티브 객체를 생성할 수 있어 비용이 많이 드는 모션 캡처 장비를 줄일 수 있다.
• 게임 에셋 파이프라인 – 아티스트는 짧은 클립을 촬영해 캐릭터 애니메이션이나 변형 가능한 소품을 빠르게 프로토타입하고, 이를 Mesh4D에 입력해 내보낼 수 있는 메쉬 시퀀스(예: OBJ + 블렌드쉐이프 가중치)를 얻을 수 있다.
• 로보틱스 및 시뮬레이션 – 단일 카메라로 촬영한 실제 객체의 동역학을 물리 엔진에 바로 사용할 수 있는 메쉬로 변환해 시뮬레이션이나 디지털 트윈에 활용할 수 있다.
• 라이브 스트리밍 및 텔레프레즌스 – 낮은 지연 시간 덕분에 발표자의 몸이나 제스처를 실시간으로 재구성할 수 있어 가상 회의 경험을 풍부하게 만든다.
• 이커머스 – 제품 영상을 조작 가능한 3‑D 모델로 변환하면 고객이 자유롭게 회전시켜 다양한 각도에서 볼 수 있어 온라인 쇼핑의 현실감을 높인다.

제한 사항 및 향후 연구

• Training data dependency – 모델은 사전 학습을 위해 고품질 다중 뷰 실제 메쉬에 의존합니다; 보지 못한 토폴로지를 가진 객체에서는 성능이 저하될 수 있습니다.
• Handling extreme occlusions – 잠재 확산이 도움이 되지만, 심하게 가려진 사지나 빠른 자기 교차는 여전히 아티팩트를 생성합니다.
• Resolution constraints – 현재 메쉬 디코더는 약 5 k 정점을 출력합니다; 초고해상도 메쉬로 확장하려면 메모리 효율적인 디코더 설계가 필요합니다.
• Generalization to non‑rigid fluids – 골격 사전은 관절이 있는 몸체에 적합하지만, 매우 변형 가능한 물질(예: 옷감, 액체)에는 덜 효과적입니다. 향후 연구에서는 연성 몸체 역학을 위한 학습된 사전이나 미분 가능한 물리 시뮬레이터 통합을 탐색할 수 있습니다.

저자

• Zeren Jiang
• Chuanxia Zheng
• Iro Laina
• Diane Larlus
• Andrea Vedaldi

논문 정보

• arXiv ID: 2601.05251v1
• 카테고리: cs.CV
• 출판일: 2026년 1월 8일
• PDF: PDF 다운로드