[Paper] Splannequin: Dual-Detection Splatting을 이용한 Monocular Mannequin‑Challenge 영상 동결

Source: arXiv - 2512.05113v1

Overview

이 논문은 Splannequin을 소개한다. 이는 일상적인 “Mannequin‑Challenge” 비디오—사람들은 완전히 정지하고 카메라만 움직이는 단일 카메라 클립—를 고품질의 고정 3D 장면으로 변환하여 어떤 각도에서도 탐색할 수 있게 하는 기술이다. 동적 Gaussian splatting과 영리한 정규화 전략을 활용함으로써, 저자들은 포토리얼리스틱하고 아티팩트가 없는 재구성을 달성했으며, 개발자들이 AR/VR 경험에 인터랙티브하고 즉시 선택 가능한 “freeze‑frames”를 삽입할 수 있게 한다.

Key Contributions

• Dynamic‑to‑Static Gaussian Splatting: 동적 씬 모델을 재사용하지만 선택된 타임스탬프에서 고정하여 미묘한 배경 움직임은 유지하고 전경은 정적으로 유지한다.
• State‑aware Regularization (Hidden & Defective Gaussians): 관측이 부족하거나 가려진 Gaussian 프리미티브를 감지하고, 더 신뢰할 수 있는 관측에 시간적으로 고정시켜 유령 현상과 블러를 제거한다.
• Architecture‑agnostic Plug‑in: 정규화를 몇 개의 손실 항으로 구현하여 기존 동적 Gaussian splatting 파이프라인에 코드 변경이나 추가 추론 비용 없이 삽입할 수 있다.
• User‑controlled Frozen‑time Rendering: 임의의 프레임을 정적 뷰포인트로 즉시 선택할 수 있게 하여 인터랙티브 스토리텔링 및 콘텐츠 제작 워크플로를 열어준다.
• Extensive Human Evaluation: 참가자 96 %가 Splannequin 결과물을 기존 방법보다 선호했으며, 인지 품질 향상을 확인했다.

Methodology

1. Dynamic Gaussian Representation – 씬은 위치, 색상, 불투명도가 시간에 따라 변하는 3D Gaussian 프리미티브 클라우드로 모델링된다(동적 splatting의 표준 접근법).
2. Temporal Anchoring
   • Hidden Gaussians: 가려짐이나 시점 변화로 보이지 않게 되는 프리미티브를 가장 최근에 잘 관측된 상태에 “고정”시켜 유령 아티팩트로 떠다니는 것을 방지한다.
   • Defective Gaussians: 약한 감독(예: 몇 프레임만)만 받는 프리미티브를 더 잘 관측되는 미래 프레임에 고정한다.
3. Loss Formulation – 훈련 목표에 두 개의 추가 정규화 항을 추가한다: hidden Gaussian에 대해 고정된 과거 상태와의 편차를 벌점으로 주는 항과 defective Gaussian에 대해 미래 상태와의 정렬을 장려하는 항.
4. Freezing the Model – 추론 시 시간 파라미터를 사용자가 선택한 타임스탬프로 고정하여 정적 씬을 렌더링하면서도 훈련 중 학습된 시간적으로 스무딩된 Gaussian 파라미터의 이점을 유지한다.
5. Integration – 이 방법은 네트워크 아키텍처나 렌더링 파이프라인을 변경하지 않고도 모든 동적 Gaussian 파이프라인(e.g., D‑NeRF, HyperNeRF)에 적용할 수 있다.

Results & Findings

• Visual Quality: 앵커링이 없는 기존 동적 splatting과 비교했을 때, Splannequin은 유령 현상을 제거하고 블러를 감소시키며 고정 렌더링에서 섬세한 텍스처 디테일을 복원한다.
• Quantitative Metrics: 표준 MC 비디오 벤치마크에서 PSNR/SSIM이 각각 약 1.2 dB / 0.03 향상된다.
• Human Preference: 블라인드 사용자 연구에서 참가자 96 %가 Splannequin 결과물을 다음 최선 방법보다 더 현실적이고 시각적으로 만족스럽다고 평가했다.
• Zero Runtime Overhead: 정규화가 훈련에만 영향을 미치므로 추론 속도는 기본 동적 splatting 모델과 동일하다.

Practical Implications

• AR/VR Content Creation: 개발자는 단일 핸드헬드 비디오를 “일시정지‑그리고‑주위 보기” 모드가 가능한 완전 탐색 가능한 3D 환경으로 전환할 수 있어 가상 투어, 게임 컷신, 몰입형 스토리텔링에 이상적이다.
• Live Broadcast Enhancements: 스포츠나 이벤트 제작자는 단일 카메라 스윕을 촬영하고 즉시 관객이 어떤 각도에서도 탐색할 수 있는 고정 시간 리플레이를 생성할 수 있다.
• Rapid Prototyping: 다중 카메라 장비나 깊이 센서가 필요 없으며, 스마트폰 비디오만으로 충분해 소규모 스튜디오와 인디 제작자의 진입 장벽을 크게 낮춘다.
• Integration Path: 이미 동적 Gaussian splatting을 사용하는 기존 파이프라인(e.g., 신경 아바타)도 손실 정의 코드를 몇 줄 추가하면 Splannequin을 도입해 하드웨어 추가 없이 품질 향상을 얻을 수 있다.

Limitations & Future Work

• Forward‑motion Assumption: 앵커링 전략은 주로 전