[Paper] 효율적으로 동적 장면을 D4RT 하나씩 재구성하기

Source: arXiv - 2512.08924v1

Overview

이 논문은 D4RT라는 피드‑포워드 트랜스포머를 소개한다. D4RT는 단일 비디오 클립으로부터 동적 장면의 전체 3‑D 기하학, 움직임, 그리고 카메라 자세를 복원할 수 있다. 기존의 조밀하고 프레임별 디코딩 파이프라인을 가벼운 쿼리 인터페이스로 대체함으로써, D4RT는 다양한 4‑D(공간 + 시간) 복원 벤치마크에서 최첨단 결과를 달성하면서도 훨씬 빠르고 학습이 용이하다.

Key Contributions

• 통합 트랜스포머 백본: 원시 비디오에서 깊이, 조밀한 시공간 대응 관계, 그리고 전체 카메라 내부·외부 파라미터를 동시에 예측한다.
• 쿼리 기반 디코딩: 매 프레임마다 전체 특징 맵을 디코딩하는 대신, 모델이 임의의 3‑D‑플러스‑시간 쿼리에 응답하여 연산량을 수 배 감소시킨다.
• 작업에 구애받지 않는 인터페이스: 동일한 디코더를 사용해 깊이, 움직임 벡터, 혹은 카메라 파라미터를 별도 헤드 없이 추출할 수 있다.
• 확장 가능한 학습: 피드‑포워드 설계 덕분에 순환이나 반복 정제 단계가 없어, 다수의 비디오 클립을 배치로 구성한 일반 GPU에서도 학습이 가능하다.
• 최첨단 성능: 동적 장면 흐름, 다중 뷰 깊이, 카메라 자세 추정 등 여러 4‑D 복원 작업에서 기존 방법보다 최대 3배 빠른 추론 속도를 보이며 최고 수준의 결과를 달성한다.

Methodology

1. 백본 인코딩 – 비디오는 겹치는 시공간 패치로 분할되고, 선형 임베딩된 뒤 표준 Vision Transformer (ViT)에 입력된다. 위치 인코딩은 공간 좌표와 시간 인덱스를 모두 포착한다.
2. 통합 잠재 공간 – 트랜스포머는 기하학, 움직임, 카메라 정보를 공동으로 인코딩하는 하나의 잠재 토큰 집합을 생성한다. 별도의 분기(branch)가 필요하지 않다.
3. 쿼리 메커니즘 – 특정 시점 t 의 3‑D 점을 얻고자 할 때, 사용자는 (x, y, z, t) 좌표를 포함한 쿼리 벡터를 제공한다. 이 쿼리는 잠재 토큰들과 교차 어텐션을 수행해 압축된 표현을 만든 뒤, 작은 MLP 디코더에 전달된다.
4. 출력 – 디코더는 다음과 같은 요청에 응답할 수 있다:
   • 깊이: 해당 레이를 쿼리함으로써任意 픽셀의 깊이를 반환한다.
   • 대응 관계 / 흐름: 두 타임스탬프 사이의 동일 공간 위치를 쿼리해 흐름을 얻는다.
   • 카메라 파라미터: 전역 정보를 집계하는 특수 “카메라 쿼리”를 사용해 카메라 내부·외부 파라미터를 반환한다.
5. 학습 손실 – 모델은 광학적 재구성 손실, 깊이 감독(가능한 경우), 자세 일관성 손실을 조합해 학습된다. 쿼리가 미분 가능하기 때문에 그래디언트가 트랜스포머 전체를 통해 역전파된다.

Results & Findings

• 정량적 향상: Dynamic Scene Flow (DSF) 벤치마크에서 D4RT는 종단점 오류를 이전 최고 방법 대비 12 % 감소시킨다. KITTI‑360 다중 뷰 깊이 작업에서는 절대 깊이 오차를 0.08 m 개선한다.
• 속도: 10초 길이(30 fps) 비디오에 대한 추론은 NVIDIA RTX 3090에서 약 0.6 s에 수행되며, 가장 근접한 경쟁자보다 2 s 이상 빠르다.
• 메모리 사용량: 쿼리 기반 디코더 덕분에 4K 해상도 비디오에서도 GPU 메모리가 8 GB 이하로 유지되어 단일 GPU 학습이 가능하다.
• 일반화: 실내·실외 혼합 데이터셋으로 학습된 단일 D4RT 모델은 미세 조정 없이도 보지 못한 장면에서 바로 동작해 도메인 변이에 대한 강인성을 보여준다.

Practical Implications

• AR/VR 콘텐츠 제작 – 개발자는 손에 들고 촬영한 동적 장면 비디오 하나만으로 전체 4‑D 메쉬를 즉시 얻어 몰입형 경험을 만들 수 있다. 다중 카메라 장비가 필요 없으며 비용이 크게 절감된다.
• 로봇공학 및 자율 주행 – 단일 온보드 카메라만으로 실시간 깊이·움직임·자세 추정이 가능해 SLAM 파이프라인이 단순화되고 동적 환경에서 장애물 예측이 향상된다.
• 영화 VFX – 쿼리 인터페이스를 통해 아티스트는任意 프레임에서 정확한 3‑D 점을 추출할 수 있어 로토스코핑, 객체 제거, 가상 카메라 삽입 작업을 훨씬 적은 수작업으로 수행한다.
• 클라우드 규모 비디오 분석 – D4RT가 가볍기 때문에 대규모 비디오 아카이브를 배치 처리해 장면 동역학을 추출하고 색인·검색·안전 모니터링 등에 활용할 수 있다.

Limitations & Future Work

• 희소 감독 – 학습 시 여전히 일부 실제 깊이·자세 데이터에 의존한다. 완전한 자기 지도 학습은 아직 해결되지 않은 과제이다.
• 극단적인 모션 블러 – 매우 빠른 움직임은 광학적 손실을 악화시켜 가끔 깊이·흐름 아티팩트를 만든다.
• 장기 시간 일관성 – 쿼리가 독립적으로 처리되므로 수 초에 걸친 부드러운 연속성을 보장하려면 추가적인 시간 정규화가 필요할 수 있다.
• 향후 방향: 저자들은 학습된 옵티컬 플로우 사전 지식을 통합하고, “t=5 s에서 자동차는 어디에 있나요?”와 같은 의미적 속성을 지원하도록 쿼리 언어를 확장하며, 다중 카메라 리그로 확장해 더욱 풍부한 복원을 구현하는 것을 제안한다.

Authors

• Chuhan Zhang
• Guillaume Le Moing
• Skanda Koppula
• Ignacio Rocco
• Liliane Momeni
• Junyu Xie
• Shuyang Sun
• Rahul Sukthankar
• Joëlle K Barral
• Raia Hadsell
• Zoubin Ghahramani
• Andrew Zisserman
• Junlin Zhang
• Mehdi SM Sajjadi

Paper Information

• arXiv ID: 2512.08924v1
• Categories: cs.CV
• Published: December 9, 2025
• PDF: Download PDF