[Paper] StereoPilot: 생성적 사전 지식을 통한 통합적이고 효율적인 스테레오 변환 학습

Source: arXiv - 2512.16915v1

Overview

StereoPilot은 3‑D 콘텐츠 제작에서 점점 커지는 병목 현상을 해결합니다: 일반 2‑D 영상을 고품질 스테레오 영상으로 변환하는 문제를 다룹니다. 통합된 대규모 데이터셋(Unistereo)과 번거로운 “depth‑warp‑inpaint” 파이프라인을 우회하는 피드‑포워드 신경망 모델을 도입함으로써, 저자들은 VR, AR 및 3‑D 영화 파이프라인에 대해 더 빠르고 신뢰할 수 있는 솔루션을 제공합니다.

주요 기여

• UniStereo 데이터셋 – 병렬 뷰와 수렴 뷰 구성을 모두 포함하는 대규모 포맷에 구애받지 않는 쌍둥이 모노‑스테레오 비디오 클립 컬렉션으로, 다양한 방법 간의 공정한 벤치마킹을 가능하게 함.
• StereoPilot 모델 – 명시적인 깊이 추정이나 반복적인 디퓨전 없이 목표 눈 시점을 직접 예측하는 단일 패스 생성 네트워크로, 지연 시간을 크게 감소시킴.
• 학습 가능한 도메인 스위처 – 추론 중에 동일한 백본을 서로 다른 스테레오 포맷(병렬 vs. 수렴)에 자동으로 적용하는 경량 모듈.
• 사이클 일관성 학습 – 생성된 좌/우 시점과 원본 모노 프레임 간의 일관성을 강제하는 새로운 손실 함수로, 시간적 안정성을 향상하고 아티팩트를 감소시킴.
• 최첨단 성능 – 실험 결과 StereoPilot이 기존 깊이 기반 및 디퓨전 기반 접근법보다 시각적 품질에서 우수하며, 최대 10배 빠른 속도를 보임.

방법론

1. Dataset Construction (UniStereo)

   • 기존 3‑D 영화, VR 캡처, 합성 소스에서 수천 개의 고해상도 비디오 클립을 수집했습니다.
   • 각 클립에 대해 평행‑뷰(두 카메라가 나란히)와 수렴‑뷰(카메라가 안쪽을 향함) 스테레오 쌍을 생성하여 포맷 전반에 걸친 통합 벤치마크를 제공했습니다.

2. Model Architecture

   • Backbone: 단일 단안 프레임을 입력으로 받아 장면 기하와 텍스처의 잠재 표현을 학습하는 transformer‑style 인코더‑디코더.
   • Domain Switcher: one‑hot 스테레오‑포맷 플래그에 따라 디코더 가중치를 조절하는 작은 학습 가능한 게이팅 네트워크로, 동일한 백본이 평행 또는 수렴 출력 중 하나를 생성할 수 있게 함.
   • Output Head: 단일 순전파에서 오른쪽 눈 이미지(또는 플래그에 따라 왼쪽)를 직접 예측; 깊이 맵은 생성하거나 사용하지 않음.

3. Training Objectives

   • Reconstruction loss (L1 + perceptual): 생성된 스테레오 뷰에 대한 복원 손실.
   • Cycle‑consistency loss: 생성된 뷰를 미분 가능한 워핑 연산자를 사용해 원본 단안 프레임으로 다시 투영하여 기하학적 타당성을 촉진.
   • Adversarial loss (optional): 세부 디테일을 선명하게 하기 위한 적대적 손실.

4. Inference

   • 단안 프레임과 원하는 스테레오 포맷 플래그를 입력하면 모델이 즉시 보조 뷰를 출력하여 원본 프레임과 실시간 스티칭이 가능하도록 함.

Results & Findings

• 시각적 충실도: StereoPilot은 머리카락, 나뭇잎 등 섬세한 텍스처를 보존하고, DWI 파이프라인에서 흔히 발생하는 깊이 경계 주변의 유령 현상을 감소시킵니다.
• 속도: 피드포워드 설계 덕분에 반복적인 디퓨전 단계가 없어 실시간 애플리케이션에 적합합니다 (단일 RTX 4090 기준 ≈22 fps).
• 포맷 견고성: 동일 모델이 병렬 스테레오와 수렴 스테레오 모두에서 비슷한 점수를 기록하여 도메인 스위처의 효과를 확인합니다.

Practical Implications

• VR/AR content pipelines: 스튜디오는 이제 실시간으로 입체 프리뷰를 생성할 수 있어, 수동 듀얼 카메라 촬영에 소요되는 시간과 비용을 절감합니다.
• Live broadcasting: 실시간 모노‑투‑스테레오 변환을 통해 전용 3D 장비 없이도 스포츠나 콘서트의 3D 라이브 스트림이 가능해집니다.
• Game engines & simulation: 개발자는 StereoPilot을 후처리 효과로 통합하여 기존 2D 에셋에 선택적 3D 모드를 제공할 수 있어 헤드셋 사용자의 접근성을 확대합니다.
• Edge deployment: 가벼운 추론(프레임당 약 45 ms)은 고성능 모바일 GPU에 적합하여 스마트폰 및 AR 안경에서 온‑디바이스 3D 비디오 제작 가능성을 열어줍니다.

제한 사항 및 향후 작업

• 깊이 모호성: 모델이 명시적인 깊이 맵을 피하긴 하지만, 극단적인 시차나 투명 표면처럼 기하학적으로 본질적으로 모호한 경우에는 여전히 어려움을 겪을 수 있습니다.
• 학습 데이터 편향: UniStereo는 규모가 크지만 전문적으로 촬영된 영상이 대부분을 차지합니다; 저조도 혹은 고압축 사용자 생성 영상에서는 성능이 저하될 수 있습니다.
• 시간적 일관성: 사이클 손실이 깜박임을 감소시키지만, (예: 수분에 걸친) 장거리 시간적 일관성은 여전히 해결 과제로 남아 있습니다.
• 향후 방향: 저자들이 제시한 바에 따르면, 자체 지도 깊이 단서를 도입해 기하학을 더욱 개선하고, 보다 다양한 촬영 조건을 포함하도록 데이터셋을 확장하며, 부드러운 비디오 출력을 위해 다프레임 순환 아키텍처를 탐구하는 것이 포함됩니다.

저자

• Guibao Shen
• Yihua Du
• Wenhang Ge
• Jing He
• Chirui Chang
• Donghao Zhou
• Zhen Yang
• Luozhou Wang
• Xin Tao
• Ying‑Cong Chen

논문 정보

• arXiv ID: 2512.16915v1
• Categories: cs.CV
• Published: 2025년 12월 18일
• PDF: PDF 다운로드