[Paper] Depth Any Panoramas: 파노라믹 깊이 추정을 위한 파운데이션 모델

Source: arXiv - 2512.16913v1

Overview

이 논문은 Depth Any Panoramas (DAP) 라는 기반 모델을 소개합니다. DAP는 실내·실외 다양한 장면에서 360° 파노라마 이미지로부터 정확한 메트릭 깊이를 예측할 수 있습니다. 방대한 다양성의 학습 데이터와 정교한 의사 라벨링(pseudo‑labeling), 기하학을 고려한 네트워크 설계(geometry‑aware network design)를 결합함으로써, DAP는 여러 공개 벤치마크에서 강력한 zero‑shot 성능을 보여주며 파노라마 깊이 추정의 실용성을 크게 향상시킵니다.

주요 기여

• 대규모, 이질적인 학습 코퍼스 – 공개 데이터셋, 고품질 UE5‑생성 합성 파노라마, 텍스트‑투‑이미지 생성 장면, 그리고 수백만 개의 실제 웹 파노라마를 결합.
• 3단계 의사 라벨 큐레이션 파이프라인 – 라벨이 없는 이미지에서 얻은 잡음이 섞인 깊이 힌트를 자동으로 정제하여 합성/실제 및 실내/실외 데이터 간의 도메인 격차를 감소.
• 플러그‑인‑플레이 레인지‑마스크 헤드 – 가까운, 중간, 먼 깊이 범위를 동적으로 분리해 백본이 가장 유의미한 영역에 집중하도록 함.
• 선명도 중심 및 기하학 중심 손실 함수 – 선명한 깊이 경계를 장려하고 등각 사영(equirectangular projection) 전반에 걸친 다중 뷰 기하학적 일관성을 강제.
• 제로샷 일반화 – 어떠한 파인튜닝도 없이 DAP가 Stanford2D3D, Matterport3D, Deep360 및 기타 벤치마크에서 특화된 모델들을 능가하거나 동등한 성능을 보임.

방법론

1. 데이터 구성

   • 합성 데이터: 물리 기반 조명과 다양한 레이아웃을 갖춘 Unreal Engine 5 (UE5)에서 렌더링한 파노라마 RGB‑D 쌍.
   • 텍스트‑투‑이미지 증강: 확산 모델(예: Stable Diffusion)에 프롬프트를 제공해 새로운 파노라마 장면을 생성하고, 이를 강력한 단일 이미지 깊이 네트워크가 추정한 깊이와 짝지음.
   • 웹 규모 실제 파노라마: 공개 소스(예: Flickr, Google Street View)에서 수백만 개의 360° 이미지를 크롤링함.

2. 의사 라벨 정제

   • 단계 1 – 거친 필터링: 명백한 깊이 불일치가 있는 이미지(예: 극심한 흐림, 지평선 누락)를 제외함.
   • 단계 2 – 다중 모델 합의: 여러 기존 깊이 추정기를 실행하고, 예측이 허용 오차 내에서 일치하는 깊이 값만 유지함.
   • 단계 3 – 기하학적 정제: 알려진 등각 사각형 기하학을 이용한 다중 뷰 일관성 검사를 적용해 이상치를 부드럽게 하고 교정하여 신뢰할 수 있는 “의사‑실제” 지도 생성.

3. 모델 아키텍처

   • 백본: 대규모 이미지 컬렉션으로 사전 학습된 비전 트랜스포머 DINOv3‑Large는 강력한 일반 시각 특징을 제공함.
   • Range‑Mask 헤드: 깊이 범위를 구분하는 소프트 마스크를 예측하는 경량 모듈; 마스크는 최종 깊이 회귀 전에 백본 특징을 게이트함.
   • 손실 함수:
     • Sharpness‑centric loss는 흐릿한 깊이 경계를 벌점으로 처리해 객체 경계를 보존함.
     • Geometry‑centric loss는 깊이 값이 구형 투영 제약(예: 대원 호를 따라 일관된 깊이)을 따르도록 강제함.

4. 학습 및 추론

   • 정제된 데이터셋에서 합성 및 실제 배치를 혼합해 엔드‑투‑엔드 학습함.
   • 추론 시, range‑mask 헤드는 장면의 거리 분포에 자동으로 적응하여 추가 파라미터나 후처리가 필요 없음.

결과 및 발견

• 거리 강인성: 범위‑마스크 헤드가 먼 거리 객체에 대한 오류 급증을 크게 감소시켜, 이전 파노라마 깊이 모델에서 흔히 발생하던 실패 모드를 해결합니다.
• 선명한 경계 보존: 정성적 예시에서 벽, 가구, 식생 주변의 깊이 불연속이 깔끔하게 유지되는 것을 확인할 수 있으며, 이는 sharpness‑centric loss 덕분입니다.
• Zero‑shot 능력: 어떠한 파인‑튜닝도 없이 DAP는 완전히 새로운 파노라마에서도 높은 정확도를 유지하여, 다양한 학습 데이터셋으로부터 강력한 일반화를 보여줍니다.

Practical Implications

• VR/AR 콘텐츠 제작 – 개발자는 360° 자산에 대해 메트릭 깊이 맵을 자동으로 생성할 수 있어, 수동 라벨링 없이도 현실적인 가림, 조명 및 물리 상호작용을 가능하게 합니다.
• 로봇공학 및 자율 내비게이션 – 단일 파노라마 카메라를 장착한 모바일 로봇은 실내 창고와 야외 현장 모두에서 SLAM 또는 장애물 회피를 위한 신뢰할 수 있는 깊이 정보를 얻을 수 있습니다.
• 공간 분석 및 매핑 – 부동산, 관광, GIS 플랫폼은 파노라마 투어에 깊이 인식 측정(예: 방 크기, 평면도)을 대규모로 추가하여 풍부하게 만들 수 있습니다.
• 콘텐츠 인식 압축 – 깊이 맵은 가변 비트레이트 인코딩을 안내하여 가까운 객체에 더 많은 비트를 할당하고 먼 배경은 보다 적극적으로 압축할 수 있습니다.

제한 사항 및 향후 연구

• 잔여 도메인 격차: 의사 라벨 파이프라인이 이를 완화하지만, 극단적인 조명 조건(예: 야간 거리 파노라마)에서는 여전히 가끔 깊이 드리프트가 발생합니다.
• 계산 비용: DINOv3‑Large 백본은 엣지 디바이스에 무겁습니다; 증류된 버전이나 경량 트랜스포머를 사용하면 배포 범위를 넓힐 수 있습니다.
• 동적 장면: 현재 모델은 정적인 기하학을 전제로 합니다; 움직이는 객체(사람, 차량)는 일관되지 않은 깊이 추정을 초래할 수 있습니다. 향후 연구에서는 시간적 단서나 움직임 분할을 통합할 수 있습니다.

전반적으로 DAP는 파노라마 이미지에서 보편적이고 고품질의 깊이 인식을 향한 중요한 단계이며, 몰입형 및 공간 인식 애플리케이션을 구축하는 개발자들에게 새로운 가능성을 열어줍니다.

저자

• Xin Lin
• Meixi Song
• Dizhe Zhang
• Wenxuan Lu
• Haodong Li
• Bo Du
• Ming‑Hsuan Yang
• Truong Nguyen
• Lu Qi

논문 정보

• arXiv ID: 2512.16913v1
• Categories: cs.CV
• Published: 2025년 12월 18일
• PDF: PDF 다운로드