[Paper] 일반화 가능한 Sparse-View 3D 재구성 (제한 없는 이미지)

Source: arXiv - 2604.28193v1

Overview

새로운 피드‑포워드 시스템인 GenWildSplat은 몇 장의 포즈가 지정되지 않은 “와일드” 사진만으로 3‑D 모델을 구축하는 오랜 문제를 해결합니다—예를 들어 조명이 다르고 사람이나 차가 움직이는 휴가 스냅샷을 생각해 보세요. 기존 파이프라인이 씬별 미세 조정을 필요로 하는 반면, GenWildSplat은 모든 야외 씬에서 바로 사용할 수 있는 범용 기하학적 사전 지식을 학습하여 실시간으로 고품질 재구성을 제공합니다.

핵심 기여

• 범용 희소‑뷰 재구성 – 테스트 시 최적화 없이 깊이, 카메라 자세, 그리고 압축된 3‑D 가우시안 표현을 예측하는 단일 네트워크.
• 합성 데이터와 실제 데이터에서 학습된 기하학적 사전 – 렌더링된 장면과 인터넷 사진을 혼합한 커리큘럼 학습을 통해 다양한 조명 및 차폐 패턴을 처리할 수 있음.
• 외관 어댑터 – 예측된 3‑D 가우시안을 목표 조명 조건에 맞게 재스타일링하는 경량 모듈로, 태양 위치나 날씨가 변할 때 시각적 충실도를 향상시킴.
• 일시적 객체 처리 – 통합된 의미론적 분할 마스크가 움직이는 객체(사람, 차량, 식생)를 자동으로 무시하여 기하학을 손상시키는 것을 방지함.
• 최첨단 피드‑포워드 품질 – PhotoTourism 및 MegaScenes 벤치마크에서 GenWildSplat은 기존 비최적화 방법을 능가하고 최적화 중심 파이프라인에 필적하는 성능을 보이며, 단일 GPU에서 실시간 속도로 실행됨.

방법론

1. 입력 전처리 – 시스템은 카메라 파라미터가 알려지지 않은 상태에서 무작위 순서의 RGB 이미지(3~5장 정도)를 입력으로 받는다.
2. 깊이 및 자세 예측 – 공유 인코더가 다중 스케일 특징을 추출하고, 이를 두 개의 헤드에 전달한다: 하나는 이미지별 깊이 맵을 예측하고, 다른 하나는 해당 카메라 외부 파라미터와 내부 파라미터를 회귀한다.
3. 정준 3‑D 가우시안 스플래팅 – 예측된 깊이와 자세를 이용해 네트워크는 각 픽셀을 포인트 클라우드로 올리고, 정준 좌표계에 이방성 3‑D 가우시안을 집합으로 피팅한다. 이 표현은 메모리 효율적이며 미분 가능해 후속 렌더링에 적합하다.
4. 외관 적응 – 보조 “어댑터” 네트워크가 전역 조명 기술자(예: 추정된 태양 방향)를 받아 가우시안 색상과 불투명도를 조절한다. 이를 통해 동일한 기하학을 다양한 조명 조건에서 렌더링할 수 있다.
5. 일시적 객체 마스킹 – 사전 학습된 의미 분할 모델이 동적 클래스에 대한 이진 마스크를 제공한다; 이 픽셀들은 가우시안 피팅 단계에서 제외되어 유령 기하학이 생성되는 것을 방지한다.
6. 커리큘럼 학습 – 학습은 깊이와 자세가 완벽한 깨끗한 합성 장면에서 시작하고, 점차 메타데이터가 노이즈가 있는 실제 PhotoTourism 이미지와 움직이는 객체를 포함하도록 확장한다. 이러한 단계적 노출은 네트워크가 인터넷 사진의 잡다함에 강인하도록 만든다.

결과 및 발견

• Quantitative gains: PhotoTourism에서 GenWildSplat는 이전 최고의 피드‑포워드 방식에 비해 PSNR이 12 % 높고 LPIPS가 15 % 낮으며, 전체 포즈 감독이 필요한 다중‑뷰 스테레오 파이프라인과 동일한 정확도를 달성합니다.
• Speed: 전체 재구성(깊이, 포즈, 가우시안 생성, 그리고 렌더링)은 5‑이미지 세트에 대해 RTX 3090에서 약 0.8 초가 소요되며, 장면당 몇 분이 걸리는 최적화‑기반 베이스라인에 비해 >10× 속도 향상을 보입니다.
• Robustness to occlusions: 소거 연구에 따르면 의미 마스킹 모듈이 보행자 트래픽이 많은 장면에서 기하학적 오류를 18 % 감소시킵니다.
• Generalization: 미세 튜닝 없이도 모델은 훈련 세트에 없던 새로운 야외 위치(예: 산길, 도시 광장)를 성공적으로 재구성하여 학습된 기하학적 사전 지식의 효과를 확인합니다.

Source:

실용적 함의

• 빠른 콘텐츠 제작 – 게임 스튜디오와 AR/VR 개발자는 사용자가 업로드한 몇 장의 사진만으로 저비용 3‑D 자산을 생성할 수 있어, 자산 파이프라인을 크게 단축할 수 있습니다.
• 디바이스 내 매핑 – 모바일 로봇이나 자율 드론 애플리케이션은 고밀도 LiDAR 스캔이나 비용이 많이 드는 SLAM 백엔드 없이도 실시간으로 대략적인 3‑D 지도를 얻을 수 있습니다.
• 동적 씬 편집 – 외관 어댑터가 조명을 기하학과 분리하기 때문에, 개발자는 재구성된 씬을 재조명하여 시각 효과나 가상 스테이징에 활용할 수 있습니다.
• 확장 가능한 포토그래메트리 서비스 – 클라우드 플랫폼은 수천 건의 사용자 제출물을 동시에 처리하여 전자상거래(예: 제품 시각화)나 관광 포털을 위한 즉시 3‑D 미리보기를 제공할 수 있습니다.

제한 사항 및 향후 작업

• Sparse‑view ceiling – 이 방법은 최소 세 장의 이미지로도 작동하지만, 시점 커버리지가 매우 제한될 경우(예: 모든 사진이 같은 각도에서 촬영된 경우) 재구성 품질이 눈에 띄게 저하됩니다.
• Indoor environments – 현재 학습 커리큘럼은 실외 조명에 초점을 맞추고 있어, 복잡한 간접 조명을 가진 실내 장면으로 확장하는 것은 아직 해결되지 않은 과제입니다.
• Fine‑detail fidelity – 가우시안 표현은 전체 형태를 잘 포착하지만, 텍스처 매핑이나 메쉬 기반 방법이 보존하는 고주파 표면 디테일을 놓칠 수 있습니다.
• Future directions – 저자들은 더 높은 디테일을 위해 학습된 신경 암시적 표면을 통합하고, 커리큘럼을 실내 합성 데이터 포함으로 확장하며, 자체 지도 자세 정제를 탐구하여 희소성 한계를 더욱 넓히는 것을 제안합니다.

저자

• Vinayak Gupta
• Chih-Hao Lin
• Shenlong Wang
• Anand Bhattad
• Jia-Bin Huang

논문 정보

• arXiv ID: 2604.28193v1
• 분류: cs.CV
• 발표일: 2026년 4월 30일
• PDF: Download PDF