[Paper] 단일 이미지에서 Self-Evolving 3D 씬 생성

Source: arXiv - 2512.08905v1

Overview

EvoScene은 단일 2‑D 사진을 완전한 텍스처가 입혀진 3‑D 장면으로 변환하는 오래된 문제를 해결합니다. 기존 3‑D 지오메트리 생성기와 비디오 스타일 2‑D 확산 모델을 교묘히 결합함으로써, 추가 학습 데이터 없이도 형태와 외관을 반복적으로 정제합니다. 그 결과 구조적 충실도와 시점 일관성을 유지하는 3‑D 메시가 바로 사용 가능하게 되며, 이는 대부분의 객체 중심 파이프라인에서 달성하기 어려웠던 목표입니다.

Key Contributions

• 자기 진화 파이프라인: 2‑D와 3‑D 영역을 번갈아 가며 단일 이미지에서 장면을 점진적으로 개선합니다.
• 보완 모델의 하이브리드 활용: 3‑D 생성기가 거친 형태를 제공하고, 비디오 확산 모델이 풍부한 시각적 디테일을 주입하며 보이지 않는 영역을 채웁니다.
• 3단계 반복 프로세스(Spatial Prior Initialization → Visual‑guided Mesh Generation → Spatial‑guided Novel View Generation)로 안정적이고 고품질의 메시에 수렴합니다.
• 학습 불필요: 사전 학습된 모델만으로 바로 사용할 수 있어 비용이 많이 드는 장면‑특정 데이터 수집이 필요 없습니다.
• 다양한 실내·실외 장면에서 강력한 베이스라인을 능가함을 입증했으며, 기하학적 안정성, 텍스처 일관성, 완전성에서 측정 가능한 향상을 보였습니다.

Methodology

1. Spatial Prior Initialization – 입력 사진을 사전 학습된 3‑D 생성 모델(예: NeRF‑스타일 또는 voxel‑기반 네트워크)에 입력해 초기 거친 메쉬와 깊이 맵을 얻습니다. 이를 통해 벽, 바닥, 큰 물체들의 대략적인 레이아웃을 파악합니다.
2. Visual‑guided 3‑D Scene Mesh Generation – 거친 메쉬를 여러 시점에서 렌더링한 뒤 비디오 확산 모델(연속 프레임에 대해 학습된 2‑D 생성 모델)에 전달합니다. 확산 모델은 각 시점의 텍스처를 정제하고 누락된 디테일을 추가하며 가려진 영역에 대한 합리적인 내용을 예측합니다. 정제된 이미지는 다시 메쉬에 재투영되어 정점 색상과 텍스처가 업데이트됩니다.
3. Spatial‑guided Novel View Generation – 강화된 메쉬를 공간적 사전으로 사용해 원본 사진에 없던 새로운 시점을 비디오 확산 모델이 합성합니다. 이 새로운 뷰는 다시 3‑D 생성기에 입력되어 기하학을 추가로 교정합니다(예: 얇은 구조물 보정, 깊이 오류 수정).
4. Iterative Loop – 2와 3 단계를 몇 차례 반복하여 변화량이 임계값 이하가 될 때까지 진행하면, 모든 각도에서 일관된 텍스처를 가진 안정적인 고해상도 메쉬가 완성됩니다.

전체 파이프라인은 모듈형이며, 기존의 3‑D 생성기와 비디오 확산 모델을 자유롭게 교체할 수 있어 향후 모델 업그레이드에 쉽게 적응할 수 있습니다.

Results & Findings

• Geometric Stability: 기준이 되는 단일 이미지 NeRF 및 객체 중심 확산 파이프라인에 비해, EvoScene은 실내 벤치마크에서 평균 깊이 오류를 약 30% 감소시켰습니다.
• Texture Consistency: 360° 회전 전체에서 학습된 텍스처는 색상·패턴 연속성을 유지하며, 경쟁 방법보다 25% 낮은 지각 유사도 점수(즉, 더 높은 유사도)를 기록했습니다.
• Unseen‑Region Completion: 비디오 확산 구성 요소가 가려진 영역(예: 방의 뒤쪽 벽)에 대해 설득력 있는 기하와 텍스처를 성공적으로 hallucinate하여, 실제 3‑D 스캔과 비교했을 때 구조적 유사도 지수(SSIM)가 더 높았습니다.
• Runtime: 전체 재구성(3회 반복 포함)은 RTX 4090 한 대당 약 8‑12분 내에 완료되며, 많은 콘텐츠 제작 파이프라인에 실용적입니다.
• Output: 최종 결과물은 UV‑맵이 적용된 표준 OBJ/GLTF 메쉬이며, 게임 엔진, AR/VR 플랫폼, CAD 도구 등에 바로 임포트할 수 있습니다.

Practical Implications

• Rapid Prototyping for Games & VR: 디자이너가 단일 사진만으로 전체 방이나 야외 레이아웃을 생성해 자산 제작 시간을 크게 단축할 수 있습니다.
• E‑Commerce & Interior Design: 하나의 제품 또는 방 사진을 인터랙티브 3‑D 모델로 변환해 가상 착용이나 레이아웃 계획에 활용할 수 있습니다.
• Robotics & Simulation: 자율 시스템이 단일 카메라 스냅샷만으로 환경 지도를 부트스트랩하여, 광범위한 스캔 없이도 시뮬레이션 정확성을 향상시킵니다.
• Content‑Creation Tools: Blender, Unity, Unreal 등 3‑D 모델링 소프트웨어에 “단일 이미지 임포트” 기능으로 통합돼, 아티스트가 저수준 모델링 대신 고수준 디자인에 집중할 수 있습니다.
• Low‑Cost Digitization: 다중 뷰 캡처 장비가 없는 소규모 스튜디오나 취미 제작자도 고품질 3‑D 자산을 만들 수 있어 3‑D 콘텐츠 생산이 민주화됩니다.

Limitations & Future Work

• Dependence on Pre‑trained Model Quality: 파이프라인은 기반이 되는 3‑D 생성기와 비디오 확산 모델의 편향 및 실패 모드(예: 고반사 또는 투명 표면 처리 어려움)를 그대로 물려받습니다.
• Scale of Scenes: 매우 넓은 실외 환경은 메모리·해상도 측면에서 여전히 도전 과제로, 현재 구현은 몇 미터 깊이 이내의 장면에 최적화되어 있습니다.
• Iterative Convergence: 대부분의 경우 세 번의 반복이면 충분하지만, 복잡한 토폴로지는 더 많은 루프가 필요해 계산 시간이 증가할 수 있습니다.
• Future Directions: 저자들은 깊이 인식 확산 모델 통합, 계층적 장면 분해(방 수준 → 객체 수준) 탐색, 동적 장면이나 다중 모달 입력(예: 깊이 센서) 처리 확장을 제안합니다.

Authors

• Kaizhi Zheng
• Yue Fan
• Jing Gu
• Zishuo Xu
• Xuehai He
• Xin Eric Wang

Paper Information

• arXiv ID: 2512.08905v1
• Categories: cs.CV
• Published: December 9, 2025
• PDF: PDF 다운로드