ZoeDepth: 상대 깊이와 메트릭 깊이를 결합한 제로샷 전이

Source: Dev.to

Overview

ZoeDepth는 단일 이미지에서 깊이를 예측하며, 가까운 물체와 먼 물체 모두를 정확하게 처리합니다. 메트릭 스케일을 유지하는 학습 전략과 상대적인 형태를 포착하는 학습 전략을 결합합니다.

Method

• Dual learning: 모델은 먼저 상대 깊이 목표를 사용해 크고 다양한 데이터셋으로 학습한 뒤, 메트릭 깊이 감독을 통해 실제 세계 스케일을 유지하도록 미세 조정됩니다.
• Dynamic specialist selection: 내부 선택기가 각 입력 이미지에 가장 적합한 “작은 전문가(tiny specialist)”를 선택하여 다양한 장면에서 최적의 성능을 보장합니다.

Generalization and Performance

• 많은 데이터셋으로 학습된 ZoeDepth는 일반화가 잘 되어 보지 못한 실내·실외 환경에서도 좋은 성능을 발휘합니다.
• 추가 학습 없이도 기존 방법들을 능가하는 강력한 제로샷 깊이 추정을 보여줍니다.

Applications

• 깊이 단서를 활용한 사진 편집 효과.
• 인테리어 디자인이나 건축을 위한 공간 측정 도구.
• 신뢰할 수 있는 깊이 인식이 필요한 로봇 및 내비게이션 시스템.

Availability

코드와 사전 학습된 모델은 커뮤니티 사용을 위해 공개되었습니다.

ZoeDepth: Zero-shot Transfer by Combining Relative and Metric Depth