[논문] Zero-Shot Depth from Defocus

Source: arXiv - 2603.26658v1

개요

이 논문은 Depth‑from‑Defocus (DfD) 를 다룬다 – 서로 다른 초점 거리에서 촬영된 이미지 스택으로부터 조밀하고 계량적인 깊이 맵을 추출한다. 단일 데이터셋에 모델을 맞추는 대신, 저자들은 zero‑shot generalization 을 목표로 한다, 즉 새로운 장면과 카메라에서도 바로 사용할 수 있는 시스템이다. 개념을 입증하기 위해 그들은 대규모 고품질 실제 환경 벤치마크(ZEDD)와 기존 RGB‑D 코퍼스에서 생성된 합성 초점 스택으로 학습할 수 있는 새로운 Transformer 기반 네트워크(FOSSA)를 소개한다.

주요 기여

• ZEDD benchmark – 기존 DfD 데이터셋보다 8.3배 많은 장면을 제공하며, 고해상도 이미지와 보정된 LiDAR 장비로부터 얻은 정확한 실제 깊이 정보를 포함합니다.
• FOSSA architecture – 전체 포커스 스택을 동시에 처리하는 Transformer로, stack‑attention layer와 focus‑distance embedding을 도입해 모델이 초점에 따라 흐림이 어떻게 변하는지를 추론할 수 있게 합니다.
• Synthetic focus‑stack pipeline – 대규모 RGB‑D 데이터셋(예: ScanNet, NYU)을 활용해 현실적인 디포커스 이미지를 렌더링함으로써, 수동 캡처 없이도 학습 데이터를 크게 확장합니다.
• Zero‑shot performance boost – ZEDD와 여러 공개 DfD 벤치마크에서 FOSSA는 가장 강력한 베이스라인 대비 깊이 오차를 최대 **55.7 %**까지 감소시킵니다.
• Open‑source release – 벤치마크, 코드, 사전 학습 체크포인트를 모두 공개하여 재현성과 후속 연구를 장려합니다.

Source: …

방법론

1. 데이터 생성

   • RGB‑D 쌍에서 시작하여 파이프라인은 얇은 렌즈 카메라 모델을 시뮬레이션해 포커스 스택을 합성합니다: 조리개는 일정하게 유지하면서 서로 다른 초점 평면으로 렌더링된 이미지 집합.
   • 실제 환경의 변동성을 모방하기 위해 카메라 내부 파라미터, 초점 거리, 그리고 노이즈를 무작위로 추가합니다.

2. 네트워크 설계 (FOSSA)

   • 입력: 새로운 차원으로 연결된 (N)개의 RGB 이미지 스택(보통 5–7장).
   • 스택‑어텐션 레이어: 멀티‑헤드 셀프‑어텐션 모듈로, 각 픽셀이 모든 초점 레벨에 걸친 대응 픽셀에 주의를 기울여 흐림 정도와 깊이 간의 상관관계를 학습합니다.
   • 초점‑거리 임베딩: 각 스택 슬라이스에 추가되는 학습 가능한 벡터로, 어텐션 메커니즘에 절대 초점 설정 정보를 제공합니다(언어 모델의 포지셔널 인코딩과 유사).
   • 트랜스포머 인코더: 여러 개의 인코더 블록이 어텐션된 특징을 처리하여 외관과 디포커스 단서를 모두 포착하는 픽셀당 잠재 표현을 생성합니다.
   • 깊이 디코더: 경량 컨볼루션 디코더가 잠재 맵을 원본 해상도로 업샘플링하여 조밀한 메트릭 깊이 맵을 출력합니다.

3. 학습

   • 깊이에 대한 L1 손실과 가장자리 선명도를 유지하기 위한 그래디언트 매칭 항을 함께 사용합니다.
   • 합성 스택(대부분)과 소량의 실제 ZEDD 스택을 혼합 배치 학습하여 도메인 정렬을 수행합니다.

결과 및 발견

• 일반화: 보지 않은 데이터셋(예: 핸드헬드 폰 캡처 세트)에서 평가했을 때, FOSSA는 미세 조정 없이도 50 % 이상의 오류 감소를 유지했습니다.
• 소거 실험: 초점 거리 임베딩을 제거하면 오류가 약 12 % 증가했으며, 이는 해당 임베딩이 중요함을 확인시켜 줍니다. 스택‑어텐션 레이어가 전체 성능 향상의 대부분(~30 % 감소)을 차지했습니다.
• 런타임: RTX 3080 한 대에서 7‑이미지 스택(640×480) 추론이 약 25 fps로 실행되어 실시간에 가까운 애플리케이션에 적합합니다.

실용적 함의

• 모바일 사진: 스마트폰은 이미 인물 모드용 초점 브라케팅을 촬영하고 있다; FOSSA는 이러한 스택을 추가 하드웨어 없이 AR, 배경 교체, 혹은 계산적 재초점에 사용할 수 있는 정확한 깊이 맵으로 변환할 수 있다.
• 로봇 및 드론: 경량 카메라는 호버링 중에 몇 장의 빠른 초점 사진을 촬영할 수 있어, 전용 LiDAR 센서 없이도 메트릭 깊이를 제공하며 무게와 전력을 절감한다.
• 3D 콘텐츠 제작: 영화 제작자와 게임 개발자는 간단한 초점 스윕만으로 밀도 높은 깊이를 생성하여 씬 재구성 파이프라인을 간소화할 수 있다.
• 크로스‑디바이스 일관성: 모델이 제로샷으로 일반화되기 때문에, 하나의 사전 학습된 체크포인트를 다양한 카메라(휴대폰, DSLR, 산업용 렌즈)에서 최소한의 보정 작업으로 배포할 수 있다.

제한 사항 및 향후 작업

• Synthetic‑Real Gap: 합성 파이프라인은 현실적이지만, 강한 역광과 같은 극단적인 조명 조건은 여전히 도메인 변화를 일으켜 성능에 약간의 영향을 줍니다.
• Focus Stack Size: 현재 설계는 5–7장의 이미지를 전제로 합니다; 매우 짧은 스택(2–3장)은 정확도를 저하시켜 적응형 메커니즘이 필요함을 시사합니다.
• Dynamic Scenes: 스택 촬영 사이의 움직임은 훈련에서 모델링되지 않은 블러 아티팩트를 발생시킵니다; 움직이는 피사체를 처리하도록 방법을 확장하는 것이 열린 과제입니다.
• Future Directions: 저자들은 데이터 파이프라인에 학습된 노출 인식 렌더링을 통합하고, 디바이스에서의 자체 지도 학습 미세 조정을 탐색하며, 아키텍처를 확장해 깊이와 올‑인‑포커스 RGB 이미지를 동시에 예측하는 방안을 제안합니다.

저자

• Yiming Zuo
• Hongyu Wen
• Venkat Subramanian
• Patrick Chen
• Karhan Kayan
• Mario Bijelic
• Felix Heide
• Jia Deng

논문 정보

• arXiv ID: 2603.26658v1
• Categories: cs.CV
• Published: 2026년 3월 27일
• PDF: PDF 다운로드