[Paper] IDT: 물리적으로 기반한 Transformer를 이용한 Feed-Forward 멀티뷰 내재적 분해

Source: arXiv - 2512.23667v1

Overview

이 논문은 Intrinsic Decomposition Transformer (IDT) 를 소개한다. IDT는 피드‑포워드 신경망 구조로, 다중 뷰 RGB 이미지 집합을 물리적으로 의미 있는 구성 요소인 확산 반사율, 확산 음영, 그리고 반사 음영으로 한 번의 순방향 패스만으로 분리한다. 뷰 간에 트랜스포머 스타일의 어텐션을 활용함으로써, IDT는 확산 기반 방법에서 요구되는 비용이 많이 드는 반복 샘플링 없이 일관된 내재 맵을 제공한다. 이는 다중 뷰 내재 분해를 실제 파이프라인에 적용하기에 실용적으로 만든다.

주요 기여

• Transformer‑based multi‑view reasoning: 임의 개수의 입력 뷰를 자체 어텐션으로 공동 처리하여 뷰 간 일관성을 강제합니다.
• Physically grounded factorization: 이미지 형성 방정식을 I = R·S_d + S_s 로 명시적으로 모델링하여 Lambertian(확산)과 non‑Lambertian(반사) 전송을 구분합니다.
• Feed‑forward design: 반복적인 생성 단계를 없애고 일반적인 GPU 하드웨어에서 실시간 추론을 가능하게 합니다.
• Improved visual quality: 기존 단일‑뷰 및 다중‑뷰 베이스라인에 비해 더 깨끗한 확산 알베도, 부드러운 쉐이딩, 그리고 보다 분리된 반사 하이라이트를 제공합니다.
• Extensive evaluation: 합성 벤치마크 데이터셋과 실제 캡처 모두에서 우수한 정량적 지표와 정성적 결과를 보여줍니다.

Methodology

1. Input handling: 다양한 카메라 자세에서 촬영된 가변 길이 RGB 이미지 리스트를 공유 CNN 인코더에 입력하여 픽셀당 특징 맵을 추출합니다.
2. Cross‑view attention: 특징 맵을 토큰으로 평탄화한 뒤 표준 트랜스포머 인코더에 전달합니다. 셀프‑어텐션을 통해 각 토큰이 모든 다른 뷰의 정보를 “볼” 수 있게 하여, 네트워크가 뷰에 무관한 재질 단서를 학습하면서도 뷰에 의존적인 조명 단서를 보존하도록 합니다.
3. Physically informed decoder: 트랜스포머 출력은 세 개의 브랜치로 분할되며, 각각 가벼운 CNN 헤드에 의해 다음을 예측하도록 디코딩됩니다:
   • Diffuse reflectance (R) – 표면의 고유 색상.
   • Diffuse shading (S_d) – 람버트 코사인 법칙을 따르는 조명.
   • Specular shading (S_s) – 뷰에 의존적인 하이라이트.
     세 출력은 이미지 형성 모델 I = R·S_d + S_s 를 사용해 결합되어 입력을 재구성하고, 암시적인 자체‑감독 신호를 제공합니다.
4. Losses:
   • Reconstruction loss (재구성 이미지와 원본 이미지 사이의 L1).
   • Reflectance consistency loss across views (같은 표면 점에 대해 동일한 알베도를 장려).
   • Shading smoothness와 specular sparsity 정규화 항을 통해 물리적으로 타당한 동작을 강제합니다.
5. Training: 네트워크는 실제 내재 성분에 대한 정답이 제공되는 합성 데이터셋에서 엔드‑투‑엔드로 학습한 뒤, 자체‑감독 재구성 손실을 이용해 실제 캡처 데이터에 미세 조정됩니다.

Results & Findings

• Cleaner albedo: IDT는 시점 의존 색 번짐을 제거하여 각도에 관계없이 균일한 재질 색상을 제공합니다.
• Coherent shading: 확산 쉐이딩 맵이 시점 간에 부드럽게 유지되어 일관된 조명을 반영합니다.
• Specular separation: 하이라이트가 스페큘러 브랜치로 분리되어 후속 재조명이나 재질 편집이 용이해집니다.
• Speed: 전체 멀티뷰 배치(8 × 512×512 이미지)가 RTX 3090에서 약 120 ms에 처리되어, 뷰당 몇 초가 걸리는 확산 기반 반복 방법보다 훨씬 빠릅니다.

실용적 함의

• 실시간 재조명 및 AR: 개발자는 뷰 일관성을 유지하는 알베도와 쉐이딩을 실시간으로 추출할 수 있어, 전체 장면을 다시 렌더링하지 않고도 혼합 현실 애플리케이션에서 동적인 조명 변화를 가능하게 합니다.
• 재료 디지털화: 깨끗한 확산 맵은 게임 자산이나 제품 시각화를 위한 텍스처 제작을 단순화하고, 스페큘러 맵은 PBR 파이프라인에 바로 활용될 수 있습니다.
• 로봇공학 및 인식: 일관된 내재적 분해는 조명 변화에 강인한 객체 탐지와 표면 특성 추정을 지원하여, 다양한 조명 환경에서 작동하는 자율 에이전트에 도움이 됩니다.
• 콘텐츠 제작 도구: 사진 편집 소프트웨어는 분리된 구성 요소 덕분에 물리적 원리를 고려한 “재료 인식” 조정(예: 색상 변경, 하이라이트 제거)을 제공할 수 있습니다.
• 확장 가능한 파이프라인: IDT가 피드포워드 방식이므로, 메모리를 많이 차지하는 디퓨전 모델의 샘플링 루프 없이 배치 처리나 스트리밍 시스템에 통합할 수 있습니다.

제한 사항 및 향후 작업

• 정확한 자세에 대한 의존성: 현재 구현은 카메라 외부 파라미터가 알려져 있다고 가정합니다; 자세 추정 오류는 일관성을 저하시킬 수 있습니다.
• 합성‑실제 격차: 파인튜닝이 도움이 되지만, 모델은 훈련 중 보지 못한 극단적인 야외 조명(예: 강한 방향성 햇빛)에서 여전히 어려움을 겪습니다.
• 훈련 시 고정된 뷰 수: 추론은 가변 길이를 허용하지만, 네트워크는 특정 범위(4–8개의 뷰)에 최적화되어 있으며, 매우 희소하거나 밀집된 뷰 세트에서는 성능이 떨어질 수 있습니다.
• 향후 방향: 저자들은 학습된 자세 정제 통합, 보다 다양한 실제 촬영을 포함한 훈련 코퍼스 확대, 그리고 대규모 장면 재구성을 위해 수천 개의 뷰를 처리할 수 있는 계층적 트랜스포머 탐색을 제안합니다.

저자

• Kang Du
• Yirui Guan
• Zeyu Wang

논문 정보

• arXiv ID: 2512.23667v1
• 분류: cs.CV
• 발행일: December 29, 2025
• PDF: PDF 다운로드