[Paper] CAMEO: Correspondence-Attention 정렬을 위한 다중 뷰 확산 모델

Source: arXiv - 2512.03045v1

Overview

멀티‑뷰 디퓨전 모델은 단일 레퍼런스 이미지로부터 장면의 새로운 뷰를 생성하는 데 표준 도구가 되었지만, 생성된 뷰가 기하학적으로 일관성을 유지하도록 하는 내부 메커니즘은 아직 미스터리였습니다. 새로운 CAMEO 프레임워크는 어텐션 맵이 어떻게 암묵적으로 교차‑뷰 대응 관계를 학습하는지를 밝혀내고, 아주 적은 양의 감독이 훈련 속도를 크게 높이고 합성 품질을 향상시킬 수 있음을 보여줍니다.

Key Contributions

• Empirical discovery: 기존 멀티‑뷰 디퓨전 모델의 어텐션 맵은 이미 레퍼런스와 타깃 뷰 사이의 기하학적 대응 관계를 인코딩하고 있지만, 큰 시점 변화에서는 신호가 약해집니다.
• CAMEO training scheme: 어텐션 맵을 실제 기하학적 대응 지도(예: 깊이 또는 흐름 맵)와 직접 정렬시키는 가벼운 감독 신호를 도입합니다.
• Single‑layer supervision: 단 하나의 어텐션 레이어만 감독하면 전체 네트워크가 정확한 교차‑뷰 정렬을 학습하도록 충분함을 입증합니다.
• Training efficiency: 필요한 훈련 반복 횟수를 약 50 % 줄이면서 동일한 반복 예산에서 더 높은 품질의 새로운 뷰 합성을 제공합니다.
• Model‑agnostic design: CAMEO는 기존 멀티‑뷰 디퓨전 아키텍처에 구조적 변형 없이 바로 적용할 수 있습니다.

Methodology

1. Diagnosing attention correspondence

   • 저자들은 먼저 베이직 멀티‑뷰 디퓨전 모델의 어텐션 맵을 훈련 중 시각화했습니다.
   • 알려진 3D 대응 관계(깊이 또는 광류에서 유도)를 겹쳐 보면서, 많은 헤드가 뷰 간 올바른 공간 위치에 주목하지만, 카메라 회전이 극단적일 때 정렬이 잡음처럼 변한다는 것을 확인했습니다.

2. Supervising attention with geometry

   • 모델의 어텐션 분포와 “그라운드‑트루스” 대응 지도(사전 계산된 깊이/흐름 파이프라인에서 얻음) 사이의 거리를 벌점화하는 correspondence loss를 설계했습니다.
   • 이 손실은 단일 어텐션 레이어(보통 중간 레이어의 셀프‑어텐션 블록)에만 적용하고, 나머지 디퓨전 모델은 기존의 노이즈 예측 목표로 계속 학습합니다.

3. Training loop

   • 각 훈련 단계에서 모델은 레퍼런스 이미지와 목표 시점을 입력받습니다.
   • 디퓨전 손실(노이즈 예측)과 대응 손실을 작은 가중치 팩터와 함께 합산합니다.
   • 감독이 희소(한 레이어, 한 손실 항)하기 때문에 추가 연산 오버헤드는 무시할 수준입니다.

4. Integration

   • CAMEO는 드롭‑인 모듈로 구현됩니다: 선택한 어텐션 블록을 “CAMEO‑enabled” 버전으로 교체하면 일반 어텐션 가중치와 손실 항을 동시에 출력합니다.
   • 디퓨전 스케줄러, 아키텍처, 추론 파이프라인에 별도 변경이 필요하지 않습니다.

Results & Findings

*Convergence defined as reaching a plateau in validation LPIPS.

• Quality boost: RealEstate10K, LLFF 등 여러 공개 멀티‑뷰 데이터셋에서 CAMEO는 일관되게 텍스처 충실도를 높이고 미세한 기하학적 디테일을 보존합니다.
• Faster convergence: 대응 손실이 강력한 정규화 역할을 하여 모델이 초기 단계부터 올바른 기하학을 학습하도록 유도, 확산 단계 수를 절반으로 줄입니다.
• Robustness to large view changes: 목표 뷰가 레퍼런스와 90° 차이 나는 경우에도 CAMEO‑훈련 모델은 구조적 일관성을 유지하지만, 베이스라인은 종종 왜곡되거나 중복된 객체를 생성합니다.

Practical Implications

• Faster prototyping: AR/VR 콘텐츠 생성 팀은 고품질 멀티‑뷰 디퓨전 모델을 몇 주 안에 훈련시킬 수 있어 클라우드 컴퓨팅 비용을 크게 절감합니다.
• Plug‑and‑play upgrades: 기존 파이프라인(예: DreamFusion‑style 3‑D 생성, 뷰‑일관 이미지‑투‑비디오 도구)에 CAMEO 감독을 단일 어텐션 블록에 추가하기만 하면 전체 네트워크를 재설계할 필요가 없습니다.
• Better downstream tasks: 생성된 뷰의 기하학이 정확할수록 3‑D 재구성, 씬 편집, 신경 렌더링 등 뷰 간 일관성이 중요한 다운스트림 응용 분야에 유리합니다.
• Developer‑friendly tooling: 손실이 사전 계산된 대응 지도(깊이/흐름)만 필요하므로, 개발자는 오프‑더‑쉘프 깊이 추정기나 CAD 모델에서 만든 합성 깊이를 재활용해 손쉽게 통합할 수 있습니다.

Limitations & Future Work

• Dependence on correspondence quality: CAMEO의 감독은 그라운드‑트루스 흐름이나 깊이 맵의 품질에 의존하므로, 노이즈가 많은 추정치는 오류를 전파할 수 있습니다.
• Single‑layer focus: 하나의 레이어만 감독해도 좋은 성능을 보이지만, 매우 복잡한 씬(예: 강한 폐색)에서는 다중 레이어 혹은 계층적 감독이 도움이 될 수 있습니다.
• Scalability to very high resolutions: 현재 실험은 512 × 512까지 제한되어 있으며, 4K 수준 텍스처로 확장하려면 메모리 효율적인 어텐션 메커니즘이 추가로 필요할 수 있습니다.
• Future directions: 논문에서는 외부 깊이 추정기 대신 학습된 대응 생성기 사용, 훈련 중 대응 손실의 가중치 적응, 비디오 디퓨전 모델 등 다른 생성 패러다임에 CAMEO 적용을 탐구할 것을 제안합니다.

Authors

• Minkyung Kwon
• Jinhyeok Choi
• Jiho Park
• Seonghu Jeon
• Jinhyuk Jang
• Junyoung Seo
• Minseop Kwak
• Jin‑Hwa Kim
• Seungryong Kim

Paper Information

• arXiv ID: 2512.03045v1
• Categories: cs.CV
• Published: December 2, 2025
• PDF: Download PDF