[Paper] 공동 기하학적 및 궤적 일관성 학습을 통한 One-Step Real-World Super-Resolution

Source: arXiv - 2602.24240v1

Overview

논문은 GTASR이라는 새로운 훈련 프레임워크를 소개한다. 이 프레임워크는 one‑step, real‑world image super‑resolution(Real‑ISR)를 일관성 모델의 속도로 가능하게 하면서, 보통 이러한 빠른 접근 방식에서 손실되는 구조적 충실도를 유지한다. 확산 경로를 기하학적으로 정렬하고 dual‑reference structural constraints를 적용함으로써 GTASR은 고품질 diffusion‑based SR과 생산 시스템의 low‑latency 요구 사이의 격차를 메운다.

주요 기여

• Trajectory Alignment (TA): 확산 경로의 접선 벡터 필드를 보정하는 전체 경로 투영 기법으로, 전이 학습 중 누적되는 “일관성 드리프트”를 제거합니다.
• Dual‑Reference Structural Rectification (DRSR): 저해상도 입력과 학습된 고주파 레퍼런스를 동시에 활용하여 엄격한 기하학적 일관성을 강제하는 경량 모듈로, “기하학적 디커플링” 문제를 해결합니다.
• One‑step inference: GTASR은 단일 전방 패스로 고품질 초해상도 이미지를 생성하여 기존 확산 샘플러에 비해 추론 지연 시간을 ≈10‑15배 감소시킵니다.
• Parameter‑efficient design: 모델 파라미터 수가 30 M 이하로 유지되어, 종종 300 M를 초과하는 T2I‑distilled 교사 모델보다 훨씬 작아 엣지 디바이스에 적합합니다.
• Comprehensive evaluation: RealSR, DRealSR 등 다양한 Real‑ISR 벤치마크에서 지각 지표(LPIPS, NIQE)와 충실도 지표(PSNR, SSIM) 모두에서 최첨단 결과를 달성했으며, 사용자 연구를 통해 시각적 우수성을 확인했습니다.

Source: …

Methodology

1. Base Consistency Model – 저자들은 잡음이 섞인 저해상도(LR) 이미지에서 깨끗한 고해상도(HR) 출력으로 매핑을 학습하는 표준 일관성 모델을 단일 디노이징 단계로 시작합니다.
2. Trajectory Alignment – 학습 중에 각 중간 확산 상태를 닫힌 형태의 전체 경로 투영을 사용해 실제 확산 매니폴드에 투사합니다. 이는 학습된 접선 벡터의 방향을 교정하여 모델을 반복 적용할 때 일반적으로 발생하는 드리프트를 방지합니다.
3. Dual‑Reference Structural Rectification – 두 개의 레퍼런스가 생성 과정을 안내합니다:
   • LR structural cue: 원본 저해상도 이미지를 업샘플링(예: bicubic)하고 공간 사전으로 주입합니다.
   • High‑frequency guide: 얕은 네트워크가 LR 입력으로부터 에지/텍스처 맵을 추출하고, 이를 디노이징된 출력과 구조 손실(에지‑감지 L1 + 지각 유사도)을 통해 결합합니다.
     결합된 손실은 생성된 HR 이미지가 픽셀 정렬을 유지하면서 또한 원본 장면과 구조적으로 일관되도록 강제합니다.
4. Training Pipeline – 모델은 대규모 Real‑ISR 데이터셋에서 확산 스타일 노이즈 스케줄과 TA/DRSR 정규화를 혼합하여 엔드‑투‑엔드로 학습됩니다. 별도의 교사 모델이 필요 없으며, 학습 비용을 낮게 유지합니다.

결과 및 발견

• GTASR은 다단계 디퓨전 베이스라인의 지각 품질과 일치하거나 이를 능가하면서 ~6‑7배 빠르게 작동합니다.
• 소거 실험 결과, TA를 제거하면 LPIPS가 +0.025 증가하고, DRSR을 제외하면 SSIM이 ‑0.015 감소하여 각 구성 요소의 영향을 확인할 수 있습니다.
• 사용자 연구(참가자 100명)에서 GTASR 출력이 **68 %**의 경우에서 “가장 자연스러움”으로 평가되어, 다음으로 좋은 방법(55 %)을 능가했습니다.

실용적 함의

• 앱에서 실시간 업스케일링 – 모바일 사진 편집기, 비디오 스트리밍 플랫폼, AR/VR 파이프라인은 GPU에 부담을 주는 디퓨전 루프 없이 고품질 업스케일링을 제공하기 위해 GTASR을 통합할 수 있습니다.
• 엣지 배포 – 30 M 이하의 파라미터 규모와 중급 GPU(RTX 3060)에서 20 ms 미만의 단일 단계 지연을 갖춘 GTASR은 NPU 또는 Tensor Core가 탑재된 최신 스마트폰에서 온‑디바이스 추론이 가능합니다.
• 비용 효율적인 클라우드 서비스 – 클라우드 기반 이미지 향상 API는 GPU 시간당 처리 가능한 요청 수를 크게 늘려 운영 비용을 절감하면서도 고품질 시각 결과를 유지할 수 있습니다.
• 다른 작업의 기반 – TA와 DRSR 개념은 일반적이며, 노이즈 제거, 블러 제거, 혹은 비디오 프레임 보간과 같은 다른 단일 단계 생성 문제에도 적용할 수 있습니다.

제한 사항 및 향후 작업

• 학습 데이터 편향 – GTASR은 공개된 Real‑ISR 데이터셋으로 학습되었으며, 특수 분야(예: 의료 영상)에서는 파인‑튜닝 없이 성능이 저하될 수 있습니다.
• 극한 업스케일링 – 현재 연구는 4× 업스케일링에 초점을 맞추고 있으며, 8×를 초과하는 스케일 팩터는 여전히 다단계 정제 또는 더 큰 모델이 필요할 수 있습니다.
• 구조적 레퍼런스 품질 – DRSR은 저해상도 이미지에서 에지 추출에 의존하는데, 압축이 심하거나 노이즈가 많은 입력은 약한 구조적 단서를 제공하여 보정 효과를 제한합니다.
• 향후 방향 – 저자들은 드리프트를 더욱 감소시키는 적응형 노이즈 스케줄을 탐색하고, 특수 데이터셋을 위한 자체 지도 도메인 적응을 도입하며, 시간 일관성을 보장하는 비디오 초해상도 확장에도 프레임워크를 적용할 계획입니다.

저자

• Chengyan Deng
• Zhangquan Chen
• Li Yu
• Kai Zhang
• Xue Zhou
• Wang Zhang

논문 정보

• arXiv ID: 2602.24240v1
• 분류: cs.CV
• 출판일: 2026년 2월 27일
• PDF: PDF 다운로드