[Paper] PixelGen: Pixel Diffusion이 Perceptual Loss를 적용한 Latent Diffusion을 능가한다

Source: arXiv - 2602.02493v1

Overview

PixelGen은 픽셀 공간에서 직접 확산 모델을 학습할 수 있으며, 현재 최첨단 잠재 확산 파이프라인보다도 성능을 능가할 수 있음을 보여줍니다. 로컬 텍스처(LPIPS)와 전역 의미(DINO)에 초점을 맞춘 두 가지 지각 손실 항을 추가함으로써, 저자들은 모델을 원시 고차원 픽셀 분포보다 학습하기 쉬운 “지각 매니폴드”로 안내합니다. 그 결과, 단순하고 엔드‑투‑엔드 생성기가 5.11의 FID를 ImageNet‑256에서 달성하며, 분류기‑프리 가이던스 없이도 단 80 에폭만에 학습됩니다.

주요 기여

• 순수 픽셀‑공간 확산: 잠재 확산에서 사용되는 VAE 인코더/디코더 병목 현상을 제거하여 주요 아티팩트 원인을 없앱니다.
• 이중 지각 감독:
  • LPIPS 손실은 현실적인 로컬 패턴(텍스처, 에지)을 장려합니다.
  • DINO 기반 손실은 일관된 전역 의미(객체 레이아웃, 장면 일관성)를 강제합니다.
• 최첨단 성능: ImageNet‑256에서 강력한 잠재 확산 베이스라인을 능가(FID 5.11)하고, 대규모 텍스트‑투‑이미지 작업에서도 잘 확장됩니다(GenEval 0.79).
• 학습 효율성: 단 80 epoch만으로 최고 결과를 달성하며, 일반적인 잠재 확산 학습 스케줄보다 훨씬 적은 횟수입니다.
• 오픈‑소스 구현: 코드를 공개하여 재현성과 빠른 도입을 촉진합니다.

방법론

PixelGen은 고전적인 디노이징 확산 확률 모델(DDPM) 파이프라인을 따르지만 256×256 RGB 이미지에 직접 작동합니다. 핵심 아이디어는 순수한 픽셀‑단위 재구성 손실을 사전 학습된 네트워크의 중간 특징 맵에서 계산되는 두 가지 지각 손실로 대체하는 것입니다:

1. LPIPS (Learned Perceptual Image Patch Similarity) – 고정된 비전 트랜스포머 또는 CNN의 깊은 특징을 비교하여 지역 텍스처와 세밀한 디테일 차이를 벌점으로 부과합니다.
2. DINO loss – 자체 지도 학습 DINO 모델의 특징을 사용해 고수준 의미 유사성(예: 객체 카테고리, 장면 레이아웃)을 포착합니다.

학습 중에 확산 모델은 각 타임스텝에서 노이즈가 추가된 이미지에 대한 노이즈를 예측합니다. 예측된 깨끗한 이미지는 두 지각 네트워크에 모두 입력되고, 그 결과 얻어진 LPIPS와 DINO 거리값이 표준 확산 목표에 추가됩니다. 지각 네트워크는 고정되어 있기 때문에, 학습된 고수준 사전(prior) 역할을 하여 확산 과정이 픽셀 매니폴드의 지각적으로 의미 있는 영역으로 향하도록 유도하면서도 모델이 전체 분포를 엔드‑투‑엔드로 학습할 수 있게 합니다.

Results & Findings

• Quality: 시각 샘플에서 더 선명한 가장자리와 VAE‑유도 흐림이 적으며, 전반적인 구성이 보다 일관됩니다.
• Efficiency: 빠른 수렴(80 ×  vs. 수백 에포크)과 추가 인코더/디코더 패스가 필요 없습니다.
• Scalability: 더 큰 텍스트 조건 모델로 확장했을 때도 지각 손실이 명확한 이점을 제공하여, 이 접근법이 소규모 벤치마크에만 국한되지 않음을 보여줍니다.

Practical Implications

• Simpler pipelines: 개발자는 VAE 단계를 완전히 생략할 수 있어 코드 복잡성, 메모리 사용량, 추론 지연 시간이 감소합니다.
• Faster prototyping: 경쟁력 있는 품질을 달성하는 데 몇 번의 학습 epoch만 필요하므로 팀이 모델 아키텍처나 조건부 전략을 더 빠르게 반복할 수 있습니다.
• Better integration with downstream tasks: 모델이 픽셀 공간에서 작동하므로 다른 픽셀‑레벨 모듈(예: 초해상도, 인페인팅)과 직접 결합할 수 있어 잠재‑공간 변환이 필요 없습니다.
• Potential for edge devices: 인코더/디코더를 제거하면 전방 패스 횟수가 절반으로 줄어, 제한된 VRAM을 가진 GPU나 특수 가속기에서도 확산‑기반 생성이 더 실용적일 수 있습니다.
• Open‑source foundation: 공개된 코드베이스는 즉시 사용할 수 있는 템플릿을 제공하여, 퍼셉추얼 슈퍼비전(지각 감독)을 기본으로 하는 맞춤형 텍스트‑투‑이미지 또는 조건부 생성 시스템을 구축하는 데 도움이 됩니다.

제한 사항 및 향후 연구

• 지각 손실 의존성: 이 접근 방식은 사전 학습된 LPIPS 및 DINO 모델에 의존합니다; 해당 네트워크의 편향이나 제한 사항이 생성기에 그대로 전달됩니다.
• 메모리 사용량: 고해상도 픽셀을 직접 다루는 경우 여전히 상당한 GPU 메모리가 필요하며, 특히 이미지가 크거나 배치 크기가 클 때 더욱 그렇습니다.
• 다른 모달리티에 대한 일반화: 본 논문은 자연 이미지에 초점을 맞추고 있어, 비디오, 3‑D, 의료 영상 등으로 지각 손실 프레임워크를 확장하는 것은 아직 해결되지 않은 과제입니다.
• 소거 실험 깊이: 이중 손실이 큰 성능 향상을 보여주지만, 어느 손실이 더 주도적인지 혹은 다른 지각 메트릭(예: CLIP)이 추가적인 이점을 제공하는지에 대한 추가 분석이 필요합니다.

향후 연구에서는 경량 지각 교사 모델, 메모리를 낮추기 위한 혼합 정밀도 학습 기법, 그리고 동일한 철학을 멀티모달 확산 모델(오디오‑비주얼, 텍스트‑투‑비디오 등)에 적용하는 방안을 탐색할 수 있습니다.

저자

• Zehong Ma
• Ruihan Xu
• Shiliang Zhang

논문 정보

• arXiv ID: 2602.02493v1
• Categories: cs.CV, cs.AI
• Published: 2026년 2월 2일
• PDF: PDF 다운로드