[Paper] DiverseVAR: 다음 규모 시각 자동회귀 모델의 다양성과 품질 균형

Source: arXiv - 2511.21415v1

개요

이 논문은 DiverseVAR라는 플러그‑인‑플레이 프레임워크를 소개한다. 이 프레임워크는 텍스트‑조건부 Visual Autoregressive (VAR) 모델이 재학습 없이 혹은 큰 연산 비용 없이도 생성하는 이미지의 다양성을 크게 확장한다. 추론 단계에서만 모델을 약간 조정함으로써, 저자들은 VAR가 이제는 단순히 화질뿐만 아니라 창의적 다양성 면에서도 확산 모델에 맞먹을 수 있음을 보여준다. 이는 오랫동안 자동회귀 생성기에서 간과돼 왔던 문제이다.

주요 기여

• 테스트‑시점 다양성 향상: 텍스트 임베딩에 간단한 노이즈 주입 단계를 도입해 VAR가 이미지 생성 시 서로 다른 모드들을 탐색하도록 만든다.
• 스케일‑트래블 정제: 중간의 더 거친 표현에서 생성을 재개하는 새로운 “잠재 시간‑여행” 기법을 제안한다. 이를 통해 품질을 유지하면서도 주입된 다양성을 활용할 수 있다.
• 파레토 최적 트레이드‑오프: 노이즈 주입 + 스케일‑트래블 조합이 이미지 품질의 약간의 감소만으로도 다양성을 크게 향상시키는 새로운 경계선을 만든다.
• 재학습 불필요 솔루션: 기존 VAR 체크포인트와 바로 호환되어, 이미 자동회귀 생성기를 사용 중인 프로덕션 파이프라인에 즉시 적용 가능하다.
• 광범위한 실증 검증: 여러 벤치마크 프롬프트에 대해 정량적(예: CLIP‑Score, Diversity Score) 및 정성적 증거를 제공하며, 기본 VAR 대비 일관된 향상과 확산 모델에 근접한 결과를 보여준다.

방법론

1. 노이즈‑보강 텍스트 조건화

   • 원본 텍스트 프롬프트를 벡터(일반적인 텍스트 임베딩)로 인코딩한다.
   • 제어 가능한 크기의 가우시안 노이즈를 이 임베딩에 추가한 뒤 VAR 디코더에 입력한다.
   • 이 간단한 교란이 모델이 다른 잠재 영역을 샘플링하도록 유도해 출력 다양성을 높인다.

2. 스케일‑트래블 (잠재 정제)

   • 다중 스케일 오토인코더를 한 번 학습시켜 전체 해상도 이미지를 토큰 집합 계층(거친 → 섬세)으로 매핑한다.
   • 생성 과정에서 VAR가 거친 스케일 토큰 시퀀스(예: 1/8 해상도)를 만든 뒤, 그 중간 지점으로 “돌아가”서 계속 진행한다.
   • 이때 노이즈를 주입하지 않은 상태에서 디코딩을 이어가며, 세밀한 레이어가 아티팩트를 정리하면서도 앞서 도입된 다양성을 유지한다.

3. 균형 맞추기

   • 노이즈 수준과 스케일‑트래블 적용 시점은 하이퍼파라미터이다.
   • 이 두 값을 스위핑하면서 저자들은 다양성‑품질 곡선을 그려 파레토 프론티어에 위치한 운영점을 선택한다.

전체 파이프라인은 추론 시에만 실행되며, VAR 자체에 대한 추가 학습이 전혀 필요하지 않는다. 추가되는 오토인코더는 전체 확산 모델에 비해 가볍다.

결과 및 발견

• 다양성 급증: 노이즈만 추가하면 LPIPS 다양성이 3배가 되지만 품질이 크게 떨어진다.
• 스케일‑트래블이 품질 회복: 정제 단계가 손실된 CLIP‑Score를 대부분 회복하면서 다양성 상승을 유지한다.
• 파레토 개선: 10개 이상의 프롬프트에 걸쳐, 결합 방법이 다양성‑품질 플롯에서 일관되게 기준선을 압도하며 VAR의 새로운 최첨단 트레이드‑오프를 확립한다.
• 정성적 예시: “일몰의 미래 도시”라는 프롬프트에 대해, 기본 VAR는 거의 동일한 스카이라인을 생성했지만 DiverseVAR는 서로 다른 건축 양식, 조명 조건, 색상 팔레트를 만들어냈으며 모두 사진처럼 사실적이다.

실용적 함의

• 플러그‑인‑플레이 업그레이드: 이미 VAR 기반 생성기(예: UI 목업, 게임 에셋 프로토타이핑, 빠른 디자인 반복)를 사용 중인 팀은 단일 추론‑시간 래퍼만으로 DiverseVAR를 통합할 수 있다—모델 재학습 파이프라인을 바꿀 필요가 없다.
• 비용 효율적인 다양성: 많은 샘플링 단계가 필요한 확산 모델에 비해 DiverseVAR는 <20 %의 지연만 추가하면서 비슷한 수준의 다양성을 제공하므로 지연에 민감한 서비스에 매력적이다.
• 창의적 툴링: 디자이너는 사용자에게 “다양성 슬라이더”를 제공해 출력의 모험성을 조절하게 할 수 있으며, 화질을 크게 희생하지 않는다.
• 데이터셋 증강: 단일 텍스트 설명으로부터 더 풍부하고 다양한 이미지 코퍼스를 생성해 객체 탐지·세그멘테이션 등 다운스트림 작업의 성능을 향상시킬 수 있다.
• 멀티모달 워크플로: 기술이 텍스트 임베딩 수준에서 작동하므로 스케치, 깊이 맵 등 다른 조건 신호와 결합해 멀티모달 생성 파이프라인에서 출력 다양성을 더욱 확대할 수 있다.

제한점 및 향후 연구

• 노이즈 민감도: 과도한 임베딩 노이즈는 여전히 비현실적인 아티팩트를 초래한다; 최적 노이즈 스케줄을 찾는 것이 아직 경험적이다.
• 스케일‑트래블 세분성: 현재 다중 스케일 오토인코더는 고정된 해상도 집합을 사용한다; 더 세밀한 granularity가 품질 회복을 부드럽게 할 수 있다.
• 도메인 이동: 실험은 주로 자연 이미지 프롬프트에 초점을 맞췄으며, 의료 영상 등 고도로 추상적이거나 도메인 특화된 프롬프트에 대한 성능은 아직 검증되지 않았다.
• 이론적 이해 부족: 다양성 향상이 실증적으로만 제시되었으며, 임베딩 공간의 노이즈가 자동회귀 디코딩을 통해 어떻게 전파되는지에 대한 깊은 분석이 부족하다. 이는 보다 원칙적인 제어 설계에 도움이 될 것이다.

향후 방향에는 프롬프트 복잡도에 기반한 적응형 노이즈 스케일링, 스케일‑트래블을 초해상도 등 다른 후처리와 결합, 그리고 다양한 움직임 합성을 위한 비디오‑자동회귀 모델로의 확장이 포함된다.