[Paper] VQRAE: 멀티모달 이해, 생성 및 재구성을 위한 Representation Quantization Autoencoders

Source: arXiv - 2511.23386v1

Overview

이 논문은 VQRAE라는 새로운 오토인코더를 소개한다. VQRAE는 단일 토크나이저를 사용해 시각적 이해, 생성, 재구성을 연결한다. 연속적인 의미 임베딩과 이산 시각 토큰을 결합함으로써, 기존에 별도의 파이프라인이 필요했던 멀티모달 모델을 위한 통합 프런트엔드를 제공한다.

Key Contributions

• 통합 토크나이저는 동시에 다음을 제공한다:
  1. 다운스트림 이해 작업(예: 분류, 탐지)을 위한 고차원 연속 특징.
  2. 자동회귀 생성 및 세밀한 재구성에 적합한 저차원 이산 토큰.
• 두 단계 학습 레시피:
  • Stage 1 – 사전 학습된 Vision Transformer(ViT) 인코더를 고정하고, 픽셀‑레벨 재구성을 통해 고용량 벡터 양자화(VQ) 코드북을 학습한다.
  • Stage 2 – 인코더를 자체 증류와 함께 공동 미세조정하여 의미적 풍부함을 유지하면서 이산 코드북에 정렬한다.
• 고차원 VQ 코드북(1536‑D)은 100 % 활용률을 달성하여, 이미지에 대한 VQ는 저차원이어야 한다는 기존 관념을 뒤집는다.
• 세 가지 측면(시각 이해, 이미지 생성, 재구성)에서의 실증 검증을 통해 경쟁력 있는 결과와 자동회귀 설정에서의 강력한 스케일링 동작을 보여준다.

Methodology

1. Backbone – 인코더는 사전 학습된 ViT(예: ViT‑B/16)이며, 이미지에서 풍부한 의미 정보를 이미 포착하고 있다.
2. Symmetric ViT Decoder – 인코더 구조를 그대로 반영하여, 잠재 코드로부터 픽셀‑레벨 재구성을 가능하게 한다.
3. Vector Quantization Layer – 1536‑차원 벡터로 구성된 학습 가능한 코드북. 순전파 시 인코더 출력은 가장 가까운 코드북 항목에 스냅되어 이산 토큰을 생성한다.
4. Training Pipeline
   • Stage 1 (Codebook pre‑training):
     • 인코더 가중치를 고정한다.
     • 디코더는 양자화된 토큰으로부터 원본 이미지를 재구성하도록 학습되어, 코드북이 시각 공간을 포괄하도록 만든다.
   • Stage 2 (Joint fine‑tuning):
     • 인코더를 해제하고 자체 증류 손실을 사용해 연속 출력이 양자화된 버전에 가깝게 유지되도록 최적화한다, 이는 의미적 충실도를 보존한다.
5. Losses – 픽셀 재구성(L2/LPIPS), VQ를 위한 커밋먼트 손실, 연속 및 이산 표현을 정렬하는 증류 항목을 포함한다.

Results & Findings

저자들은 또한 자동회귀 디코더에서 모델 크기가 커질수록 생성 품질이 선형적으로 스케일링된다고 보고했으며, 이는 이산 토큰 공간이 모델 확장에 따라 표현력을 유지함을 의미한다.

Practical Implications

• 단일 토크나이저 파이프라인: 개발자는 이제 동일한 시각 토큰 스트림을 분류기와 생성 모델 모두에 입력할 수 있어 데이터 처리와 엔지니어링 오버헤드가 크게 감소한다.
• 향상된 토큰 효율성: 고차원 VQ는 고품질 재구성을 위해 필요한 토큰 수를 줄이며, 이는 트랜스포머 기반 생성기의 메모리 사용량 감소와 추론 속도 향상으로 이어진다.
• 기존 기반 모델과 플러그‑인: VQRAE는 오프‑더‑쉘프 사전 학습 ViT 위에 구축되므로, 팀은 현재 비전 백본에 토크나이저만 추가해 재학습 없이 활용할 수 있다.
• 크로스‑모달 연구: 통합된 표현은 이미지‑캡셔닝, 비주얼 질문 응답 등에서 동일한 토큰 세트를 언어 모델이 소비하도록 하여 비전‑언어 통합을 한층 촘촘히 만든다.
• 확장 가능한 생성: VQRAE 토큰을 사용하는 자동회귀 디코더는 정확한 가능도와 제어 가능한 샘플링이라는 이산 모델링의 장점을 유지하면서 의미적 풍부함을 보존한다. 이는 콘텐츠 제작 도구, 게임 에셋 파이프라인, 합성 데이터 생성 등에 유용하다.

Limitations & Future Work

• 학습 비용 – 특히 고차원 코드북 학습을 포함한 두 단계 절차는 많은 GPU 시간과 대규모 배치를 요구한다.
• 토큰 길이 – 코드북 차원은 높지만, 이미지당 토큰 수는 다른 VQ 기반 모델과 비슷해 고해상도 입력에서는 여전히 병목이 될 수 있다.
• 비시각 모달로의 일반화 – 현재 설계는 이미지에 초점을 맞추고 있어, 비디오나 3‑D 데이터로 확장하려면 아키텍처 조정이 필요할 수 있다.
• 향후 방향으로는 다중 스케일 생성을 위한 계층적 코드북 탐색, 토크나이저를 멀티모달 트랜스포머(CLP‑style 모델 등)에 직접 통합, 증류 또는 양자화 인식 학습을 통한 계산량 감소 등이 제시된다.

Authors

• Sinan Du
• Jiahao Guo
• Bo Li
• Shuhao Cui
• Zhengzhuo Xu
• Yifu Luo
• Yongxian Wei
• Kun Gai
• Xinggang Wang
• Kai Wu
• Chun Yuan

Paper Information

• arXiv ID: 2511.23386v1
• Categories: cs.CV
• Published: November 28, 2025
• PDF: Download PDF