Z-Image GGUF 기술 백서: S3-DiT 아키텍처와 양자화 배포에 대한 심층 분석

Source: Dev.to

기술 배경: UNet에서 S3‑DiT로의 패러다임 전환

생성 AI 분야에서 Z‑Image Turbo의 등장은 아키텍처 설계의 중요한 진화를 의미합니다. Stable Diffusion 1.5/XL 시기의 CNN 기반 UNet 아키텍처와 달리, Z‑Image는 보다 공격적인 Scalable Single‑Stream Diffusion Transformer (S3‑DiT) 아키텍처를 채택합니다.

싱글‑스트림 vs 듀얼‑스트림

전통적인 DiT 아키텍처(예: 일부 Flux 변형)는 일반적으로 듀얼‑스트림 설계를 사용합니다. 텍스트 특징과 이미지 특징이 대부분의 레이어에서 독립적으로 처리되고, 특정 Cross‑Attention 레이어에서만 상호 작용합니다. 이러한 설계는 모달리티 독립성을 유지하지만 파라미터 효율성은 낮습니다.

S3‑DiT의 핵심 혁신은 싱글‑스트림 설계에 있습니다:

• 입력 단계에서 텍스트 토큰, 시각 의미 토큰, 이미지 VAE 토큰을 직접 연결하여 통합 입력 스트림을 형성합니다.
• 모델은 모든 Transformer 블록 레이어의 Self‑Attention 연산에서 깊은 교차 모달 상호 작용을 수행합니다.
• 장점: 이러한 깊은 융합이 Z‑Image의 뛰어난 이중언어(중국어·영어) 텍스트 렌더링 능력의 물리적 기반입니다. 모델은 이제 이미지를 그리기 위해 “텍스트를 바라보는” 것이 아니라, 텍스트를 이미지 스트로크 구조의 일부로 취급합니다.

양자화 원리: GGUF의 수학적·공학적 구현

소비자 하드웨어에서 60억 파라미터(6B) 모델을 실행하기 위해 GGUF(GPT‑Generated Unified Format) 양자화 기술을 도입합니다. 이는 단순한 가중치 절단이 아니라 일련의 복잡한 알고리즘 최적화를 포함합니다.

K‑Quants와 I‑Quants

• K‑Quants (블록 기반 양자화) – 전통적인 선형 양자화는 이상치에 민감합니다. GGUF는 블록 기반 전략을 사용해 가중치 행렬을 작은 블록(예: 32개 가중치씩)으로 나누고 각 블록마다 독립적으로 Scale과 Min을 계산합니다. 이는 가중치 분포 특성을 크게 보존합니다.
• I‑Quants (벡터 양자화) – Z‑Image의 일부 GGUF 변형에서는 I‑Quants를 도입합니다. 각 가중치를 개별적으로 저장하는 대신, 사전 계산된 코드북에서 가장 가까운 벡터를 찾아 저장하는 벡터 양자화를 사용합니다. 이 방법은 저비트(예: 2‑bit, 3‑bit)에서 전통적인 정수 양자화에 비해 정밀도 유지가 뛰어납니다.

메모리 매핑(mmap) 및 레이어 오프로드

GGUF 포맷은 mmap 시스템 콜을 기본적으로 지원합니다. 이를 통해 운영 체제가 모델 파일을 물리적 RAM 전체에 로드하지 않고 가상 메모리 공간에 직접 매핑할 수 있습니다. 추론 엔진(llama.cpp 또는 ComfyUI 등)의 레이어드 로딩 메커니즘과 결합하면, 시스템은 디스크 → RAM → VRAM 순으로 모델 슬라이스를 동적으로 스트리밍할 수 있습니다. 이는 “20 GB 모델을 6 GB VRAM에서 실행”하는 엔지니어링 핵심입니다.

성능 벤치마크

다양한 하드웨어 환경에서 Z‑Image Turbo GGUF에 대한 스트레스 테스트 결과, 양자화 수준과 추론 지연 시간 사이의 관계는 선형이 아니며 종종 PCIe 대역폭에 의해 제한됩니다.