[Paper] 맥락 공간에서 실시간 반발을 이용한 Diffusion Transformers의 풍부한 다양성

Source: arXiv - 2603.28762v1

개요

논문에서는 on‑the‑fly repulsion in the Contextual Space라는 경량 기법을 소개한다. 이 기법은 텍스트‑투‑이미지 확산 모델, 특히 최신 Diffusion Transformers의 시각적 다양성을 크게 향상시키면서 이미지 품질이나 의미적 관련성을 해치지 않는다. 생성 과정에서 모델의 어텐션 채널을 살짝 조정함으로써, 저자들은 많은 프롬프트가 몇 개의 유사한 이미지로 수축되는 “typicality bias”(전형성 편향)를 깨뜨린다.

주요 기여

• Contextual‑Space Repulsion: 확산 트랜스포머 내부의 다중모달 어텐션 맵에 반발력을 추가하는 새로운 추론 시 개입 방법.
• Early‑Stage Diversification: 모델이 이미지 구조를 통합하기 시작한 후에, 최종 구성이 고정되기 전에 반발력을 적용하여 일관성을 유지하면서 다양성을 촉진한다.
• Efficiency: 이 방법은 작은 상수 오버헤드(≈5 % 추가 FLOPs)만을 추가하며, 고전적인 궤적 기반 트릭이 보통 실패하는 빠른 “Turbo” 및 증류된 확산 모델에서도 작동한다.
• Empirical Gains: 정량적·정성적 실험에서 다양성 지표(예: CLIP‑Score 분산, LPIPS)가 2–3배 상승했으며, 충실도나 프롬프트 정렬 손실은 무시할 수준이다.
• Broad Compatibility: 이 접근법은 모델에 구애받지 않으며 최소한의 코드 변경으로 모든 확산 트랜스포머 파이프라인에 적용할 수 있다.

Methodology

1. Background – Diffusion Transformers:
   현대 T2I 모델은 생성 과정을 텍스트 토큰과 잠재 이미지 패치를 동시에 주시하는 트랜스포머 블록들의 시퀀스로 취급합니다. 각 블록은 프롬프트에 의해 안내받으며 잠재 표현을 정제합니다.

2. The Diversity Dilemma:

   • 입력‑측 트릭 (예: 프롬프트 교란)은 모델을 올바른 방향으로 유지하기 위해 비용이 많이 드는 역전파가 필요합니다.
   • 잠재‑공간 트릭 (예: 노이즈 주입)은 종종 시각적 구조를 손상시켜 아티팩트를 생성합니다.

3. Repulsion in the Contextual Space:

   • 저자들은 텍스트와 이미지 특징이 상호 작용하는 멀티모달 어텐션 매트릭스를 “컨텍스추얼 스페이스”로 규정합니다.
   • 순전파 중, 선택된 블록 이후에 현재 배치에 대한 어텐션 헤드 간 쌍별 유사도를 계산합니다.
   • 반발 손실(음의 코사인 유사도)을 어텐션 점수에 추가하여 동시에 진행되는 생성 경로들을 서로 멀어지게 합니다.
   • 이 연산은 실시간으로 수행되며, 그래디언트 하강이 필요 없고 단순한 행렬 조작만으로 이루어지며 샘플링 단계마다 토글할 수 있습니다.

4. Integration Pipeline:

   • 동일한 프롬프트에 대해 잠재 배치를 샘플링합니다.
   • 확산 트랜스포머를 평소대로 실행합니다.
   • 지정된 각 블록 이후에 어텐션 로짓에 반발 조정을 적용하고, 이후 순전파를 계속합니다.
   • 최종 이미지는 다양화된 잠재값으로부터 디코딩됩니다.

5. Implementation Footprint:

   • 몇 줄의 PyTorch 코드(≈30 LOC)만 추가됩니다.
   • 학습된 가중치에 변화가 없으며, 사전 학습된 체크포인트와 바로 사용할 수 있습니다.

결과 및 발견

• 시각적 검사: 샘플은 동일한 프롬프트(“일몰의 미래 도시”)를 서로 다른 건축 양식, 조명 조건, 색상 팔레트로 렌더링한 반면, 베이스라인은 단일 구도에 수렴합니다.
• Turbo 및 distilled 모델: 확산 단계가 4–6(Turbo)으로 줄어들거나 모델이 크게 압축된 경우에도, 반발 효과는 LPIPS를 1.8× 향상시키지만, 궤적 기반 방법은 붕괴합니다.
• Ablation: 이미지 구조가 형성되기 전에 반발을 적용하면 충실도가 손상되고, 구성이 고정된 후에 적용하면 다양성이 거의 증가하지 않습니다. 최적의 시점은 중간 트랜스포머 레이어 주변입니다.

실용적 함의

• Creative tooling: UI/UX 디자이너는 “more variations” 버튼을 삽입하여 컨텍스추얼 반발을 트리거할 수 있으며, 이를 통해 아티스트는 재학습이나 복잡한 프롬프트 엔지니어링 없이도 빠르게 다양한 독특한 컨셉을 얻을 수 있다.
• Batch generation for datasets: 합성 학습 데이터를 구축하는 기업은 단일 프롬프트만으로도 더 풍부하고 중복되지 않은 이미지 컬렉션을 생성하여 하위 모델의 견고성을 향상시킬 수 있다.
• Cost‑effective scaling: 이 방법은 연산량이 거의 추가되지 않으므로 GPU 비용을 크게 늘리지 않고도 프로덕션 파이프라인(예: 클라우드 기반 이미지 생성 서비스)에 배포할 수 있다.
• Compatibility with existing APIs: 이 기술은 Diffusers와 같은 인기 라이브러리에서 간단한 샘플러 옵션(예: sampler=repulsion)으로 래핑할 수 있어 개발자가 손쉽게 도입할 수 있다.

제한 사항 및 향후 작업

• 하이퍼파라미터 민감도: 반발 항의 강도와 적용되는 정확한 레이어는 모델 패밀리마다 약간의 튜닝이 필요합니다.
• 극한 설정에서의 잠재적 모드 붕괴: 반발 가중치를 너무 높게 설정하면 샘플러가 프롬프트 의미와 멀어지는 지나치게 이질적인 이미지를 생성할 수 있습니다.
• 평가 범위: 실험은 diffusion transformer에 초점을 맞추고 있으며, 이 아이디어를 다른 아키텍처(예: UNet 기반 diffusion)로 확장하는 것은 아직 미해결 과제입니다.
• 향후 방향: 저자들은 적응형 반발 스케줄을 학습하고, 사용자 제어식 다양성 슬라이더를 통합하며, 다중 모달 반발(예: 텍스트‑투‑비디오)을 탐구할 것을 제안합니다.

핵심 요약: diffusion transformer의 어텐션 맵에 작고 수학적으로 단순한 “밀어내기” 연산을 삽입함으로써, 저자들은 더 풍부하고 창의적인 이미지 생성으로 가는 실용적인 경로를 열었습니다—이는 개발자들이 최소한의 엔지니어링 노력으로 오늘 바로 채택할 수 있는 진보입니다.

저자

• Omer Dahary
• Benaya Koren
• Daniel Garibi
• Daniel Cohen-Or

논문 정보

• arXiv ID: 2603.28762v1
• 분류: cs.CV, cs.AI, cs.GR, cs.LG
• 발표일: 2026년 3월 30일
• PDF: Download PDF