[Paper] DraCo: Draft as CoT for Text-to-Image 미리보기 및 희귀 개념 생성

Source: arXiv - 2512.05112v1

Overview

이 논문은 DraCo (Draft-as‑CoT)를 소개한다. 이는 멀티모달 대형 언어 모델이 텍스트로부터 이미지를 생성하는 새로운 방식이다. 기존의 텍스트 기반 “사고의 사슬”(chain‑of‑thought) 계획에만 의존하는 대신, DraCo는 먼저 저해상도 초안을 시각적 스케치로 만든 뒤, 모델의 추론 능력을 활용해 불일치를 찾아 수정하고 최종 고해상도 이미지를 생성한다. 텍스트와 이미지가 교차하는 이러한 추론 방식은 특히 희귀하거나 복잡한 개념에 대한 이미지 충실도를 크게 향상시킨다.

Key Contributions

• Draft‑as‑CoT 패러다임: 저해상도 초안 이미지를 사고의 사슬에 명시적인 단계로 포함시켜 구체적인 시각적 계획 및 검증을 가능하게 함.
• DraCo‑240K 데이터셋: 일반 교정, 인스턴스 조작, 레이아웃 재구성이라는 세 가지 원자적 스킬을 포함한 240 K 훈련 예시를 큐레이션하여 모델이 초안을 정제하는 방법을 학습하도록 함.
• DraCo‑CFG: 텍스트와 시각적 추론을 동시에 조화시키는 특수한 classifier‑free guidance 기법.
• 뛰어난 성능 향상: 표준 텍스트 전용 CoT 또는 직접 생성 방식에 비해 GenEval에서 +8 %, Imagine‑Bench에서 +0.91, GenEval++에서 +3 %의 점수 향상을 달성.
• 희귀 개념 처리: 기존 모델이 흔히 실패하는 비정형 속성 조합을 견고하게 생성함을 입증.

Methodology

1. Prompt → Draft

   • 모델은 자연어 프롬프트를 받고 먼저 저해상도 초안 이미지(예: 64×64)를 생성한다.
   • 이 초안은 레이아웃, 객체 존재, 대략적인 속성을 포착하는 시각적 “생각” 역할을 한다.

2. Verification & Error Detection

   • 내부 멀티모달 이해를 활용해 초안을 원래 프롬프트와 비교한다.
   • 의미적 차이(예: 누락된 객체, 잘못된 색상, 잘못 배치된 레이아웃)를 식별한다.

3. Selective Refinement

   • 모델은 수정이 필요한 부분을 결정하고 목표 지향 편집(인스턴스 추가/제거, 속성 조정, 레이아웃 이동)을 적용한다.
   • 초고해상도 모듈이 수정된 초안을 최종 해상도(예: 512×512)로 업샘플링한다.

4. Training with DraCo‑240K

   • 데이터셋은 프롬프트, 초안, 정제된 고해상도 이미지의 쌍을 제공하며, 세 가지 원자적 능력에 대해 주석이 달려 있다.
   • 손실 함수는 표준 diffusion 목표와 교정 결정에 대한 보조 감독을 결합한다.

5. DraCo‑CFG Guidance

   • classifier‑free guidance를 확장하여 텍스트와 시각적 브랜치를 동시에 작동하도록 함으로써 diffusion 과정 전반에 걸쳐 초안과 최종 이미지가 프롬프트와 일치하도록 보장한다.

Results & Findings

• 정성적 향상: 시각적 예시에서 객체 경계가 더 선명해지고, 희귀 속성 조합(예: “청록색 줄무늬 얼룩말”)이 정확히 구현되며, 공간 배치가 보다 충실함을 확인할 수 있다.
• 소거 실험: 초안 단계를 제거하면 GenEval에서 약 5 %의 성능 저하가 발생, 초안이 중요한 계획 스캐폴드 역할을 함을 입증.
• 오류 분석: 남은 실패 사례는 대부분 극단적인 프롬프트 모호성에 기인하며, 모델 자체의 한계라기보다는 입력의 불명확성 때문임.

Practical Implications

• 디자이너를 위한 빠른 프로토타이핑: 개발자는 즉시 저해상도 미리보기를 얻고 프롬프트를 반복 수정한 뒤 모델이 자동으로 정제하도록 함으로써 시도·오류 사이클을 크게 단축할 수 있다.
• 콘텐츠 제작 파이프라인: 희귀하거나 맞춤형 개념이 빈번한 게임, AR/VR, 광고 등 자산 생성 도구에 통합 가능.
• 안전성 및 제어성 향상: 검증 단계에서 정책 제약(예: 금지된 객체 금지)을 적용해 고해상도 업스케일링 전에 차단할 수 있다.
• 컴퓨팅 비용 절감: 저해상도에서 주요 불일치를 조기에 포착함으로써 명백히 잘못된 초안에 대한 고해상도 diffusion 연산을 피한다.

Limitations & Future Work

• 초안 품질 한계: 매우 낮은 해상도 초안은 세밀한 디테일을 놓치는 경우가 있어 미묘한 오류를 교정하기 어려울 수 있다.
• 초고해상도 확장성: 현재 초고해상도는 일반 diffusion 업스케일러에 의존하므로, 전용 업스케일링 네트워크를 도입하면 충실도가 향상될 가능성이 있다.
• 프롬프트 모호성 처리: 현 검증 단계는 명확히 정의된 프롬프트를 전제로 하며, 향후 사용자와의 인터랙티브한 명확화 루프를 포함하는 연구가 필요하다.
• 데이터셋 편향: DraCo‑240K는 다양하지만 의료 영상 등 특정 도메인은 충분히 대표되지 않을 수 있어, 도메인 특화 파인튜닝이 요구된다.

DraCo는 시각적 초안을 모델 사고 사슬의 필수 요소로 만드는 새로운 길을 열어, 추상적인 텍스트 계획과 구체적인 이미지 합성을 연결한다. 차세대 생성 도구를 구축하는 개발자에게 더 신뢰성 있고, 제어 가능하며, 창의적인 출력물을 제공할 것으로 기대된다.

Authors

• Dongzhi Jiang
• Renrui Zhang
• Haodong Li
• Zhuofan Zong
• Ziyu Guo
• Jun He
• Claire Guo
• Junyan Ye
• Rongyao Fang
• Weijia Li
• Rui Liu
• Hongsheng Li

Paper Information

• arXiv ID: 2512.05112v1
• Categories: cs.CV, cs.AI, cs.CL, cs.LG
• Published: December 4, 2025
• PDF: Download PDF