[Paper] CoCo: 텍스트-이미지 프리뷰와 희귀 개념 생성을 위한 Code as CoT

Source: arXiv - 2603.08652v1

번역할 텍스트를 제공해 주시면 한국어로 번역해 드리겠습니다.

개요

이 논문은 CoCo (Code-as-CoT) 라는 새로운 프레임워크를 소개한다. 이 프레임워크는 텍스트‑투‑이미지 (T2I) 생성에서 추론 단계를 자유 형식의 자연어 계획이 아니라 실행 가능한 코드 로 취급한다. 생성된 코드를 사용해 먼저 결정론적인 “초안” 이미지를 만든 뒤 이를 정제함으로써, CoCo는 복잡한 장면, 구조화된 레이아웃, 그리고 긴 텍스트 설명의 충실도를 크게 향상시킨다—이는 기존 체인‑오브‑생각 (CoT) 접근법이 어려워하는 영역이다.

주요 기여

• Code‑driven reasoning: CoT 계획 단계를 샌드박스에서 실행 가능한 프로그램으로 변환하여 구체적인 시각 초안을 생성합니다.
• Two‑stage generation pipeline: (1) 코드로부터 초안 생성, (2) 고품질 최종 출력을 위한 세밀한 이미지 편집.
• CoCo‑10K dataset: 구조화된 초안 이미지와 정제된 이미지 10 K 쌍을 선별하여 초안 작성 및 교정 모두에 대한 지도 학습을 가능하게 합니다.
• Strong empirical gains: 직접 생성에 비해 StructT2IBench에서 +68.8 %, OneIG‑Bench에서 +54.8 %, LongText‑Bench에서 +41.2 %를 달성했으며, 다른 CoT‑augmented 방법들을 능가합니다.
• Open‑source release: 코드, 모델 체크포인트 및 데이터셋이 공개되어 재현성과 하위 작업 확장을 장려합니다.

방법론

1. Prompt → Code Generation

   • 대형 멀티모달 모델이 자연어 프롬프트를 받아 객체 위치, 크기, 색상 및 관계를 설명하는 도메인‑특화 언어(예: 스크립트)로 짧은 코드를 출력합니다.
   • 이 스크립트는 결정론적으로 설계되어, 실행할 때마다 동일한 레이아웃을 생성함으로써 순수 텍스트 플랜에 내재된 모호성을 제거합니다.

2. Sandbox Execution → Draft Image

   • 생성된 스크립트를 격리된 환경에서 실행하여 저해상도이면서 구조적으로 정확한 초안을 렌더링합니다.
   • 코드가 실행 가능하기 때문에 개발자는 렌더링 전에 계획을 검사·디버그하거나 수동으로 수정할 수 있습니다.

3. Draft → Refined Image

   • 두 번째 모델(또는 diffusion‑based editor)이 초안과 원본 프롬프트를 받아 세밀한 편집을 수행합니다: 텍스처, 조명, 디테일을 추가하고 불일치를 교정합니다.
   • 이 단계는 CoCo‑10K 쌍을 사용해 학습되며, 거친 레이아웃을 사진처럼 사실적인 결과물로 변환하는 방법을 시스템에 가르칩니다.

4. Training Regime

   • 파이프라인은 코드 생성(정답 스크립트에 대한 teacher‑forced 학습)과 이미지 정제(픽셀‑단위 및 지각 손실) 두 부분에 대해 감독 손실을 적용해 엔드‑투‑엔드로 학습됩니다.
   • 커리큘럼 학습을 적용하여 초기 에폭에서는 간단한 장면에, 이후 에폭에서는 복잡하고 장문의 프롬프트에 집중합니다.

결과 및 발견

• 정밀도: 초안 단계에서 이미 객체 수와 공간 관계를 >90 % 정확도로 포착합니다.
• 견고성: 프롬프트에 희귀하거나 새로운 개념이 포함될 경우, 코드 기반 계획이 순수 확산 모델에서 흔히 발생하는 “환각”을 방지합니다.
• 속도: 초안을 생성하는 것은 가벼우며(단일 GPU에서 ≈0.2 s), 정제 단계는 단일‑패스 확산 실행에 비해 약간의 오버헤드만 추가합니다.

실용적 시사점

• 디자인 도구: UI/UX 또는 게임 레벨 디자이너가 자연어로 고수준 레이아웃을 스크립트화하고 즉시 초안을 받아낸 뒤, 반복적으로 다듬을 수 있습니다—손으로 그리거나 디퓨전 파라미터를 조정하는 것보다 훨씬 빠릅니다.
• 마케팅용 콘텐츠 생성: 로고, 제품 사진, 텍스트 오버레이의 정확한 배치를 필요로 하는 브랜드는 정형화된 초안을 활용해 다듬기 전에도 규정 준수를 보장할 수 있습니다.
• 보조 코딩: 멀티모달 어시스턴트를 개발하는 개발자는 중간 코드를 사용자에게 공개하여, 사용자가 생성된 스크립트를 편집해 잘못 배치된 객체를 수정하는 “예시 기반 디버깅”을 가능하게 할 수 있습니다.
• 희귀 개념 합성: 희귀한 대상(예: 멸종된 종, 맞춤형 발명품)과 작업하는 연구자와 예술가는 프롬프트의 정확한 의미를 존중하는 신뢰할 수 있는 파이프라인을 얻습니다.
• 컴플라이언스 및 감사: 추론이 실행 가능한 코드로 표현되기 때문에, 조직은 편향이나 정책 위반 여부를 감사할 수 있어 책임 있는 AI 배포에 한 걸음 더 나아갑니다.

제한 사항 및 향후 작업

• 도메인‑특화 언어 (DSL) 오버헤드: 현재 코드 형식은 학습 데이터에 맞게 설계되어 있으며, 새로운 시각 원시 요소(예: 3‑D 깊이 단서)를 추가하려면 추가적인 DSL 설계가 필요합니다.
• 초고해상도 확장성: 정제 단계는 여전히 1024 px 이상의 해상도에서 비용이 많이 드는 diffusion 모델에 의존합니다.
• 보지 못한 스타일에 대한 일반화: CoCo는 레이아웃을 잘 처리하지만, 스타일적 뉘앙스(예: 인상파 붓놀림)는 코드에 의해 덜 제어되며 편집기 모델에 의존합니다.
• 향후 방향: 저자들은 코드에 상징적 추론(예: 씬 그래프)을 통합하고, 계층적 초안 작성(거친 → 세밀) 탐색 및 파이프라인을 인터랙티브 GUI와 결합해 실시간 사용자 편집을 가능하게 할 것을 제안합니다.

저자

• Haodong Li
• Chunmei Qing
• Huanyu Zhang
• Dongzhi Jiang
• Yihang Zou
• Hongbo Peng
• Dingming Li
• Yuhong Dai
• ZePeng Lin
• Juanxi Tian
• Yi Zhou
• Siqi Dai
• Jingwei Wu

논문 정보

• arXiv ID: 2603.08652v1
• 분류: cs.AI
• 출판일: 2026년 3월 9일
• PDF: PDF 다운로드