[Paper] 창의적인 이미지 생성 with Diffusion Model

Source: arXiv - 2601.22125v1

개요

이 논문은 diffusion‑기반 텍스트‑투‑이미지 모델을 유도하여 creative 출력을 생성하는 새로운 방식을 소개한다—고품질이면서도 일반적인 CLIP 임베딩 공간에 존재하지 않을 가능성이 높은 이미지들이다. 생성 과정을 저확률 영역으로 이끌어감으로써, 저자들은 현실성을 희생하지 않으면서도 놀라울 정도로 새로운 시각을 구현하고, AI‑지원 상상의 새로운 길을 열었다.

주요 기여

• 역 CLIP 확률을 통한 창의성 지표: 이미지 임베딩이 CLIP‑학습 분포에서 가질 확률의 역수를 창의성으로 정의한다.
• 확산 모델의 확률적 스티어링: 생성 샘플을 CLIP 공간의 저밀도 영역으로 밀어내는 손실을 구현하여 희귀한 개념을 장려한다.
• 풀백 메커니즘: 샘플을 데이터 매니폴드 쪽으로 다시 끌어당기는 보정 단계를 도입해 시각적 충실도를 유지하면서 높은 창의성을 유지한다.
• 통합 프레임워크: 핸드‑크래프트 프롬프트 엔지니어링이나 개념 블렌딩 없이도 오프‑더‑쉘프 텍스트‑투‑이미지 확산 모델(예: Stable Diffusion)과 작동한다.
• 광범위한 실증 검증: 여러 벤치마크에 걸쳐 이 방법이 일관되게 더 새롭고 사유를 자극하는 이미지를 생성함을 보여준다.

방법론

1. Embedding‑Space Density Estimation – 사전 학습된 CLIP 모델은 모든 이미지를 고차원 임베딩으로 매핑합니다. 저자들은 대규모 이미지 코퍼스의 임베딩에 간단한 밀도 추정기(예: Gaussian Mixture Model)를 적용하여 확률 밀도 함수 (p_{\text{CLIP}}(z))를 얻습니다.
2. Creativity Loss – 확산 샘플링 중에 보조 손실 항 (\mathcal{L}{\text{crea}} = -\log p{\text{CLIP}}(z_t))를 추가합니다. 여기서 (z_t)는 현재 잠재 변수의 CLIP 임베딩입니다. 이 손실을 최소화하면 (p_{\text{CLIP}})가 낮은 영역(즉, “희귀” 임베딩)으로 잠재 변수가 이동하도록 유도됩니다.
3. Pullback Step – 각 확산 단계 후에 작은 보정 업데이트를 수행하여 표준 디노이징 스코어를 사용해 학습된 확산 매니폴드 쪽으로 잠재 변수를 다시 끌어당깁니다. 이는 샘플이 비현실적인 아티팩트로 떠돌아가는 것을 방지합니다.
4. Integration with Existing Pipelines – Creativity loss는 기존의 classifier‑free guidance 위에 적용되며, 확산 타임스텝당 CLIP을 통한 몇 번의 추가 포워드 패스만 필요합니다. 따라서 기존 추론 파이프라인과 호환됩니다.

결과 및 발견

• 정량적 새로움: 생성된 임베딩과 훈련 분포 사이의 KL‑다이버전스로 측정한 결과, 제안된 방법은 기본 확산 샘플링에 비해 2–3배 향상되었습니다.
• 시각적 충실도: FID 점수는 원본 모델과 비교해 거의 동일하게 유지되며 (ΔFID < 0.05), 풀백 메커니즘이 이미지 품질을 성공적으로 유지함을 확인합니다.
• 인간 평가: 200명의 참가자를 대상으로 한 블라인드 연구에서, 창의적인 샘플의 78 %가 기본 출력보다 “더 상상력이 풍부하다”고 평가되었으며, 85 %는 여전히 “그럴듯하다”고 판단되었습니다.
• 효율성: 추가된 CLIP 전방 패스는 추론 시간을 약 15 % 증가시켰으며, 이는 새로움의 향상에 비해 적당한 오버헤드입니다.

실용적 함의

• 디자인 및 광고: 브랜드는 일반적인 AI‑생성 스톡 이미지와 차별화되는 눈에 띄는 콘셉트(예: 제품 목업, 캠페인 아트)를 생성할 수 있습니다.
• 게임 개발 및 VFX: 아티스트는 각 변형마다 프롬프트를 수동으로 만들 필요 없이 비정형 텍스처, 생물, 환경을 탐색할 수 있습니다.
• 빠른 프로토타이핑: 창의적 어시스턴트(예: AI‑기반 브레인스토밍 도구)를 구축하는 개발자는 창의성 손실을 적용해 진정으로 새로운 시각 아이디어를 제안할 수 있습니다.
• 콘텐츠 중재 및 안전: 낮은 확률 영역을 이해함으로써 플랫폼은 새로운 잠재적 문제 콘텐츠가 확산되기 전에 더 잘 예측할 수 있습니다.

제한 사항 및 향후 연구

• 밀도 추정기 단순성: 현재 Gaussian‑Mixture 모델은 CLIP 공간의 복잡한 다중모달 구조를 포착하지 못할 수 있어 “창의성”의 세분성을 제한합니다.
• 계산 오버헤드: 비록 적지만 추가적인 CLIP 패스는 실시간 모바일 애플리케이션에 제약이 될 수 있습니다.
• 창의성의 주관성: 역확률 메트릭은 대리 지표이며; 향후 연구에서는 사용자 피드백 루프나 다중모달 새로움 측정 방식을 포함할 수 있습니다.
• 크로스‑모달 확장: 동일한 원리를 비디오나 3‑D 자산 생성에 적용하는 것은 아직 열려 있는 연구 방향입니다.

핵심 요점: 창의성을 CLIP의 임베딩 세계에서 확률적 추구로 재구성함으로써, 이 작업은 개발자에게 확산 모델을 익숙한 영역을 넘어 진정으로 상상력 넘치는 영역으로 밀어넣는 원칙적인 플러그‑인‑플레이 도구를 제공합니다.

저자

• Kunpeng Song
• Ahmed Elgammal

논문 정보

• arXiv ID: 2601.22125v1
• Categories: cs.CV
• Published: 2026년 1월 29일
• PDF: PDF 다운로드