[Paper] UniLayDiff: 콘텐츠 인식 레이아웃 생성을 위한 통합 Diffusion Transformer

Source: arXiv - 2512.08897v1

Overview

UniLayDiff는 배경 이미지 와 다양한 사용자 지정 제약(요소 유형, 크기, 관계 등)을 모두 만족하는 그래픽 레이아웃을 생성할 수 있는 단일 엔드‑투‑엔드 diffusion‑기반 트랜스포머를 도입합니다. 레이아웃 제약을 별도의 모달리티로 취급함으로써, 모델은 이전에 서로 분리되어 있던 많은 레이아웃 생성 작업들을 하나의 학습 가능한 아키텍처 아래 통합하고, 품질과 유연성 모두에서 최첨단 수준을 끌어올립니다.

Key Contributions

• Unified architecture: 동일한 파라미터 집합으로 무조건(unconditional), 유형‑조건(type‑conditioned), 크기‑조건(size‑conditioned), 관계‑조건(relation‑conditioned) 레이아웃 생성을 모두 처리하는 최초의 diffusion 트랜스포머.
• Multi‑modal diffusion framework: 배경 이미지, 레이아웃 요소, 제약 토큰을 공동으로 인코딩하여 풍부한 교차‑모달 추론을 가능하게 함.
• LoRA‑based fine‑tuning for relations: Low‑Rank Adaptation (LoRA)을 사용해 전체 모델을 재학습하지 않고도 관계 제약을 주입, 효율성과 레이아웃 일관성을 동시에 향상.
• Comprehensive benchmark: 모든 조건 모드에서 여러 공개 레이아웃 데이터셋에 대해 새로운 성능 기록을 수립.
• Open‑source implementation: 코드, 사전 학습 가중치, 경량 추론 API를 공개하여 개발자들의 빠른 도입을 지원.

Methodology

1. Problem formulation – 레이아웃 생성은 바운딩‑박스 토큰 집합을 점진적으로 디노이징하는 diffusion 과정으로 정의됩니다. 각 토큰은 요소의 클래스, 위치, 크기를 인코딩합니다.
2. Multi‑modal input – 트랜스포머에 입력되는 세 가지 스트림:
   • Background image embeddings (고정된 CNN 인코더에서 추출).
   • Element embeddings (각 레이아웃 항목에 대한 학습된 벡터).
   • Constraint embeddings (유형, 크기, 관계 프롬프트를 토큰 시퀀스로 표현).
3. Diffusion Transformer – 표준 Vision‑Transformer 백본에 교차‑어텐션 레이어를 추가해 디노이징 중에 모델이 제약에 주목하도록 함. diffusion 스케줄은 널리 사용되는 DDPM 방식을 따르지만, 노이즈 예측기는 트랜스포머 자체입니다.
4. Relation handling via LoRA – 무조건 및 단순 제약 작업에 대한 사전 학습 후, 어텐션 행렬에 작은 LoRA 모듈을 연결합니다. 이 저‑랭크 어댑터를 미세 조정함으로써 “아이콘은 텍스트의 왼쪽에 있어야 함”과 같은 관계 지식을 기본 가중치를 방해하지 않고 주입합니다.
5. Training – 재구성 손실(실제 레이아웃과 매칭)과 classifier‑free guidance를 결합해 무조건과 조건부 생성을 균형 있게 학습합니다.

Results & Findings

• Quality boost: 모든 작업에서 UniLayDiff는 가장 강력한 베이스라인 대비 Fréchet Inception Distance (FID)를 약 30 % 감소시켰습니다.
• Generalization: 하나의 체크포인트만으로 제약 토큰을 교체하면 작업 간 전환이 가능해, 별도 모델을 훈련할 필요가 없습니다.
• Efficiency: LoRA 미세 조정은 2 M 파라미터 미만을 추가하고, 전체 모델 재학습에 비해 절반 수준의 epoch만에 수렴합니다.

Practical Implications

• Design automation tools: UI/UX 플랫폼은 UniLayDiff를 내장해 디자이너가 “로고는 왼쪽에, 버튼 크기는 120×40 유지”와 같은 고수준 제약을 지정하면 배경을 고려한 정교한 레이아웃을 즉시 얻을 수 있습니다.
• Ad‑placement engines: 마케팅 시스템은 임의의 히어로 이미지에 맞춰 광고 크리에이티브를 생성하면서 브랜드 고유의 크기·위치 규칙을 준수하도록 할 수 있어, 수작업 레이아웃 작업을 크게 줄입니다.
• Rapid prototyping: 프론트‑엔드 개발자는 뷰포트‑특정 제약을 제공해 시각적으로 일관된 레이아웃 제안을 빠르게 받아볼 수 있습니다.
• Low‑resource adaptation: 관계 제약이 LoRA로 추가되므로, 기업은 대규모 GPU 예산 없이도 의료 대시보드와 같은 니치 도메인에 모델을 빠르게 맞춤화할 수 있습니다.
• API‑first services: 공개된 추론 API는 배경 이미지와 JSON‑형식 제약 리스트를 입력받아 바운딩 박스의 JSON 리스트를 반환하므로, CI 파이프라인이나 디자인 시스템 백엔드에 손쉽게 통합할 수 있습니다.

Limitations & Future Work

• Scalability to dense layouts: 요소 수가 ~30개를 초과하면 성능이 다소 감소하므로, 계층적 diffusion이나 희소 어텐션 메커니즘이 필요합니다.
• Limited element diversity: 현재 학습 데이터는 직사각형 UI 컴포넌트에 집중되어 있어, 자유형 아이콘과 같은 불규칙 형태를 다루려면 보다 풍부한 토큰 표현이 요구됩니다.
• Real‑time constraints: 추론 속도는 RTX 3090 단일 GPU에서 약 120 ms이지만, 인터랙티브 편집기를 위한 30 ms 이하 지연은 모델 프루닝이나 지식 증류를 통해 최적화해야 합니다.
• User studies: 논문은 정량적 지표는 제시하지만, 미적 품질에 대한 인간 피험자 평가가 부족합니다. 향후 크라우드소싱 선호도 테스트를 포함할 수 있습니다.

전반적으로 UniLayDiff는 진정한 통합형, 콘텐츠‑인식 레이아웃 생성에 큰 진전을 이루었으며, 차세대 디자인 자동화 도구를 위한 실용적인 기반을 제공합니다.

Authors

• Zeyang Liu
• Le Wang
• Sanping Zhou
• Yuxuan Wu
• Xiaolong Sun
• Gang Hua
• Haoxiang Li

Paper Information

• arXiv ID: 2512.08897v1
• Categories: cs.CV
• Published: December 9, 2025
• PDF: Download PDF