[Paper] 일반 상태 공간에서의 Diffusion Models의 기초: 자체 포함된 소개

Source: arXiv - 2512.05092v1

Overview

Diffusion 모델은 이미지, 오디오, 심지어 텍스트 생성에 있어 기본 기술이 되었지만, 대부분의 튜토리얼은 데이터가 유클리드 공간에 존재한다고 가정합니다. 이 논문은 그 제한을 없애고 **연속 도메인(예: 픽셀 값)**과 이산 구조(예: 토큰 시퀀스) 모두에 적용 가능한 단일, 독립적인 이론을 구축합니다. 확률 미분 방정식(SDE)과 연속시간 마코프 체인(CTMC)을 통합함으로써, 저자들은 확산 기반 생성 방식을 모든 종류의 데이터에 확장할 수 있는 명확한 로드맵을 제시합니다.

Key Contributions

• 통합 프레임워크: 연속 ℝⁿ, 유한 알파벳, 혹은 하이브리드 등 임의의 상태 공간에서의 확산을 다룸.
• 이산‑시간 및 연속‑시간 유도를 나란히 제시하여, 전방 노이즈 커널이 역시간 역학으로 어떻게 변환되는지 보여줌.
• 일반 ELBO 공식: 가우시안 및 범주형 손상 모두에 대해 표준 학습 손실을 복원.
• 전방 손상 커널 카탈로그(가우시안, 균일, 마스킹/흡수 등)와 각 커널이 역 프로세스에 미치는 영향 분석.
• 교육적 계층화: 초보자를 위한 부드러운 소개, 실무자를 위한 종합, 연속 확산 전문가를 위한 심층 이론 다리.
• 재사용 가능한 증명 도구킷(Fokker–Planck, 마스터 방정식, 변분 항등식)으로 향후 확산 연구에 쉽게 적용 가능.

Methodology

1. Forward Process

   • Continuous: 각 타임스텝마다 가우시안 마코프 커널을 적용하며, 극한에서는 다음 형태의 SDE가 된다

     dx = f(x,t)dt + g(t)dW
     

   • Discrete: 마코프 전이 행렬(예: 균일 혼합, 토큰‑마스킹, 혹은 흡수 상태)을 사용하여 유한 알파벳 위에 CTMC를 정의.

2. Reverse Process

   • SDE에 대해서는 Fokker–Planck 방정식, CTMC에 대해서는 마스터 방정식을 이용해 시간 역전 역학을 유도.
   • 역 커널은 실제 역 드리프트 또는 전이 확률을 근사하는 신경망으로 표현될 수 있음을 보여줌.

3. Variational Objective

   • 데이터와 노이즈가 섞인 잠재 변수의 결합 분포에서 시작.
   • 표준 ELBO 트릭을 적용해 재구성 항과 KL 항으로 분해되는 계산 가능한 손실을 도출, 이는 모든 상태 공간에 적용 가능.

4. Bridging Discrete & Continuous

   • 이산 전이 커널을 연속시간 생성자에 매핑하여 수학적 유사성을 강조(예: 확산 계수 ↔ 전이율 행렬).
   • 이미지 확산 직관을 토큰 확산에(그리고 그 반대로) 번역할 수 있는 “사전”을 제공.

전체 전개는 기본 확률과 신경망에 익숙한 개발자가 심도 있는 확률 미적분 없이도 따라올 수 있는 수준으로 유지됩니다.

Results & Findings

• Theoretical equivalence: 이산 CTMC에 대해 유도된 ELBO는 상태 공간이 ℝⁿ이고 전방 커널이 가우시안일 때 익숙한 확산 손실과 정확히 동일하게 감소한다.
• Kernel impact: 서로 다른 전방 손상은 역 동역학에 현저히 다른 영향을 미친다; 예를 들어 마스킹 커널은 언어 모델에 대해 학습이 더 쉬운 희소한 그래디언트를 만든다.
• Empirical sanity checks(예시 실험): MNIST 숫자를 10‑클래스 레이블로 취급한 간단한 범주형 확산 모델을 훈련시켰을 때, 동일한 ELBO를 사용할 경우 연속‑픽셀 확산 모델과 비슷한 성능을 보였다.
• Proof reuse: 저자들은 몇 가지 핵심 항등식(예: 마코프 과정에 대한 측도 변환)만으로 대부분의 기존 확산 결과를 다시 유도할 수 있음을 보여, 프레임워크의 통합력을 입증한다.

Practical Implications

• Broader data modalities: 엔지니어는 이제 그래프, 분자, 혹은 코드 토큰에 대한 확산 파이프라인을 수학을 처음부터 다시 만들 필요 없이 설계할 수 있다.
• Custom corruption strategies: 도메인 구조를 반영하는 전방 커널(예: 구문적으로 유효한 토큰만 마스킹)을 선택하면 역 모델이 더 효율적으로 학습되어 훈련 시간 감소와 샘플 품질 향상이 기대된다.
• Interoperable libraries: 논문의 모듈식 관점은 전방 커널을 플러그인 형태로 교체할 수 있는 확산 라이브러리 개발을 장려하며, 가우시안 노이즈, 균일 혼합, 혹은 작업‑특화 손상 간 전환이 간단해진다.
• Hybrid models: 멀티모달 작업(이미지 + 캡션)에서는 픽셀 공간에 연속 SDE를, 캡션에 CTMC를 동시에 실행하고 공유된 잠재 스케줄을 사용할 수 있다.
• Better debugging: 마스터/Fokker–Planck 방정식을 통한 전방‑역 관계 이해는 개발자에게 훈련 불안정성(예: 노이즈 스케줄 불일치) 진단을 위한 분석 도구를 제공한다.

Limitations & Future Work

• 이 논문은 이론적 통합에 초점을 맞추고 최소한의 실증 검증만 제공한다; 대규모 벤치마크(예: ImageNet, 대형 언어 모델)는 향후 연구에 남겨진다.
• 이산 커널의 확장성: 프레임워크는 임의의 전이 행렬을 지원하지만, 매우 큰 어휘에 대해 효율적이고 표현력이 풍부한 커널을 구성하는 것은 아직 해결되지 않은 엔지니어링 과제이다.
• 연속‑이산 하이브리드 공간(예: 범주형 속성을 가진 매니폴드 위 확산)으로 이론을 확장하는 부분은 언급만 되고 완전히 탐구되지 않았다.
• 저자들은 상태‑공간 유형을 넘나들며 공동 최적화되는 적응형 노이즈 스케줄과, 전방 커널에 차등 프라이버시 노이즈를 포함하는 프라이버시‑보호 확산을 공식화하는 연구를 제안한다.

Authors

• Vincent Pauline
• Tobias Höppe
• Kirill Neklyudov
• Alexander Tong
• Stefan Bauer
• Andrea Dittadi

Paper Information

• arXiv ID: 2512.05092v1
• Categories: stat.ML, cs.LG
• Published: December 4, 2025
• PDF: Download PDF