[Paper] ManifoldGD: 훈련 없이 계층적 매니폴드 가이던스 for Diffusion-Based Dataset Distillation

Source: arXiv - 2602.23295v1

개요

이 논문은 ManifoldGD라는 학습‑프리 기법을 소개합니다. 이 기법은 확산 모델을 활용해 원래 대규모 컬렉션의 지식을 보존하면서 초소형 합성 데이터셋을 생성합니다. 잠재 특징의 계층적 클러스터링으로 구축된 기하학‑인식 “매니폴드”로 확산 과정을 안내함으로써, 이 방법은 다양한 고충실도 이미지를 만들어 내며, 다운스트림 학습을 위해 전체 데이터셋을 대체할 수 있습니다.

핵심 기여

• 학습 없이 증류: 사전 학습된 확산 모델과 VAE 인코더를 활용하여 생성 네트워크를 미세 조정할 필요가 없습니다.
• 계층적 IPC(Instance Prototype Centroid) 구축: VAE 잠재 벡터의 분할 클러스터링을 통해 다중 스케일 코어셋을 구성하여 거친 클래스 모드와 세밀한 클래스 내 변이를 모두 포착합니다.
• 다양체 일관 가이드: 각 확산 디노이징 단계에서 가장 가까운 IPC 방향을 잠재 다양체의 국부 접선 공간에 투영하여 생성 경로가 다양체 위에 머물도록 합니다.
• 통합 프레임워크: 추가 학습 없이도 Stable Diffusion, Denoising Diffusion Probabilistic Models 등 기존 확산 모델과 호환됩니다.
• 최첨단 성능: 학습 없이 및 학습 기반 베이스라인 모두에 대해 Fréchet Inception Distance(FID), 임베딩 L2 거리, 하위 작업 분류 정확도를 향상시킵니다.

방법론

1. 특징 추출 – 사전 학습된 VAE가 원본 데이터셋의 모든 이미지를 잠재 벡터로 인코딩합니다.
2. 계층적 클러스터링 – 잠재 벡터를 재귀적으로 분할(분할 클러스터링)하여 클러스터 트리를 생성합니다. 각 리프 클러스터의 중심점은 **인스턴스 프로토타입 중심(Instance Prototype Centroid, IPC)**이 됩니다. 이 계층 구조는 다중 스케일 IPC 집합을 제공하며, 상위 노드는 넓은 의미적 모드(예: “개 vs. 고양이”)를 포착하고, 하위 노드는 미묘한 변이(예: 서로 다른 품종)를 포착합니다.
3. 다양체 구축 – 특정 확산 시간 단계 t에 대해, 알고리즘은 현재 잠재 추정값 주변의 IPC 로컬 이웃을 선택합니다. 이 점들을 이용해 저차원 접선 공간을 추정합니다(예: 이웃에 대한 PCA 사용).
4. 가이드된 디노이징 – 표준 확산 디노이징 단계는 더 높은 확률 영역을 향하는 “스코어”(gradient)를 생성합니다. ManifoldGD는 현재 잠재값에서 가장 가까운 IPC를 향하는 모드 정렬 벡터를 추가합니다. 이 벡터는 접선 공간에 투사되어 업데이트가 학습된 다양체 위에 머물도록 합니다.
5. 반복 – 단계 3‑4를 모든 디노이징 시간 단계마다 반복하여 깨끗한 이미지가 얻어질 때까지 진행합니다. 최종 이미지는 정제된 합성 데이터셋을 구성합니다.

전체 파이프라인은 추론 전용으로 실행됩니다: 초기 전처리 이후 확산 모델, VAE, 또는 클러스터링 알고리즘에 대한 그래디언트 업데이트가 필요하지 않습니다.

결과 및 발견

• 대표성: 계층적 IPC는 전역 클래스 구조와 세밀한 뉘앙스를 모두 포착하여, 합성 데이터가 원본 분포를 더 잘 반영하도록 합니다.
• 다양성: 탄젠트 공간 투영은 몇몇 모드로 붕괴되는 것을 방지하고, 클래스 내 변이를 보존합니다.
• 이미지 충실도: 시각적 검토 결과, 이전의 점수 기반 가이드 방식에 비해 텍스처가 더 선명하고 조명이 더 현실적임을 확인할 수 있습니다.

다수의 벤치마크(CIFAR‑10, TinyImageNet, 그리고 ImageNet의 일부)에서 ManifoldGD는 기존 최고의 학습‑없는 방법들을 지속적으로 능가했으며, 학습‑기반 증류 파이프라인 중 다수보다도 뛰어났습니다.

실용적 함의

• Faster prototyping: 개발자는 수십 기가바이트 규모의 학습 데이터를 몇 메가바이트 규모의 합성 이미지로 대체하여 데이터 로드 시간과 저장 비용을 줄일 수 있습니다.
• Edge and on‑device learning: 작은 합성 데이터셋을 통해 전체 데이터셋을 전달하지 않고도 디바이스 내에서 모델을 미세 조정할 수 있습니다(예: 스마트폰에서 개인화).
• Privacy‑preserving sharing: 증류된 데이터가 원시 이미지가 아니라 잠재 매니폴드에서 생성되므로 개인 식별 정보가 유출될 위험을 줄이고 공유할 수 있습니다.
• Rapid domain adaptation: 새로운 도메인의 잠재 임베딩에 대해 IPC를 다시 계산함으로써 실무자는 비용이 많이 드는 데이터 수집 없이도 전이 학습을 위한 컴팩트한 합성 데이터셋을 즉시 생성할 수 있습니다.
• Plug‑and‑play: 이 방법은 기존의 모든 확산 모델과 호환되므로 팀은 새로운 생성 모델을 학습하지 않고도 기존 파이프라인에 통합할 수 있습니다.

제한 사항 및 향후 연구

• VAE 품질에 대한 의존성: 계층적 클러스터링은 VAE 잠재 변수 위에서 수행되므로, 학습이 부실한 인코더는 최적이 아닌 IPC를 생성하여 증류 품질을 제한할 수 있습니다.
• 클러스터링의 확장성: 분할 클러스터링은 전통적인 k‑means보다 메모리 효율적이지만, 매우 큰 데이터셋(예: 전체 ImageNet)에서 IPC를 구축하는 데는 여전히 상당한 전처리 시간이 소요됩니다.
• 고정된 확산 스케줄: 현재 구현은 표준 확산 타임스텝 스케줄을 전제로 합니다. 대체 스케줄이나 가속 샘플러에 가이던스를 적용하면 추가적인 속도 향상이 가능할 수 있습니다.
• 비이미지 모달리티에 대한 확장: 본 논문은 시각 데이터에 초점을 맞추고 있으므로, 오디오, 텍스트 또는 멀티모달 데이터셋에 매니폴드‑가이드 증류를 적용하는 것은 아직 미해결 과제입니다.

향후 연구에서는 그래프 신경망 등을 이용한 학습된 잠재 매니폴드, 적응형 이웃 크기, 그리고 VAE 인코더와 IPC 계층을 공동 최적화하여 충실도를 더욱 높이고 전처리 오버헤드를 감소시키는 방안을 탐색할 수 있습니다.

저자

• Ayush Roy
• Wei‑Yang Alex Lee
• Rudrasis Chakraborty
• Vishnu Suresh Lokhande

논문 정보

• arXiv ID: 2602.23295v1
• Categories: cs.CV, cs.LG
• Published: February 26, 2026
• PDF: PDF 다운로드