[논문] ParetoSlider: Diffusion Models 사후 훈련을 통한 연속 보상 제어

Source: arXiv - 2604.20816v1

Overview

이 논문은 ParetoSlider를 소개합니다. 이는 확산 모델(많은 현대 이미지 생성기의 핵심)을 미세 조정하는 새로운 방법으로, 단일 훈련된 모델을 추론 시점에 경쟁 목표들의 전체 스펙트럼을 따라 조정할 수 있게 합니다—예를 들어, 편집된 이미지가 사용자의 프롬프트에 얼마나 가깝게 따르는지와 원본 콘텐츠를 얼마나 충실히 보존하는지 사이의 균형. 보상 가중치를 훈련 중 조건 변수로 취급함으로써, 저자들은 개발자들이 재훈련이나 체크포인트 교체 없이도 트레이드오프 사이를 “슬라이드”할 수 있게 합니다.

주요 기여

• MORL‑enabled diffusion training: 다목적 강화학습(MORL) 프레임워크를 도입하여 diffusion 모델의 전체 파레토 프론트를 학습합니다.
• Preference‑conditioned conditioning: 보상 가중치를 나타내는 연속 스칼라(또는 벡터)를 diffusion 모델에 추가 입력으로 사용해 목표를 실시간으로 조정할 수 있게 합니다.
• Single‑model solution: 각 고정된 트레이드오프마다 별도 모델을 학습하는 것과 동등하거나 더 나은 성능을 달성하여 저장 및 유지보수 비용을 절감합니다.
• Broad backbone compatibility: 세 가지 최신 흐름 매칭 백본(SD3.5, FluxKontext, LTX‑2)에서 접근 방식을 입증하여 특정 아키텍처에 국한되지 않음을 보여줍니다.
• Empirical validation: ParetoSlider가 프롬프트 충실도와 원본 충실도, 그리고 다른 상충되는 기준들 사이를 부드럽고 예측 가능한 동작으로 탐색할 수 있다는 정량적·정성적 증거를 제공합니다.

Methodology

1. 다중 보상 정의 – 저자들은 경쟁 목표를 포착하는 두 개(또는 그 이상)의 보상 함수를 선택합니다(예: CLIP 기반 프롬프트 유사도 vs. 입력 이미지와의 구조적 유사도).
2. 조건부로서의 선호 벡터 – 학습 중에 무작위 선호 가중치 λ ∈ [0,1](또는 더 높은 차원의 가중치 벡터)가 샘플링되어 diffusion 모델의 조건 입력(예: 텍스트 프롬프트, 잠재 변수)에 연결됩니다. 이는 모델에 “이번 라운드에서 각 보상을 얼마나 중시할지”를 알려줍니다.
3. MORL 손실 – 표준 diffusion 손실에 강화 학습 스타일의 정책 그래디언트 항을 추가하여 가중합 λ·R₁ + (1‑λ)·R₂를 최대화합니다. λ가 매 단계마다 변하기 때문에 모델은 전체 연속적인 트레이드‑오프를 경험합니다.
4. 학습 루프 – 모델은 이미지‑프롬프트 쌍(또는 이미지‑대‑이미지 편집)의 대규모 데이터셋을 사용해 일반 diffusion 목표와 MORL 항을 함께 학습합니다. 별도의 체크포인트를 저장하지 않으며, 단일 네트워크가 모든 λ에 대해 적절한 생성 행동을 매핑하도록 학습됩니다.
5. 추론 슬라이더 – 생성 시점에 개발자는 원하는 λ(또는 슬라이더 UI)를 설정하고 diffusion 과정을 실행합니다. 모델은 해당 가중치 구성에 대한 학습된 파레토 프론트 상에 위치한 출력을 생성합니다.

결과 및 발견

• 부드러운 제어: λ 를 변화시키면 두 메트릭 모두에서 단조로운 변화를 보이며, 모델이 일관된 파레토 프론트를 학습했음을 확인할 수 있습니다.
• 성능 패널티 없음: 극단적인 경우(λ ≈ 0 또는 1)에도 ParetoSlider의 출력은 해당 단일 목표에만 최적화된 모델과 동등한 수준입니다.
• 정성적 예시: 나란히 배치된 이미지들은 λ 를 증가시킬수록 프롬프트‑구동 편집이 더 강해지고, λ 를 감소시킬수록 원본 이미지 구조가 더 많이 보존되는 모습을 보여줍니다.

Practical Implications

• Single‑model deployment: 단일 모델 배포: 기업은 UI 슬라이더를 제공함으로써 하나의 diffusion 체크포인트만 배포하여 창의적 생성, 정확한 편집, 스타일 전송 등 다양한 사용 사례를 지원할 수 있습니다.
• Reduced storage & CI costs: 저장소 및 CI 비용 감소: 보상 가중치마다 체크포인트를 별도로 유지할 필요가 없으며, 업데이트가 모든 트레이드오프에 동시에 적용됩니다.
• Dynamic user personalization: 동적 사용자 개인화: 최종 사용자는 실시간으로 창의성과 충실성 사이의 균형을 미세 조정할 수 있어 사진 편집 앱, 생성 디자인 도구, AI 기반 콘텐츠 제작 플랫폼에서 만족도가 향상됩니다.
• Rapid prototyping: 빠른 프로토타이핑: 연구자들은 처음부터 재학습하지 않고도 새로운 보상 조합(예: 안전성 또는 편향 완화 항목 추가)을 실험할 수 있으며, 선호 벡터를 확장하기만 하면 됩니다.
• Potential for API services: API 서비스 가능성: 클라우드 제공업체는 생성 엔드포인트에 “ParetoSlider” 파라미터를 공개하여 개발자가 속도와 품질, 새로움과 일관성 등 다양한 SLA를 만족시키는 간단한 조절 장치를 사용할 수 있게 합니다.

제한 사항 및 향후 작업

• 다수 목표에 대한 확장성: 이 논문은 두 개의 경쟁 보상에 초점을 맞추고 있으며, 세 개 이상으로 확장하려면 고차원 조건부 설정이 필요하고 슬라이더 UI가 복잡해질 수 있습니다.
• 보상 설계 의존성: 파레토 프론트의 품질은 잘 정의되고 미분 가능한 보상 함수에 크게 좌우됩니다; 잡음이 많거나 보정이 부실한 보상은 학습을 불안정하게 만들 수 있습니다.
• 계산 오버헤드: MORL 정책‑그래디언트 항을 추가하면 기존 확산 모델 학습에 비해 훈련 시간이 다소 증가합니다.
• 비이미지 도메인에 대한 일반화: 이미지 확산에서 입증된 바와 같이, 파레토 슬라이더를 텍스트, 오디오 또는 멀티모달 생성기에 적용하는 것은 아직 해결되지 않은 과제입니다.
• 향후 방향: 저자들은 프론트의 저대표 영역에 학습 자원을 집중하는 적응형 선호도 샘플링, 온라인 미세조정을 위한 사용자 피드백 루프 통합, 수십 개의 목표를 가진 대규모 기반 모델로의 확장을 탐구할 것을 제안합니다.

저자

• Shelly Golan
• Michael Finkelson
• Ariel Bereslavsky
• Yotam Nitzan
• Or Patashnik

논문 정보

• arXiv ID: 2604.20816v1
• 카테고리: cs.LG, cs.CV
• 출판일: 2026년 4월 22일
• PDF: Download PDF