[Paper] ParetoPilot: Zero‑Surrogate 오프라인 다목표 최적화 via Infer‑Perturb‑Guide Diffusion

Source: arXiv - 2606.04468v1

Source: …

개요

오프라인 다목적 최적화 (MOO)는 정적 데이터셋만을 사용하여 여러 지표에서 동시에 뛰어난 새로운 설계를 찾는 작업으로, 비용이 많이 드는 시뮬레이션이나 실제 실험 없이 수행됩니다—예를 들어, 더 빠른 CPU이면서 전력 소비도 적은 설계 등을 말합니다. 새로운 ParetoPilot 프레임워크는 사전 학습된 확산 모델을 대리 평가자를 전혀 학습하지 않고 이 작업에 활용하는 방법을 보여주며, 계산량을 크게 줄이고 데이터 프라이버시를 유지하면서 기존 방법보다 더 강력한 파레토 프론트를 제공합니다.

주요 기여

• Zero‑surrogate diffusion: 보조 프록시 모델을 전혀 구축하지 않는 확산 기반 옵티마이저를 도입하여, 서러게이트 기반 파이프라인에서 발생하는 무거운 학습 비용과 잠재적 편향을 회피합니다.
• Infer‑Perturb‑Guide (IPG) engine: 세 단계 플러그인으로 (1) 조건부와 무조건부 노이즈 예측을 대비시켜 순간 목표 그래디언트를 추정하고, (2) “gravity”라 불리는 더 나은 목표로 끌어당기는 힘과 “edgeness‑aware”라 불리는 다양성을 위한 반발력을 결합한 수학적으로 직교하는 교란을 구성하며, (3) 이 교란된 목표를 표준 classifier‑free guidance (CFG)에 전달합니다.
• Unified training: 기존에 제공되는 diffusion 모델에 이미 내재된 조건부 사전분포를 활용하므로, 별도의 조건별 미세조정이 필요하지 않습니다.
• Comprehensive evaluation: 설계, 화학, 로보틱스 등 51개의 오프라인 MOO 작업에 대해 14개의 최신 베이스라인과 비교 평가했으며, 더 높은 하이퍼볼륨과 향상된 파레토 프론트 커버리지를 달성했습니다.
• Privacy‑preserving: 학습된 서러게이트가 훈련 데이터를 무심코 기억하는 상황을 방지함으로써 데이터 기밀성을 유지합니다—이는 독점 설계 데이터셋에 있어 핵심적인 고려 사항입니다.

Methodology

1. Base diffusion model – 사전 학습된 무조건적 확산 모델(예: DDPM)을 시작점으로 사용하여 순수 노이즈에서 후보 디자인을 생성합니다.
2. Conditional prior extraction – 모델은 classifier‑free guidance(CF‑G)로 학습될 때 목표에 조건을 걸어줄 수 있다는 것을 이미 알고 있습니다. ParetoPilot은 명시적인 재학습 없이 이 잠재적인 조건 지식을 활용합니다.
3. Infer step – 각 역확산 타임스텝에서 모델은 두 개의 노이즈 벡터를 예측합니다: 하나는 무조건적(ε_uncond)이고, 다른 하나는 잠정적인 목표 방향에 조건화된(ε_cond) 벡터입니다. 이 둘의 차이는 다목적 손실의 순간 기울기를 근사합니다.
4. Perturb step –
   • Gravity field: 추정된 기울기로부터 도출된, 더 높은 목표 값을 갖는 영역을 향하는 벡터.
   • Repulsive field: 이미 생성된 점들로부터 현재 샘플을 멀어지게 하는 “edgeness‑aware” 항으로, 파레토 앞선을 따라 다양성을 촉진합니다.
   • 두 필드는 Gram‑Schmidt 방식을 통해 직교화되어 간섭을 방지하고, 온도와 같은 annealing 스케줄에 따라 점차적으로 교란 강도를 감소시키면서 결합됩니다.
5. Guide step – 교란된 목표가 기존 CFG 목표를 대체하여, 모든 목표를 동시에 개선하면서도 다양성을 유지하도록 디노이징 스텝을 유도합니다.
6. Iterate – 이 과정을 각 확산 타임스텝마다 반복하여, 전체적으로 파레토 프론티어를 근사하는 디자인 배치를 생성합니다—평가자를 별도로 학습할 필요 없이 수행됩니다.

결과 및 발견

• 51개의 작업(회로 레이아웃, 분자 특성 최적화, 로봇 보행 설계 포함) 전반에 걸쳐 파레토파일럿은 일관되게 파레토 프론트를 외곽으로 확장시켜 더 높은 하이퍼볼륨 점수를 제공했습니다.
• 직교 교란이 핵심적인 역할을 함이 입증되었습니다: 반발 항을 제거한 제거 실험에서는 모드 붕괴(많은 중복 설계)가 발생했으며, 중력 항을 제외하면 수렴 속도가 느려졌습니다.
• 대리모델을 훈련하지 않기 때문에 전체 실행 시간이 다음으로 좋은 대리모델 기반 방법에 비해 약 40 % 감소했으며, 이 접근법은 데이터셋 크기에 따라 선형적으로 확장되었습니다.

실용적 함의

• Faster design loops – 엔지니어는 사전 학습된 diffusion 모델을 기존 오프라인 데이터셋에 연결하고 즉시 Pareto‑optimal 후보를 생성할 수 있어, 며칠이 걸릴 수 있는 surrogate‑training 단계를 건너뛸 수 있습니다.
• Reduced cloud spend – GPU 사용 시간이 감소하면 대규모 설계 최적화를 수행하는 기업(예: 반도체 파운드리, 신약 개발 회사)의 비용 절감으로 직접 연결됩니다.
• Data confidentiality – 민감한 설계 데이터(프로프라이어터리 CAD 파일, 기밀 분자 라이브러리)는 외부 모델이 학습되지 않기 때문에 보안된 환경을 떠나지 않습니다.
• Toolchain integration – IPG 엔진은 가벼운 애드온으로, any classifier‑free diffusion backbone (Stable Diffusion, Imagen 등)와 함께 작동하여 기존 생성‑AI 파이프라인이나 MLOps 플랫폼에 쉽게 삽입할 수 있습니다.
• Multi‑objective “what‑if” exploration – 개발자는 guidance strength를 조정하여 다양한 trade‑off surface(예: latency vs. power vs. area)를 빠르게 조회할 수 있어, 신속한 프로토타이핑 및 이해관계자 협상이 가능해집니다.

제한 사항 및 향후 연구

• 좋은 diffusion prior에 대한 의존 – 기본 diffusion 모델이 좁은 분포에 대해 학습된 경우, ParetoPilot은 그 지원 범위를 크게 벗어나서 외삽할 수 없습니다.
• 매우 고차원 목표에 대한 확장성 – 현재 gradient 추론은 목표 수에 대해 선형적으로 확장됩니다; 매우 큰 목표 집합은 차원 축소 또는 계층적 가이드가 필요할 수 있습니다.
• 정적 데이터셋만 지원 – 이 방법은 고정된 오프라인 데이터셋을 전제로 합니다; 새로운 데이터가 도착하는 온라인 또는 지속 학습 시나리오로 확장하는 것은 아직 해결되지 않은 과제입니다.
• 이론적 보장 – 직교화가 비간섭 힘을 보장하지만, 다목표 경우에 대한 공식적인 수렴 증명은 아직 진행 중입니다.

향후 연구 방향은 다음과 같습니다: (1) 제로 서러게이트 전제를 깨지 않으면서 도메인 특화 데이터에 미세 조정할 수 있는 적응형 diffusion 백본을 통합하는 것, (2) 수십 개의 목표에 대한 계층적 IPG 스키마를 탐구하는 것, 그리고 (3) 차별 가능한 시뮬레이터와 ParetoPilot을 결합하여 하이브리드 오프라인‑온라인 최적화 루프를 가능하게 하는 것입니다.

저자

• Ruiqing Sun
• Sen Yang
• Dawei Feng
• Bo Ding
• Yijie Wang
• Huaimin Wang

논문 정보

• arXiv ID: 2606.04468v1
• 분류: cs.LG, cs.AI, cs.NE, math.OC
• 발표일: 2026년 6월 3일
• PDF: PDF 다운로드