[Paper] Maximum Entropy Reinforcement Learning을 위한 Diffusion Model 프레임워크

Source: arXiv - 2512.02019v1

개요

이 논문은 Maximum Entropy Reinforcement Learning (MaxEntRL) 을 확산 모델 샘플링 문제 로 재구성한다. 정책을 확산 과정으로 취급하고 역 KL 발산에 대한 다루기 쉬운 상한을 최적화함으로써, 저자들은 인기 있는 RL 알고리즘(SAC, PPO, WPO)의 간단한 “확산‑강화” 버전을 도출한다. 이 버전들은 연속 제어 벤치마크에서 일관되게 성능을 향상시킨다.

주요 기여

• MaxEntRL의 확산 기반 재구성 – 최적 MaxEnt 정책이 목표 분포를 근사하는 확산 모델에서 샘플링됨을 보여준다.
• 다루기 쉬운 KL‑상한 목표 – 확산 역학을 유지하면서 표준 정책‑그라디언트 도구로 최적화할 수 있는 대리 손실을 도출한다.
• 알고리즘 확장 – DiffSAC, DiffPPO, DiffWPO 를 소개하며, 원래 알고리즘에 약간의 코드만 추가하면 된다.
• 실험적 향상 – MuJoCo/DeepMind Control Suite 작업에서 기존 SAC와 PPO보다 높은 반환값과 더 나은 샘플 효율성을 보여준다.
• 통합된 관점 – 이미지·오디오 생성에 널리 쓰이는 생성 확산 모델과 강화 학습을 연결하여 RL 에이전트 설계의 새로운 공간을 연다.

방법론

1. 확산 정책 표현 – 정책을 행동에 점진적으로 가우시안 노이즈를 추가하는 전방 확산 과정으로 모델링한다. 최종적으로는 단순한 사전(예: 등방성 가우시안)으로 수렴한다. 역 과정(디노이징)이 에이전트가 실제 실행 시 샘플링하는 과정이다.
2. 목표 도출 – 학습된 정책과 최적 MaxEnt 정책 사이의 KL 발산을 직접 최소화하는 것은 계산적으로 불가능하므로, 저자들은 역 KL을 분석적으로 다루기 쉬운 상한으로 제한한다.
3. 정책‑그라디언트 통합 – 이 상한에 고전적인 정책‑그라디언트 정리를 적용하면 수정된 대리 손실이 얻어진다. 손실은 두 부분으로 구성된다:
   • 표준 MaxEnt RL 항(보상 + 엔트로피 보너스)
   • 전방 확산 스케줄과 일치하도록 역 디노이징 역학을 장려하는 확산 정규화항
4. 알고리즘 플러그인 – 이 대리 손실이 SAC, PPO, WPO의 기존 actor 손실을 대체한다. critic/value 업데이트는 그대로 유지되며, 확산 스케줄(노이즈 레벨, 확산 단계 수)은 작업군 전체에 대해 한 번 튜닝하면 되는 하이퍼파라미터이다.

전체 파이프라인은 다음과 같다:

state → actor (outputs mean/variance) → forward diffusion (add noise) → reverse diffusion network (learned) → action

학습 중에는 역 네트워크가 각 확산 단계에서 추가된 노이즈를 예측하도록 훈련되며, 이는 이미지 생성에서의 스코어 매칭과 유사하다.

결과 및 발견

• 7개의 연속 제어 작업 전반에 걸쳐 확산‑보강 에이전트가 기존 베이스라인보다 일관되게 우수한 성능을 보였다.
• 성능 차이는 초기 학습 단계에서 가장 크게 나타났으며, 이는 학습 속도 향상(주어진 반환값에 도달하기 위한 환경 스텝 감소)을 의미한다.
• Ablation 실험에 따르면 확산 정규화 항만으로도 약 3–4 %의 향상이 발생했으며, 나머지는 엔트로피를 보존하는 확산 역학에 의한 탐색 개선 덕분이었다.

실용적 함의

• 플러그‑앤‑플레이 업그레이드 – 기존에 SAC, PPO, WPO를 사용하고 있다면, 확산 손실을 추가하고 노이즈 스케줄 및 작은 디노이징 네트워크를 삽입하는 몇 줄의 코드만으로 전환할 수 있다.
• 탐색 개선 – 확산 과정이 구조화된 노이즈를 자연스럽게 주입하므로, 손으로 튜닝한 엔트로피 계수 없이도 에이전트가 지역 최적점에서 탈출하기 쉽다.
• 노이즈가 많은 관측에 대한 강인성 – 정책이 행동을 디노이징하도록 학습되기 때문에 센서 노이즈에 더 관용적이며, 실제 로봇 제어에 유용하다.
• 도메인 간 시너지 – 생성 AI에서 확산 모델을 다루던 팀이 동일한 툴킷(예: 확산 라이브러리, 사전 학습된 노이즈 예측기)을 RL에 재사용할 수 있어, 고급 탐색 전략 실험 장벽이 낮아진다.
• 산업용 샘플 효율 RL – 빠른 수렴은 시뮬레이션 비용 절감과 자율 주행, 조작, 게임 AI 파이프라인의 빠른 반복 사이클을 의미한다.

제한점 및 향후 연구

• 계산 비용 증가 – 역 확산 네트워크와 다중 확산 단계를 추가함에 따라 단계당 연산량이 약 10–15 % 증가한다(바닐라 SAC/PPO 대비).
• 하이퍼파라미터 민감도 – 확산 스케줄(노이즈 레벨, 단계 수)은 여전히 튜닝이 필요하며, 논문에서는 경험적 가이드를 제공하지만 보편적인 레시피는 없다.
• 이산 행동 공간 – 현재 형태는 연속 행동을 전제로 하며, 이산 혹은 혼합 행동 공간에 대한 확산 기반 MaxEntRL 확장은 아직 미해결 문제이다.
• 이론적 보장 – KL 상한은 다루기 쉬우나, 결합된 RL‑확산 목표에 대한 더 엄밀한 상한이나 수렴 증명은 향후 연구 과제이다.

전반적으로, 생성 확산 모델의 아이디어를 차용함으로써 주류 RL 알고리즘에 실용적이고 성능을 끌어올리는 업그레이드를 제공한다는 점에서 개발자들이 에이전트의 성능을 한층 더 끌어올릴 수 있는 흥미로운 발전이라 할 수 있다.

저자

• Sebastian Sanokowski
• Kaustubh Patil
• Alois Knoll

논문 정보

• arXiv ID: 2512.02019v1
• Categories: cs.LG, cs.AI, stat.ML
• Published: December 1, 2025
• PDF: Download PDF