[논문] 감성 음악 추천: 오프라인 선호도 최적화를 위한 롤아웃 기반 월드 모델

Source: arXiv - 2605.28810v1

개요

이 논문은 AMRS라는 감정 기반 음악 추천 시스템을 소개한다. AMRS는 LUCID의 건강·웰니스 플랫폼에서 임상 사용자(예: 신경인지 장애를 가진 노인)와 일반 웰니스 청취자를 모두 지원한다. 온라인에서 감정 결과를 테스트하는 것은 윤리적으로 매우 까다롭다—특히 취약 계층에게는 더욱 그렇다—따라서 저자들은 오프라인에서 사용자 반응을 시뮬레이션할 수 있는 월드 모델을 구축하고, 이를 이용해 참여도와 감정 상태(valence & arousal)를 동시에 최적화하는 추천 정책을 학습한다.

핵심 기여

• 롤아웃 기반 월드 모델: 로그된 청취 세션으로부터 세 가지 신호(참여도(예: 스킵), 이진 평점, 자가 보고된 감정(valence & arousal))를 동시에 예측하는 인과 트랜스포머.
• 오프라인 선호 최적화: 시뮬레이션 환경에서 Direct Preference Optimization(DPO)을 적용해 다목적 유틸리티(참여도 + 감정)를 기준으로 추천 정책을 미세조정.
• 콜드 스타트 검증: 월드 모델이 사전 상호작용 데이터가 전혀 없는 사용자에게도 행동 및 감정 결과를 충분히 정확하게 예측함을 입증.
• 다양성 보존: DPO가 감정 지표를 개선하면서도 추천 분포가 붕괴되지 않음을 보임(그리디 오프라인 RL에서 흔히 발생하는 문제).
• 실제 환경 배포: 온라인 감정 실험에 대한 윤리적 제약을 피하면서 완전히 오프라인으로 학습된 감정 인식 음악 추천 시스템을 최초로 공개 배포.

방법론

1. 데이터 수집 – LUCID의 기존 로그를 활용했다. 각 청취 이벤트는 타임스탬프, 스킵/완료 플래그, 이진 “좋아요” 평점, 그리고 선택적인 자가 보고 valence/arousal(2‑D 감정 휠) 정보를 포함한다.

2. 월드 모델 학습 – 인과 트랜스포머가 순차적인 청취 이력을 처리하면서 세 목표를 동시에 예측하도록 학습한다. 인과적 특성 덕분에 후보 추천이 주어졌을 때 미래 상호작용을 단계별로 롤아웃해 시뮬레이션할 수 있다.

3. 정책 초기화 – 행동 복제(BC) 모델을 학습시켜 과거 정책(실제로 제공된 곡)을 모방한다. 이는 과거 추천 분포를 존중하는 안전한 시작점을 제공한다.

4. DPO를 이용한 오프라인 미세조정 – 월드 모델을 시뮬레이터로 활용해 BC 정책을 Direct Preference Optimization으로 정제한다. DPO는 각 시뮬레이션 궤적을 유틸리티 함수에 따라 “더 좋음 vs. 더 나쁨”의 쌍선호로 간주한다:

   [ U = \lambda_{\text{eng}} \cdot \text{Engagement} + \lambda_{\text{val}} \cdot \text{Valence} + \lambda_{\text{aro}} \cdot \text{Arousal} ]

   손실 함수는 유틸리티를 높이는 행동으로 정책을 이동시키면서 BC 정책과의 거리를 유지해 분포 이동을 방지한다.

5. 스트레스 테스트 – 배포 전, 정제된 정책을 수천 개의 시뮬레이션 세션에 적용해 과도하게 반복되는 플레이리스트와 같은 병리적 행동을 확인하고, 감정 개선 효과가 사용자 세그먼트 전반에 걸쳐 견고한지 검증한다.

결과 및 발견

• 월드 모델은 콜드 스타트 상황(사전 사용자 데이터 없음)에서도 행동·감정 신호에 대해 사용 가능한 예측 정확도를 달성했다.
• DPO는 예측된 감정 점수를 ≈10–15 % 상승시켰으며, 참여도와 다양성은 거의 변하지 않아 감정을 최적화하면서 청취 의지를 희생하지 않음을 보여준다.
• 순수 보상 최대화와 같은 그리디 오프라인 RL 베이스라인은 다양성 급락(분포 붕괴)을 일으켜 DPO 정규화 항의 중요성을 확인했다.

실용적 시사점

• 윤리적 오프라인 실험 – 기업은 실제 사용자를 고통스러운 콘텐츠에 노출하지 않고도 감정 인식 추천 시스템을 프로토타이핑할 수 있어, 헬스테크·임상 분야에 큰 이점이 된다.
• 개인화된 웰니스 모드 – 다목적 유틸리티를 실시간으로 재가중해 “진정” 모드와 “활력” 모드를 전환할 수 있어, 치료 목표에 맞는 동적 플레이리스트 제공이 가능하다.
• 콜드 스타트 친화성 – 월드 모델이 집계 로그에서 학습되므로 신규 사용자는 첫날부터 감정에 민감한 추천을 받게 되어, 많은 추천 시스템이 겪는 콜드 스타트 마찰을 감소시킨다.
• 확장 가능한 시뮬레이션 파이프라인 – 롤아웃 기반 트랜스포머는 비디오 스트리밍, 인터랙티브 스토리텔링, VR 환경 등 감정이 중요한 다른 도메인에도 재활용 가능하다.
• 규제 준수 – 오프라인 정책 학습은 GDPR‑유형의 실시간 감정 데이터 수집 동의 요구를 회피하므로, 건강 중심 제품의 법적 컴플라이언스가 간소화된다.

제한점 및 향후 연구

• 시뮬레이션 정확도: 예측이 사용 가능하지만 여전히 비트리비얼한 오차(RMSE ≈ 0.12)가 존재한다. 희귀 감정 상태나 매우 특이한 음악 취향 같은 엣지 케이스는 잘못 시뮬레이션될 수 있다.
• 자가 보고 편향: Valence/arousal 라벨은 가끔씩 사용자가 직접 보고한 것에 의존하는데, 이는 노이즈가 많거나 임상 집단에서는 누락될 가능성이 있다.
• 정적 유틸리티 가중치: 현재 유틸리티 함수는 고정된 λ값을 사용한다. 향후 연구에서는 사용자별 가중치를 학습하거나 실시간으로 적응시키는 방안을 모색할 수 있다.
• 장기 감정 동역학: 본 연구는 즉각적인 감정 반응에 초점을 맞췄으며, 며칠에 걸친 기분 변화와 같은 장기적 감정 궤적을 포착하는 모델은 아직 미개발 상태이다.
• 음악 외 일반화: 동일한 롤아웃 기반 월