[Paper] 스스로 레드 팀을 하라: Self-Play와 Reflective Experience Replay를 통한 Safety Alignment

Source: arXiv - 2601.10589v1

개요

논문은 Safety Self‑Play (SSP) 라는 새로운 프레임워크를 소개한다. 이 프레임워크는 단일 대형 언어 모델(LLM)이 공격자와 방어자 역할을 연속적인 강화학습 루프에서 동시에 수행하도록 한다. 모델이 스스로 탈옥 시도를 생성하고 즉시 이를 거부하도록 학습함으로써, 정적인 인간이 만든 레드팀 데이터셋이 놓치는 안전성 결함을 발견하고 패치할 수 있다. 저자들은 이 자기 대전 방식이 전통적인 “고정‑프롬프트” 방어보다 더 적응력 있고 견고한 안전 정렬을 제공한다는 것을 보여준다.

주요 기여

• Self‑contained Red‑Team/Blue‑Team Loop: 하나의 LLM을 사용해 적대적 프롬프트(공격자)를 동시에 생성하고 안전한 거부(방어자)를 통합된 RL 환경에서 생성합니다.
• Reflective Experience Replay: 실패 사례를 경험 풀에 저장하고 상한 신뢰 구간(UCB) 전략으로 샘플링하여 가장 어려운 저보상 예제에 학습을 집중하면서도 탐색을 장려합니다.
• Dynamic Attack Evolution: 공격자는 지속적으로 탈옥 기법을 정교화하여 방어자가 정적인 위협 집합에 과적합되는 것을 방지합니다.
• Empirical Benchmark: SSP가 정적 적대적 코퍼스에서 훈련된 베이스라인보다 여러 안전 지표(예: 거부율, 오탐 감소)에서 우수함을 보여줍니다.
• Open‑source Baseline: 코드와 재현 가능한 훈련 파이프라인을 제공하여 커뮤니티가 자체 플레이 안전 정렬을 확장하도록 장려합니다.

방법론

1. 통합 RL 공식화

   • LLM은 에피소드당 두 번 인스턴스화됩니다: 정상적인 사용자 질의를 받고 이를 탈옥 시도로 변환하려는 Attacker와 탈옥된 질의를 받아 거부하거나 안전하게 응답해야 하는 Defender.
   • 두 에이전트는 동일한 기본 모델 가중치를 공유하지만, 서로 다른 행동을 허용하기 위해 별도의 정책 헤드를 유지합니다.

2. 보상 설계

   • Attacker 보상: 탈옥이 성공했을 때(즉, Defender가 허용되지 않은 응답을 생성했을 때) 양수.
   • Defender 보상: 올바른 거부에 대해 양수이며, 안전하지 않은 출력에 대해서는 페널티가 부여됩니다.

3. 반사 경험 재생 (RER)

   • 각 에피소드의 (상태, 행동, 보상) 튜플이 경험 풀에 저장됩니다.
   • UCB 기반 샘플러가 낮은 보상(어려운) 에피소드를 우선적으로 추출하여 Defender가 가장 큰 실수를 반복적으로 재검토하도록 합니다.
   • 공격 전략이 진화함에 따라 분포를 최신 상태로 유지하기 위해 재생 버퍼를 주기적으로 새로 고칩니다.

4. 학습 루프

   • Proximal Policy Optimization (PPO)은 온‑폴리시 자체 플레이 데이터와 오프‑폴리시 재생 경험을 혼합하여 두 정책 헤드를 동시에 업데이트합니다.
   • 커리큘럼 스케줄링은 사용자 질의와 탈옥 프롬프트의 복잡성을 점진적으로 증가시켜 실제 상황의 에스컬레이션을 반영합니다.

결과 및 발견

• 새로운 공격에 대한 견고성: SSP는 학습 데이터에 없던 많은 탈옥 패턴을 찾아내어 우수한 일반화 능력을 보여줍니다.
• 과적합 감소: 방어자의 거부 행동은 인간이 만든 적대적 프롬프트의 보류 집합에서도 안정적으로 유지되었으며, 정적 기준은 급격히 성능이 저하되었습니다.
• 효율성: 학습은 약 200k 자기‑플레이 단계 후 수렴했으며, 정적 데이터셋 파인튜닝과 유사한 연산 예산으로 2‑3배 수준의 안전성 향상을 달성했습니다.

실용적 시사점

• Continuous Safety Updates: 배포는 백그라운드에서 가벼운 셀프‑플레이 루프를 실행하여 새로운 공격 벡터를 자동으로 탐지하고, 수동 레드‑팀 개입 없이 거부 정책을 업데이트할 수 있습니다.
• Lower Red‑Team Costs: 조직은 비용이 많이 드는 외부 보안 감사에 대한 의존도를 낮추고, 자원을 다른 위험‑관리 업무에 재배분할 수 있습니다.
• Product‑Level Guardrails: LLM API를 제공하는 SaaS 플랫폼은 SSP‑훈련 모델을 내장하여 프롬프트 인젝션, 탈옥, 정책‑회피 기법에 대한 보다 강력하고 적응적인 보호를 제공할 수 있습니다.
• Regulatory Alignment: AI 안전 규제가 해로운 출력에 대한 실증 가능한 완화를 점점 더 요구함에 따라, 셀프‑플레이 기반 안전 모델은 사전 위험 감소의 측정 가능한 증거를 제공합니다.

제한 사항 및 향후 연구

• 단일 모델 제약: 두 역할에 하나의 LLM을 사용하는 것은 특화된 모델들로 구성된 이질적인 레드팀에 비해 공격 전략의 다양성을 제한할 수 있습니다.
• 보상 형태 민감도: 안전 성능은 정밀하게 조정된 보상 가중치에 의존하며, 잘못 지정될 경우 과도하게 보수적인 거부나 위반 탐지를 놓칠 수 있습니다.
• 대형 모델에 대한 확장성: 실험은 7‑B 파라미터 모델을 대상으로 수행했으며, SSP를 70‑B 규모의 LLM에 적용하려면 보다 정교한 샘플링이나 분산 RL 기법이 필요할 수 있습니다.
• 인간 감독: SSP가 수동 레드팀 작업을 감소시키긴 하지만, 발견된 탈옥 사례에 대한 정기적인 인간 검토는 미묘한 정책 위반을 포착하는 데 여전히 필수적입니다.

향후 연구 방향으로는 이질적인 공격자 모델을 활용한 다중 에이전트 자기 플레이, 실제 사용자 로그를 포함하는 커리큘럼 학습, 그리고 경험적 안전성 향상을 보완하기 위한 형식 검증 방법의 통합이 포함됩니다.

저자

• Hao Wang
• Yanting Wang
• Hao Li
• Rui Li
• Lei Sha

Source: …

논문 정보

• arXiv ID: 2601.10589v1
• 분류: cs.CR, cs.CL
• 출판일: 2026년 1월 15일
• PDF: PDF 다운로드