[Paper] 자체 가이드 방어: 합성 가이드라인을 통한 추론 모델의 적응형 안전 정렬

Source: arXiv - 2511.21214v1

개요

대형 언어 모델(LLM)의 최근 발전은 인상적인 추론 능력을 열어주었지만, 동시에 새로운 공격 표면을 드러냈습니다: 안전하지 않거나 해로운 콘텐츠를 생성하도록 모델을 유도하는 적대적 탈옥 프롬프트. 논문 Self‑Guided Defense: Adaptive Safety Alignment for Reasoning Models via Synthesized Guidelines는 모델이 자신의 안전 규칙을 학습하고 동적으로 적용하도록 하는 새로운 자체 강화 안전 레이어를 제안합니다. 이 레이어는 정상적인 질의에 대한 유용성을 희생하지 않습니다.

주요 기여

• SGASA 프레임워크 – 데이터 사전 합성 + 정렬 파인튜닝의 두 단계 파이프라인으로, 모델이 생성한 안전 가이드라인을 직접 추론 모델에 주입합니다.
• 가이드라인 합성 – 모델 자체를 사용해 다양한 주제에 대한 간결한 안전 “규칙”을 초안하고, 해당 규칙을 준수하거나 위반하는 적대적 및 정상 프롬프트 변형을 생성합니다.
• 하이브리드 파인튜닝 – Supervised Fine‑tuning (SFT)과 Direct Preference Optimization (DPO)를 결합해 모델에게 거절해야 할 내용과 안전하게 응답할 수 있는 상황을 모두 가르칩니다.
• 확장 가능한 평가 – 여러 탈옥 벤치마크(예: AdvBench, JailbreakBench)에서 광범위한 실험을 수행해, 안전하지 않은 생성은 지속적으로 감소하면서 정상 요청에 대한 거절 비율은 낮게 유지됨을 보여줍니다.
• 적응형 행동 – 모델이 내부화된 가이드라인에 따라 들어오는 프롬프트를 자체 감사함으로써 외부 규칙 엔진 없이도 “스스로 방어”할 수 있습니다.

방법론

1. 데이터 사전 합성

   • 기본 추론 모델에 안전 가이드라인(예: “무기 제작 방법을 절대 제공하지 않는다”)을 생성하도록 프롬프트합니다.
   • 각 가이드라인마다 자동으로 두 종류의 프롬프트 군을 생성합니다:
     • 정상 프롬프트 – 가이드라인을 준수하는 경우,
     • 적대적 탈옥 프롬프트 – 완곡어법이나 간접 표현을 사용해 가이드라인을 회피하려는 경우.
   • 이렇게 (프롬프트, 가이드라인, 기대 응답) 삼중항으로 구성된 합성 데이터셋이 만들어집니다.

2. 정렬 파인튜닝

   • Supervised Fine‑tuning (SFT): 합성 데이터셋을 이용해 모델이 올바른 응답(답변 또는 안전한 거절)을 생성하도록 학습시키며, 응답에 가이드라인을 명시적으로 참조하도록 합니다.
   • Direct Preference Optimization (DPO): 경량 보상 모델이 SFT 출력의 안전성 및 유용성을 평가합니다. DPO는 인간 피드백 기반 강화학습(RLHF) 없이도 안전하면서도 도움이 되는 답변을 선호하도록 모델을 업데이트합니다.

3. 자체‑가이드 추론

   • 실행 시 모델은 먼저 관련 가이드라인을 검색(빠른 최근접 이웃 조회 또는 경량 분류기 사용)하고, 그 규칙을 조건으로 삼아 생성 과정을 진행합니다. 즉, 답변하기 전에 스스로를 “점검”합니다.

결과 및 발견

• 안전성 향상: SGASA는 위험한 출력을 절반 이상 감소시키며, DPO 단계가 가장 큰 개선을 제공합니다.
• 낮은 부작용: 정상 질의에 대한 거절 비율이 거의 증가하지 않아 모델이 과도하게 조심스럽지 않음을 확인했습니다.
• 일반화: 동일한 가이드라인이 보지 못한 새로운 탈옥 기법에도 안전성을 높여, 접근 방식이 특정 공격을 암기하는 것이 아니라 원칙을 학습함을 보여줍니다.

실용적 함의

• 플러그‑인 안전 레이어: 개발자는 기존 추론‑중심 LLM(코드 어시스턴트, 데이터 분석 봇 등)에 SGASA를 한 번의 파인튜닝만으로 통합할 수 있어, 전체 안전 스택을 재설계할 필요가 없습니다.
• 외부 필터 의존도 감소: 가이드라인을 내부화함으로써 모델이 유해 프롬프트를 사전 차단할 수 있어, 다운스트림 콘텐츠 필터에 도달하기 전에 거절이 이루어지고 지연 시간과 인프라 복잡성이 낮아집니다.
• 맞춤형 정책: 조직은 도메인‑특화 가이드라인(예: 의료 조언, 금융 규제)을 생성하고 동일한 합성 파이프라인을 실행해 규제 요구에 맞춘 안전성을 구현할 수 있습니다.
• 지속적인 적응: 가이드라인이 모델에 의해 생성되므로, 새로운 탈옥 패턴을 합성 단계만 다시 실행하면 자동으로 반영되어 “자기 치유” 안전 자세를 유지합니다.

제한점 및 향후 과제

• 가이드라인 품질은 기반 모델에 의존: 초기 모델이 모호하거나 불완전한 규칙을 만들 경우, 하위 안전성에 불균형이 발생할 수 있습니다.
• 가이드라인 검색의 확장성: 매우 큰 가이드라인 라이브러리에서는 빠른 조회 메커니즘(예: 벡터 인덱스)이 필수이며, 본 연구에서는 이를 간략히 탐색했습니다.
• 평가 범위: 실험은 영어 탈옥에 초점을 맞췄으며, 다국어·다중모달 안전성은 아직 미해결 과제입니다.
• 향후 방향으로는 (1) 인간‑인‑루프 검증을 통한 가이드라인 검증, (2) 멀티모달 모델(비전‑언어)로의 SGASA 확장, (3) 새로운 위협이 등장할 때 모델이 스스로 가이드라인을 업데이트하는 지속 학습 설정 탐구 등이 제시되었습니다.

저자

• Yuhang Wang
• Yanxu Zhu
• Dongyuan Lu
• Jitao Sang

논문 정보

• arXiv ID: 2511.21214v1
• Categories: cs.CL, cs.AI
• Published: November 26, 2025
• PDF: Download PDF