[Paper] 自主防御：通过合成指南实现推理模型的自适应安全对齐

Source: arXiv - 2511.21214v1

概览

大型语言模型（LLM）的最新进展解锁了令人印象深刻的推理能力，但也暴露了新的攻击面：对抗性越狱提示会诱导模型生成不安全或有害的内容。论文 Self‑Guided Defense: Adaptive Safety Alignment for Reasoning Models via Synthesized Guidelines 提出了一个新颖的、自我强化安全层，使模型能够 从自身的安全规则中学习 并动态应用这些规则，而不会牺牲对良性查询的有用性。

主要贡献

• SGASA 框架 – 一个两阶段流水线（数据预合成 + 对齐微调），直接将 模型生成的安全指南 注入推理模型。
• 指南合成 – 使用模型本身起草针对广泛主题的简明安全“规则”，随后生成遵守或违反这些规则的对抗性和良性提示变体。
• 混合微调 – 将监督微调（SFT）与直接偏好优化（DPO）相结合，教会模型 该拒绝什么 以及 何时可以安全地满足请求。
• 可扩展评估 – 在多个越狱基准套件（如 AdvBench、JailbreakBench）上进行的大量实验表明，在保持对合法请求的拒绝率低的同时，能够持续降低不安全生成。
• 自适应行为 – 模型能够 自我审计 输入提示，依据内部化的指南进行检查，实质上在没有外部规则引擎的情况下“自我防御”。

方法论

1. 数据预合成

   • 通过提示基础推理模型生成 安全指南（例如 “绝不提供制造武器的指令”）。
   • 对每条指南，作者自动生成两类提示集合：
     • 良性提示：遵守该指南；
     • 对抗性越狱提示：尝试规避该指南（例如使用委婉语或间接表述）。
   • 由此得到一个合成数据集，包含 (prompt, guideline, desired response) 三元组。

2. 对齐微调

   • 监督微调 (SFT)： 在合成数据集上训练模型，使其在显式引用指南的同时生成正确的响应（答案或安全拒绝）。
   • 直接偏好优化 (DPO)： 轻量级奖励模型对 SFT 输出进行安全性与有用性打分。随后 DPO 更新模型，以最大化对安全且有帮助答案的偏好，无需强化学习从人类反馈（RLHF）循环。

3. 自导式推理

   • 在运行时，模型首先 检索相关指南（通过快速最近邻查找或轻量分类器），随后在该规则的条件下生成答案，等同于在回答前“自检”。

结果与发现

• 安全提升： SGASA 将不安全输出降低超过一半，其中 DPO 阶段贡献最大。
• 低副作用： 对合法查询的拒绝率几乎不增加，说明模型并未过度谨慎。
• 泛化能力： 相同的指南在未见过的越狱技术上同样提升安全性，表明该方法学习的是 原则 而非记忆特定攻击。

实际意义

• 即插即用的安全层： 开发者可以将 SGASA 集成到现有的推理型 LLM 部署（代码助手、数据分析机器人）中，只需一次微调，无需重新设计完整的安全体系。
• 降低对外部过滤器的依赖： 通过内部化指南，模型能够在到达下游内容过滤器之前拒绝有害提示，从而降低延迟和基础设施复杂度。
• 可定制的策略： 组织可以生成领域特定的指南（如医疗建议、金融合规），并运行相同的合成流水线，以满足监管需求。
• 持续适应： 由于指南由模型生成，新的越狱模式只需重新运行合成步骤即可自动纳入，实现“自愈”安全姿态。

局限性与未来工作

• 指南质量依赖基础模型： 若初始模型生成的规则模糊或不完整，下游安全性可能出现不均衡。
• 指南检索的可扩展性： 对于非常大的指南库，快速查找机制（如向量索引）变得至关重要，但在本文中仅作了浅层探讨。
• 评估范围： 实验聚焦于英文越狱；多语言或多模态安全仍是未解之题。
• 未来方向 包括 (1) 将人工环路引入合成指南的验证，(2) 将 SGASA 扩展至多模态模型（视觉‑语言），以及 (3) 探索持续学习设置，使模型在新威胁出现时能够即时更新自身指南。

作者

• Yuhang Wang
• Yanxu Zhu
• Dongyuan Lu
• Jitao Sang

论文信息

• arXiv ID: 2511.21214v1
• 分类: cs.CL, cs.AI
• 发布日期: 2025 年 11 月 26 日
• PDF: Download PDF