[Paper] SkillFactory：Self-Distillation 用于学习认知行为

Source: arXiv - 2512.04072v1

概览

本文提出 SkillFactory，一种轻量级的自蒸馏技术，使大语言模型（LLM）在进行强化学习人类反馈（RLHF）之前学习更高阶的推理“认知技能”（例如验证、回溯、重试）。通过将模型自身生成的推理轨迹重新组织为技能特定的训练示例，作者展示即使是表现一般的基础模型也能获得有用的归纳偏置，在后续的 RL 微调中获得收益。

关键贡献

• 无需更强教师的自蒸馏： 通过重新格式化模型自身的输出为面向技能的示例，生成“银质”SFT数据。
• 技能感知的 SFT 阶段： 引入专门的监督微调（SFT）阶段，显式地让模型识别并运用推理技能。
• RL 后的实证提升： 经过 SkillFactory SFT 初始化的模型在更难的同任务变体上超越标准 RL 微调基线，尽管在 RL 之前表现更弱。
• 对域外退化的鲁棒性： 与缺少技能感知预训练的 RL 模型相比，经过 RL 训练的 SkillFactory 模型在未见域上的性能保持得更好。
• 技能使用证据： 诊断探针确认最终模型在推理时实际调用了验证、回溯和重试策略。

方法论

1. 生成原始轨迹： 在一组训练提示上运行基础 LLM，收集其逐步推理链（即“原始”输出）。
2. 技能提取与重排： 自动检测对应已知认知技能的片段（例如检查答案的那一行）。随后将这些片段重新组织为干净、带有技能标签的格式：
   • 提示 → 推理 → 验证 → 修正答案
3. 银质 SFT 数据集： 重排后的轨迹成为短期监督微调的监督信号。由于数据来源于模型自身，它们是“银质”（噪声）而非金标准人工标注，但仍嵌入了期望的技能模式。
4. RL 微调： 在 SkillFactory SFT 之后，使用标准 RLHF（或任意 RL 目标）进一步优化模型。技能感知的初始化为 RL 阶段提供了有用的归纳偏置，使策略更容易发现并放大这些技能。
5. 评估： 作者比较了三条流水线：(a) vanilla SFT → RL，(b) SkillFactory SFT → RL，(c) 无 RL。测试既包括原始任务，也包括更难的分布外变体。

结果与发现

• 单独的 SkillFactory SFT 略弱于 vanilla SFT，说明银质数据仍有噪声。
• RL 之后，SkillFactory 初始化的模型在更难的测试集上 超越 vanilla 基线（绝对提升 5 %）。
• 鲁棒性： 在迁移到不同问题风格等偏移域时，SkillFactory 模型的退化幅度明显更小，表明所学技能具有泛化能力。
• 技能使用探针（例如让模型输出其验证步骤）显示 SkillFactory 模型中显式验证的比例更高（≈ 68 % 对比 vanilla 的 32 %）。

实际意义

• 更低成本的技能获取： 开发者可以在不训练大规模教师模型或收集昂贵人工链式思考数据的情况下，为现有 LLM 注入推理技巧。
• 即插即用的预训练： SkillFactory SFT 阶段可以嵌入任何 RLHF 流程，为已经使用 RL 微调的产品（如代码助手、聊天机器人）提供低开销升级。
• 提升安全性与可靠性： 显式的验证步骤降低幻觉，令模型输出更具自我纠错能力——这对医疗问答、金融建议等高风险应用尤为重要。
• 域适应性： 由于技能是通用的（验证、回溯、重试），只需几千条域内提示即可为新领域生成相同的 SkillFactory 数据，加速快速原型开发。
• 调试辅助： 带有技能标注的轨迹为工程师提供了更清晰的模型推理视图，便于错误分析和有针对性的提示工程。

局限性与未来工作

• 银质数据噪声： 自动技能提取可能误标或漏掉步骤，这解释了 RL 前性能的轻微下降。更高级的解析或人机交互清洗有望提升质量。
• 技能分类受限： 当前实现仅聚焦于少数手工构造的技能；将其扩展到更丰富的认知行为（如类比推理）仍是开放课题。
• 对超大模型的可扩展性： 实验在 6 B 参数模型上进行，尚不清楚该方法在 70 B 以上的 LLM 上是否同样有效，尤其是 RLHF 已经消耗大量算力的情况下。
• 评估范围有限： 论文仅在单一基准族上进行评估，若能在代码生成、数学、常识推理等更广任务上验证，将更有力支撑其通用性主张。

结论： SkillFactory 表明，一个适度的自蒸馏预训练步骤即可为 LLM 注入有用的推理习惯，使其在 RL 微调后表现更强、更稳健——这对构建下一代 AI 助手的开发者而言，是一种成本低廉且实用的工具。

作者

• Zayne Sprague
• Jack Lu
• Manya Wadhwa
• Sedrick Keh
• Mengye Ren
• Greg Durrett

论文信息

• arXiv ID: 2512.04072v1
• 分类: cs.CL, cs.AI
• 发表时间: 2025 年 12 月 3 日
• PDF: Download PDF