[Paper] Failure-Aware RL：可靠的离线到在线强化学习与自我恢复用于真实世界操作

Source: arXiv - 2601.07821v1

概述

论文 “Failure‑Aware RL: Reliable Offline‑to‑Online Reinforcement Learning with Self‑Recovery for Real‑World Manipulation” 解决了阻碍许多机器人团队在现场部署基于强化学习的控制器的一个难题：在学习阶段出现需要人工干预的失败（intervention‑requiring failures，IR 失败），例如洒出液体或损坏易碎物体的风险。通过将面向安全的世界模型与离线训练的恢复策略相结合，作者提出了一个框架——FARL——能够显著减少此类代价高昂的事故，同时仍然提升任务性能。

关键贡献

• FailureBench – 一个新的基准套件，将真实的故障情景（例如物体破损、泄漏）注入标准操作任务，迫使算法处理需要人工干预的情况。
• FARL paradigm – 一个离线到在线的强化学习管线，使用 基于世界模型的安全评论家 和从离线数据中学习的 自我恢复策略 明确推理故障风险。
• Safety‑aware exploration – 安全评论家预测候选动作的 IR 故障概率，使智能体能够在执行前拒绝风险动作。
• Self‑recovery mechanism – 当故障不可避免时，恢复策略介入，将系统恢复到安全状态，无需人工帮助。
• Empirical validation – 大量仿真和真实机器人实验表明，与标准离线到在线强化学习基线相比，IR 故障减少了 73 %，任务性能平均提升 11 %。

方法论

1. 离线数据收集 – 机器人首先收集一套安全轨迹的数据集，以及另一套 失败 情节（例如，掉落杯子）。
2. 世界模型训练 – 从离线数据中学习动力学模型，以预测未来状态 以及 进入失败区域的可能性。
3. 安全评估器 – 使用世界模型，安全评估器在在线探索期间评估每个候选动作，输出风险分数。风险超过阈值的动作会被过滤掉。
4. 恢复策略 – 在离线的失败情节上训练的策略学习如何 撤销 或缓解失败（例如，捡起洒出的物体，重新抓取掉落的物品）。当安全评估器标记不可避免的失败时，恢复策略会自动被调用。
5. 在线微调 – 主任务策略通过标准 RL 更新继续改进，但仅针对通过安全检查的动作进行，从而确保学习过程不会导致额外的 IR 失败。

所有组件都是模块化的，开发者可以在不重新设计整个流水线的情况下，替换为其他世界模型架构（例如，集成模型、扩散模型）或恢复策略。

结果与发现

*性能以任务特定成功率衡量（例如，正确放置物体）。

关键要点

• 安全批评者能够可靠地预测高风险动作，显著减少昂贵的人为干预。
• 恢复策略在 >90 % 的失败案例中恢复安全运行，消除了手动重置的需求。
• 即使使用安全过滤器，主策略仍获得足够多样的经验，能够超越离线基线，驳斥了“安全‑与‑学习”权衡的神话。

实际意义

• 降低停机时间 – 制造单元可以让机器人在运行中持续学习，无需频繁的人为重置或清理。
• 降低运营风险 – 服务机器人（例如厨房助理）能够自行检测并缓解溢出或破损，提升用户和财产的安全性。
• 成本效益的数据收集 – 团队可以在现场安全地收集在线经验，加速从仿真到部署的转化。
• 即插即用的安全层 – 由于 FARL 的安全批评器和恢复策略与任务策略解耦，现有的 RL 控制器只需极少的代码修改即可改装。
• 符合监管要求 – 展示有量化的危险故障减少，有助于满足协作机器人安全认证的要求。

限制与未来工作

• 模型保真度 – 安全评审员依赖于学习到的世界模型的准确性；在高度随机的环境中（例如可变形物体），预测误差仍可能导致风险行为逃过检测。
• 恢复范围 – 当前的恢复策略处理预定义的一组故障类型；将其扩展到任意、不可预见的故障仍是一个未解决的挑战。
• 对高维任务的可扩展性 – 实验聚焦于少量物体的操作；将其扩展到复杂的多机器人或移动操作场景可能需要更高效的风险评估策略。
• 人机交互回退 – 虽然 FARL 减少了 IR 故障，但系统仍假设在安全过滤器失效时有人类可以介入——未来工作可以探索完全自主的自我修复，无需任何外部监督。

总体而言，FARL 提供了一条务实的路线图，将强化学习驱动的机器人技术的前景带入安全性和可靠性不可妥协的真实世界环境。

作者

• Huanyu Li
• Kun Lei
• Sheng Zang
• Kaizhe Hu
• Yongyuan Liang
• Bo An
• Xiaoli Li
• Huazhe Xu

论文信息

• arXiv ID: 2601.07821v1
• 分类: cs.RO, cs.AI, cs.LG
• 发表时间: 2026年1月12日
• PDF: Download PDF