[Paper] SpecRLBench：用于规范引导强化学习泛化的基准

Source: arXiv - 2604.24729v1

Overview

SpecRLBench 是一个新的基准，用于检验规范驱动的强化学习（RL）。通过使用线性时序逻辑（LTL）公式来框定任务，该基准衡量现代 RL 代理在未见过的规范和环境中的泛化能力——这在希望单一策略处理许多真实世界机器人任务时尤为重要。

关键贡献

• 一个统一的基准套件，涵盖导航和操作，包含静态和动态场景、多种机器人动力学以及不同的传感器模态。
• 四个难度层级，系统性地提升 LTL 规范的复杂度（从简单的到达目标到嵌套的时序约束）。
• 全面的评估协议，包括零样本规范迁移、少样本微调和跨域泛化。
• 开源实现（Python，兼容 Gym）和排行榜，鼓励可复现的比较。
• 实证分析了多种最先进的 LTL 引导强化学习方法，揭示了它们成功的地方和失效的情况。

方法论

1. 使用 LTL 编码任务 – 每个机器人任务表达为 LTL 公式（例如 “最终访问 A 且 始终避免 B”）。该公式被编译成确定性有限自动机（DFA），用于扩展 RL 状态空间。
2. 环境族 – 基准提供了一系列 Gym‑style 环境：
   • Navigation：网格世界、连续迷宫和动态障碍赛道。
   • Manipulation：抓放桌面、抽屉打开和工具使用场景。
3. 训练方案 – 研究者可以在一部分规格（“source” 集合）上训练代理，然后在保持未见的 “target” 集合上评估，该集合在逻辑结构和环境布局上有所变化。
4. 指标 – 按难度级别报告成功率、样本效率（达到 90 % 成功所需的回合数）以及规格符合度（满足 LTL 约束的比例）。
5. 基线算法 – 作者对三种代表性方法进行了基准测试：(a) 基于 LTL 的奖励塑形，(b) 带 DFA 的乘积 MDP RL，(c) 条件于解析公式的层次策略网络。

结果与发现

• 总体趋势： 随着规格变得更嵌套且环境更动态，所有方法的表现都急剧下降。
• 层次条件化 对解析后的 LTL 产生了最佳的零样本迁移，但在最难层级仍需大量微调。
• 样本效率 在“非常困难”层级显著下降，表明当前的探索策略难以应对 DFA product 引入的复合状态空间爆炸。

实际意义

• 机器人流水线: 工程师可以使用 SpecRLBench 来评估在少量示例任务上训练的策略，是否能够可靠地处理新的安全关键规范（例如，“在递送包裹时始终保持与人类的安全距离”）。
• 产品开发: 基准的模块化设计使团队能够插入自己的感知堆栈（摄像头、LiDAR）和机器人动力学，从而在实际部署前提供一个真实的测试平台。
• 开发者工具: 由于该套件兼容 Gym 并提供了流行强化学习库（Stable‑Baselines3、RLlib）的现成包装器，将其集成到 CI 流水线中用于规范感知代理的回归测试变得非常简便。
• 加速科研向产业的转化: 通过揭示具体的失败模式（例如，在动态场景中无法满足“始终避开移动障碍物”），开发者可以优先改进诸如更好的课程学习或基于模型的规划组件等方面。

限制与未来工作

• DFA 产品的可扩展性： 当前实现对于深度嵌套的 LTL 公式可能会占用大量内存，导致基准测试只能使用相对较短的规范。
• 真实世界验证有限： 所有环境均为模拟；弥合仿真到真实的差距（例如传感器噪声、执行器延迟）仍是一个未解决的挑战。
• 规范语言范围： 仅支持 LTL；扩展到更丰富的逻辑（例如信号时序逻辑）可以捕获更细微的时间约束。
• 未来方向 作者提出包括层次化课程生成、跨规范的元学习，以及整合基于模型的规划器以缓解探索瓶颈。

作者

• Zijian Guo
• İlker Işık
• H. M. Sabbir Ahmad
• Wenchao Li

论文信息

• arXiv ID: 2604.24729v1
• 分类: cs.LG
• 出版日期: 2026年4月27日
• PDF: 下载 PDF