[Paper] Failure-Aware RL: 실제 환경 조작을 위한 Self‑Recovery 기반 신뢰성 있는 Offline-to-Online Reinforcement Learning

Source: arXiv - 2601.07821v1

개요

The paper “Failure‑Aware RL: Reliable Offline‑to‑Online Reinforcement Learning with Self‑Recovery for Real‑World Manipulation” tackles a roadblock that keeps many robotics teams from deploying RL‑based controllers in the field: the risk of intervention‑requiring failures (IR failures) such as spilling liquids or breaking fragile objects during the learning phase. By combining a safety‑oriented world model with an offline‑trained recovery policy, the authors present a framework—FARL—that dramatically cuts down on such costly mishaps while still improving task performance.

주요 기여

• FailureBench – 현실적인 실패 시나리오(예: 물체 파손, 유출)를 표준 조작 작업에 주입하는 새로운 벤치마크 스위트로, 알고리즘이 인간 개입 상황을 처리하도록 강제합니다.
• FARL paradigm – 오프라인‑온라인 RL 파이프라인으로, world‑model‑based safety critic와 오프라인 데이터에서 학습된 self‑recovery policy를 사용해 실패 위험을 명시적으로 추론합니다.
• Safety‑aware exploration – safety critic가 후보 행동에 대한 IR 실패 확률을 예측하여, 에이전트가 실행 전에 위험한 행동을 거부할 수 있게 합니다.
• Self‑recovery mechanism – 실패가 불가피할 때, 복구 정책이 개입해 인간의 도움 없이 시스템을 안전한 상태로 복구합니다.
• Empirical validation – 광범위한 시뮬레이션 및 실제 로봇 실험에서 표준 오프라인‑온라인 RL 베이스라인에 비해 IR 실패가 73 % 감소하고 작업 성능이 평균 11 % 향상됨을 보여줍니다.

Source: …

방법론

1. Offline Data Collection – 로봇은 먼저 안전한 궤적 데이터셋과 별도의 failure 에피소드(예: 컵을 떨어뜨리는 경우)를 수집합니다.
2. World‑Model Training – 오프라인 데이터로부터 동역학 모델을 학습하여 미래 상태를 예측하고 failure region에 진입할 가능성을 추정합니다.
3. Safety Critic – World‑model을 이용해 안전 비평가가 온라인 탐색 중 각 후보 행동을 평가하고 위험 점수를 출력합니다. 위험 점수가 임계값을 초과하면 해당 행동은 필터링됩니다.
4. Recovery Policy – 실패 에피소드에 대해 오프라인으로 학습된 정책이 undo하거나 실패를 완화하는 방법을 배웁니다(예: 쏟아진 물건을 집어 올리기, 떨어진 물건을 다시 잡기). Safety Critic이 피할 수 없는 실패를 감지하면 Recovery Policy가 자동으로 호출됩니다.
5. Online Fine‑Tuning – 주요 작업 정책은 표준 RL 업데이트를 통해 계속 개선되지만, 안전 검사를 통과한 행동에만 적용됩니다. 이를 통해 추가적인 IR 실패를 일으키지 않으면서 학습이 진행됩니다.

모든 구성 요소는 모듈식으로 설계되어, 개발자가 전체 파이프라인을 재설계하지 않고도 대체 World‑model 아키텍처(예: 앙상블, diffusion model)나 복구 전략을 자유롭게 교체할 수 있습니다.

Results & Findings

*Performance measured as task‑specific success rate (e.g., correctly placing an object).

Key Takeaways

• The safety critic reliably predicts high‑risk actions, cutting down on costly human interventions.
• The recovery policy restores safe operation in >90 % of failure cases, eliminating the need for manual resets.
• Even with the safety filter, the main policy still receives enough diverse experience to improve beyond the offline baseline, disproving the “safety‑vs‑learning” trade‑off myth.

실용적 시사점

• 다운타임 감소 – 제조 셀에서는 로봇이 재설정이나 청소를 위한 인간의 잦은 중단 없이 실시간으로 학습을 지속할 수 있습니다.
• 운영 위험 감소 – 서비스 로봇(예: 주방 보조 로봇)은 스스로 누수나 파손을 감지하고 완화하여 사용자와 재산의 안전을 향상시킵니다.
• 비용 효율적인 데이터 수집 – 팀은 현장에서 안전하게 온라인 경험을 수집할 수 있어 시뮬레이션에서 실제 배포로의 전환을 가속화합니다.
• 플러그‑앤‑플레이 안전 레이어 – FARL의 안전 비평가와 복구 정책이 작업 정책과 분리되어 있기 때문에 기존 RL 컨트롤러를 최소한의 코드 변경만으로도 레트로핏할 수 있습니다.
• 규제 친화성 – 위험한 실패의 정량적 감소를 입증함으로써 협동 로봇에 대한 안전 인증을 충족하는 데 도움이 됩니다.

제한 사항 및 향후 연구

• 모델 충실도 – 안전 비평자는 학습된 세계 모델의 정확도에 의존한다; 매우 확률적인 환경(예: 변형 가능한 물체)에서는 예측 오류가 위험한 행동을 여전히 통과시킬 수 있다.
• 복구 범위 – 현재 복구 정책은 미리 정의된 실패 유형 집합을 처리한다; 이를 임의의, 예측되지 않은 실패로 확장하는 것은 여전히 해결되지 않은 과제이다.
• 고차원 작업에 대한 확장성 – 실험은 소수의 물체를 이용한 조작에 초점을 맞추었다; 복잡한 다중 로봇 또는 모바일 조작 시나리오로 확장하려면 보다 효율적인 위험 평가 전략이 필요할 수 있다.
• 인간‑인‑루프 백업 – FARL이 IR 실패를 줄이긴 하지만, 시스템은 여전히 안전 필터가 실패할 경우 인간이 개입할 수 있다고 가정한다—향후 연구에서는 외부 감독 없이 완전 자율적인 자체 복구를 탐구할 수 있다.

전체적으로, FARL은 안전과 신뢰성이 절대적인 현실 환경에 강화 학습 기반 로봇을 도입하기 위한 실용적인 로드맵을 제공한다.

저자

• Huanyu Li
• Kun Lei
• Sheng Zang
• Kaizhe Hu
• Yongyuan Liang
• Bo An
• Xiaoli Li
• Huazhe Xu

논문 정보

• arXiv ID: 2601.07821v1
• 분류: cs.RO, cs.AI, cs.LG
• 출판일: 2026년 1월 12일
• PDF: PDF 다운로드