[Paper] SafeGen-LLM: 로봇 시스템의 작업 계획에서 안전 일반화 향상

Source: arXiv - 2602.24235v1

Overview

이 논문은 SafeGen‑LLM이라는 새로운 종류의 대형 언어 모델을 소개합니다. 이 모델은 로봇을 위한 안전하고 제약을 인식하는 작업 계획을 생성하도록 명시적으로 학습되었습니다. 형식적인 안전 사양을 최신 LLM 파인튜닝 기법과 결합함으로써, 저자들은 언어 모델이 구문적으로 올바른 계획을 작성할 뿐만 아니라 이전에 본 적 없는 안전 규칙도 준수할 수 있음을 보여줍니다. 이러한 능력은 확장 가능한 AI 계획과 실제 로봇 공학에서 요구되는 엄격한 신뢰성 사이의 격차를 메울 수 있습니다.

주요 기여

• 다중 도메인 안전 벤치마크: 여러 로봇 도메인을 포괄하는 PDDL3(Planning Domain Definition Language 3) 스위트로, 각 도메인에 명시적인 안전 제약이 주석으로 달려 있습니다.
• 2단계 사후 훈련 파이프라인:
  1. 지도 학습 미세 조정 (SFT): 제약을 준수하는 계획들의 선별된 데이터셋을 사용해 모델에게 계획의 구문과 의미를 학습시킵니다.
  2. 그룹 상대 정책 최적화 (GRPO): 형식 검증에서 도출된 세밀한 보상 머신을 활용해 안전성을 강제하고, 커리큘럼 학습을 적용해 복잡한 작업을 수행하도록 하는 강화 학습 스타일의 미세 조정입니다.
• 안전 일반화 능력: 훈련 데이터에 없던 새로운 안전 속성을 만족시키는 능력을 보여주며, 이는 PDDL 입력과 자연어 입력 모두에 적용됩니다.
• 실증적 우수성: 모든 벤치마크 도메인에서 안전 지표와 전체 계획 품질 측면에서 선도적인 독점 기반(예: GPT‑4 기반 플래너, 고전적 휴리스틱 플래너)을 능가합니다.

Methodology

1. Benchmark Construction – 저자들은 다양한 계획 문제 집합(예: 창고 내비게이션, 협업 조립, 드론 배송)을 PDDL3로 표현하고, 각각에 충돌 회피, 에너지 제한, 시간 제약과 같은 안전 술어 집합을 매칭시켰습니다.
2. Supervised Fine‑Tuning (SFT) – 대규모 사전 학습된 LLM(예: Llama‑2)을 안전한 계획 데이터셋에 대해 미세 조정합니다. 이 단계에서는 모델에게 PDDL 문법과 실행 가능한 로봇 행동의 전형적인 구조를 학습시킵니다.
3. Reward Machine Design – 각 안전 술어마다 결정적 유한 상태 기계(“reward machine”)를 만들어, 생성된 계획이 규칙을 위반하는 순간을 추적하고 위반 단계에서 부정적 보상을 할당합니다.
4. Group Relative Policy Optimization (GRPO) –
   • Group formation – 계획을 난이도(예: 제약 조건 수)에 따라 클러스터링합니다.
   • Relative advantage – 정책 그래디언트를 해당 그룹의 평균 성능에 대해 상대적으로 계산하여, 일부 작업이 본질적으로 더 어려울 때 학습을 안정화합니다.
   • Curriculum learning – 학습은 간단한 도메인부터 시작해 점차 더 많은 제약을 도입함으로써, 모델이 안전 추론을 스스로 구축하도록 합니다.
5. Evaluation – 최종 모델인 SafeGen‑LLM을 보류된 도메인 및 보지 못한 안전 제약에 대해 테스트하고, 안전 만족도(위반이 전혀 발생하지 않은 계획 비율)와 계획 최적성(완료 시간, 행동 수)를 측정합니다.

Results & Findings

Key takeaways

• Safety generalization: SafeGen‑LLM은 안전 규칙이 새로워도 높은 안전 준수를 유지하며, GRPO 단계가 특정 제약을 암기하는 것이 아니라 안전의 원칙을 내재화함을 확인한다.
• Competitive efficiency: 순수 휴리스틱 플래너만큼 빠르지는 않지만, LLM‑기반 접근법은 1초 미만 지연을 유지하여 많은 오프라인 또는 반‑온라인 계획 파이프라인에 적용 가능하다.
• Robustness to input modality: 동일 모델이 자연어 작업 설명을 직접 파싱하고 올바른 PDDL 계획을 출력할 수 있어 보다 직관적인 인간‑로봇 상호작용의 문을 연다.

Practical Implications

• Safer autonomous fleets – Warehouse robots or delivery drones can rely on a single LLM service to generate task schedules that automatically respect newly added safety policies (e.g., a temporary no‑fly zone) without retraining the whole system.
• Rapid prototyping – Engineers can describe a new robotic task in plain English, get a safety‑checked plan instantly, and focus on low‑level control rather than hand‑crafting domain‑specific planners.
• Regulatory compliance – Formal safety constraints encoded in reward machines provide an audit trail; developers can trace exactly which rule a plan satisfies or violates, simplifying certification processes.
• Hybrid planning architectures – SafeGen‑LLM can serve as a high‑level planner that feeds safe sub‑goals to existing motion‑planning or RL controllers, combining the scalability of LLMs with the precision of low‑level controllers.

제한 사항 및 향후 연구

• 극히 큰 도메인에 대한 확장성 – 현재 벤치마크는 문제당 수십 개의 행동으로 제한됩니다; 수백 개의 행동으로 확장하면 추론 시간과 메모리 사용량이 증가할 수 있습니다.
• 보상 머신 설계에 대한 의존성 – 새로운 도메인마다 형식적인 안전 사양을 만드는 데 여전히 전문가의 입력이 필요합니다; 이 단계를 자동화하면 적용 범위가 넓어집니다.
• 실제 환경 검증 – 실험은 시뮬레이션 환경에만 국한되어 있습니다; 접근 방식을 물리적 로봇(센서 노이즈, 구동 지연 포함)으로 옮기는 것은 아직 해결되지 않은 과제입니다.
• 설명 가능성 – 모델이 안전 제약을 준수하지만, 결정에 대한 인간이 읽을 수 있는 정당성을 제공하지 않습니다; 향후 연구에서는 사후 설명 모듈을 통합할 수 있습니다.

핵심 요약: SafeGen‑LLM은 형식적인 안전 보상과 커리큘럼 학습으로 안내될 때 대형 언어 모델이 안전이 중요한 로봇 분야에서 신뢰할 수 있는 플래너가 될 수 있음을 보여줍니다—보다 신뢰성 높은 AI 기반 자동화를 향한 흥미로운 단계입니다.

저자

• Jialiang Fan
• Weizhe Xu
• Mengyu Liu
• Oleg Sokolsky
• Insup Lee
• Fangxin Kong

논문 정보

• arXiv ID: 2602.24235v1
• 카테고리: cs.RO, cs.AI
• 출판일: 2026년 2월 27일
• PDF: PDF 다운로드