[Paper] 효율적인 실시간 청킹을 위한 학습 시 행동 조건화

Source: arXiv - 2512.05964v1

개요

이 논문은 비전‑언어‑액션(VLA) 로봇에서 실시간 청킹(RTC)을 위해 일반적으로 사용되는 추론‑시점 인페인팅의 가벼운 대안으로 학습‑시점 액션 컨디셔닝을 소개한다. 학습 중에 추론 지연을 시뮬레이션하고 이미 실행된 액션 프리픽스에 모델을 조건화함으로써, 인페인팅이 보통 추가하는 연산을 없애면서도 실시간 로봇 제어에 필요한 부드럽고 반응적인 행동을 유지한다.

주요 기여

• 학습‑시점 RTC 공식화: 학습 중 액션 프리픽스에 조건화하는 것이 아키텍처 변경 없이 추론‑시점 인페인팅을 대체할 수 있음을 보여준다.
• 무오버헤드 추론: 이 방법은 실행 시간 비용을 전혀 추가하지 않아 지연에 민감한 애플리케이션에 이상적이다.
• 실증 검증: 시뮬레이션에서 높은 추론 지연 하에 우수한 성능을 보이며, 실제 작업(박스 조립, 에스프레소 만들기)에서 최첨단 RTC와 동등한 성능을 입증한다.
• 최소 구현 노력: 몇 줄의 학습 코드만 추가하면 되므로 기존 파이프라인에 바로 적용할 수 있다.

방법론

1. 학습 시 지연 시뮬레이션:

   • 각 학습 단계마다 모델은 고정된 추론 지연(예: 0.6 s)이 이미 경과한 것처럼 동작한다.
   • 그 기간 동안 실행되었을 액션의 프리픽스를 입력으로 받는다.

2. 액션 프리픽스 컨디셔닝:

   • VLA 모델은 시각‑언어 컨텍스트와 알려진 프리픽스 모두에 조건화된 다음 청크의 액션을 예측한다.
   • 별도의 인페인팅 모듈이 필요 없으며, 조건화는 표준 VLA 학습에 사용되는 동일한 트랜스포머‑스타일 인코더‑디코더가 처리한다.

3. 학습 루프 조정:

   • 작은 래퍼가 무작위 지연 길이를 샘플링하고, 그에 따라 정답 액션 시퀀스를 슬라이스한다.
   • 손실은 예측된 청크와 실제 미래 액션 사이에서 계산되며, 표준 지도 학습과 동일하게 진행된다.

4. 추론:

   • 실행 시 로봇은 가장 최근에 실행된 액션(프리픽스)만 모델에 넣고 다음 청크를 받아온다.
   • 모델이 이미 이 프리픽스를 기대하도록 학습되었기 때문에 추가 연산이 필요하지 않다.

결과 및 발견

• 지연에 대한 높은 견고성: 학습‑시점 RTC는 추론 지연이 커질수록 베이스라인보다 우수한 성능을 보여, 모델이 미래 액션의 부재를 보상하도록 학습됨을 확인한다.
• 속도 패널티 없음: 실제 로봇 실험에서 각 청크를 생성하는 실제 시간은 변하지 않지만, 인페인팅 단계가 사라져 CPU 부하가 크게 감소한다.
• 작업 성능 동등: 성공률과 로봇 궤적의 정성적 부드러움이 최첨단 추론‑시점 접근법과 거의 동일하다.

실용적 함의

• 엣지 디바이스 배포: 제한된 연산 능력을 가진 로봇(예: 모바일 매니퓰레이터, 창고 로봇)에서도 지연 예산을 희생하지 않고 RTC를 실행할 수 있다.
• 간소화된 파이프라인: 엔지니어는 인페인팅 서브모듈을 제거해 코드 복잡성과 잠재적 버그를 줄일 수 있다.
• 확장 가능한 다중 로봇 군집: 로봇당 CPU 요구량 감소는 수십·수백 대 규모로 확장할 때 비용 절감으로 이어진다.
• 기존 VLA 프레임워크와의 쉬운 통합: 방법이 학습 스크립트에만 영향을 미치므로, PyTorch/TensorFlow 기반 코드베이스에 최소한의 리팩터링으로 적용 가능하다.

제한점 및 향후 연구

• 고정 지연 가정: 현재 공식은 학습 중 일정한 시뮬레이션 지연을 전제로 한다. 실제 시스템은 가변 지연을 겪을 수 있으므로, 확률적 지연 분포로 확장하는 것이 미해결 과제이다.
• 청크되지 않은 정책에 대한 일반화: 연구는 청크 기반 컨트롤러에 초점을 맞추었으며, 연속시간 정책(예: 확산 기반 플래너)에 동일 원리를 적용하는 것은 아직 탐색되지 않았다.
• 장기 의존성: 프리픽스 컨디셔닝은 단기 지연에 도움이 되지만, 매우 긴 시간 범위에서는 명시적 인페인팅이나 계층적 플래닝이 여전히 유리할 수 있다.

전반적으로 학습‑시점 액션 컨디셔닝은 실시간 로봇 제어를 위한 실용적이고 저오버헤드인 경로를 제공하며, VLA 모델을 프로덕션 환경에 도입하려는 개발자에게 매력적인 옵션이 된다.

저자

• Kevin Black
• Allen Z. Ren
• Michael Equi
• Sergey Levine

논문 정보

• arXiv ID: 2512.05964v1
• 분류: cs.RO, cs.AI
• 발표일: 2025년 12월 5일
• PDF: Download PDF