[Paper] LookPlanGraph: 임베디드 지시 수행 방법과 VLM 그래프 증강

Source: arXiv - 2512.21243v1

Overview

이 논문은 LookPlanGraph라는 새로운 접근 방식을 소개합니다. 이 방법은 로봇이 작업을 수행하는 동안 내부 씬 그래프를 최신 상태로 유지하면서 명령을 수행하도록 설계되었습니다. 에고센트릭 시각 입력을 비전‑언어 모델(VLM)과 지속적으로 융합함으로써, 시스템은 기존 객체 사전 정보를 검증하고 새로운 객체 사전을 실시간으로 발견할 수 있습니다. 이를 통해 계획 단계와 실행 단계 사이에 환경이 변하더라도 강인성을 크게 향상시킵니다.

주요 기여

• 동적 씬‑그래프 증강: 알려진 자산들의 정적 그래프에 로봇 카메라 피드에서 실시간으로 얻은 업데이트를 결합합니다.
• VLM 기반 인식 루프: 대형 비전‑언어 모델을 사용해 자가 중심 이미지를 해석하고 이를 그래프 노드(객체, 위치, 관계)와 매핑합니다.
• GraSIF 데이터셋: SayPlan Office, BEHAVIOR‑1K, VirtualHome RobotHow를 아우르는 514개의 명령 수행 과제로 구성된 정제된 벤치마크와 자동 검증 프레임워크를 제공합니다.
• 실증 검증: 시뮬레이션(VirtualHome, OmniGibson) 및 실제 로봇 실험 모두에서 정적‑그래프 베이스라인 대비 일관된 성능 향상을 보여줍니다.
• 오픈소스 공개: 코드, 데이터셋, 프로젝트 페이지가 공개되어 재현성 및 커뮤니티 확장을 장려합니다.

Methodology

1. Initial Graph Construction – 작업이 시작되기 전에 정적 장면 그래프가 알려진 자산(방 레이아웃, 가구, 일반적인 객체 위치)으로부터 구축됩니다. 이 그래프는 객체가 존재할 가능성이 높은 위치에 대한 사전 지식을 포함합니다.
2. LLM Planner – 대형 언어 모델(LLM)이 자연어 명령과 현재 그래프를 받아 고수준 계획을 생성합니다(예: “주방 카운터에서 머그잔을 집어 들어”).
3. Egocentric Perception Loop – 로봇이 계획을 수행하는 동안, 전방 카메라가 이미지를 Vision‑Language Model(예: CLIP‑based 또는 Flamingo‑style)으로 스트리밍합니다. VLM은 객체 라벨, 공간적 단서, 관계 서술(“빨간 머그잔이 테이블 위에 있다”)을 추출합니다.
4. Graph Augmentation – 추출된 정보가 기존 사전 지식과 매칭됩니다:
   • Verification – 그래프가 가리키는 위치에 예상 객체가 여전히 존재함을 확인합니다.
   • Discovery – VLM이 누락되었거나 이동된 객체를 발견하면 새로운 노드를 삽입하거나 위치를 업데이트합니다.
5. Re‑planning (optional) – 그래프가 크게 변하면(예: 필요한 객체를 찾을 수 없을 때) 업데이트된 그래프를 가지고 LLM을 다시 호출해 계획을 조정할 수 있습니다.

전체 파이프라인은 긴밀한 인식‑계획 루프 안에서 실행되어, 로봇이 전체 그래프를 처음부터 다시 구축하지 않고도 동적 환경에 대응할 수 있게 합니다.

결과 및 발견

• 높은 작업 완료율: 동적 업데이트가 오래된 객체 위치로 인한 실패 모드를 감소시켰습니다.
• 보이지 않은 변화에 대한 견고성: 객체가 완전히 새로운 방으로 이동했을 때도 VLM이 이를 감지하고 플래너가 그에 맞게 조정했습니다.
• 효율성: 그래프 업데이트는 프레임당 몇 밀리초만 소요되어 전체 지연 시간을 실시간 제어에 적합하게 유지했습니다.

GraSIF 벤치마크는 또한 이 방법이 다양한 지시 스타일과 장면 복잡도에 걸쳐 확장 가능함을 보여주었습니다.

Source: …

Practical Implications

• Home and office service robots can now handle everyday disturbances (e.g., a coffee mug moved to a different desk) without human intervention.
  → 가정 및 사무실 서비스 로봇은 이제 일상적인 방해 상황(예: 커피 머그가 다른 책상으로 옮겨진 경우)을 인간의 개입 없이 처리할 수 있습니다.
• Warehouse automation benefits from on‑the‑fly verification of item locations, reducing the need for costly periodic re‑scanning of the entire floor.
  → 창고 자동화는 실시간으로 물품 위치를 검증함으로써 전체 바닥을 주기적으로 재스캔해야 하는 비용을 줄일 수 있습니다.
• Human‑robot collaboration becomes smoother: the robot can ask clarifying questions or re‑plan when it cannot locate a requested object, mirroring natural teamwork.
  → 인간‑로봇 협업이 더욱 원활해집니다. 로봇이 요청된 객체를 찾지 못하면 명확한 질문을 하거나 재계획을 세워 자연스러운 팀워크를 구현합니다.
• Developer workflow: By exposing the graph‑augmentation module as a plug‑and‑play component, engineers can integrate it into existing LLM‑based planners with minimal code changes.
  → 개발자 워크플로: 그래프 증강 모듈을 플러그‑인·플러그‑아웃 컴포넌트로 공개함으로써 엔지니어는 기존 LLM 기반 플래너에 최소한의 코드 수정만으로 통합할 수 있습니다.
• Data efficiency: Since only the egocentric view is processed, the system avoids the overhead of building full 3‑D reconstructions, making it viable on edge devices with limited compute.
  → 데이터 효율성: 자가 중심 뷰만 처리하므로 전체 3‑D 재구성을 구축하는 오버헤드를 피할 수 있어, 제한된 연산 능력을 가진 엣지 디바이스에서도 실행이 가능합니다.

Limitations & Future Work

• VLM 정확도에 대한 의존성: 시각 스트림에서의 오분류는 특히 작거나 가려진 객체에 대해 그래프 업데이트 오류를 전파할 수 있습니다.
• 정적 사전 지식 여전히 필요: 초기 그래프는 합리적인 자산 사전 집합을 포함해야 하며, 완전히 알 수 없는 환경은 별도의 탐색 단계가 필요할 수 있습니다.
• 대규모, 복잡한 공간에 대한 확장성: 현재 구현은 일반적인 실내 방을 처리하지만, 다중 방 시설로 확장하려면 계층적 그래프 구조가 필요할 수 있습니다.
• 향후 연구 방향으로는 저자들이 제안한 바와 같이 깊이 센서를 통합하여 보다 풍부한 공간 추론을 수행하고, 검증할 사전 지식을 우선순위화하여 계산량을 절감하며, 여러 로봇이 공통 그래프를 공유하고 업데이트하는 다중 에이전트 시나리오로 접근을 확장하는 것이 포함됩니다.

저자

• Anatoly O. Onishchenko
• Alexey K. Kovalev
• Aleksandr I. Panov

논문 정보

• arXiv ID: 2512.21243v1
• 분류: cs.RO, cs.AI, cs.LG
• 출판일: December 24, 2025
• PDF: PDF 다운로드