[Paper] Do-Undo: Vision-Language Models에서 물리적 행동 생성 및 역전

Source: arXiv - 2512.13609v1

개요

The paper introduces Do‑Undo, a new benchmark that pushes vision‑language models (VLMs) to simulate a physical action in an image and then reverse it, mimicking real‑world cause‑and‑effect. By focusing on reversible, physics‑consistent transformations rather than simple object swaps, the authors expose a blind spot in current multimodal AI and open a path toward more embodied, reasoning‑capable systems.

핵심 기여

• Do‑Undo 작업 정의 – 실제 물리적 추론을 요구하는 두 단계 도전 과제(동작을 적용하고, 그 다음에 되돌리기).
• 대규모 가역 행동 데이터셋 – 실제 비디오에서 선별한 일상적인 조작(예: “컵을 테이블에서 밀어내기”, “서랍 열기”, “셔츠 접기”)을 포함.
• 일관성 기반 학습 체계 – 모델의 “do”와 “undo” 예측이 상호 일관되도록 강제하여 시각 공간에서 행동의 기반을 향상.
• 포괄적 평가 – 최첨단 VLM(예: CLIP 기반 확산, Flamingo)과의 베이스라인 실험을 통해 가역 행동에 대한 상당한 성능 격차를 보여줌.
• 벤치마크 공개 – 커뮤니티의 물리 인식 생성 모델링 진전을 촉진하기 위한 오픈소스 코드, 데이터, 평가 스크립트 제공.

방법론

1. Data collection – 저자들은 공개된 비디오 데이터셋(예: EPIC‑Kitchens, Something‑Else)을 수집하고, 단일하고 명확히 정의된 행동이 발생하며 몇 초 안에 되돌릴 수 있는 짧은 클립을 추출했습니다. 각 클립은 pre‑action과 post‑action 두 정지 프레임과 짝을 이룹니다.
2. Action annotation – 인간 주석자는 간결한 자연어 설명(예: “빨간 머그컵을 집어 든다”, “노트북을 닫는다”)을 제공하고, 역행동을 라벨링했습니다(예: “빨간 머그컵을 내려놓는다”, “노트북을 연다”).
3. Model architecture – 통합 인코더‑디코더 VLM을 훈련시켜 source image와 action prompt를 입력으로 받아 target image를 생성합니다. 동일한 네트워크에 생성된 이미지와 inverse prompt를 다시 입력하여 원본을 복원합니다.
4. Consistency loss – 표준 재구성 손실 및 적대적 손실에 추가하여 cycle‑consistency 항을 도입함으로써 원본 입력과 두 번 변환된 출력 사이의 차이를 벌점으로 부과합니다. 이는 모델이 픽셀 수준 편집을 기억하기보다 가역적인 물리 현상을 학습하도록 장려합니다.
5. Evaluation metrics – 벤치마크는 (a) 픽셀 수준 유사도(SSIM, LPIPS), (b) 의미 정렬(CLIP‑score), 그리고 (c) 새롭게 제안된 Physical Reversibility Score를 보고합니다. 이 점수는 되돌리기 단계가 객체 정체성과 장면 레이아웃을 얼마나 잘 복원하는지를 측정합니다.

결과 및 발견

• Baseline gap – 가장 강력한 diffusion‑based VLM조차 인간 성능에 비해 Physical Reversibility Score의 약 45 %만 달성하며, 이는 현재 모델들의 물리적 추론에 근본적인 한계가 있음을 시사한다.
• Consistency helps – cycle‑consistency loss를 추가하면 가역성이 절대값 기준으로 약 12 % 향상되며, 양방향 제약을 강제하는 것이 보다 견고한 표현을 만든다는 것을 확인한다.
• Action complexity matters – “책을 미는”과 같은 단순한 번역은 비교적 잘 처리되지만, 변형이나 가림이 포함된 동작(예: “셔츠를 접다”, “물을 붓다”)에서는 가장 큰 오류가 발생하여 보다 정교한 물리 모델링이 필요함을 강조한다.
• Cross‑modal transfer – Do‑Undo로 학습된 모델은 시뮬레이션 로봇공학에서 instruction following과 같은 하위 작업에 더 잘 일반화되어, 테이블탑 조작 벤치마크에서 더 높은 성공률을 달성한다.

실용적 함의

• Robotics & embodied AI – 행동의 결과를 예측하고 이를 “되돌림”으로 검증할 수 있는 VLM은 로봇 학습을 위한 자연스러운 자체 감독 신호를 제공하여 비용이 많이 드는 실제 세계의 시행착오에 대한 의존도를 줄여줍니다.
• Interactive content creation – 디자이너는 자연어 명령(예: “책상 위에 커피 머그잔을 추가해”)을 내릴 수 있고 즉시 되돌릴 수 있는 편집을 확인함으로써 UI/UX 목업이나 게임 환경의 빠른 프로토타이핑을 가능하게 합니다.
• Safety‑critical simulation – 자율 주행이나 산업 자동화와 같은 분야에서 물리적 변화를 시뮬레이션하고 되돌릴 수 있는 능력은 시나리오 테스트와 오류 분석에 도움이 됩니다.
• Physics‑aware generative models – 이 벤치마크는 생성 AI가 보존 법칙을 준수하도록 유도하여 보다 현실적인 비디오 합성, AR 오버레이 및 디지털 트윈의 가능성을 열어줍니다.

제한 사항 및 향후 연구

• 데이터셋 편향 – 선별된 행동은 실내, 가정 시나리오가 대부분을 차지합니다; 야외, 다중 에이전트, 혹은 고속 역학으로 확장하는 것은 아직 해결되지 않은 과제입니다.
• 해상도 제약 – 현재 실험은 256×256 픽셀에서 수행되고 있으며, 고해상도·포토리얼리스틱 장면으로 확장하면 새로운 실패 모드가 드러날 수 있습니다.
• 명시적 물리 통합 – 저자들은 순수 데이터 기반 VLM이 아직 내부 물리 엔진을 갖추지 못했다고 지적합니다; 향후 작업에서는 신경망 모델을 미분 가능한 시뮬레이터와 결합하거나 객체 중심 표현을 도입할 수 있습니다.
• 보지 못한 행동에 대한 일반화 – 사이클 일관성이 견고성을 향상시키지만, 모델은 여전히 새로운 동사나 복합 행동에 어려움을 겪으며, 보다 풍부한 언어 기반이 필요함을 시사합니다.

Do‑Undo는 “내가 무언가를 하면 어떤 일이 일어나고, 이를 어떻게 되돌릴 수 있는가”를 진정으로 이해하는 차세대 멀티모달 AI를 위한 매력적인 테스트베드를 구축합니다.

저자

• Shweta Mahajan
• Shreya Kadambi
• Hoang Le
• Munawar Hayat
• Fatih Porikli

논문 정보

• arXiv ID: 2512.13609v1
• 분류: cs.CV, cs.LG
• 출판일: 2025년 12월 15일
• PDF: PDF 다운로드