[Paper] SpatialBench: 멀티모달 대형 언어 모델의 공간 인지를 위한 벤치마크

Source: arXiv - 2511.21471v1

Overview

이 논문은 SpatialBench를 소개한다. 이는 공간을 이해하고 추론하는 멀티모달 대형 언어 모델(MLLM)의 성능을 평가하는 최초의 대규모 벤치마크이다. 공간 인지를 원시 지각부터 전략적 계획에 이르는 5단계 계층 구조로 나누어 현재 모델이 강점과 약점을 보이는 영역을 명확히 제시하고, 진정으로 공간 인식을 갖춘 AI 시스템을 구축하기 위한 로드맵을 제공한다.

Key Contributions

• 계층적 공간 인지 프레임워크: 관찰 → 기반화 → 기호 추론 → 인과 추론 → 계획의 5가지 단계로 구성된 점진적 수준을 정의하여 공간 지능의 전체 스펙트럼을 포착한다.
• SpatialBench 벤치마크: 계층 구조에 맞춰 15개의 정교하게 선정된 멀티모달 과제(이미지‑텍스트, 비디오‑텍스트, 3‑D 씬)를 제공하며, 실제 세계의 다양한 공간 시나리오를 세밀하게 커버한다.
• 능력 지향 메트릭: 이질적인 과제들을 통합하면서도 계층 구조를 유지하는 단일 점수 체계를 제시한다.
• 포괄적 평가: 최신 MLLM 수십 개를 벤치마크하여 체계적인 강점(지각 기반화)과 약점(기호 추론, 계획)을 밝혀낸다.
• 인간 vs 모델 분석: 인간은 선택적이고 목표 지향적인 추상화를 수행하는 반면, 모델은 표면적인 디테일에 과도하게 집중하는 경향이 있음을 보여주어 의도적인 공간 추론에서의 격차를 강조한다.

Methodology

1. 분류 체계 설계 – 인지 과학 문헌과 AI 연구를 참고해 추상화와 계획 깊이가 증가하는 5가지 인지 수준을 정의하였다.
2. 과제 구성 – 각 수준마다 “객체 위치 식별”, “공간 관계 서술”, “객체 이동 결과 예측”, “네비게이션 경로 계획” 등 여러 과제를 제작하였다. 데이터 출처는 기존 비전‑언어 데이터셋, 합성 3‑D 환경, 맞춤형 비디오 클립 등을 포함한다.
3. 통합 평가 메트릭 – 개별 과제 점수를 정규화한 뒤 인지 수준에 따라 가중치를 부여해, 계층 구조를 반영하는 단일 “공간 능력” 점수를 산출한다.
4. 모델 테스트 – 공개된 30여 개의 MLLM(예: GPT‑4V, LLaVA, Gemini‑Pro Vision)을 제로샷 프롬프트로 벤치마크에 적용하고, 결과를 수준별로 집계하였다.
5. 인간 기준선 – 크라우드소싱 연구를 통해 일부 과제에 대한 인간 응답을 수집해 모델 행동과 직접 비교한다.

Results & Findings

• 지각 기반화 (Level 1‑2): 대부분의 MLLM이 80 % 이상의 정확도를 달성해 이미지 내 객체를 찾고 설명하는 능력이 뛰어남을 보여준다.
• 기호 추론 (Level 3): 점수가 약 45 %로 떨어져 “왼쪽에”, “안에”와 같은 공간 기호를 조작하는 데 어려움을 겪는다.
• 인과 추론 (Level 4): 성능이 30 % 수준에 머물러 행동이 공간 구성을 어떻게 변화시키는지에 대한 이해가 제한적임을 나타낸다.
• 계획 (Level 5): 가장 어려운 단계로, 최고 모델조차 20 % 미만의 점수에 머물러 다중 단계 네비게이션이나 조작 계획을 신뢰성 있게 생성하지 못한다.
• 인간 vs 모델: 인간은 관련 없는 시각적 잡음을 무시하고 과제에 필요한 공간 단서에 집중하지만, 모델은 디테일에 과도하게 “과집중”해 잡음이 섞인 모순된 답변을 내놓는 경향이 있다.

Practical Implications

• 로봇공학 및 자율 에이전트: SpatialBench는 현재 MLLM이 로봇 네비게이션이나 조작과 같은 고수준 계획 작업에 추가적인 추론 모듈 없이는 아직 준비되지 않았음을 강조한다.
• AR/VR 콘텐츠 제작: 개발자는 MLLM을 활용해 빠른 객체 탐지와 설명은 가능하지만, 일관된 공간 서술이나 레이아웃 제안을 기대해서는 안 된다.
• 지리공간 분석: 위성 이미지 주석 작업과 같은 단순 태스크에는 적합하지만, 복잡한 지형 추론에는 모델 선택을 위한 진단 도구로 활용될 수 있다.
• 제품 로드맵: 멀티모달 어시스턴트를 개발하는 기업은 계층별 점수를 참고해 연구 우선순위를 정할 수 있다—예를 들어 기호 추론 레이어를 추가하거나 외부 물리 엔진을 통합해 인과 추론을 강화하는 방향으로.

Limitations & Future Work

• 데이터셋 편향: 많은 과제가 합성 혹은 선별된 씬에 의존하므로 실제 환경의 잡음과 조명 변동에 대한 일반화가 제한될 수 있다.
• 프롬프트 의존성: 제로샷 성능이 프롬프트 문구에 크게 좌우될 수 있으나, 체계적인 프롬프트 엔지니어링은 다루지 않았다.
• 메트릭 세분성: 능력 지향 메트릭이 점수를 통합하는 장점이 있지만, 동일 수준 내에서의 미세한 실패 유형을 가릴 위험이 있다.
• 향후 방향: 저자들은 SpatialBench를 3‑D 비디오로 확장하고, 인터랙티브 평가(예: 구현된 에이전트)와 LLM 추론을 전용 공간 모듈과 결합한 하이브리드 아키텍처 탐색을 제안한다.

Authors

• Peiran Xu
• Sudong Wang
• Yao Zhu
• Jianing Li
• Yunjian Zhang

Paper Information

• arXiv ID: 2511.21471v1
• Categories: cs.AI
• Published: November 26, 2025
• PDF: Download PDF