[Paper] SpatialBench: 당신의 Spatial Foundation Model은 전천후 플레이어인가?

Source: arXiv - 2605.27367v1

Overview

Spatial foundation models—3‑D 장면을 이해하는 대규모 신경망—은 벤치마크 데이터셋에서 인상적인 결과를 보여주며 화제를 모으고 있습니다. 하지만 다양한 시점, 저해상도 센서 데이터, 제한된 하드웨어 예산 등 현실 세계 애플리케이션의 복잡성을 실제로 감당할 수 있을까요? 논문 *SpatialBench: Is Your Spatial Foundation Model an All‑Round Player?*는 이러한 모델들을 전 영역 스트레스 테스트에 넣는 대규모이며 엄격하게 설계된 벤치마크를 소개합니다.

주요 기여

• SpatialBench benchmark: 19개의 공개 데이터셋, 546개의 고유 씬, 5개의 공간 도메인(예: 실내, 실외, 항공, 구현형, 자가 중심) 전반에 걸침.
• Deterministic sampling pipeline: 실행 간 재현 가능한 결과를 보장하고, 실제 모델 능력을 가릴 수 있는 숨겨진 무작위성을 제거함.
• Comprehensive evaluation matrix: 6가지 아키텍처 패러다임(전체‑컨텍스트 어텐션, 제한‑메모리 어텐션, 복셀‑기반, 포인트‑클라우드, 하이브리드, 트랜스포머‑CNN 하이브리드)을 포괄하는 41개 모델을 5개의 작업 스위트(씬 재구성, 포즈 추정, 내비게이션, 의미 매핑, 구현형 인터랙션)와 4가지 입력‑밀도 레짐에서 테스트함.
• DA‑Next‑5M dataset: 이전 연구에서 확인된 “대규모 데이터 격차”를 목표로 새롭게 선별된 5백만 프레임 컬렉션.
• DA‑Next baseline: DA‑Next‑5M으로 학습된 강력한 오픈‑소스 모델로, 향후 공간 기반 기초 연구를 위한 새로운 성능 기준을 제시함.

방법론

1. Deterministic data preparation – 무작위 프레임 선택 대신, 저자들은 각 씬에 대해 고정된 카메라 포즈와 포인트 클라우드 샘플링을 사전 계산합니다. 이는 확률적 변동성을 제거하고 논문 간 비교를 공정하게 만듭니다.
2. Cross‑paradigm coverage – 모델은 공간 컨텍스트를 처리하는 방식(예: 무제한 어텐션 vs. 슬라이딩 윈도우 메모리)에 따라 그룹화됩니다. 각 그룹은 동일한 입력으로 평가되어, 차이는 데이터 전처리보다 아키텍처 선택을 반영합니다.
3. Multi‑density testing – 입력 포인트 클라우드를 원래 밀도의 0.5 %, 1 %, 5 % 및 10 %로 다운샘플링하여 저비용 LiDAR 또는 단일 카메라 깊이 센서를 모방합니다.
4. Task suites – 벤치마크는 각 모델을 다음 작업에 적용합니다:
   • Reconstruction (전체 3‑D 기하학 복원),
   • Pose estimation (카메라 위치 추정),
   • Navigation (시뮬레이션 에이전트의 경로 계획),
   • Semantic mapping (씬 부분 라벨링), 및
   • Embodied interaction (VR/AR 에이전트를 위한 실시간 의사결정).
5. Metrics – 정확도(예: Chamfer distance, pose error), 지연 시간, 메모리 사용량, 에너지 소비를 기록하여 성능과 배포 비용을 모두 포착합니다.

결과 및 발견

• 전체 컨텍스트 어텐션이 정확도를 높인다 – 전체 장면에 주의를 기울일 수 있는 모델(예: 기본 Transformer)은 일관되게 가장 낮은 재구성 및 포즈 오류를 달성하지만, 긴 시퀀스에서는 메모리 한계에 도달한다.
• 제한된 메모리 기법이 확장성을 가능하게 한다 – 슬라이딩 윈도우 또는 계층적 어텐션 방식은 메모리를 제어 가능한 수준으로 유지하고 10 k 프레임 이상을 처리할 수 있게 하지만, 정확도가 약간(~5‑10 %) 감소한다.
• 도메인 정렬이 데이터셋 크기보다 중요 – 모델이 테스트 도메인과 밀접하게 일치하는 데이터(예: 실내 작업을 위한 실내 중심 학습)로 학습될 때, 학습 세트가 일반적인 대규모 코퍼스보다 작더라도 성능이 크게 향상된다.
• 데이터 품질이 중요 – 잡음이 많은 깊이 맵이나 과도하게 압축된 포인트 클라우드는 학습 샘플 수를 줄이는 것보다 성능을 훨씬 더 크게 저하시킨다.
• DA‑Next 베이스라인이 새로운 기준을 제시 – 5 M 프레임 DA‑Next 데이터셋으로 학습된 DA‑Next는 5개의 작업군 중 4개에서 기존 최첨단 모델들을 능가하면서도 2 GB GPU 메모리 예산 내에 머문다.

실용적 시사점

• Robotics & autonomous vehicles – 엔지니어들은 이제 결정론적이며 다중 밀도 스위트를 사용해 인식 스택을 벤치마크할 수 있어, 모델이 주장하는 “실제 환경 준비성”이 저해상도 LiDAR나 엣지 디바이스 제약 하에서도 유지되는지 확인할 수 있다.
• AR/VR developers – SpatialBench의 구현 및 자가 중심 작업은 지연 시간에 민감한 시나리오(손 추적, 실내 내비게이션)를 직접 반영한다. 결과는 경량의 제한 메모리 모델이 디바이스 내 추론에 실용적인 선택임을 시사한다.
• Cloud‑edge hybrid pipelines – 벤치마크의 메모리‑대‑정확도 트레이드오프 곡선은 시스템 아키텍트가 전체 컨텍스트 어텐션을 클라우드로 오프로드하고, 제한 메모리 백업을 엣지에 유지할 시점을 결정하는 데 도움을 준다.
• Dataset curation – 도메인 정렬의 강력한 영향은 팀이 일반 데이터셋을 무차별적으로 확장하기보다 목표 데이터 수집(예: 창고 전용 스캔)에 투자하도록 장려한다.
• Open‑source baseline – DA‑Next는 허용적인 라이선스로 공개되어, 개발자들이 맞춤형 공간 애플리케이션을 위해 바로 fine‑tune 할 수 있는 시작점을 제공한다.

제한 사항 및 향후 작업

• Hardware diversity – 평가가 제한된 GPU/TPU 세트에서 수행되었으며, 초저전력 ASIC 또는 모바일 NPU에서의 성능은 아직 테스트되지 않았습니다.
• Static scenes only – 벤치마크에 다양한 시점이 포함되어 있지만, 동적 객체(예: 움직이는 사람)는 충분히 다루어지지 않아 실시간 상호작용 시나리오에 대한 공백이 남습니다.
• Benchmark expansion – 저자들은 더 많은 실외 및 항공 데이터셋을 추가하고, 점점 더 중요해지는 구현형 AI를 위해 멀티모달 신호(오디오, 촉각)를 통합할 계획이라고 언급했습니다.
• Model interpretability – 왜 풀 컨텍스트 어텐션이 뛰어난지(예: 특정 어텐션 패턴) 이해하는 것은 향후 분석에 맡겨져 있으며, 이는 보다 효율적인 하이브리드 아키텍처에 영감을 줄 수 있습니다.

SpatialBench는 공간 기반 모델을 위한 최초의 진정으로 전체적인 기준을 제공하며, 개발자들에게 3‑D AI 과제에 적합한 모델을 선택하고, 튜닝하며, 배포할 수 있는 구체적인 데이터를 제공합니다.

저자

• Haosong Peng
• Hao Li
• Jiaqi Chen
• Yuhao Pan
• Runmao Yao
• Yalun Dai
• Fushuo Huo
• Fangzhou Hong
• Zhaoxi Chen
• Haozhao Wang
• Dingwen Zhang
• Ziwei Liu
• Wenchao Xu

논문 정보

• arXiv ID: 2605.27367v1
• 분류: cs.CV
• 출판일: 2026년 5월 26일
• PDF: Download PDF