[Paper] BEVDilation: LiDAR 중심 멀티모달 융합을 통한 3D 객체 탐지

Source: arXiv - 2512.02972v1

Overview

논문 BEVDilation은 LiDAR와 카메라 데이터를 융합하는 새로운 방식을 제시하는데, LiDAR를 파이프라인의 핵심에 두고 있습니다. 이미지에서 추출한 BEV 특징을 가이드로만 취급하고 원시 입력으로 사용하지 않음으로써, 이미지 깊이 추정이 노이즈가 있을 때 일반적으로 성능을 저하시키는 공간적 정렬 오류를 크게 감소시킵니다.

Key Contributions

• LiDAR‑centric fusion paradigm – 정확한 LiDAR 기하 정보를 우선시하고 카메라 정보를 암묵적인 가이드로만 활용합니다.
• Sparse Voxel Dilation Block – 이미지 사전 정보를 주입하여 전경 보셀을 밀집시켜 포인트 클라우드의 희소성을 완화합니다.
• Semantic‑Guided BEV Dilation Block – 이미지의 의미 정보를 활용해 LiDAR 특징 확산을 풍부하게 하고 장거리 컨텍스트를 포착합니다.
• Robustness to depth noise – 가이드‑전용 접근법이 단순 연결 방식보다 깊이 추정 오류에 훨씬 덜 민감함을 입증합니다.
• State‑of‑the‑art results on nuScenes – 기존 멀티모달 탐지기보다 우수한 성능을 보이며 추론 속도도 경쟁력을 유지합니다.

Methodology

1. Base LiDAR Backbone – 시스템은 기존의 보셀 기반 LiDAR 인코더로 시작하여 BEV 특징 맵을 생성합니다.
2. Image‑to‑BEV Projection (Guidance Only) – 카메라 이미지는 2‑D CNN으로 처리된 뒤 추정된 깊이를 이용해 BEV 공간으로 투영됩니다. 이 특징을 LiDAR 특징과 연결(concatenate)하는 대신 별도로 유지하고 이후 소프트 가이드로 사용합니다.
3. Sparse Voxel Dilation Block
   • 전경 보셀(예: 잠재적인 차량 위치)을 식별합니다.
   • 투영된 이미지 BEV를 마스크로 사용해 이러한 보셀을 “팽창(dilate)”시켜 LiDAR 희소성으로 인한 빈틈을 메웁니다.
4. Semantic‑Guided BEV Dilation Block
   • 팽창된 보셀 맵에 확산 스타일 연산을 적용해 이미지에서 얻은 의미 단서(도로, 차량, 보행자)를 LiDAR BEV 전역에 퍼뜨립니다.
   • 장거리 컨텍스트 모듈(예: 변형 가능한 어텐션)을 도입해 인접 이웃을 넘어선 관계를 포착합니다.
5. Detection Head – 풍부해진 BEV 특징 맵이 표준 앵커‑프리 3D 탐지 헤드에 입력되어 바운딩 박스와 클래스 점수를 예측합니다.

전체 파이프라인은 LiDAR → BEV encoder → (guided dilation using image BEV) → enriched BEV → detector 로 시각화할 수 있습니다.

Results & Findings

• nuScenes validation: BEVDilation은 이전 최고 LiDAR‑camera 융합 모델 대비 +1.8 % mAP와 +2.3 % NDS를 달성했으며, 추가 지연 시간은 약 10 ms 수준에 머물렀습니다.
• Depth‑noise robustness test: 이미지 브랜치에 합성 깊이 노이즈를 추가했을 때, BEVDilation의 성능 저하가 < 0.5 %에 그치는 반면, 단순 연결 방식은 > 3 % 감소했습니다.
• Ablation studies: Sparse Voxel Dilation 또는 Semantic‑Guided BEV Dilation 중 하나를 제거하면 각각 mAP가 약 1 %씩 감소하여 두 블록이 각각 독립적으로 기여함을 확인했습니다.

Practical Implications

• Safer autonomous driving stacks – LiDAR 기하 정보를 우선으로 사용함으로써 카메라 깊이 추정이 실패하는 상황(예: 조명 악화, 악천후)에서도 탐지기가 신뢰성을 유지합니다.
• Easier integration – 기존 LiDAR‑only 파이프라인에 두 개의 팽창 블록만 추가하면 BEVDilation을 적용할 수 있어 전체 백본을 재설계할 필요가 없습니다.
• Edge‑friendly deployment – 연산 오버헤드가 적어 자동차용 GPU나 특수 ASIC에서도 실시간 추론이 가능합니다.
• Improved perception for low‑density LiDARs – 희소성 보완 메커니즘은 프레임당 포인트 수가 적은 저가형 LiDAR 센서에 특히 유용합니다.

Limitations & Future Work

• 이미지‑to‑BEV 투영을 위한 깊이 추정이 어느 정도 정확해야 하며, 극단적인 깊이 오류는 가이드 품질을 제한할 수 있습니다.
• 실험이 nuScenes 데이터셋에만 국한되어 있어, 고속도로나 실내 로봇 등 다른 도메인에 대한 검증이 필요합니다.
• 저자들은 self‑supervised semantic guidance와 dynamic dilation rates를 탐구하여 장면 밀도 변화에 더 잘 적응하는 미래 버전을 제안했습니다.

Authors

• Guowen Zhang
• Chenhang He
• Liyi Chen
• Lei Zhang

Paper Information

• arXiv ID: 2512.02972v1
• Categories: cs.CV, cs.RO
• Published: December 2, 2025
• PDF: Download PDF