[논문] Sensor2Sensor: 자율주행을 위한 교차 구현 센서 변환

개요

자율주행 시스템(ADS)의 견고한 학습 및 검증을 위해서는 방대하고 다양성 있는 데이터셋이 필요합니다. 자율주행 차량(AV) 플릿이 수집한 독점 데이터는 고충실도이지만 규모, 센서 구성의 다양성, 지리적 및 롱테일 행동 커버리지 측면에서 제한적입니다. 반면, 대시캠과 같은 소스에서 얻는 야생 데이터는 방대한 규모와 다양성을 제공하며, 중요한 롱테일 시나리오와 새로운 환경을 포착합니다. 하지만 이러한 비구조화된 야생 비디오 데이터는 검증 및 학습을 위해 구조화된 다중 모달 센서 입력을 기대하는 ADS와 호환되지 않습니다. 이 데이터 격차를 해소하기 위해 우리는 Sensor2Sensor를 제안합니다. 이는 야생의 단일 카메라 대시캠 영상을 다중 뷰 카메라 이미지와 라이다 포인트 클라우드로 구성된 고충실도 다중 모달 센서 스위트(AV 로그)로 변환하는 새로운 생성 모델링 패러다임입니다. 핵심 과제는 짝이 되는 학습 데이터가 부족하다는 점입니다. 우리는 실제 AV 로그를 4D 가우시안 스플래팅(4DGS) 재구성과 새로운 시점 렌더링을 통해 대시캠 스타일 비디오로 변환함으로써 이를 해결합니다. 그 후 Sensor2Sensor는 확산 아키텍처를 활용해 생성 변환을 수행합니다. 우리는 생성된 센서 데이터의 충실도와 사실성에 대해 포괄적인 정량적 평가를 수행합니다. 우리는 어려운 야생 인터넷 및 대시캠 영상을 현실적인 다중 모달 데이터 형식으로 변환함으로써 Sensor2Sensor의 실용성을 입증하고, AV 개발을 위한 방대한 외부 데이터 소스를 추가로 활용 가능하게 합니다.

주요 기여

이 논문은 다음 분야의 연구를 제시합니다:

• cs.CV

방법론

자세한 방법론은 전체 논문을 참고하십시오.

실용적 함의

이 연구는 cs.CV의 발전에 기여합니다.

저자

• Jiahao Wang
• Bo Sun
• Yijing Bai
• Vincent Casser
• Songyou Peng
• Zehao Zhu
• Meng-Li Shih
• Xander Masotto
• Shih-Yang Su
• Kanaad V Parvate
• Tiancheng Ge
• Linn Bieske
• Dragomir Anguelov
• Mingxing Tan
• Chiyu Max Jiang

논문 정보

• arXiv ID: 2605.22809v1
• Categories: cs.CV
• Published: 2026년 5월 21일
• PDF: PDF 다운로드