[Paper] 자동 안전 운전 지시를 향한: 대규모 Vision Language Model 접근

Source: arXiv - 2511.23311v1

개요

새로운 연구에서는 대규모 시각‑언어 모델(LVLM)을 “코‑파일럿”으로 전환하여 도로 전방과 운전석 내부를 동시에 관찰하고, 자동으로 안전 중심의 운전 지시를 생성하는 방법을 탐구합니다. 전용 데이터셋을 구축하고 기존 LVLM을 미세조정함으로써, 이러한 모델이 일반 이미지 캡션을 넘어 실시간, 안전 인식 보조 기능을 제공할 수 있음을 보여줍니다.

주요 기여

• 이중 시점 데이터셋: 도로 전방 및 운전자 앞 카메라 영상을 동기화하여 수집·주석화하고, 휴대전화 사용, 졸음, 차선 위반 등 안전 관련 이벤트를 라벨링했습니다.
• LVLM 적용 파이프라인: 사전 학습된 시각‑언어 모델에 안전 지향 언어 기반을 주입하는 실용적인 미세조정 워크플로우를 제시했습니다.
• 벤치마크 및 평가: 지시 정확도, 위험 탐지 회수율 등 정량적 지표와 정성적 분석을 정의하여 이중 시점 과제에서 LVLM 성능을 평가했습니다.
• 오류 분류 체계: 미묘한 제스처, 가림 현상, 다중 모달 추론 격차 등 흔히 발생하는 실패 유형을 식별해 향후 모델 개선 방향을 제시했습니다.

방법론

1. 데이터 수집 – 팀은 앞유리(도로 시점)와 운전석(실내 시점)에 각각 장착한 두 대의 동기화 카메라를 사용해 수천 개의 짧은 주행 세션을 기록했습니다. 각 클립은 간결한 안전 지시(예: “휴대전화를 치우세요”)와 해당 위험 요소를 라벨링했습니다.
2. 모델 백본 – 시각 인코더(CLP‑ViT 등)와 대형 언어 모델(LLaMA 등)을 결합한 공개 LVLM을 출발점으로 사용했습니다.
3. 미세조정 전략
   • 다중 모달 융합: 두 비디오 스트림의 임베딩을 연결(concatenate)한 뒤 언어 디코더에 입력했습니다.
   • 지시 미세조정: “질문 → 답변”과 “이미지 → 지시” 쌍을 혼합 학습시켜 안전 관련 프롬프트에 중점을 두었습니다.
   • 시간 처리: 프레임 수준 특징에 가벼운 트랜스포머를 적용해 손이 전화기에 닿는 순간 등 단기 동적 변화를 포착했습니다.
4. 평가 – 생성된 지시가 정답 라벨과 일치하는 비율(정확히 일치)과 각 위험 카테고리별 회수율을 측정했습니다. 인간 평가자는 지시의 유용성을 추가로 평가했습니다.

결과 및 발견

• 미세조정된 LVLM은 사전 학습 모델 대비 정확도가 두 배 이상 향상되었습니다.
• 눈에 띄는 위험(예: “무릎 위에 전화기”)에 대한 성능이 크게 개선된 반면, 미세한 신호(예: 미세한 하품) 탐지는 아직 부족합니다.
• 인간 평가자는 모델의 지시를 63 %의 경우 “도움이 된다”고 평가했으며, 인간 기준은 85 %였습니다.

실용적 함의

• 차내 안전 보조: 자동차 제조사는 이중 카메라 LVLM 모듈을 탑재해 실시간 음성 프롬프트를 제공함으로써, 고가의 LiDAR·레이더 없이도 주의 산만 운전을 감소시킬 수 있습니다.
• 플릿 모니터링: 물류 기업은 대시캠에 시스템을 적용해 위험 운전 행동을 사후 검토용으로 표시하고, 준수율 및 보험 비용을 개선할 수 있습니다.
• 규제 준수 도구: 명시적인 안전 지시를 생성하는 모델은 여러 관할구역에서 요구하는 운전자 모니터링 시스템과 부합합니다.
• 확장 가능한 플랫폼: 일반 LVLM을 기반으로 하므로, 건설 현장 안전, 조종석 모니터링 등 다른 분야에도 적은 데이터 수집만으로 적용할 수 있습니다.

제한 사항 및 향후 연구

• 미세 이벤트 탐지 – 짧은 순간의 전화 확인이나 초기 피로 징후와 같은 저조도 신호 탐지에 아직 한계가 있습니다.
• 시간 범위 – 현재 구조는 몇 초 정도의 영상만을 처리하므로, 차선 이탈 예측과 같은 장기 추론은 다루지 못합니다.
• 데이터셋 편향 – 수집된 클립이 특정 차량 모델·조명 조건에 국한돼 있어, 다양한 실제 플릿에 대한 일반화에 제약이 있을 수 있습니다.
• 설명 가능성 – 시스템은 지시만 출력하고, 위험을 표시한 시각적 근거(예: 바운딩 박스)를 제공하지 않아 운전자의 신뢰 형성에 어려움이 있습니다.

향후 연구 방향으로는 주의 기반 시각적 그라운딩 통합, 야간·악천후 상황을 포함한 데이터셋 확대, CAN‑bus 등 센서와의 융합을 통한 풍부한 컨텍스트 제공 등을 제시합니다.

인간 기준은 동일한 클립을 시청하고 최적의 지시를 작성한 전문가 주석자들의 결과입니다.

저자

• Haruki Sakajo
• Hiroshi Takato
• Hiroshi Tsutsui
• Komei Soda
• Hidetaka Kamigaito
• Taro Watanabe

논문 정보

• arXiv ID: 2511.23311v1
• Categories: cs.CV, cs.AI, cs.CL
• Published: November 28, 2025
• PDF: Download PDF