[논문] 비전 트랜스포머를 활용한 세분화 차량 분류를 위한 오픈소스 2단계 컴퓨터 비전 파이프라인

Source: arXiv - 2606.05149v1

개요

새로운 오픈‑소스 컴퓨터 비전 파이프라인이 실제 안전 문제에 도전합니다: 자연스러운 도로 영상에서 촬영된 차량의 차체 유형을 자동으로 분류합니다. 최신 객체 탐지기와 미세 조정된 Vision Transformer를 연계함으로써, 저자들은 사이클리스트 부상 위험과 관련된 6가지 차량 카테고리에서 인간 수준에 근접한 정확도를 달성했으며, 코드·모델·평가 도구를 모두 커뮤니티에 공개합니다.

주요 기여

• 두 단계 아키텍처:
  • 1단계: 빠르고 거친 차량 위치 추정을 위한 RT‑DETR 탐지기.
  • 2단계: 6가지 세분화된 차체 유형을 구분하도록 미세 조정된 Vision Transformer (ViT‑Base/16).
• 신뢰도 기반 포기(abstention): 소프트맥스 신뢰도가 < 0.60인 경우 “unknown”으로 라벨링하여 잘못된 클래스를 강제하지 않음.
• 견고성 평가:
  • 인‑분포 테스트(3,805건 추월 이벤트) → 정확도 94 %, 클래스별 F1 = 0.91–0.97.
  • 외‑분포 테스트(다른 사이클링 데이터셋에서 311건) → 정확도 89 %, 주요 4개 클래스 중 3개는 F1 ≥ 0.90 유지.
• 오픈‑소스 공개: 전체 파이프라인, 학습 스크립트, 사전 학습 가중치, 평가 유틸리티를 관용적인 라이선스 하에 공개.
• 도메인‑시프트 분석: 포기 메커니즘이 불확실성을 우아하게 처리함을 보여줌(예: 미니밴 F1 감소는 오분류가 아니라 포기 증가 때문).

방법론

1. 데이터 수집 및 라벨링 – 3,805건의 추월 이벤트를 수동으로 라벨링하여 6가지 차량 차체 유형(승용차, SUV, 픽업, 미니밴, 대형 밴, 상업용 트럭)으로 구분.
2. 1단계 – 거친 탐지 – 사전 학습된 RT‑DETR 모델(최근의 트랜스포머 기반 탐지기)을 사용해 각 영상 프레임을 스캔하고, 바운딩 박스와 클래스에 무관한 신뢰도 점수를 출력. 이 단계는 가볍고 단일 GPU에서 실시간으로 동작.
3. 2단계 – 세분화 분류 – 잘라낸 차량 패치를 ViT‑Base/16 모델에 입력. 모델은 ImageNet‑21k 가중치로 초기화한 뒤 라벨링된 데이터셋으로 미세 조정됨. 트랜스포머의 자체‑주의(self‑attention) 레이어가 지붕선, 휠베이스, 후면 프로파일 등 미묘한 형태 단서를 포착해 SUV와 픽업을 구분함.
4. 포기 로직 – 소프트맥스 층 이후 최고 클래스 확률이 < 0.60이면 시스템은 “unknown” 라벨을 반환. 이는 가림이나 조명 등으로 모델이 확신이 없을 때 침묵 오류를 방지함.
5. 평가 – 표준 지표(정확도, 클래스별 F1)를 인‑분포 테스트 세트와 외‑분포 테스트 세트(오픈 사이클링 영상 저장소에서 추출) 모두에 대해 추가 미세 조정 없이 계산.

결과 및 발견

왜 미니밴이 떨어졌을까? 미니밴에 대한 포기 비율이 인‑분포에서는 2.4 %였지만 외‑분포에서는 25 %로 급증했습니다. 모델이 잘못된 라벨을 강제하기보다 “포기”를 선택함으로써 F1 점수는 낮아졌지만 전체적인 신뢰도는 높아졌습니다.

실용적 시사점

• 사이클리스트 안전 분석 – 교통 기관은 기존 도로 영상 아카이브를 자동으로 처리해 고위험 차량 유형에 대한 노출을 수동 라벨링 없이 정량화할 수 있습니다.
• 실시간 모니터링 – 가벼운 RT‑DETR + ViT 파이프라인이 RTX 3080 하나로 약 15 fps를 구동하므로 교차로나 자전거 전용 차선 카메라에 실시간 적용이 가능합니다.
• 전이 가능한 프레임워크 – 탐지기가 일반적이고 분류기가 소규모 데이터셋으로 미세 조정되기 때문에, 동일한 두 단계 설계를 물류 분석을 위한 배달 밴 vs. 승용 밴 구분 등 다른 세분화 작업에도 재활용할 수 있습니다.
• 안전 정책 피드백 루프 – 자동화된 차체 유형 통계가 위험 모델링 도구에 입력되어, 대형 트럭이 많이 다니는 구역에 보호 자전거 도로를 추가하는 등 인프라 개선 우선순위를 정하는 데 활용됩니다.
• 오픈‑소스 생태계 – 연구자와 개발자는 레포를 클론하고 자체 영상 소스를 연결해 라벨 세트를 확장하거나 도메인 적응 기법을 추가할 수 있어, 처음부터 구현할 필요가 없습니다.

한계 및 향후 연구

• 데이터셋 범위 – 학습 데이터가 하나의 도시 회랑에서만 수집되었으며, 전기 밴 등 희귀 형태는 여전히 오인될 가능성이 있습니다.
• 포기 임계값 – 0.60이라는 기준은 경험적이며, 적응형 임계값이나 베이지안 불확실성 추정이 더 나은 트레이드‑오프를 제공할 수 있습니다.
• 시간적 맥락 – 현재 파이프라인은 각 차량을 독립적으로 분류하므로, 프레임 간 움직임 정보를 활용하면 가림에 대한 강인성을 높일 수 있습니다.
• 엣지 배포 – 데스크톱 GPU에서는 가능하지만, 저전력 엣지 디바이스용 최적화(예: TensorRT, 모델 프루닝) 작업이 추가로 필요합니다.

저자들은 커뮤니티가 코드베이스를 기반으로 확장하고, 제시된 방향을 탐구하여 세분화된 차량 분류가 일상적인 교통 안전 워크플로에 자리 잡도록 기여해 주기를 기대합니다.

저자

• Gandhimathi Padmanaban
• Fred Feng

논문 정보

• arXiv ID: 2606.05149v1
• 분류: cs.CV, cs.LG, eess.IV
• 발표일: 2026년 6월 3일
• PDF: Download PDF