[Paper] TrafficLens: 다중 카메라 트래픽 비디오 분석 LLM 활용

Source: arXiv - 2511.20965v1

Overview

논문 TrafficLens는 실제 현장에서의 병목 현상을 해결합니다: 수십 개의 교통 카메라 피드에서 스트림을 추출해 도시 운영자와 법 집행 팀이 실시간으로 활용할 수 있는 텍스트 인사이트로 빠르게 변환합니다. Vision‑Language Model(VLM)과 경량 유사도 필터를巧妙하게 연결함으로써, 저자들은 비디오‑투‑텍스트 변환 시간을 최대 4배까지 단축하면서도 실용적인 수준의 설명 정확도를 유지합니다.

Key Contributions

• Sequential multi‑camera pipeline: 하나의 카메라 출력물을 다음 카메라의 프롬프트로 재사용하여 겹치는 시야 영역을 활용합니다.
• Dynamic token budgeting: 각 VLM 호출은 카메라별 “정보 예산”에 맞게 크기가 조정되어 불필요하게 긴 프롬프트를 방지합니다.
• Object‑level similarity detector: 새로운 시각적 내용이 없는 프레임에 대해서는 VLM 처리를 건너뛰어 중복 작업을 크게 감소시킵니다.
• Real‑world evaluation: 다중 카메라 교차로 데이터셋에서 4배 속도 향상을 보이며 설명 충실도 손실은 거의 없음을 입증했습니다.

Methodology

1. Pre‑processing & Overlap Mapping – 시스템은 먼저 어떤 카메라가 시각적 커버리지를 공유하는지(예: 인접한 두 렌즈가 동일 차선을 보는 경우) 맵을 구축합니다.
2. Iterative VLM Invocation –
   • 카메라 1의 비디오 구간을 Vision‑Language Model에 입력해 간결한 텍스트 설명을 생성합니다.
   • 이 설명은 카메라 2의 프롬프트 일부가 되며, 이제 카메라 2는 카메라 1이 이미 포착한 내용 외에 새로운 부분만 설명하면 됩니다.
   • 이 과정은 겹치는 체인에 있는 모든 카메라에 대해 반복됩니다.
3. Token‑limit Adaptation – 각 VLM 호출은 카메라별 토큰 상한을 준수합니다; 이전 설명이 이미 대부분의 예산을 사용했다면 다음 호출은 그에 맞게 축소됩니다.
4. Object‑Level Similarity Check – VLM을 호출하기 전에, 경량 검출기(예: 빠른 CNN + 객체 임베딩에 대한 코사인 유사도)가 현재 프레임의 검출 객체와 이미 보고된 객체를 비교합니다. 유사도가 임계값을 초과하면 VLM 단계가 건너뛰어지고 이전 텍스트가 재사용됩니다.

전체 흐름은 retrieval‑augmented generation 루프이며, 시각 데이터는 “검색”(유사도 검출)되고 이후 “생성”(VLM)됩니다. 이는 인간 분석가가 겹치는 카메라 피드를 훑어보는 방식과 유사합니다.

Results & Findings

저자들은 BLEU‑4가 약간 감소한 이유가 유사도 필터가 반복적인 상세(예: “세단이 직진한다”)를 생략했기 때문이라고 설명합니다—이는 사건 보고에 거의 필요하지 않은 정보입니다.

Practical Implications

• 빠른 사건 대응 – 운영자는 다중 카메라 교차로를 질의하고 5초 이하의 일관된 텍스트 요약을 받아 실시간에 가까운 의사결정을 할 수 있습니다.
• 비용 효율적인 확장 – 비용이 많이 드는 VLM 호출 수를 줄임으로써 도시 IT 예산이 카메라 수를 비례적으로 늘리지 않아도 됩니다.
• 검색 가능한 아카이브 개선 – 생성된 텍스트를 키워드 인덱싱할 수 있어 사후 조사(예: “오후 5시에 빨간 트럭 모두 찾기”)가 훨씬 빨라집니다.
• 기존 ITS 스택에 플러그‑인 가능 – TrafficLens는 파이프라인 래퍼이며, 어떤 상용 VLM(GPT‑4V, LLaVA 등)과 객체 검출기 위에도 바로 적용할 수 있고, 겹침 지도만 설정하면 됩니다.

스마트 시티 대시보드, 자율주행 시뮬레이션 플랫폼, 혹은 법 집행 비디오 검토 도구를 개발하는 개발자는 전체 비전 스택을 재설계하지 않고도 원시 비디오 스트림을 구조화된 검색 가능한 내러티브로 변환하기 위해 TrafficLens를 채택할 수 있습니다.

Limitations & Future Work

• 정확한 겹침 지도에 의존 – 카메라 기하학이 잘 맞지 않으면 정보 누락이나 중복 설명이 발생할 수 있습니다.
• 유사도 검출기 임계값이 휴리스틱 – 과도한 프루닝은 미세하지만 중요한 사건(예: 보행자가 인도에서 벗어나는 경우)을 놓칠 위험이 있습니다.
• 평가가 단일 도시 데이터셋에 제한 – 다양한 조명, 날씨, 카메라 품질에 대한 폭넓은 테스트가 필요합니다.
• 향후 방향에는 겹침 그래프를 자동으로 학습하고, 시간적 추론(예: 카메라 간 차량 추적)을 통합하며, 멀티모달 질의(오디오 + 비디오)로 확장하는 것이 포함됩니다.

Authors

• Md Adnan Arefeen
• Biplob Debnath
• Srimat Chakradhar

Paper Information

• arXiv ID: 2511.20965v1
• Categories: cs.CV, cs.CL
• Published: November 26, 2025
• PDF: Download PDF