[Paper] RedunCut: 측정 기반 샘플링 및 정확도 성능 모델링을 통한 저비용 실시간 비디오 분석

Source: arXiv - 2512.24386v1

Overview

Live video analytics (LVA)는 교통 모니터링 대시보드부터 드론 기반 검사 파이프라인에 이르기까지 다양한 분야에 활용됩니다. 하지만 최신 비전 모델을 모든 프레임에 적용하면 비용이 급격히 증가해 감당하기 어려워집니다. 논문 RedunCut은 각 비디오 구간에 맞는 “적절한 크기의” 모델을 실시간으로 선택하는 더 스마트한 방식을 제안합니다. 이를 통해 정확도 보장을 유지하면서도 연산 비용을 최대 3분의 2까지 절감할 수 있습니다.

주요 기여

• 측정 기반 샘플링 플래너 – 비용‑편익 분석을 토대로 얼마나 그리고 몇 개의 모델을 샘플링할지 결정하는 런타임 구성 요소로, 불필요한 과다 샘플링을 방지합니다.
• 경량 데이터 기반 정확도 모델 – 각 후보 모델 크기에 대한 구간별 정확도를 추정하는 빠른 예측기로, 실제 라벨이 없어도 선택 결정을 향상시킵니다.
• 다양한 워크로드에 대한 견고성 – 도로 차량, 드론, 감시 영상에 대해 입증되었으며, 여러 모델 패밀리(예: YOLO, EfficientDet)와 작업(객체 탐지, 분류)을 포괄합니다.
• 모든 테스트 시나리오에서 고정 정확도 하에 14‑62 %의 계산량 절감을 실증적으로 달성했으며, 과거 실행 기록이 적거나 영상 내용이 시간에 따라 변동할 때도 적용됩니다.
• 모델 재학습 불필요 – RedunCut은 기존 블랙박스 모델과 함께 작동하여 현재 LVA 파이프라인에 바로 적용할 수 있습니다.

Methodology

1. Segment‑wise decision loop – 비디오 스트림을 짧은 세그먼트(예: 몇 초)로 나눕니다. 각 세그먼트마다 RedunCut은 모델 크기(소형, 중형, 대형 등)를 선택해야 합니다.
2. Planner stage – 샘플링 전에 가벼운 플래너가 저렴한 모델을 선택했을 때 기대되는 연산량 감소와 몇 개의 모델을 샘플링하여 통계를 수집하는 오버헤드를 비교합니다. 플래너는 최근 런타임 측정값(지연 시간, 신뢰도 분포)을 사용해 최적의 샘플 수를 결정합니다.
3. Sampling stage – 플래너가 샘플링이 가치 있다고 판단하면, RedunCut은 소형 후보 모델 집합을 몇 프레임에 적용해 신뢰도 점수를 수집하고 이를 정확도 예측기에 전달합니다.
4. Accuracy predictor – 적당한 라벨링된 데이터셋으로 오프라인에서 학습된 이 모델은 관찰 가능한 통계(예: 평균 신뢰도, 엔트로피)와 현재 비디오 도메인에서 각 후보 모델의 실제 정확도 사이의 관계를 학습합니다. 마이크로초 수준으로 실행되므로 눈에 띄는 오버헤드를 추가하지 않습니다.
5. Model selection – 예측기는 각 후보에 대한 추정 정확도를 출력하고, RedunCut은 사용자 지정 정확도 목표를 만족하는 가장 작은 모델을 선택합니다. 선택된 모델은 세그먼트의 나머지 부분을 처리하고, 다음 세그먼트를 위해 루프가 반복됩니다.

전체 파이프라인은 측정 기반으로 설계되었습니다: 모든 결정이 정적 휴리스틱이 아니라 실제 런타임 데이터에 기반하므로, 시스템이 조명 변화, 움직임, 장면 구도 변화 등에 적응할 수 있습니다.

결과 및 발견

전반적으로 RedunCut은 기준 대비 정확도 목표를 ±1 % 이내로 유지하면서 모든 테스트 시나리오에서 상당한 연산 절감을 제공함.

실용적 함의

• 비용 효율적인 엣지 배포 – 스마트 시티 카메라나 드론 플릿 운영자는 필요할 때만 무거운 모델을 실행하여 배터리 수명을 연장하고 클라우드 진입 대역폭을 감소시킬 수 있습니다.
• 간소화된 파이프라인 통합 – RedunCut이 모델을 블랙 박스로 취급하기 때문에 기존 추론 서비스(TensorRT, ONNX Runtime 등)를 플래너와 함께 래핑해도 코드 변경이 필요 없습니다.
• 동적 SLA – 서비스 제공자는 “정확도‑as‑a‑service” 계약을 제공할 수 있으며, RedunCut은 약속된 정밀도를 충족하면서 비용을 최소화하도록 자동으로 컴퓨팅을 조절합니다.
• 빠른 프로토타이핑 – 데이터 과학자는 런타임을 재구성하지 않고도 새로운 모델 패밀리를 실험할 수 있으며, RedunCut은 각 비디오 도메인에 가장 비용 효율적인 크기를 자동으로 찾아냅니다.
• 확장 가능한 클라우드 청구 – SaaS 비디오 분석 플랫폼의 경우, 프레임당 컴퓨팅 감소는 직접적으로 GPU 사용 시간을 줄이고 고객에게 보다 예측 가능한 청구를 가능하게 합니다.

제한 사항 및 향후 연구

• 단기 통계에 의존 – 급격히 변동하는 장면(예: 갑작스러운 플래시)에서는 신뢰도 기반 예측기가 정확도를 잘못 추정할 수 있어 가끔 과도하게 모델을 축소하게 된다.
• 초기 워밍업 비용 – 플래너는 신뢰할 수 있는 측정을 수집하기 위해 짧은 관찰 창이 필요하며, 이 기간 동안 계산 절감 효과는 미미하다.
• 모델군 세분성 – RedunCut은 미리 학습된 모델 크기의 이산 집합을 가정한다; 이를 연속적인 스케일링(예: 동적 채널 프루닝)으로 확장하는 것은 향후 연구 과제로 남겨진다.
• 다양한 작업 적용 – 실험은 탐지와 분류에 초점을 맞췄으며, 동일한 아이디어를 세분화, 포즈 추정, 혹은 멀티모달 비디오‑오디오 파이프라인에 적용하는 것은 아직 미해결 과제이다.

저자들은 정확도 예측기의 실시간 적응 학습과 강화학습 기반 플래너 통합을 탐구하여 비용‑정확도 트레이드오프를 더욱 강화할 것을 제안한다.

저자

• Gur‑Eyal Sela
• Kumar Krishna Agrawal
• Bharathan Balaji
• Joseph Gonzalez
• Ion Stoica

논문 정보

• arXiv ID: 2512.24386v1
• 분류: cs.CV, cs.DC
• 출판일: 2025년 12월 30일
• PDF: PDF 다운로드