[Paper] HFS: 효율적인 비디오 추론을 위한 전체론적 쿼리 인식 프레임 선택

Source: arXiv - 2512.11534v1

개요

이 논문은 HFS (Holistic Frame Selection) 라는 새로운 프레임 선택 프레임워크를 소개한다. HFS는 비디오 QA, 캡션 생성 등 하위 작업을 위해 가장 유용한 비디오 프레임을 질의에 대한 인식을 바탕으로 선택하고, 개별 프레임을 독립적으로 점수 매기는 것이 아니라 전체 프레임 집합을 최적화한다. 작은 언어 모델과 멀티모달 특징을 결합하고 선택기를 엔드‑투‑엔드로 학습시킴으로써, HFS는 중복을 크게 줄이고 여러 비디오 이해 벤치마크에서 성능을 향상시킨다.

주요 기여

• 질의‑인식 암시적 벡터: 체인‑오브‑생각 프롬프트가 작은 언어 모델(SLM)을 구동해 작업‑특정 질의 임베딩을 생성하고, 이를 프레임 점수 매김에 활용한다.
• 집합‑수준 미분 가능 목표: 연관성, 커버리지, 중복성을 동시에 균형 잡는 연속 손실을 정의하고, Gumbel‑Softmax를 사용해 최적의 프레임 조합을 선택하도록 최적화한다.
• 학생‑교사 상호 학습: SLM 선택기(학생)와 멀티모달 대형 언어 모델(reasoner, 교사)를 공동 학습시켜 KL 발산을 통해 두 모델의 프레임‑중요도 분포를 정렬한다.
• 엔드‑투‑엔드 학습: 오프라인에서 생성된 정적 의사 라벨이 필요 없으며, 선택기가 각 하위 작업에 동적으로 적응하도록 만든다.
• 최첨단 결과: Video‑MME, LongVideoBench, MLVU, NExT‑QA 등에서 기존 프레임 선택 베이스라인을 지속적으로 능가한다.

방법론

1. 암시적 질의 생성 – 체인‑오브‑생각 프롬프트(예: “질문이 왜 중요한지 설명해”)를 경량 언어 모델에 입력한다. 모델은 현재 작업(질문, 캡션 등)의 의미를 포착한 조밀한 질의 벡터를 출력한다.
2. 멀티모달 특징 융합 – 각 비디오 프레임에 대해 시각 특징(예: CLIP 임베딩)과 질의 벡터를 연결해 공동 표현을 만든다.
3. 전체적 점수 매김 – 독립적인 점수를 부여하는 대신 집합‑수준 손실을 정의한다:
   • 연관성: 프레임은 질의에 답하는 데 유용해야 한다.
   • 커버리지: 선택된 집합은 비디오의 시간적 범위를 포괄해야 한다.
   • 중복성: 시각적·의미적으로 유사한 프레임을 동시에 선택하는 것을 벌한다.
     이 손실은 Gumbel‑Softmax 트릭을 이용해 이산 선택을 근사하면서도 그래디언트 흐름을 가능하게 만든다.
4. 학생‑교사 상호 학습 – 교사(강력한 멀티모달 LLM)는 전체 비디오를 처리해 프레임별 부드러운 중요도 분포를 만든다. 학생 선택기는 이 분포를 모방(KL 발산)하고, 동시에 하위 작업의 교차 엔트로피 손실에 의해 지도된다.
5. 엔드‑투‑엔드 최적화 – 질의 생성기, 프레임 스코러, 하위 작업 reasoner 등 모든 구성 요소를 공동 학습시켜, 선택기가 최종 작업 메트릭을 직접 개선하는 프레임을 고르게 만든다.

결과 및 분석

• 중복 감소: 시각적 검토 결과, 선택된 프레임이 비디오 타임라인 전반에 고르게 분포하며, Top‑K 방식에서 흔히 나타나는 클러스터 현상을 피한다.
• 질의 민감도: 질문을 바꾸면 선택된 프레임 집합이 크게 달라져, 질의‑인식 설계가 제대로 작동함을 확인한다.
• 효율성: 작은 선택기는 단일 GPU에서 비디오당 < 10 ms 안에 실행되어 실시간 파이프라인에 적용 가능하다.

실용적 함의

• 비용 효율적인 비디오 분석 – 소수의 고효율 프레임만 선택함으로써, 개발자는 경량 모델(예: 엣지 디바이스 비전 모델)을 사용해도 정확도를 크게 떨어뜨리지 않으며, 연산 및 메모리 사용량을 절감할 수 있다.
• 향상된 비디오 QA 어시스턴트 – 긴 비디오에 대한 질문에 답하는 챗 기반 어시스턴트가 관련 순간을 더 빠르게 찾아내어, 보다 정확한 응답을 제공한다.
• 콘텐츠 모더레이션 및 인덱싱 – 자동 시스템이 정책 위반을 감지하거나 검색 가능한 메타데이터를 생성할 때 가장 유의미한 프레임에 집중함으로써 파이프라인 속도가 빨라진다.
• 플러그‑인 컴포넌트 – HFS는 모델에 구애받지 않으며, 기존 비디오‑추론 스택(예: CLIP 기반 캡셔너, LLM 구동 비디오 에이전트)에 최소한의 코드 변경만으로 삽입할 수 있다.

제한점 및 향후 과제

• 강력한 교사에 대한 의존성: 상호 학습 구조는 성능 좋은 멀티모달 LLM이 필요하며, 이는 일부 팀에게는 접근이 어렵거나 비용이 많이 든다.
• 초장 비디오에 대한 확장성: HFS는 수분 길이의 비디오까지는 잘 처리하지만, 몇 시간에 달하는 감시 영상 등은 계층적 선택 전략이 필요할 수 있다.
• 질의 생성 프롬프트 설계: 체인‑오브‑생각 프롬프트를 수작업으로 만들었으며, 자동 프롬프트 탐색이 이루어지면 다양한 도메인에 대한 견고성이 더욱 향상될 것이다.
• 미래 방향: 저자들은 강화학습 기반 선택, 오디오와 비디오를 포함한 멀티모달 스트림으로의 확장, 그리고 대형 교사에 대한 의존도를 낮추기 위한 셀프‑슈퍼바이즈드 사전학습 등을 탐구할 것을 제안한다.

저자

• Yiqing Yang
• Kin‑Man Lam

논문 정보

• arXiv ID: 2512.11534v1
• 분류: cs.CV, cs.CL, cs.MM
• 발표일: 2025년 12월 12일
• PDF: Download PDF