[Paper] OmniShotCut: 전체론적 관계 샷 경계 감지와 Shot-Query Transformer

Source: arXiv - 2604.24762v1

개요

논문 OmniShotCut은 샷 경계 검출(SBD, Shot Boundary Detection) – 비디오를 구성 샷으로 자동 분할하는 작업 – 을 구조적 관계 문제로 재구성합니다. intra‑shot 연속성과 inter‑shot 전환을 동시에 추론하는 “shot‑query” Transformer를 도입함으로써, 저자들은 보다 정확하고 해석 가능한 경계를 달성했습니다. 또한, 노이즈가 많은 라벨과 오래된 테스트 세트라는 오랜 문제를 해결하기 위해 합성 데이터 파이프라인과 새로운 벤치마크(OmniShotCutBench)를 공개했습니다.

주요 기여

• Shot‑Query Transformer: 각 잠재적인 샷을 쿼리로 취급하고, 샷 범위와 인접 샷을 연결하는 관계 단서를 함께 예측하는 밀집 비디오 트랜스포머.
• Holistic Relational Formulation: 샷 내부 일관성과 샷 간 불연속성을 동시에 모델링하여 전통적인 분류기가 놓치기 쉬운 미세한 전환(예: 페이드, 디졸브) 탐지를 가능하게 함.
• Synthetic Transition Generator: 정확한 정답 경계와 함께 실제 같은 전환 클립(컷, 페이드, 와이프 등)을 생성하는 완전 자동 파이프라인으로, 잡음이 섞인 인간 주석에 대한 의존성을 없앰.
• OmniShotCutBench: 다양한 장르, 해상도, 프레임 레이트를 포괄하는 현대적이고 광범위한 벤치마크로, 전체 성능 평가와 특정 전환 유형에 대한 진단 분석을 모두 목표로 함.
• Interpretability Tools: 학습된 관계 그래프를 시각화하여 개발자가 특정 경계가 선택된 이유를 이해할 수 있도록 함.

방법론

1. 샷 쿼리: 비디오는 먼저 짧은 클립 임베딩(예: 0.5‑초 윈도우)으로 토큰화됩니다. 각 임베딩은 트랜스포머에게 “내가 속한 샷의 시작과 끝은 무엇인가?”라고 묻는 쿼리 역할을 합니다.
2. 밀집 트랜스포머 인코더: 다중 헤드 자체 주의 스택이 전체 시퀀스를 처리하여 각 쿼리가 다른 모든 클립에 주의를 기울일 수 있게 합니다. 이러한 전역 뷰는 점진적인 전환에 필요한 장거리 종속성을 포착합니다.
3. 관계 헤드: 두 개의 병렬 예측 헤드가 부착됩니다:
   • 인트라‑샷 헤드는 인접 클립이 동일한 샷에 속하는지를 나타내는 이진 마스크를 예측합니다.
   • 인터‑샷 헤드는 전환 유형(컷, 페이드, 와이프 등)과 신뢰도 점수를 예측합니다.
4. 공동 손실: 샷 마스크에 대한 세그멘테이션 손실과 전환 유형에 대한 분류 손실을 결합하여 엔드‑투‑엔드로 최적화합니다. 합성 데이터가 정확한 타임스탬프를 제공하므로 손실을 픽셀 수준의 정밀도로 계산할 수 있습니다.
5. 합성 데이터 생성: 원시 비디오 클립 라이브러리를 활용해 저자들은 전환 효과를 지속 시간, 불투명도 곡선, 움직임 경로와 같은 제어 가능한 매개변수로 프로그래밍적으로 적용합니다. 이를 통해 전환 종류 전체를 포괄하는 수백만 개의 라벨링된 예시를 얻을 수 있습니다.

결과 및 발견

• 벤치마크 성능: OmniShotCutBench에서 제안된 모델은 기존 SBD 최첨단 방법보다 점진적 전환에서 +12.4% F1, 감지하기 어려운 컷에서 +8.7% F1 향상된 성능을 보입니다.
• 경계 정밀도: 예측된 경계와 실제 경계 사이의 평균 시간 오프셋이 ~6프레임(기존 모델)에서 ≈1.2프레임으로 감소했으며, 이는 5배 개선에 해당합니다.
• 도메인 전반에 걸친 견고성: 보지 못한 도메인(예: 스포츠, 애니메이션, 사용자 생성 콘텐츠)에서 실험한 결과, 성능 저하가 3% 이하에 머물러 모델의 일반화 능력을 확인했습니다.
• 해석 가능성: 관계 그래프 시각화를 통해 모델이 페이드 동안 프레임 간 “소프트” 연결을 명시적으로 학습함을 확인했으며, 이는 인간 직관과 일치합니다.

실용적인 적용

• 비디오 편집 파이프라인: 프레임에 근접한 정확도의 자동 샷 감지는 편집 도구(예: Adobe Premiere, DaVinci Resolve)에서 더 스마트한 타임라인 분할을 가능하게 하여 수동 트리밍 작업을 줄여줍니다.
• 콘텐츠 검토 및 인덱싱: 정확한 샷 경계는 스트리밍 플랫폼에서 씬 수준 태깅, 썸네일 생성, 광고 삽입 로직을 보다 신뢰성 있게 수행할 수 있게 합니다.
• 머신 생성 미디어: AI가 만든 비디오(딥페이크, 합성 뉴스)에서 신뢰할 수 있는 샷 경계 감지는 품질 관리 체크포인트 역할을 하며 비자연적인 전환을 표시합니다.
• 엣지 배포: 트랜스포머 아키텍처는 온‑디바이스 추론을 위해 증류하거나 양자화할 수 있어, 모바일 카메라나 임베디드 감시 장치에서 실시간 샷 감지를 가능하게 합니다.

제한 사항 및 향후 작업

• Synthetic‑Real Gap: 합성 파이프라인이 많은 전환 패밀리를 포괄하지만, 실제 영상에 존재하는 미세한 아티팩트(예: 센서 노이즈, 압축 결함)는 여전히 모델에 도전이 될 수 있습니다.
• Computational Cost: 조밀한 Transformer는 영상 길이에 따라 2차적으로 확장되므로, 추가 최적화(예: 계층적 어텐션) 없이는 몇 시간 분량의 영상을 처리하기에 비용이 크게 발생할 수 있습니다.
• Transition Taxonomy: 현재 전환 유형 집합은 고정되어 있으며, 특수 효과(예: 맞춤형 와이프, AI‑생성 모프)로 확장하려면 추가 합성 규칙이 필요합니다.
• Future Directions: 저자들은 희소 어텐션 메커니즘 탐색, 소량의 실제 전환에 대한 도메인 적응 파인튜닝, 그리고 시각적 노이즈가 많은 상황에서 경계 감지를 향상시키기 위한 오디오 단서 통합을 제안합니다.

저자

• Boyang Wang
• Guangyi Xu
• Zhipeng Tang
• Jiahui Zhang
• Zezhou Cheng

논문 정보

• arXiv ID: 2604.24762v1
• 분류: cs.CV
• 출판일: 2026년 4월 27일
• PDF: Download PDF