[Paper] Fusion-SSAT: Feature Fusion을 통한 Self-supervised Auxiliary Task의 잠재력 발휘로 일반화된 Deepfake Detection

Source: arXiv - 2601.00789v1

Overview

Deepfake 탐지 모델은 훈련된 데이터와 다른 비디오를 마주하면 종종 성능이 급격히 떨어집니다. Fusion‑SSAT의 저자들은 탐지기에 자체 지도 보조 작업을 결합하고 학습된 특징 맵을 융합하는 교묘한 방법을 제안합니다. 그 결과, 보이지 않는 딥페이크 데이터셋에서도 훨씬 더 잘 일반화되는 모델이 만들어지며, 현재 최첨단 탐지기들을 앞서게 됩니다.

주요 기여

• Self‑supervised auxiliary task integration – 신중하게 선택된 보조 작업이 딥페이크 탐지의 정규화 역할을 할 수 있음을 보여준다.
• Feature‑fusion architecture (Fusion‑SSAT) – 기본 탐지 헤드와 자기지도 헤드의 표현을 연결하고 공동으로 처리하는 경량 모듈을 소개한다.
• Extensive cross‑dataset evaluation – 이 접근법을 일곱 개의 공개 딥페이크 벤치마크(DF‑40, FaceForensics++, Celeb‑DF, DFD, FaceShifter, UADFV 및 내부 데이터셋)에서 검증한다.
• State‑of‑the‑art generalisation – 교차 데이터셋 환경에서 기존 최고 성능 탐지기보다 일관된 향상을 보이며, 데이터셋 내 정확도는 유지한다.
• Ablation study of training schedules – 여러 다중 작업 학습 방식(순차적, 동시적, 교대적)을 분석하고, 이 문제에 가장 효과적인 방식을 찾아낸다.

방법론

1. Primary task – 얼굴 비디오 프레임에서 “real”(진짜)와 “fake”(가짜)를 예측하는 기존의 이진 분류기.
2. Auxiliary self‑supervised task – 저자들은 jigsaw‑puzzle 재구성 작업을 사용한다: 모델은 얼굴의 섞인 패치를 입력받고 올바른 공간 순서를 예측해야 한다. 이를 통해 네트워크는 조작 아티팩트를 탐지하는 데에도 유용한 세밀한 공간 단서를 학습하게 된다.
3. Dual‑branch backbone – 두 작업은 공통 CNN 인코더(예: ResNet‑50)를 공유한다. 인코더 이후 네트워크는 두 개의 헤드로 분기되며, 하나는 탐지 손실을, 다른 하나는 self‑supervised 손실을 담당한다.
4. Feature fusion – 최종 분류 레이어 전에 두 헤드의 특징 맵을 연결(concatenate)하고 작은 퓨전 블록(1×1 convolutions + batch‑norm)을 통과시킨다. 이 혼합된 표현은 두 목표에서 보완적인 정보를 포착한다.
5. Training schedule – 가장 효과적인 일정은 두 작업 사이에 미니배치를 교대로 사용한다(즉, 한 배치는 탐지 손실을 업데이트하고, 다음 배치는 self‑supervised 손실을 업데이트한다). 이렇게 하면 두 목표가 “동기화”된 상태를 유지하면서 그래디언트 간섭을 방지할 수 있다.

전체 파이프라인은 끝‑끝(end‑to‑end) 학습이 가능하며, 일반 탐지기 대비 약 10 % 정도의 추가 파라미터만 필요하다.

결과 및 발견

• 데이터셋 간 향상: 모델이 훈련 중에 한 번도 보지 못한 데이터셋에서 테스트될 때 가장 큰 이득이 나타납니다 (예: FaceForensics++ + Celeb‑DF로 훈련하고 DF‑40으로 테스트).
• 소거 실험: 융합 블록을 제거하면 데이터셋 간 정확도가 약 4 % 감소하여, 혼합 표현이 핵심 요인임을 확인합니다.
• 훈련 일정 영향: 미니배치를 교대로 사용하는 것이 동시에 다중 작업 손실 가중치를 적용하는 것보다 일반화에서 약 2 % 더 좋은 성능을 보입니다.

전체적으로 Fusion‑SSAT는 보이지 않은 딥페이크 생성 방법에 대한 견고성에서 약 7 % 절대 향상을 달성합니다.

Practical Implications

• Plug‑and‑play upgrade: 기존 딥페이크 탐지기에 Fusion‑SSAT 모듈(자기‑지도 헤드와 융합 블록만 추가)을 장착하면 전체 파이프라인을 재설계할 필요 없이 바로 적용할 수 있습니다.
• Lower false‑positive rates in the wild: 데이터셋 간 성능 향상이 다양한 출처의 사용자 생성 콘텐츠를 처리할 때 정당한 영상이 잘못 표시되는 경우를 줄여줍니다.
• Edge‑friendly deployment: 추가 연산량이 약 10 % 정도에 불과해 GPU는 물론 고성능 모바일 SoC에서도 실시간 모더레이션이 가능합니다.
• Transferable to other media‑auth tasks: 동일한 융합 전략을 오디오 딥페이크 탐지, 이미지 변조 탐지, 혹은 자기‑지도 공간 단서가 유용한 모든 이진 진위 판별 작업에 적용할 수 있습니다.

콘텐츠 모더레이션 파이프라인을 구축하는 개발자에게 Fusion‑SSAT는 급속히 진화하는 딥페이크 합성 기술에 대비해 모델을 미래 지향적으로 만들 수 있는 구체적인 방안을 제공합니다.

제한 사항 및 향후 연구

• 자기지도 학습 과제 선택: 이 연구는 퍼즐 맞추기(jigsaw‑puzzle) 과제만 탐구했으며, 대비 학습(contrastive learning)이나 마스크 자동 인코딩(masked autoencoding)과 같은 다른 SSL 목표가 더 풍부한 특징을 제공할 가능성이 있습니다.
• 시각적 아티팩트 외의 도메인 이동: 이 방법은 시각적 단서에 초점을 맞추고 있어, 오디오‑비주얼 불일치나 메타데이터 변조와 같이 정교한 딥페이크에서 점점 더 흔해지는 문제들을 다루지 못합니다.
• 초대형 비디오 스트림에 대한 확장성: 프레임당 오버헤드는 낮지만, 고해상도 비디오를 대규모로 처리하려면 모델 프루닝이나 디스틸레이션이 여전히 필요할 수 있습니다.
• 설명 가능성: 융합된 표현이 성능을 향상시키지만 여전히 블랙 박스이며, 향후 작업에서는 주의 지도(attention maps)를 도입해 모더레이터가 클립이 표시된 이유를 이해하도록 도울 수 있습니다.

저자들은 다중 모달 보조 과제와 자동 커리큘럼 학습(automated curriculum learning)을 활용한 학습 스케줄을 탐색하는 것이 유망한 다음 단계라고 제안합니다.

저자

• Shukesh Reddy
• Srijan Das
• Abhijit Das

논문 정보

• arXiv ID: 2601.00789v1
• 카테고리: cs.CV
• 출판일: 2026년 1월 2일
• PDF: PDF 다운로드