[Paper] HarmonicAttack: 적응형 교차 도메인 오디오 워터마크 제거

Source: arXiv - 2511.21577v1

Overview

이 논문은 AI‑생성 오디오에서 워터마크를 제거하는 새로운 기법 HarmonicAttack을 제시합니다. 워터마크를 빠르고 제한된 사전 지식만으로 제거할 수 있음을 보여줌으로써, 현재 오디오‑워터마크 방어가 실제로 얼마나 견고한지 재검토하도록 강요합니다. 이는 음성 기반 AI 제품을 구축하거나 방어하는 모든 사람에게 중요한 문제입니다.

Key Contributions

• 적응형 제거 파이프라인: 대상 스킴에서 워터마크를 생성할 수만 있으면 되며(비밀 키나 내부 모델 상세 정보는 필요 없음)
• 이중 경로 컨볼루션 오토인코더: 시간 영역과 주파수(스펙트럼) 영역을 동시에 처리하여 워터마크와 콘텐츠를 더 잘 구분
• GAN‑스타일 학습: 모델이 깨끗하고 자연스러운 오디오를 생성하도록 유도하면서 워터마크 아티팩트를 억제
• 크로스‑스킴 일반화: 하나의 학습된 모델로 대상 스킴에서 생성된 모든 샘플의 워터마크를 제거할 수 있으며, 분포 외 오디오에도 어느 정도 전이됨
• 실시간에 근접한 성능: 추론 속도가 인터랙티브 혹은 배치 처리 시나리오에 충분히 빠르며, 기존의 무거운 공격들보다 효율적

Methodology

1. 가정 – 공격자는 워터마크 알고리즘(예: AudioSeal, WavMark)을 호출해 임의의 깨끗한 오디오에 워터마크를 삽입할 수 있다. 이는 많은 워터마크 서비스가 공개되어 있기 때문에 현실적인 가정이다.
2. 데이터 생성 – 저자들은 다양한 화자, 음악, 환경 소리를 포함하는 쌍 데이터셋(깨끗한 오디오 ↔ 워터마크 삽입 오디오)을 합성한다.
3. 모델 아키텍처
   • 시간 경로: 파형 수준 패턴을 포착하는 1‑D 컨볼루션 인코더‑디코더.
   • 스펙트럼 경로: 단시간 푸리에 변환(STFT) 크기 맵에 작용하는 2‑D 컨볼루션 인코더‑디코더로, 주파수 영역 워터마크 서명을 목표로 한다.
   • 두 경로는 디코더 출력 전에 결합되어 상호 보완적인 단서를 활용한다.
4. 학습 목표
   • 재구성 손실(L1/L2) – 디워터마크된 오디오가 원본 깨끗한 신호와 가깝게 유지되도록 함.
   • 대립 손실 – 실제 깨끗한 오디오와 모델 출력을 구분하는 판별기로부터 얻어지며, 생성기를 지각적 현실감으로 끌어올린다.
   • 워터마크 억제 손실 – 경량 워터마크 탐지기가 감지한 잔여 워터마크 패턴에 패널티를 부여한다.
5. 평가 – 학습된 모델을 세 가지 최신 스킴의 보지 않은 워터마크 클립에 테스트하고, 공격 후 워터마크 탐지율 및 오디오 품질(PESQ, STOI, MOS)을 측정한다.

Results & Findings

• HarmonicAttack은 워터마크 탐지 가능성을 일자리 수치(한 자릿수)로 지속적으로 낮추며, 기존 제거 베이스라인보다 절대값으로 30‑45 % 더 우수합니다.
• 오디오 품질 저하가 최소화되어 주관적 청취 테스트에서 80 % 이상이 원본과 차이를 구별하지 못했습니다.
• 추론 속도는 단일 GPU에서 실시간의 약 0.8배(초당 오디오 1초당 ≈ 25 ms)로, 대규모 배치 처리에 실용적입니다.
• 화자, 언어, 미지의 배경 소음 등 전이 실험에서 제거 효율이 약 5 %만 감소해 일반화 능력이 좋음을 보여줍니다.

Practical Implications

• 워터마크 설계자에게: 워터마크를 재생성할 수 있다면 비밀 키 없이도 제거 모델을 학습할 수 있다는 구체적인 공격 표면이 드러났습니다. 따라서 쉽게 재현되지 않는 비가역 혹은 암호학적으로 결합된 임베딩을 고려해야 합니다.
• AI‑생성 미디어 플랫폼에게: 워터마크 탐지만을 컴플라이언스 검사로 의존하는 것은 위험합니다. 보안 로그, 블록체인 기반 지문 등 보완적인 출처 확인 방법이 필수적입니다.
• 음성 클론 및 딥페이크 탐지 도구 개발자에게: HarmonicAttack을 벤치마크로 활용해 탐지 파이프라인을 스트레스 테스트하고, 공격자가 먼저 워터마크를 제거했을 때도 견고함을 유지하도록 할 수 있습니다.
• 보안 감사자에게: 이중 경로 오토인코더 구조는 가볍기 때문에 대규모 오디오 코퍼스에서 숨겨진 워터마크 혹은 그 제거 여부를 자동으로 스캔하는 감사 파이프라인에 쉽게 통합할 수 있습니다.

Limitations & Future Work

• 워터마크 생성기에 대한 접근 가정 – 오픈소스 스킴에는 현실적이지만, 독점적이거나 하드웨어 잠금된 워터마크는 재현이 어려울 수 있습니다.
• 세 가지 워터마크 패밀리만 집중 – 향후 더 정교한 스킴(예: 적응형, 콘텐츠‑인식 임베딩)에 대한 공격 효율은 아직 검증되지 않았습니다.
• 오디오 전용 영역 – 멀티모달 미디어(오디오 워터마크가 포함된 비디오)나 저지연 스트리밍 시나리오로 확장하는 것은 아직 과제입니다.
• 잠재적 무기 경쟁 – 저자들은 임베딩 과정을 제거 모델과 공동 학습시키는 adversarial watermarking을 탐구해 이 클래스의 공격에 강인한 워터마크를 만들 것을 제안합니다.

핵심 요약: HarmonicAttack은 현재 오디오 워터마크 방어가 비교적 적은 자원으로도 벗겨질 수 있음을 보여주며, 실제 배포 환경에서 AI‑생성 음성 콘텐츠를 보호하는 방식을 재고하도록 촉구합니다.

Authors

• Kexin Li
• Xiao Hu
• Ilya