[Paper] MarkTune: Open-Weight LLM 워터마킹에서 품질‑탐지성 트레이드오프 개선

Source: arXiv - 2512.04044v1

Overview

이 논문은 MarkTune이라는 새로운 방법을 소개합니다. 이는 오픈‑웨이트 대형 언어 모델(LLM)의 출력에 워터마크를 삽입하는 방식입니다. 추론 과정을 조정하는 대신 모델 자체를 파인‑튜닝함으로써, MarkTune은 텍스트 품질을 유지하면서 비밀 키를 사용해 숨겨진 워터마크를 신뢰성 있게 탐지할 수 있는 균형을 크게 개선합니다.

주요 기여

• On‑policy fine‑tuning 프레임워크는 기존 GaussMark 워터마크 신호를 보상으로 간주하고 품질 손실을 명시적으로 페널티합니다.
• 이론적 정당성은 MarkTune이 GaussMark의 가중치 교란 접근법보다 왜 개선되는지를 보여줍니다.
• 실증적 증거는 모델 가중치가 공개되어 있음에도 MarkTune이 품질‑탐지성 경계를 추론 시점 워터마크 수준에 가깝게 밀어낸다는 것을 보여줍니다.
• 견고성 분석은 패러프레이징, 다운스트림 파인튜닝 공격에 대한 저항성 및 보이지 않는 데이터셋에 대한 강력한 일반화를 입증합니다.
• 실용적인 레시피는 개발자가 생성 유창성을 희생하지 않고도 모든 오픈‑웨이트 LLM에 내구성 있는 워터마크를 삽입할 수 있게 합니다.

방법론

1. GaussMark에서 시작 – 경량화된 가중치‑교란 워터마크로, 특정 모델 파라미터에 가우시안 형태의 바이어스를 추가하여 비밀 키로 감지 가능한 숨은 신호를 생성합니다.
2. 보상 함수를 정의 – 생성된 텍스트에서 GaussMark 신호가 얼마나 강하게 나타나는지를 측정합니다 (예: 워터마크 탐지기 아래에서의 로그‑우도).
3. 품질 정규화 항을 추가 – 표준 언어 모델 지표(퍼플렉시티, BLEU, 혹은 인간 평가 유창성)에서의 편차에 페널티를 부여합니다.
4. 모델을 온‑폴리시 파인‑튜닝: 모델을 실행하고 텍스트를 샘플링한 뒤, 결합 보상(워터마크 강도 – λ × 품질 손실)을 계산하고 역전파하여 가중치를 업데이트합니다.
5. 반복 – 워터마크 탐지율이 목표에 도달하고 품질 지표가 허용 가능한 감소(보통 퍼플렉시티 2 % 미만 증가) 내에 머무를 때까지 진행합니다.

워터마크의 탐지 가능성을 직접 관찰하는 파인‑튜닝 루프 덕분에, 표현 공간에서 세밀한 조정이 가능해져 이전 방법에서 유창성을 해치는 대규모 가중치 변화를 피할 수 있습니다.

Results & Findings

*Inference‑time watermark refers to methods that modify token sampling at generation time (e.g., green‑list/red‑list schemes).

Key Takeaways

• MarkTune은 추론 시 워터마크와의 격차를 좁히면서 모델의 생성 품질을 사실상 그대로 유지합니다.
• 워터마크는 패러프레이징이나 다운스트림 작업에 대한 추가 파인튜닝과 같은 일반적인 공격에도 견딥니다.
• 하나의 코퍼스에 대해 단일 MarkTune 실행만으로도 완전히 다른 텍스트 도메인에서도 탐지 가능한 워터마크를 생성합니다.

Practical Implications

• Open‑source model distributors는 모델 가중치에 검증 가능한 출처 태그를 직접 삽입할 수 있어, 다운스트림 사용자가 런타임 파이프라인을 변경하지 않고도 진위성을 증명할 수 있습니다.
• Compliance & audit tools는 비밀 키를 사용해 모델 출력물을 조회함으로써 해당 텍스트가 워터마크가 적용된 모델에 의해 생성되었는지 확인할 수 있어, 지식재산권 보호 및 허위 정보 탐지에 도움이 됩니다.
• Deployments on edge devices(추론 시 개입이 비용이 많이 들거나 불가능한 경우)에서는 사전 워터마크가 적용된 모델에 의존함으로써 통합을 간소화할 수 있습니다.
• Fine‑tuning services(예: 맞춤형 instruction‑tuning)에서는 MarkTune을 사전 단계로 채택하여 파생된 모든 모델이 워터마크를 물려받도록 함으로써 모델 포크 전반에 걸친 추적 가능성을 유지할 수 있습니다.

전반적으로 MarkTune은 플러그‑인‑플레이 솔루션을 제공합니다: 짧은 파인튜닝 작업(보통 몇 천 단계)을 실행하면 원본과 동일한 동작을 유지하면서도 강력하고 비밀 키로 감지 가능한 서명을 가진 모델을 얻을 수 있습니다.

제한 사항 및 향후 연구

• Computation cost: 전체 모델 재학습에 비해 훨씬 저렴하지만, MarkTune은 여전히 on‑policy fine‑tuning 루프가 필요하므로 매우 큰 모델(예: 70 B 파라미터 초과)에서는 비 trivial할 수 있습니다.
• Secret‑key management: 탐지는 키를 비밀로 유지하는 데 의존합니다; 논문에서는 키 회전이나 폐기 전략을 다루지 않습니다.
• Adversarial adaptation: 기본적인 패러프레이징 및 fine‑tuning 공격에 대해서는 강인하지만, 의도적인 “watermark‑removal” 모델을 훈련시키는 공격자는 여전히 위협이 될 수 있습니다. 향후 연구에서는 신호를 강화하기 위한 adversarial training을 탐색할 수 있습니다.
• Evaluation breadth: 실험은 영어 코퍼스에 초점을 맞추었으며, 다국어 모델 및 코드 생성 도메인으로 확장하는 것은 아직 해결되지 않은 과제입니다.

저자들은 보다 효율적인 fine‑tuning 알고리즘(예: LoRA 또는 adapters) 탐색과 적응형 공격자에 대한 보안 보장을 형식화하는 것을 다음 단계로 제안합니다.

저자

• Yizhou Zhao
• Zhiwei Steven Wu
• Adam Block

논문 정보

• arXiv ID: 2512.04044v1
• 카테고리: cs.LG, cs.AI, cs.CR
• 출판일: December 3, 2025
• PDF: PDF 다운로드