[论文] MarkTune：在开放权重 LLM 水印中改进质量‑可检测性权衡

Source: arXiv - 2512.04044v1

概述

本文介绍了 MarkTune，这是一种为开放权重的大型语言模型（LLMs）输出添加水印的新方法。通过对模型本身进行微调，而不是修改其推理过程，MarkTune 在保持文本质量和使用密钥可靠检测隐藏水印之间实现了更好的平衡。

关键贡献

• 在策略微调框架，将现有的 GaussMark 水印信号视为奖励，同时明确惩罚质量下降。
• 理论依据，说明 MarkTune 为什么优于 GaussMark 的权重扰动方法。
• 实证证据，表明 MarkTune 将质量‑可检测性前沿推向接近推理时水印的水平，尽管模型权重是公开的。
• 鲁棒性分析，展示对改写、下游微调攻击的抵抗力，以及对未见数据集的强泛化能力。
• 实用配方，帮助开发者在任何开源权重 LLM 中嵌入持久水印，而不牺牲生成流畅度。

方法论

1. 从 GaussMark 开始 – 一种轻量级的权重扰动水印，在特定模型参数上添加高斯形状的偏置，形成可通过密钥检测的隐藏信号。
2. 定义奖励函数，衡量 GaussMark 信号在生成文本中出现的强度（例如，水印检测器下的对数似然）。
3. 加入质量正则项，惩罚在标准语言模型指标（困惑度、BLEU 或人工流畅度评分）上的偏离。
4. 在策略上微调模型：运行模型，采样文本，计算综合奖励（水印强度 – λ × 质量损失），并反向传播更新权重。
5. 迭代，直至水印检测率达到目标且质量指标保持在可接受的下降范围内（通常 < 2 % 困惑度提升）。

由于微调循环直接观察水印的可检测性，它能够在表示空间中进行细粒度的调整，避免了早期方法中导致流畅性下降的大幅权重更改。

结果与发现

*Inference‑time watermark refers to methods that modify token sampling at generation time (e.g., green‑list/red‑list schemes).

关键要点

• MarkTune 将与推理时水印的差距缩小，同时几乎不影响模型的生成质量。
• 该水印能够抵御常见攻击，如改写或在下游任务上的额外微调。
• 对单一语料库进行一次 MarkTune 即可生成在完全不同文本领域仍可检测的水印。

实际影响

• 开源模型分发商 可以直接在模型权重中嵌入可验证的来源标签，为下游用户提供一种在不更改运行时流水线的情况下证明真实性的方法。
• 合规与审计工具 可以使用密钥查询模型输出，以确认某段文本是否由带水印的模型生成，从而帮助知识产权保护和虚假信息检测。
• 边缘设备部署（在推理时进行干预可能成本高或不可行的情况下）可以依赖预先加水印的模型，简化集成过程。
• 微调服务（例如自定义指令微调）可以将 MarkTune 作为前置步骤，确保任何派生模型都继承水印，保持模型分支的可追溯性。

总体而言，MarkTune 提供了一种即插即用的解决方案：运行一次短时微调任务（通常几千步），即可获得一个行为与原模型相同但携带强大、可通过密钥检测的签名的模型。

限制与未来工作

• 计算成本：虽然比完整模型重新训练便宜得多，MarkTune仍然需要一个在策略上的微调循环，对于非常大的模型（例如 > 70 B 参数）可能并非易事。
• 密钥管理：检测依赖于保持密钥机密；论文未涉及密钥轮换或撤销策略。
• 对抗性适应：虽然对基本的改写和微调攻击具有鲁棒性，但决心坚定的对手可能会训练专门的“水印移除”模型；未来工作可以探索对抗训练以强化信号。
• 评估广度：实验聚焦于英文语料库；将其扩展到多语言模型和代码生成领域仍是一个未解之题。

作者建议探索更高效的微调算法（例如 LoRA 或 adapters），并将针对自适应攻击者的安全保证形式化，作为下一步工作。

作者

• Yizhou Zhao
• Zhiwei Steven Wu
• Adam Block

论文信息

• arXiv ID: 2512.04044v1
• 分类: cs.LG, cs.AI, cs.CR
• 出版日期: 2025年12月3日
• PDF: 下载 PDF