[Paper] MarkTune：提升开放权重 LLM 水印中的质量-可检测性 权衡

Source: arXiv - 2512.04044v1

概览

本文提出 MarkTune，一种在开放权重大语言模型（LLM）输出上植入水印的新方法。通过对模型本身进行微调，而不是在推理阶段做手脚，MarkTune 在保持文本质量和使用密钥可靠检测隐藏水印之间实现了更好的平衡。

主要贡献

• 在策略（on‑policy）微调框架：将已有的 GaussMark 水印信号视为奖励，同时显式惩罚质量下降。
• 理论依据：阐明为何 MarkTune 相较于 GaussMark 的权重扰动方法能够取得改进。
• 实证证据：表明 MarkTune 将质量‑可检测性前沿推向接近推理时水印的水平，尽管模型权重是公开的。
• 鲁棒性分析：展示对改写、下游微调攻击以及对未见数据集的强泛化能力。
• 实用配方：为开发者提供在任何开放权重 LLM 中嵌入持久水印且不牺牲生成流畅性的步骤。

方法论

1. 从 GaussMark 开始——一种轻量级的权重扰动水印，通过在特定模型参数上加入高斯形偏置，生成可用密钥检测的隐藏信号。
2. 定义奖励函数，衡量 GaussMark 信号在生成文本中的强度（例如，水印检测器下的对数似然）。
3. 加入质量正则项，惩罚在标准语言模型指标（困惑度、BLEU 或人工流畅度评分）上的偏差。
4. 在策略上微调模型：运行模型，采样文本，计算综合奖励（水印强度 – λ × 质量损失），并反向传播更新权重。
5. 迭代，直至水印检测率达到目标且质量指标保持在可接受的下降范围内（通常 < 2 % 困惑度提升）。

由于微调循环直接观察水印的可检测性，它能够在表示空间中进行细粒度调整，避免了早期方法中导致流畅性下降的大幅权重改动。

结果与发现

*推理时水印指的是在生成阶段修改 token 采样的方式（例如绿名单/红名单方案）。

关键要点

• MarkTune 将与推理时水印的差距缩小，同时几乎不影响模型的生成质量。
• 水印能够抵御常见攻击，如改写或在下游任务上的进一步微调。
• 对单一语料进行一次 MarkTune 训练后，水印在完全不同的文本领域仍可被检测到。

实际意义

• 开源模型分发者 可以直接在模型权重中嵌入可验证的来源标签，为下游用户提供无需改动运行时流水线的真实性证明。
• 合规与审计工具 能通过密钥查询模型输出，确认文本是否由带水印的模型生成，从而帮助知识产权保护和虚假信息检测。
• 边缘设备部署（推理时干预成本高或不可行）可以使用预先水印的模型，简化集成。
• 微调服务（如自定义指令微调）可在前置步骤采用 MarkTune，确保任何派生模型都继承水印，实现模型分叉后的可追溯性。

总体而言，MarkTune 提供了一种即插即用的解决方案：运行一次短暂的微调作业（通常几千步），即可得到行为与原模型相同但携带强大、密钥可检测签名的模型。

局限性与未来工作

• 计算成本：虽然比完整模型重新训练便宜得多，MarkTune 仍需进行在策略微调循环，对极大模型（如 > 70 B 参数）而言可能并非易事。
• 密钥管理：检测依赖于密钥保密，论文未涉及密钥轮换或撤销策略。
• 对抗性适应：虽然对基础改写和微调攻击具备鲁棒性，决心坚定的对手仍可能训练专门的“水印去除”模型；未来工作可探索对抗训练以强化信号。
• 评估广度：实验聚焦于英文语料；将方法扩展至多语言模型和代码生成领域仍是未解之题。

作者建议探索更高效的微调算法（如 LoRA 或 adapters），并对抗自适应攻击者制定形式化的安全保证作为后续方向。

作者

• Yizhou Zhao
• Zhiwei Steven Wu
• Adam Block

论文信息

• arXiv ID: 2512.04044v1
• 分类: cs.LG, cs.AI, cs.CR
• 发布日期: 2025 年 12 月 3 日
• PDF: Download PDF