[Paper] ProToken：Token级归因用于联邦大语言模型

Source: arXiv - 2601.19672v1

概览

联邦学习（FL）使得在分布式数据源上协同训练大型语言模型（LLM）成为可能，同时保护隐私。然而，当联邦 LLM 部署在关键应用中时，仍然不清楚是哪一个或哪些客户端对特定生成的响应负责，这阻碍了调试、恶意客户端识别、公平奖励分配以及信任验证。

我们提出 ProToken，一种用于联邦 LLM 中 token 级别归因的全新来源方法，能够在自回归文本生成过程中实现客户端归因，同时遵守 FL 隐私约束。ProToken 基于两个关键洞见，实现每个 token 的来源追踪：

1. 层级集中性： Transformer 架构在后期块中集中任务特定信号，从而可以通过策略性层选择来保证计算可行性。
2. 基于梯度的相关性加权： 过滤掉无关的神经激活，聚焦于直接影响 token 生成的神经元进行归因。

我们在 16 种配置下对 ProToken 进行评估，涵盖四种 LLM 架构（Gemma、Llama、Qwen、SmolLM）和四个领域（医学、金融、数学、编码）。ProToken 实现了 98 % 的平均归因准确率，能够正确定位负责的客户端，并且在客户端数量增加时仍保持高准确性，验证了其在实际部署中的可行性。

关键贡献

• cs.LG
• cs.AI
• cs.SE

方法论

请参阅完整论文获取详细的方法论描述。

实际意义

本研究推动了 cs.LG 领域的发展。

作者

• Waris Gill
• Ahmad Humayun
• Ali Anwar
• Muhammad Ali Gulzar

论文信息

• arXiv ID: 2601.19672v1
• 分类: cs.LG, cs.AI, cs.SE
• 出版日期: 2026 年 1 月 27 日
• PDF: Download PDF