[Paper] ProToken: 연합 대형 언어 모델을 위한 토큰 수준 귀속

Source: arXiv - 2601.19672v1

Overview

Federated Learning (FL)은 분산된 데이터 소스 간에 대규모 언어 모델(LLM)의 협업 학습을 가능하게 하면서 프라이버시를 보호합니다. 그러나 연합 LLM이 중요한 애플리케이션에 배포될 때, 어떤 클라이언트가 특정 생성 응답에 기여했는지 명확하지 않아 디버깅, 악의적인 클라이언트 식별, 공정한 보상 분배, 신뢰 검증 등에 어려움이 있습니다.

우리는 ProToken을 제시합니다. 이는 연합 LLM에서 토큰 수준의 기원(프로베넌스)을 제공하는 새로운 방법론으로, 자동 회귀 텍스트 생성 중 클라이언트 기원을 식별하면서 FL 프라이버시 제약을 유지합니다. ProToken은 다음 두 가지 핵심 통찰을 활용하여 각 토큰에 대한 기원을 가능하게 합니다:

1. Layer concentration: 트랜스포머 구조는 작업‑특정 신호를 후반 블록에 집중시키므로, 계산 효율성을 위해 전략적으로 레이어를 선택할 수 있습니다.
2. Gradient‑based relevance weighting: 관련 없는 신경 활성화를 필터링하여 토큰 생성에 직접 영향을 미치는 뉴런에 기여도를 집중합니다.

우리는 네 가지 LLM 아키텍처(Gemma, Llama, Qwen, SmolLM)와 네 가지 도메인(의료, 금융, 수학, 코딩)을 아우르는 16가지 구성에서 ProToken을 평가했습니다. ProToken은 책임 있는 클라이언트를 정확히 위치시키는 98 % 평균 기원 정확도를 달성했으며, 클라이언트 수가 증가해도 높은 정확도를 유지하여 실제 배포에 실용적임을 검증했습니다.

Key Contributions

• cs.LG
• cs.AI
• cs.SE

Methodology

자세한 방법론은 전체 논문을 참고하십시오.

Practical Implications

이 연구는 cs.LG 분야의 발전에 기여합니다.

Authors

• Waris Gill
• Ahmad Humayun
• Ali Anwar
• Muhammad Ali Gulzar

Paper Information

• arXiv ID: 2601.19672v1
• Categories: cs.LG, cs.AI, cs.SE
• Published: January 27, 2026
• PDF: Download PDF