[Paper] 중요한 곳에서 지역 엔트로피 극대화: Prefix-Aware Localized LLM Unlearning

Source: arXiv - 2601.03190v1

위에 제공된 소스 링크만으로는 번역할 본문이 없습니다. 번역을 원하는 텍스트(논문 초록, 본문, 섹션 등)를 복사해서 알려주시면, 요청하신 대로 한국어로 번역해 드리겠습니다.

개요

이 논문은 PALU (Prefix‑Aware Localized Unlearning) 를 소개한다. 이는 대형 언어 모델(LLM)에서 특정 민감한 정보를 전체 유용성을 해치지 않으면서 “잊어버리는” 새로운 기법이다. 망각 과정을 모델 출력 중 실제로 중요한 부분—즉 민감한 프리픽스와 소수의 고확률 토큰—에만 집중함으로써 PALU는 이전의 망각 방법들이 겪는 부수적인 손상을 크게 감소시킨다.

핵심 기여

• Prefix‑aware forgetting: 생성된 시퀀스에서 민감한 접두사만 지우면 원치 않는 지식과의 인과 관계가 끊어진다는 것을 보여줍니다.
• Localized entropy maximization: 전체 어휘가 아니라 상위‑(k) 로짓(가장 가능성이 높은 다음 토큰 후보)만을 대상으로 엔트로피를 최대화함으로써 불필요한 연산을 줄입니다.
• Efficient optimization: 민감한 출력을 실제로 영향을 미치는 서브스페이스에만 업데이트를 제한함으로써 PALU는 더 빠른 수렴과 낮은 메모리 사용량을 달성합니다.
• Empirical superiority: PALU가 비밀 제거 효율성(비밀이 얼마나 잘 제거되는가)과 유용성 보존(모델이 일반 성능을 얼마나 잘 유지하는가) 모두에서 최첨단 언러닝 베이스라인을 능가함을 보여줍니다.

Methodology

1. Identify the target prefix – 민감한 텍스트(예: 개인 사용자 질의)가 주어지면, PALU는 모델이 비밀을 재생성하도록 이끄는 최소한의 접두사를 추출합니다.
2. Local entropy objective – 전체 어휘에 대한 확률 분포를 평탄화하는 대신, PALU는 접두사의 각 단계에서 가장 가능성이 높은 top‑(k) 토큰들의 분포만을 평탄화합니다. 이는 해당 로짓들의 엔트로피(불확실성)를 최대화하는 손실 항을 추가함으로써 수행됩니다.
3. Temporal localization – 엔트로피 최대화는 식별된 접두사를 생성하는 단계에만 적용되며, 나머지 생성 과정은 그대로 유지됩니다.
4. Parameter update – 모델 파라미터에 대해 경사 하강법을 수행하지만, 그라디언트는 마스킹되어 접두사의 top‑(k) 로짓에 영향을 주는 가중치에만 업데이트가 이루어집니다. 이 “지역화된” 미세 조정은 모델의 대부분을 그대로 보존합니다.

전체 학습 루프는 가볍습니다: 비밀을 포함한 소량의 예시들에 대해 몇 차례의 순전파·역전파를 수행하고, 짧은 미세 조정 단계를 거칩니다.

결과 및 발견

핵심 요점

• 접두사만을 대상으로 하면 비밀을 재생성할 수 있는 체인을 이미 차단하게 된다.
• 상위 (k) logits를 평탄화하는 것은 전체 어휘를 평탄화하는 것과 비슷한 불확실성을 제공하지만, 훨씬 적은 계산 비용을 요구한다.
• 전반적으로 PALU는 모델의 원래 능력을 더 많이 유지하면서도 더 강력한 망각을 달성한다.

실용적 함의

• Compliance‑ready LLMs: 기업은 이제 전체 모델을 재학습하지 않고도 특정 사용자 데이터를 외과적으로 제거함으로써 데이터 프라이버시 규정(예: GDPR “right to be forgotten”)을 준수할 수 있다.
• Rapid incident response: 독점 프롬프트가 유출될 경우, PALU는 몇 분 안에 그 영향을 지울 수 있어 노출을 제한한다.
• Edge‑device updates: PALU의 파인튜닝이 가벼워 제한된 연산 능력을 가진 장치(예: 온‑디바이스 어시스턴트)에 배포하여 로컬에 저장된 민감한 구문을 정리할 수 있다.
• Model‑as‑a‑service (MaaS) providers: 서비스 운영자는 “unlearn‑as‑a‑feature” API를 제공하여 비밀키를 받아 패치된 모델 스냅샷을 반환함으로써 데이터 프라이버시를 중심으로 새로운 비즈니스 모델을 열 수 있다.

제한 사항 및 향후 연구

• 접두사 탐지 의존성: PALU는 민감한 내용이 명확한 접두사로 분리될 수 있다고 가정합니다; 모호하거나 분산된 비밀은 보다 정교한 탐지가 필요할 수 있습니다.
• Top‑(k) 선택 휴리스틱: 현재 (k) 선택은 하이퍼파라미터이며, 적응형 방법을 통해 불필요한 평탄화를 더 줄일 수 있습니다.
• 대규모 모델에 대한 확장성: 실험은 최대 13 B 파라미터 모델에서 수행되었으며, 100 B 규모 LLM에 적용하려면 추가 엔지니어링(예: 파라미터 효율적인 파인튜닝)이 필요할 수 있습니다.
• 보다 넓은 망각 기준: 향후 연구에서는 PALU를 지식‑그래프 기반 망각과 결합하여 비밀이 단일 접두사보다 깊게 삽입된 다단계 추론 체인을 처리하는 방안을 탐색할 수 있습니다.

PALU는 “망각”이 전체 모델에 대한 거친 작업일 필요가 없음을 보여줍니다. 원하지 않는 지식을 담고 있는 정확한 텍스트 및 확률 영역을 집중적으로 제거함으로써, 개발자는 프라이버시 요구를 충족하면서도 LLM을 날카롭고 성능 있게 유지할 수 있습니다.

저자

• Naixin Zhai
• Pengyang Shao
• Binbin Zheng
• Fei Shen
• Long Bai
• Xun Yang

논문 정보

• arXiv ID: 2601.03190v1
• 카테고리: cs.CL
• 출판일: 2026년 1월 6일
• PDF: Download PDF