[Paper] 코드 모델의 프라이버시 위험 이해: 학습 역학을 통한 인과 접근법

Source: arXiv - 2512.07814v1

Overview

코드용 대형 언어 모델(LLM4Code)은 개발자에게 없어서는 안 될 도구가 되고 있지만, 이 모델들은 학습에 사용되는 방대한 오픈소스 코드베이스에서 비롯되는 개인정보 위험도 함께 물려받습니다. 이 논문은 왜 특정 종류의 개인식별정보(PII)가 모델에 의해 더 쉽게 기억되고 나중에 재생산되는지를 탐구하며, PII를 단일 블록으로 취급하는 것을 넘어서는 인과적 관점을 제시합니다.

Key Contributions

• 세분화된 PII 분류 체계: 단일 “PII” 라벨이 아니라 IP 주소, 이메일 주소, API 키, 비밀번호 등 여러 PII 카테고리를 포함하는 정제된 데이터셋을 구축했습니다.
• 학습 동역학 분석: 미세조정 과정에서 per‑example 손실 및 그래디언트 통계를 이용해 모델이 각 PII 인스턴스를 얼마나 빠르고 자신 있게 학습하는지를 측정했습니다.
• 구조적 인과 모델(SCM): 학습 가능성(학습 동역학으로 포착)과 유출(모델이 PII를 재생산하는 경향) 사이를 연결하는 SCM을 공식화했습니다.
• 실증적 인과 증거: 학습 가능성이 유출에 미치는 인과 효과가 PII 유형에 따라 크게 다름을 보여주었습니다—예를 들어 IP 주소는 강한 양의 효과를 보이는 반면, 암호화 키는 약하거나 거의 영향을 주지 않습니다.
• 방어 지침: 유형 인식 완화 전략(예: 선택적 데이터 정제, 학습 가능성 인식 정규화)을 설계하기 위한 실용적인 인사이트를 제공했습니다.

Methodology

1. 데이터셋 구축 – 저자들은 공개 GitHub 저장소를 수집하고 실제 PII 인스턴스를 추출해 네트워크 식별자, 인증 정보, 개인 연락처 등 구별된 카테고리로 라벨링했습니다.
2. 모델 미세조정 – 두 가지 대표적인 LLM4Code 계열(350 M 파라미터 모델과 2.7 B 파라미터 모델)을 동일한 코드 코퍼스(PII 데이터셋 포함)에서 미세조정했습니다.
3. 학습 동역학 추출 – 각 PII 예제마다 학습 단계별 손실, 그래디언트 노름, 예측 신뢰도를 기록했습니다. 이 신호들은 “얼마나 쉽게” 모델이 해당 예제를 학습하는지를 나타내는 대리 변수 역할을 합니다.
4. 유출 탐지 – 학습 후, 모델에 메모리화를 유발할 수 있는 코드 컨텍스트를 제공하고, 생성된 출력에 정확히 일치하는 PII 문자열이 나타나는지를 유출로 간주했습니다.
5. 인과 분석 – 추출된 동역학을 중간 변수로 사용해 구조적 인과 모델을 구축하고, 토큰 빈도와 길이 같은 교란 변수를 통제하면서 각 PII 유형에 대한 학습 가능성의 평균 처리 효과를 추정했습니다.

Results & Findings

핵심 요약:

• 학습 가능성이 유출을 예측한다. 모델이 빠르게 맞추는(손실 낮고 신뢰도 높은) 인스턴스는 원문 그대로 재생산될 가능성이 훨씬 높습니다.
• 규모가 영향을 미치지만 일관되지는 않다. 2.7 B 모델이 전체 유출률은 더 높지만, PII 유형별 상대 순서는 동일하게 유지됩니다.
• 모호성은 노이즈를 만든다. 토큰이 PII와 일반 식별자 두 역할을 동시에 가질 때 인과 관계가 약해져 유출 행동이 혼재합니다.

Practical Implications

• 목표 기반 데이터 정제: 모든 PII를 일괄 삭제하기보다 학습 가능성이 높은 항목(IP, 이메일 등)을 우선적으로 정제함으로써 가장 큰 유출 위험을 감소시킬 수 있습니다.
• 학습 가능성 인식 정규화: 학습 파이프라인에 민감 토큰의 급속 메모리를 억제하는 동적 손실 가중치를 도입해 인과적 유출 영향을 줄일 수 있습니다.
• 모델 수준 모니터링: 실시간 학습 동역학 지표를 추적해 “핫” PII 예제를 감지하고 배포 전 개입할 수 있습니다.
• 정책·컴플라이언스 도구: 인과 프레임워크는 GDPR 등 규정 보고서에 어느 데이터 카테고리가 우발적 노출에 가장 취약한지 정량적 근거를 제공합니다.
• 안전한 코드 어시스턴트 설계: 제품 팀은 전체 코드 제안 품질을 해치지 않으면서 유형별 마스킹 규칙(예: 완성 결과에서 IP 마스킹)을 삽입할 수 있습니다.

Limitations & Future Work

• 데이터셋 범위: 본 연구는 공개 GitHub 데이터에 의존하므로, 사내 저장소나 비영어 코드베이스에서는 다른 동역학이 나타날 수 있습니다.
• 모델 다양성: 동일 아키텍처 계열의 두 모델 크기만 조사했으며, 변형된 트랜스포머, 검색 기반 모델, 지시 튜닝된 LLM 등에서는 다른 결과가 나올 수 있습니다.
• 인과 가정: SCM이 학습 동역학을 유일한 매개 변수로 가정하지만, 데이터 중복이나 토크나이징 특성 등 잠재적 요인도 유출에 영향을 미칠 수 있습니다.
• 방어 평가: 논문이 제시한 유형 인식 방어책은 실제 프로덕션 환경에서의 효과를 실험적으로 검증하지 않았습니다.

향후 연구 방향으로는 새로운 PII(예: OAuth 토큰) 포함을 위한 분류 체계 확대, 멀티모달 코드 모델에 대한 인과 분석 적용, CI/CD 파이프라인에 학습 가능성 모니터링을 자동화하는 도구 구축 등이 있습니다.

Authors

• Hua Yang
• Alejandro Velasco
• Sen Fang
• Bowen Xu
• Denys Poshyvanyk

Paper Information

• arXiv ID: 2512.07814v1
• Categories: cs.SE, cs.AI, cs.CR
• Published: December 8, 2025
• PDF: Download PDF