[Paper] STRIDE: 부분 집합 교란을 통한 희소 복구 기반 학습 데이터 귀속

Source: arXiv - 2606.05165v1

Overview

이 논문은 STRIDE (Steering‑based Training Data Influence Decomposition)를 소개한다. 이는 “어떤 학습 예제가 모델이 특정 예측을 하게 만들었는가?”라는 질문에 답하는 새로운 방법이다. 거대한 언어 모델을 반복적으로 재학습하거나 수십억 개의 그래디언트 벡터를 추적하는 대신, STRIDE는 모델의 활성화 공간에서 작동하며 문제를 희소 복구 작업으로 프레이밍한다—압축 센싱과 매우 유사하게. 저자들은 이 접근법이 기존 방법보다 13× faster까지 대규모 LLM에 대한 영향을 귀속시킬 수 있으며, 최첨단 정확도를 제공한다.

핵심 기여

• Activation‑space formulation: TDA 문제를 파라미터 수준의 그래디언트에서 은닉 활성화의 함수적 변화로 전환하여 비용이 많이 드는 그래디언트 기록을 피합니다.
• Steering operators: 해당 학습 예시가 모델에 미치는 영향을 “조정”하는 가벼운, 데이터 서브셋 전용 선형 연산자를 학습합니다.
• Sparse recovery pipeline: 영향력 복구를 압축 센싱 문제로 정의함으로써 수백만 후보 중 몇 개의 고영향 학습 샘플을 효율적으로 추출합니다.
• Speed & scalability: 대규모 LLM 사전 학습 데이터셋(수억 토큰)에서 기존 최고 TDA 베이스라인 대비 13배 빠른 속도를 달성합니다.
• Real‑world validation: 데이터 선택, 오염 탐지, 정성적 모델 행동 분석 등 실제 활용 사례에서 유용성을 입증합니다.

Methodology

1. Subset Perturbation:

   • 훈련 코퍼스의 작은 부분집합을 무작위로 샘플링합니다.
   • 각 부분집합에 대해 고정된 LLM을 몇 단계만 미세조정하고, 최종 가중치가 아니라 숨겨진 활성화의 변화를 기록합니다.

2. Learning Steering Operators:

   • 각 부분집합마다 작은 선형 맵 Sᵢ(스티어링 연산자)를 학습시켜, 해당 부분집합이 모든 입력에 대해 모델의 활성화 벡터를 어떻게 이동시키는지 예측합니다.
   • 이 맵은 선형이고 저차원이라 저장 및 적용이 저비용으로 가능합니다.

3. Sparse Recovery (Compressive Sensing):

   • 테스트 입력에 대해 전체 훈련 세트가 일으키는 관측된 활성화 변화 Δ를 (단일 순전파를 통해 근사) 계산합니다.
   • Δ ≈ Σ w_j S_j 로 모델링하며, 여기서 w_j는 각 부분집합이 얼마나 기여했는지를 나타내는 스칼라 계수입니다.
   • 가장 희소한 계수 벡터 w를 구합니다(예: L1‑regularized least squares 사용). 비영(非零) 항목은 가장 큰 영향을 미친 훈련 예시들을 가리킵니다.

4. Attribution Extraction:

   • 선택된 부분집합 계수를 개별 훈련 인스턴스로 되돌려 매핑합니다(각 부분집합은 알려진 예시들의 집합이므로).
   • 복원된 영향 점수에 따라 예시들을 순위 매깁니다.

전체 파이프라인은 몇 번의 순전파와 작은 선형 방정식 풀이만 필요하므로, 수십억 개 파라미터에 대한 전체 모델 재학습이나 그래디언트 저장이 필요하지 않습니다.

결과 및 발견

핵심 요약

• STRIDE는 정확도 면에서 gradient‑based baseline와 동등하거나 더 뛰어나며, 계산량과 메모리 요구량을 크게 줄입니다.
• 희소 복구 단계는 몇 개의 학습 예시를 신뢰성 있게 분리해내며, 해당 예시들을 제거하면 목표 예측의 신뢰도가 눈에 띄게 감소합니다.
• 하위 작업에서, STRIDE를 사용해 영향력이 낮은 데이터를 정제하면 fine‑tuning 속도가 약 18 % 향상되면서도 하위 작업 정확도에는 영향을 주지 않았습니다.

Practical Implications

• Debugging LLM behavior: 어떤 학습 문장이 환각이나 편향을 일으켰는지 빠르게 파악하여 목표 지향적인 데이터 정리를 가능하게 함.
• Data‑centric AI pipelines: STRIDE를 데이터 선택 루프에 통합—향후 사전 학습을 위해 영향력이 큰 예시만 유지하여 데이터셋 규모와 학습 비용을 감소시킴.
• Intellectual property & compliance: 독점적이거나 저작권이 있는 텍스트가 모델 출력에 기여했는지 감시하여 법적 방어력을 지원함.
• Contamination detection: 예상치 못한 출력이 특정 학습 샤드에 기인함을 밝힘으로써 보안 팀이 데이터 중독이나 의도치 않은 누출을 발견하도록 함.
• Tooling integration: 활성값 위에서 동작하므로 STRIDE를 기존 추론 스택과 함께 가벼운 서비스(예: REST API)로 래핑할 수 있어, 무거운 재학습 없이도 필요 시 속성 부여를 제공함.

제한 사항 및 향후 작업

• 부분 집합 세분화: 사전 계산된 부분 집합에 의존; 단일 토큰 수준까지의 매우 세밀한 기여도는 더 정교한 부분 집합 설계가 필요할 수 있음.
• 선형 스티어링 가정: 영향을 선형 연산자로 모델링하는 것이 경험적으로 잘 작동하지만, 고도로 비선형적인 영역에서는 고차 상호작용을 놓칠 수 있음.
• 조억조억 파라미터 모델에 대한 확장성: 기존 방법보다 13배 빠르지만, 현재 구현은 전체 활성화 텐서에 대한 접근을 전제로 하며, 이는 가장 큰 모델에서는 병목이 될 수 있음.
• 향후 방향: 비선형 스티어링 매핑, 적응형 부분 집합 구성(예: 능동 학습) 탐색, 그리고 활성화가 시각 및 언어 모달리티를 아우르는 멀티모달 모델로 프레임워크 확장.

저자

• Rishit Dagli
• Abir Harrasse
• Luke Zhang
• Florent Draye
• Amirali Abdullah
• Bernhard Schölkopf
• Zhijing Jin

논문 정보

• arXiv ID: 2606.05165v1
• 카테고리: cs.LG, cs.CL
• 출판일: 2026년 6월 3일
• PDF: Download PDF