[논문] LLM 학습 향상을 위한 데이터 조직 해명

Source: arXiv - 2605.30334v1

Overview

대형 언어 모델(LLM)은 많은 AI 제품의 핵심이 되었지만, 모델이 데이터를 보기 전에 어떻게 방대한 텍스트 코퍼스를 구성하느냐에 따라 학습 효율이 크게 달라집니다. 이 논문은 데이터가 LLM에 공급되는 순서가 왜 중요한지(몇 번의 epoch만 학습해도) 밝히고, 학습 안정성과 다운스트림 성능을 일관되게 향상시키는 구체적이고 저비용인 전략들을 제안합니다.

Key Contributions

• 네 가지 실용적인 데이터 순서 원칙 – Boundary Sharpening, Cyclic Scheduling, Curriculum Continuity, Local Diversity – 를 체계적인 실험을 통해 도출.
• 두 가지 새로운 순서 알고리즘 – STR(Sharpen‑Then‑Rotate)과 SAW(Schedule‑Aware Weighting) – 은 이 원칙들을 거의 추가 연산 없이 구현.
• 광범위한 실증 검증 – 125 M부터 13 B 파라미터까지 다양한 모델 크기와 데이터 상황(사전 학습 및 지도 미세조정)에서 손실 수렴 및 다운스트림 벤치마크에서 일관된 향상을 확인.
• 오픈소스 툴킷(https://github.com/microsoft/data-efficacy) – 기존에 데이터 효율성 필터링을 위해 이미 생성된 샘플‑레벨 점수를 그대로 활용해 데이터셋을 재정렬할 수 있음.

Methodology

1. 기존 샘플 점수 재활용 – 저자들은 많은 팀이 저품질 데이터를 제거하기 위해 이미 계산해 둔 퍼플렉시티 기반·손실 기반 등 개별 예제 품질 점수를 시작점으로 삼습니다. 이 점수들을 저비용 “신호”로 활용해 순서를 정합니다.
2. 네 가지 설계 지침 정의
   • Boundary Sharpening – 각 epoch의 시작·끝에 고품질(낮은 손실) 예제를 배치해 모델에 명확한 “앵커”를 제공합니다.
   • Cyclic Scheduling – 매 epoch마다 데이터셋을 회전시켜 동일한 예제가 서로 다른 상대 위치에 나타나게 함으로써 고정된 순서에 대한 과적합을 방지합니다.
   • Curriculum Continuity – 쉬운 예제에서 어려운 예제로 급격히 전환하지 않고, 훈련 전반에 걸쳐 난이도 구배가 부드럽게 이어지도록 합니다.
   • Local Diversity – 짧은 구간(예: 1 k 토큰) 내에 주제·도메인·토큰 분포가 다양하도록 섞어, 옵티마이저가 좁은 모드에 갇히는 것을 방지합니다.
3. STR과 SAW 구현
   • STR은 먼저 경계 샤프닝(고점수 예제를 가장자리로)하고, 이후 회전을 적용해 사이클 스케줄링을 만족시킵니다.
   • SAW는 스케줄 인식 가중치 행렬을 구축해 각 예제의 샘플링 확률을 동적으로 조정함으로써 연속성 및 지역 다양성을 보장하면서도 경계 샤프닝을 유지합니다.
4. 학습 설정 – 실험은 사전 학습(원시 웹 텍스트)과 지도 미세조정(SFT)(명령 수행 데이터) 모두를 포함하며, 실제 LLM 파이프라인을 모방해 1–3 epoch 동안 모델을 학습시켰습니다.

Results & Findings

• 빠른 수렴 – STR과 SAW 모두 무작위 셔플 대비 동일한 손실에 도달하는 시점이 10–15 % 빨라졌습니다.
• 안정성 – 단계별 그래디언트 노름 분산이 눈에 띄게 감소해, 공격적인 학습률 워밍업이 덜 필요해졌습니다.
• 데이터 규모에 대한 강인성 – 데이터셋을 원본의 10 %로 축소해도 성능 향상이 유지돼, 제한된 데이터에서도 효과적임을 보여줍니다.

Practical Implications

• 기존 파이프라인에 즉시 ROI – 알고리즘이 이미 점수가 매겨진 샘플을 재정렬하는 것에 불과하므로, 데이터 로더에 바로 적용 가능하고 추가 GPU 시간이 필요 없습니다.
• 컴퓨팅 비용 절감 – 빠른 수렴은 학습 스텝 수 감소로 이어져, 특히 대규모 사전 학습 시 클라우드 비용을 크게 낮출 수 있습니다.
• 미세조정 결과 개선 – 명령 수행 모델(ChatGPT 스타일)은 보다 부드러운 커리큘럼 덕분에 동일한 미세조정 스텝 수에서도 벤치마크 프롬프트에서 승률이 상승합니다.
• 하이퍼파라미터 튜닝 간소화 – 이 지침들은 “베스트 프랙티스 기본값” 역할을 하여, 학습률·배치 크기 탐색을 크게 줄여줍니다.
• 오픈소스 통합 – GitHub 레포는 PyTorch DataLoader 래퍼를 제공하므로, 몇 줄의 코드만 추가하면 바로 적용할 수 있습니다.

Limitations & Future Work

• 점수 의존성 – 접근법은 신뢰할 수 있는 개별 예제 품질 점수를 전제로 하며, 점수가 노이즈가 많거나 편향될 경우 비효율적인 순서가 생성될 수 있습니다.
• epoch 제한적 초점 – 실험은 1–3 epoch에 집중했으며, 10 epoch 이상과 같은 대규모 장기 학습에 대한 효과는 아직 불명확합니다.
• 도메인 특수성 – 네 가지 원칙은 웹 텍스트와 명령 데이터에서 도출됐으므로, 코드·생물의학 등 특수 분야에서는 경계·다양성 정의를 맞춤화해야 할 수 있습니다.
• 향후 연구 방향 – 저자들은 (1) 모델과 함께 순서 정책을 공동 학습하는 메타‑러닝, (2) 멀티모달 데이터(이미지‑텍스트 쌍)로 확장, (3) 커리큘럼 학습 손실 가중치와의 상호작용 조사 등을 제안합니다.

Authors

• Yalun Dai
• Yangyu Huang
• Tongshen Yang
• Yonghan Wang
• Xin Zhang
• Wenshan Wu
• Qihao Zhao
• Hao Li
• Yuanyuan Gao
• Kim-Hui Yap
• Scarlett Li

Paper Information

• arXiv ID: 2605.30334v1
• Categories: cs.AI, cs.CL
• Published: May 28, 2026
• PDF: Download PDF