[Paper] TAROT: 테스트 기반 및 능력 적응형 커리큘럼 강화 파인튜닝을 통한 대형 언어 모델의 코드 생성

Source: arXiv - 2602.15449v1

개요

이 논문은 TAROT라는 새로운 강화‑미세조정 프레임워크를 소개합니다. 이 프레임워크는 대형 언어 모델(LLM)이 보다 신뢰할 수 있고 알고리즘적으로 정교한 코드를 작성하도록 학습시킵니다. 테스트‑주도 보상을 능력‑인식 커리큘럼과 결합함으로써, TAROT는 모델이 현재 실력 수준에 맞춰 쉬운 단계에서 어려운 단계(또는 그 반대)로 학습하도록 하여 기능적 정확성을 크게 향상시킵니다.

핵심 기여

• Four‑tier test suite (basic, intermediate, complex, edge) 를 모든 코딩 문제에 적용하여 세분화된 난이도 지도를 제공.
• Capability‑adaptive curriculum: 커리큘럼 진행은 모델의 내재된 능력을 기반으로 선택되며, 단순 보상 규모에 의존하지 않음.
• Decoupled reward and curriculum: 최적화에 사용되는 신호와 난이도 순서를 분리하여 보다 안정적인 그래디언트 업데이트를 구현.
• Empirical discovery of a “model‑dependent curriculum law”: 약한 모델은 쉬운 문제에서 어려운 문제 순서가 유리하고, 강한 모델은 어려운 문제부터 시작하는 스케줄에서 뛰어난 성과를 보임.
• Open‑source release of code, data, and reproducible training pipelines (GitHub: deep-diver/TAROT).

방법론

1. Problem‑level test generation – For each coding prompt, the authors automatically generate four groups of unit tests that target increasing levels of logical depth and edge‑case coverage.
2. Capability estimation – Before fine‑tuning, a lightweight probe evaluates the base LLM’s code‑generation skill (e.g., pass rate on the basic tier).
3. Curriculum policy pool – Several curriculum strategies are pre‑defined (e.g., Easy→Hard, Hard→Easy, Random).
4. Policy selection – Using the capability estimate, TAROT selects the curriculum that maximizes expected reward gain for that model.
5. Reinforcement fine‑tuning – The model is trained with a standard RL‑style objective (e.g., PPO) where the reward is the proportion of passed tests in the current tier. Because the tier order is fixed by the chosen policy, the reward distribution stays balanced throughout training.

The whole pipeline is modular, so developers can plug in their own LLMs, test generators, or curriculum heuristics.

Results & Findings

• Functional correctness는 적절한 커리큘럼을 사용할 때 2.7 B‑parameter 모델의 HumanEval 벤치마크에서 **+18 %**까지 향상되었습니다.
• Robustness to edge cases는 +22 % 상승을 보였으며, 이는 희귀하거나 병리적인 입력을 더 잘 처리함을 나타냅니다.
• Ablation 연구에 따르면 decoupling curriculum from raw rewards가 훈련 손실의 분산을 약 30 % 감소시켜 더 빠른 수렴을 이끌었습니다.
• “easy‑to‑hard” 커리큘럼은 6 B 이하 모델에 가장 큰 향상을 제공했으며, “hard‑first”는 13 B‑plus 모델에 가장 높은 이득을 가져왔습니다.

실용적 함의

• 더 나은 코드 어시스턴트: 코드 생성 제품(예: Copilot‑style 도구)의 파인‑튜닝 단계에 TAROT를 통합하면 생성된 스니펫의 통과율을 높일 수 있어 수동 디버깅 필요성을 줄일 수 있습니다.
• 비용 효율적인 모델 스케일링: 적절한 커리큘럼을 적용하면 작은 LLM도 더 크고 비용이 많이 드는 모델에 버금가는 성능을 달성할 수 있어 컴퓨팅 및 추론 비용을 절감할 수 있습니다.
• 자동화된 테스트 생성 파이프라인: 4단계 테스트 스위트를 모든 코드‑생성 모델에 대한 표준 평가 하니스로 재사용할 수 있어 AI‑기반 개발 도구의 CI/CD를 간소화합니다.
• 적응형 배포: 서비스는 모델의 관측된 성공률에 따라 커리큘럼을 동적으로 선택할 수 있어 새로운 도메인이나 언어에 대한 실시간 파인‑튜닝을 가능하게 합니다.

Limitations & Future Work

• 현재 테스트 생성기는 Python에 초점을 맞추고 있으며, 다른 언어나 도메인‑특정 API에 맞게 조정이 필요할 수 있습니다.
• 능력 추정은 간단한 프로브에 의존하고 있어, 보다 풍부한 진단(예: 추론 트레이스 분석)을 통해 커리큘럼 선택을 더욱 정교화할 수 있습니다.
• 이 연구는 주로 합성 벤치마크를 대상으로 평가했으며, 실제 IDE 통합 및 사용자 연구는 향후 연구 과제로 남겨두었습니다.

TL;DR

TAROT는 코드 생성 파인튜닝에 **“모두에게 같은 사이즈가 통하지 않는다”**는 것을 보여줍니다. 커리큘럼 난이도를 모델의 실력에 맞추면, 개발자는 컴퓨팅 예산을 크게 늘리지 않고도 LLM에서 훨씬 더 신뢰할 수 있는 코드를 추출할 수 있습니다. 오픈소스 툴킷을 사용하면 오늘 바로 자신의 모델에 이 접근 방식을 적용해 볼 수 있습니다.

저자

• Chansung Park
• Juyong Jiang
• Fan Wang
• Sayak Paul
• Jiasi Shen
• Jing Tang
• Jianguo Li

논문 정보

• arXiv ID: 2602.15449v1
• 카테고리: cs.CL, cs.LG, cs.SE
• 출판일: 2026년 2월 17일
• PDF: Download PDF