[Paper] 왜 Pass@k 최적화가 Pass@1을 저하시킬 수 있는가: Prompt Interference in LLM Post-training

Source: arXiv - 2602.21189v1

개요

이 논문은 코드 생성, 수학 문제 해결, 짧은 답변 QA와 같은 검증 가능한 작업에 대해 대형 언어 모델(LLM)을 미세 조정할 때 많은 실무자들이 관찰한 난해한 현상을 조사한다. 인기 있는 Pass@k 지표(샘플링된 k개의 출력 중 하나라도 검증자를 통과하면 성공)를 최적화하면 Pass@k 점수는 올라가지만 동시에 Pass@1—단일 생성 답변의 성공률—이 감소한다. 실제 배포에서는 지연 시간, 비용, 검증자 제한 등으로 인해 보통 단일 추론만 사용하므로, 이 트레이드오프를 이해하고 해결하는 것이 중요하다.

핵심 기여

• 그라디언트 충돌에 대한 이론적 분석: Pass@k‑지향 손실을 최적화하면 프롬프트 간섭 때문에 Pass@1을 개선하는 그라디언트와 반대되는 그라디언트가 생성될 수 있음을 보여줍니다.
• “부정적으로 간섭하는” 프롬프트 정의: Pass@k 최적화 중 가중치를 높이면 실제로 모델을 최적 Pass@1 방향에서 멀어지게 하는 프롬프트를 형식화합니다.
• 개념 증명 실험: 대규모 LLM(GPT‑NeoX, LLaMA 등)으로 검증 가능한 수학 문제를 풀면서 예측된 Pass@1 악화 현상을 실증적으로 확인했습니다.
• 실무자를 위한 가이드라인: Pass@k 최적화가 안전한 경우와 역효과를 낼 수 있는 경우에 대한 실용적인 인사이트를 제공합니다.

방법론

1. 문제 형식화

   • 각 프롬프트 (작업 설명 + few‑shot 예시)를 가능한 완성들의 분포에 매핑되는 “정책”으로 간주한다.
   • 두 개의 손실 함수를 정의한다: 하나는 샘플링된 완성을 재가중치하여 Pass@k의 그래디언트를 직접 추정하는 것이고, 다른 하나는 Pass@1을 위한 손실이다.

2. 그래디언트 충돌 분석

   • Pass@k 손실의 기대 그래디언트를 도출하고 이를 고성공 프롬프트와 저성공 프롬프트의 기여도로 분해한다.
   • Pass@k 손실이 암묵적으로 저성공 프롬프트에 가중치를 높인다는 것을 보여준다(개선 여지가 더 많기 때문에). 이러한 프롬프트가 모델에게 근본적으로 더 어려운 경우 부정적인 간섭이 될 수 있다.

3. 실험 설정

   • 사전 학습된 LLM을 수학적으로 검증 가능한 벤치마크 모음(e.g., MATH, GSM‑8K)에서 파인튜닝한다.
   • 세 가지 학습 방식을 비교한다: (a) 표준 지도 학습 파인튜닝, (b) Pass@k 목표 최적화, (c) Pass@1과 Pass@k를 혼합한 하이브리드 손실.
   • 보류된 테스트 세트에서 Pass@1과 Pass@k를 모두 평가하고, 두 목표 간의 그래디언트 정렬을 측정한다.

Results & Findings

• Pass@k가 직접 최적화될 때 기대대로 향상됩니다.
• Pass@1이 순수 Pass@k 훈련에서 일관되게 감소하며, 이는 그래디언트 충돌 가설을 확인합니다.
• 하이브리드 손실은 트레이드오프를 완화하여 실용적인 타협안을 제시합니다.
• 프롬프트 수준 성공률을 시각화하면 Pass@k 훈련 중 가중치가 상승된 프롬프트가 실제로 과거 Pass@1 점수가 낮았던 것임을 알 수 있으며, 이는 이론이 예측한 “부정적으로 방해하는” 집합과 정확히 일치합니다.

실용적 시사점

1. 배포 파이프라인

   • 서비스가 k개의 병렬 생성(예: 배치 코드 합성)을 감당할 수 있다면 Pass@k 최적화가 유리합니다.
   • 단일 답변을 반환하는 지연에 민감한 API의 경우 Pass@1 중심 파인튜닝을 고수하거나 혼합 손실을 사용해 숨겨진 성능 저하를 방지하세요.

2. 프롬프트 엔지니어링

   • 학습 전에 부정적인 영향을 주는 프롬프트(예: 모호한 문제 진술)를 식별하고 제거하세요.
   • 논문의 gradient‑alignment 진단을 활용해 트레이드오프를 일으킬 가능성이 있는 프롬프트를 표시하세요.

3. 비용 관리

   • 하이브리드 손실은 비용이 많이 드는 k 샘플 추론 필요성을 줄이면서도 적당한 Pass@k 향상을 제공하므로, 컴퓨팅 예산이 제한될 때 유용합니다.

4. 검증기 설계

   • Pass@k는 검증기의 커버리지에 크게 의존하므로, 검증기 재현율을 향상시키면 성공률이 낮은 프롬프트에 가중치를 높이는 유인을 감소시켜 간접적으로 Pass@1을 보호할 수 있습니다.

제한 사항 및 향후 작업

• 작업 범위: 실험은 수학적 추론에 초점을 맞추며, 다른 검증 가능한 영역(예: 대규모 프로젝트를 위한 코드 합성, 사실 기반 QA)은 다른 역학을 보일 수 있습니다.
• 모델 규모: 연구 결과는 약 130억 파라미터까지의 모델에 대해 입증되었으며, 수십억 파라미터 LLM(예: GPT‑4)에서의 행동은 아직 미지수입니다.
• 검증자 불완전성: 분석은 비교적 정확한 검증자를 전제로 하며, 잡음이 많거나 편향된 검증자는 관찰된 트레이드오프를 증폭하거나 가릴 수 있습니다.

향후 방향

• 적응형 k‑선택 전략으로 gradient‑conflict 프레임워크 확장.
• 데이터 파이프라인 초기에 부정적인 간섭을 일으키는 프롬프트를 감지하는 자동 프롬프트 필터링 도구 개발.
• 모델이 Pass@1 정체기에 도달한 후에만 낮은 성공률 프롬프트를 도입하는 커리큘럼식 훈련 탐색.

Bottom Line

Pass@k를 최적화하는 것이 공짜 점심은 아니다. 기본적인 그래디언트 충돌과 부정적으로 방해하는 프롬프트의 역할을 이해함으로써, 개발자는 상황에 따라 다중 샘플 추론을 수용하거나 하이브리드 학습 전략으로 단일 샷 성능을 보호하는 등 현명한 선택을 할 수 있다.

저자

• Anas Barakat
• Souradip Chakraborty
• Khushbu Pahwa
• Amrit Singh Bedi

논문 정보

• arXiv ID: 2602.21189v1
• 카테고리: cs.LG, cs.AI
• 출판일: 2026년 2월 24일
• PDF: PDF 다운로드