[Paper] SWE-Replay: 소프트웨어 엔지니어링 에이전트를 위한 효율적인 테스트 시 스케일링

Source: arXiv - 2601.22129v1

Overview

논문 SWE‑Replay는 대규모 언어 모델(LLM) 에이전트를 사용해 소프트웨어 엔지니어링(SWE) 작업을 자동화하는 사람들에게 공통적인 문제인 테스트 시점 확장성 문제를 다룹니다. 에이전트를 여러 번 실행(또는 “trajectory 샘플링”)하면 성공률을 높일 수 있지만, 계산 비용이 급증합니다. SWE‑Replay는 이전 실행에서 수행된 작업을 재사용하는 영리한 방법을 제안하여, 성능을 희생하지 않으면서(때로는 오히려 향상시키면서) 비용을 절감합니다.

주요 기여

• Replay‑based scaling: 매번 처음부터 시작하는 대신 전체 또는 부분 실행 추적을 재사용하는 최초의 테스트 시점 스케일링 방법을 도입합니다.
• Dynamic explore‑or‑exploit decision: 경량 휴리스틱이 에이전트가 새 검색을 계속하거나 이전에 성공한 중간 상태에서 포크할 수 있는 “분기점”을 선택합니다.
• Tool‑agnostic design: 맞춤형 bash 스크립트나 기타 외부 도구를 생성하는 최신 SWE 에이전트와 작동하며, 잡음이 많은 가치 함수 추정에 의존하지 않습니다.
• Empirical gains: SWE‑Bench Verified 벤치마크에서 최대 17.4 % 비용 감소와 최대 3.8 % 정확도 향상을 보여줍니다.
• Broad validation: SWE‑Bench Pro 및 다국어 변형에서도 일관된 이점을 보여주며, 이 접근법이 데이터셋과 언어 전반에 일반화됨을 입증합니다.

방법론

1. 초기 궤적 수집: 대상 SWE 에이전트를 주어진 작업에 대해 몇 번 실행하여 전체 행동 시퀀스(예: 저장소 쿼리, bash 스크립트 생성, 코드 편집)를 저장합니다.
2. “핵심” 단계 식별: 별도의 LLM을 사용해 품질을 순위 매기는 대신, SWE‑Replay는 각 단계의 잠재력 (새로운 저장소 정보를 얼마나 많이 열어주는가)과 추론 중요도 (전체 솔루션에서 해당 단계가 얼마나 중심적인가)를 평가합니다.
3. 분기 로직:
   • 탐색: 잠재력이 낮다고 판단된 단계에 대해서는 시스템이 기존 트레이스를 버리고 새로운 궤적을 샘플링합니다.
   • 활용 (Replay): 잠재력이 높은 단계에 대해서는 저장된 중간 상태에서 새로운 실행을 포크하여 이미 실행된 행동을 재사용합니다.
4. 반복적 확장: 이 과정을 반복하면서 재사용 가능한 하위 궤적 풀을 점진적으로 구축합니다. 최종 답변은 최고 점수를 받은 완성된 실행들 중에서 선택됩니다(예: 표준 SWE‑Bench 검증 메트릭 사용).

전체 파이프라인은 대형 언어 모델 및 외부 도구를 재실행하는 높은 비용에 비해 메타데이터 기록 및 휴리스틱 점수 부여 정도의 작은 오버헤드만 추가합니다.

결과 및 발견

주요 요점

• 효율성: 작업을 재사용함으로써 작업당 평균 LLM 호출 수가 눈에 띄게 감소하여 GPU 시간 및 API 비용이 직접 낮아집니다.
• 견고성: 분기점을 선택하는 휴리스틱이 다양한 언어와 작업 복잡도에 걸쳐 작동하여 이 방법이 단일 데이터셋에 과적합되지 않았음을 나타냅니다.
• 품질 저하 없음: 비용을 절감해도 성공률이 유지되거나 향상되어, 많은 “새로운” 실행이 처음부터 중복되었음을 시사합니다.

실용적인 시사점

• 저렴한 CI/CD 파이프라인: LLM 기반 코드 리뷰어 또는 자동 버그 수정 생성기를 도입한 팀은 (예: 10‑way 샘플링)과 같이 더 공격적인 스케일링을 수행해도 클라우드 비용이 급증하지 않는다.
• 빠른 프로토타이핑: 새로운 프롬프트나 도구 통합 전략을 실험하는 개발자는 더 적은 반복으로 더 높은 품질의 결과를 얻을 수 있다.
• 툴체인 호환성: SWE‑Replay는 별도의 가치 모델에 의존하지 않으므로, 이미 셸, Docker, 혹은 맞춤 스크립트를 호출하는 기존 에이전트에 그대로 삽입할 수 있다.
• 확장 가능한 SaaS 제공: “AI‑지원 코딩” 서비스를 제공하는 기업은 SLA 지표(지연 시간, 성공률)를 개선하면서 운영 비용을 예측 가능하게 유지할 수 있다.

제한 사항 및 향후 연구

• 휴리스틱 민감도: 현재 잠재/중요도 점수는 수작업으로 만들어졌으며, 가장 비결정적인 도구와 같은 엣지 케이스는 단계를 잘못 분류하여 최적이 아닌 분기를 초래할 수 있습니다.
• 메모리 오버헤드: 전체 트래젝터리를 저장하면, 특히 큰 bash 스크립트나 컨테이너 스냅샷과 같은 경우 대규모 워크로드에서 디스크 사용량이 증가할 수 있습니다.
• SWE 외 일반화: 논문은 소프트웨어 엔지니어링 에이전트에 초점을 맞추고 있으며, 재생 아이디어를 다른 LLM‑구동 도메인(예: 데이터‑분석 노트북)에 적용하는 것은 아직 미해결 과제입니다.
• 향후 방향: 저자들은 데이터에서 분기점 정책을 학습하고, 휴리스틱을 보완하기 위해 경량 가치 추정기를 통합하며, 서로 다른 문제 간에 하위 작업을 재사용하는 계층적 재생을 탐구할 것을 제안합니다.

저자

• Yifeng Ding
• Lingming Zhang

논문 정보

• arXiv ID: 2601.22129v1
• 분류: cs.SE, cs.AI, cs.LG
• 출판일: 2026년 1월 29일
• PDF: PDF 다운로드