[논문] 실패한 경로에서 신뢰할 수 있는 LLM 에이전트로: 하네스 결함 진단 및 복구
개요
LLM 기반 에이전트는 실행 환경, 도구 인터페이스, 컨텍스트, 라이프사이클 오케스트레이션, 가시성, 검증 및 거버넌스를 제공하는 하네스를 점점 더 많이 활용하고 있다. 기존의 자체 개선 에이전트와 자동 하네스 진화 방법은 주로 런타임 감독, 프롬프트 최적화, 워크플로 탐색, 혹은 최종 결과에 기반한 하네스 수정 등을 통해 에이전트를 개선한다. 그러나 이들 방법은 실패한 트래젝터리에서 책임 증거가 어디에 있는지, 어느 하네스 레이어가 신뢰성 없는 행동을 초래했는지를 진단하는 데 종종 실패한다. 그 결과 변화가 광범위하거나 간접적이며 범위가 명확하지 않은 경우가 많다. 본 논문은 에이전트 실패를 진단하고 에이전트 하네스를 복구하기 위한 트레이스 기반 프레임워크인 HarnessFix를 제안한다. HarnessFix는 원시 실행 트레이스와 하네스 코드를 Harness-aware Trace Intermediate Representation (HTIR) 로 컴파일하여 파편화된 트래젝터리 증거를 정규화하고 단계 수준의 출처 및 제어 흐름 관계를 포착한다. 이후 실패를 책임지는 트래젝터리 단계와 하네스 레이어에 귀속시키고, 반복되는 진단을 실행 가능한 결함 기록으로 통합한 뒤, 이를 범위가 지정된 복구 연산자에 매핑한다. 마지막으로 HarnessFix는 결함별 복구 사양에 따라 하네스 패치를 생성·검증하여 목표 결함을 감소시키면서 허용되지 않는 회귀를 도입하지 않는다. 우리는 SWE‑Bench Verified, Terminal‑Bench 2.0 Verified, GAIA, AppWorld 벤치마크에서 HarnessFix를 평가하였다. 이 벤치마크들에서 HarnessFix는 초기 하네스 대비 보류된 테스트 성능을 15.2%–50.0% 향상시키고, 인간이 설계한 방법 및 자체 진화 베이스라인을 능가했으며, ETCLOVG 레이어 전반에 걸친 반복적인 하네스 결함 패턴을 밝혀냈다.
주요 기여
본 논문은 다음 분야의 연구를 제시한다.
- cs.SE
- cs.MA
방법론
자세한 방법론은 전체 논문을 참고하시기 바랍니다.
실용적 함의
본 연구는 cs.SE 분야의 발전에 기여한다.
저자
- Mengzhuo Chen
- Junjie Wang
- Zhe Liu
- Yawen Wang
- Qing Wang
논문 정보
- arXiv ID: 2606.06324v1
- Categories: cs.SE, cs.MA
- Published: 2026년 6월 4일
- PDF: PDF 다운로드