[Paper] $texttt{YC-Bench}$: 장기 계획 및 일관된 실행을 위한 AI 에이전트 벤치마킹

Source: arXiv - 2604.01212v1

Overview

이 논문은 YC‑Bench라는 새로운 벤치마크를 소개합니다. 이 벤치마크는 대형 언어 모델(LLM) 에이전트를 1년 동안 시뮬레이션된 스타트업 운영에 투입합니다. 에이전트가 고용, 계약 선택, 현금 흐름 관리와 같은 수백 개의 순차적인 결정을 부분적으로 관찰 가능하고 적대적인 환경에서 내리도록 강제함으로써, 현재 AI 에이전트가 얼마나 멀리 미래를 계획하고, 지연된 피드백으로부터 학습하며, 누적된 실수에도 일관성을 유지할 수 있는지를 드러냅니다.

주요 기여

• 장기·고위험 벤치마크: YC‑Bench는 스타트업의 12개월 라이프사이클을 현실적인 비즈니스 역학으로 시뮬레이션하여 전략적 추론에 대한 스트레스 테스트를 제공합니다.
• 12개 LLM 에이전트(독점 및 오픈소스 모두)의 포괄적 평가: 여러 랜덤 시드를 사용해 규모에 따른 성능 변동성을 밝혀냅니다.
• 성공 예측 요인 식별: “스크래치패드”(지속적인 외부 메모리) 사용이 수익성과 강하게 상관관계가 있으며, 적대적 클라이언트를 감지하는 것이 가장 큰 실패 요인입니다.
• 비용‑성능 분석: GLM‑5는 Claude Opus의 최종 자본과 동일한 수준을 달성하면서 추론 비용이 약 11배 적게 들어 효율적인 대안을 강조합니다.
• 오픈소스, 재현 가능한 프레임워크: 벤치마크, 환경 및 평가 스크립트가 공개되어 커뮤니티 확장 및 비교 연구가 가능하도록 합니다.

방법론

1. Simulated Startup Environment – 각 턴이 1주를 나타내는 턴제 게임입니다. 에이전트는 다음을 수행해야 합니다:
   • 급여와 스킬 속성을 가진 직원을 고용/해고합니다.
   • 매출을 창출하지만 위험도 동반하는 (일부는 고의적으로 적대적인) 클라이언트 계약을 선택합니다.
   • 숨겨진 상태 모델(에이전트가 전체 미래를 볼 수 없음) 하에서 현금 흐름, 급여, 운영 비용을 관리합니다.
2. Agent Interaction – 에이전트는 현재 상태를 설명하는 텍스트 프롬프트를 받고 자연어로 행동을 출력해야 합니다. LLM 컨텍스트 창이 제한적이기 때문에, 에이전트는 scratchpad(지속적인 텍스트 버퍼)에 기록할 수 있으며 이는 턴 간에 유지됩니다.
3. Evaluation Protocol – 12개 모델 각각에 대해 서로 다른 무작위 클라이언트 조합을 사용한 3개의 시드가 실행됩니다. 주요 지표는 52주 후 final capital이며, 부가 지표로 파산 비율, 수락된 적대적 계약 수, 추론 비용이 포함됩니다.
4. Analysis – 상관관계 연구를 통해 특정 행동(예: scratchpad 사용, 클라이언트 검증)과 결과를 연결하고, 실패 유형을 (과도한 병렬화, 근시안적 예산 책정 등)으로 분류합니다.

Results & Findings

• 시작 자본 $200 K를 지속적으로 초과한 모델은 세 가지뿐: Claude Opus (평균 최종 $1.27 M), GLM‑5 (평균 $1.21 M), 그리고 또 다른 독점 모델.
• Scratchpad 사용이 가장 강력한 성공 예측 변수 – 의사결정을 기록하고, 급여를 추적하며, 지속적인 장부를 유지하는 에이전트가 LLM 내부 컨텍스트만에 의존하는 에이전트보다 성과가 뛰어남.
• 적대적 클라이언트 감지는 파산의 47 %를 차지 – 모델이 검증 없이 고액 계약을 수락해 숨겨진 벌금이 연쇄적으로 발생함.
• 비용 효율성 – GLM‑5는 Claude Opus의 추론 비용의 약 1/11 수준으로 거의 최상위 성능을 달성, 작고 잘 설계된 모델도 장기 계획에 충분히 활용 가능함을 시사.
• 뚜렷한 실패 모드 – 과도한 병렬화(한 턴에 다수의 행동을 실행하려 함)로 인해 상태 불일치가 발생; 일부 에이전트는 “단기 예산 편향”을 보여 급여 지속 가능성을 희생하고 단기 이익에만 집중함.

실용적 시사점

• 에이전트 설계 – 워크플로 자동화, 프로젝트 관리, 재무 계획 등 자율 보조자를 구축하는 개발자는 LLM의 제한된 컨텍스트에 의존하기보다 외부의 지속적인 메모리(스크래치패드)를 통합해야 합니다.
• 안전성 및 견고성 – 적대적 클라이언트 감지 또는 위험 평가 모듈을 삽입하면 재앙적인 실패를 크게 줄일 수 있으며, 이는 실제 계약 협상 봇에 직접 적용 가능한 교훈입니다.
• 비용 효율적 배포 – 벤치마크는 규모가 작고 오픈소스 모델도 전략적 작업에서 고가의 독점 API와 경쟁할 수 있음을 보여주며, 비용에 민감한 기업이 파인튜닝된 대안을 탐색하도록 장려합니다.
• 평가 기준 – YC‑Bench는 AI 에이전트의 장기 일관성을 테스트하기 위한 템플릿을 제공하며, 이는 고위험 분야(예: 공급망 조정, 자율 거래)에서 배포 전 자율 시스템을 평가하는 표준이 될 수 있습니다.

제한 사항 및 향후 연구

• 도메인 특수성 – 시뮬레이션된 스타트업은 풍부하지만 여전히 좁은 도메인이며, 결과가 로봇공학이나 정책 계획과 같은 다른 장기 과제로 직접 전이되지 않을 수 있습니다.
• 부분 관측 가능성 모델링 – 벤치마크의 숨겨진 상태는 수작업으로 만들었으며, 보다 현실적인 불확실성(예: 확률적 시장 충격)이 에이전트에 더 큰 부담을 줄 수 있습니다.
• 스크래치패드 확장성 – 시간 지평이 늘어남에 따라 스크래치패드 자체가 커질 수 있으므로, 향후 연구에서는 구조화된 외부 메모리(데이터베이스, 벡터 스토어)와 검색 메커니즘을 탐구해야 합니다.
• 다양한 모델 스펙트럼 – 12개의 모델만 테스트했으며, 최신 멀티모달 또는 지시 튜닝 모델을 확장하면 다른 강점과 약점을 발견할 수 있습니다.
• 인간 참여 평가 – 인간 감독이나 피드백 루프를 도입하면 에이전트가 장기 계획 시나리오에서 사용자와 얼마나 잘 협업하는지 평가할 수 있습니다.

저자

• Muyu He
• Adit Jain
• Anand Kumar
• Vincent Tu
• Soumyadeep Bakshi
• Sachin Patro
• Nazneen Rajani

논문 정보

• arXiv ID: 2604.01212v1
• 분류: cs.CL, cs.AI
• 출판일: 2026년 4월 1일
• PDF: PDF 다운로드