[Paper] ToolOrchestra: 효율적인 모델 및 도구 오케스트레이션을 통한 지능 향상

Source: arXiv - 2511.21689v1

Overview

대형 언어 모델은 강력한 일반화 능력을 가지고 있지만, 인류 최후의 시험(HLE)과 같은 깊고 복잡한 문제를 해결하는 것은 개념적으로도 어려우며 계산 비용도 많이 듭니다. 우리는 작은 오케스트레이터가 다른 모델과 다양한 도구들을 관리함으로써 지능의 상한을 높이고 어려운 에이전트 작업을 해결하는 효율성을 향상시킬 수 있음을 보여줍니다. 우리는 ToolOrchestra라는, 지능형 도구들을 조정하는 작은 오케스트레이터를 훈련시키는 방법을 소개합니다. ToolOrchestra는 결과, 효율성, 사용자 선호도를 고려한 보상을 명시적으로 사용하는 강화 학습을 사용합니다. ToolOrchestra를 이용해 우리는 Orchestrator라는 8B 모델을 만들었으며, 이는 이전 도구 사용 에이전트보다 낮은 비용으로 더 높은 정확도를 달성하고, 주어진 질의에 대해 어떤 도구를 사용할지에 대한 사용자 선호와도 일치합니다.

HLE에서 Orchestrator는 **37.1%**의 점수를 기록해 GPT‑5(35.1%)를 앞서며 2.5배 더 효율적입니다. tau2‑Bench와 FRAMES에서도 Orchestrator는 비용의 약 **30%**만 사용하면서 GPT‑5를 크게 앞섭니다. 광범위한 분석을 통해 Orchestrator가 여러 지표에서 성능과 비용 사이의 최적 균형을 이루며, 보지 못한 도구에도 견고하게 일반화됨을 확인했습니다. 이러한 결과는 다양한 도구를 경량 오케스트레이션 모델과 결합하는 것이 기존 방법보다 더 효율적이고 효과적임을 입증하며, 실용적이고 확장 가능한 도구‑보강 추론 시스템의 길을 열어줍니다.

Authors

• Hongjin Su
• Shizhe Diao
• Ximing Lu
• Mingjie Liu
• Jiacheng Xu
• Xin Dong
• Yonggan Fu
• Peter Belcak
• Hanrong Ye
• Hongxu Yin
• Yi Dong
• Evelina Bakhturina
• Tao Yu
• Yejin Choi
• Jan Kautz
• Pavlo Molchanov

Categories

• cs.CL
• cs.AI
• cs.LG
• cs.MA

Paper Information

• arXiv ID: 2511.21689v1
• Published: November 27, 2025
• PDF: Download PDF