Nvidia의 새로운 AI 프레임워크, 8B 모델을 훈련시켜 전문가처럼 도구를 관리한다

Source: VentureBeat

Overview

Nvidia와 홍콩 대학 연구진은 Orchestrator라는 80억 파라미터 모델을 공개했습니다. 이 모델은 다양한 도구와 대형 언어 모델(LLM)을 조정해 복잡한 문제를 해결합니다. 실험에서 Orchestrator는 훨씬 큰 모델보다 낮은 비용으로 더 높은 정확도를 달성했으며, 도구 인식 LLM이 효율적인 문제 해결에 큰 잠재력을 가지고 있음을 보여주었습니다.

Key Points

• Orchestrator는 외부 도구(예: 계산기, 검색 API)를 호출하고 그 출력 결과를 LLM 추론과 결합할 수 있습니다.
• 프레임워크는 두 단계 학습 과정을 사용합니다: 먼저 합성 데이터로 사전 학습(pre‑training)하고, 그 다음 실제 작업으로 미세 조정(fine‑tuning)합니다.
• 벤치마크 결과, 유사 규모의 기존 LLM에 비해 다단계 추론 및 코드 생성 작업에서 눈에 띄는 개선을 보였습니다.
• Nvidia는 이 프레임워크를 오픈소스로 제공하고, 개발자들이 맞춤형 오케스트레이션 에이전트를 구축할 수 있도록 모델 줍(zoo)을 제공할 계획입니다.

Availability

실험에 관심 있는 개발자를 위해 Nvidia는 GitHub에 코드와 모델 가중치를 공개했으며, Orchestrator 파이프라인에 맞춤형 도구를 통합하는 방법에 대한 문서도 제공하고 있습니다.