전문가들의 Mixtral

Source: Dev.to

Overview

Mixtral 8x7B는 많은 작은 전문가들에게 작업을 분산시켜 속도와 지능을 모두 달성하는 언어 모델입니다. 각 레이어에 8개의 피드‑포워드 블록이 포함된 Sparse Mixture of Experts 아키텍처를 사용하며, 라우터가 토큰당 두 명의 전문가를 선택합니다. 선택된 쌍은 각 단계마다 변경될 수 있습니다.

Architecture

• Sparse Mixture of Experts: 각 토큰은 총 47 B 파라미터에 접근할 수 있지만, 추론 시에는 약 13 B 활성 파라미터만 사용되어 계산 비용을 줄입니다.
• Routing: 작은 라우터가 토큰당 두 명의 전문가를 동적으로 선택하여 모델이 실시간으로 계산을 조정할 수 있게 합니다.

Training and Performance

• 매우 긴 컨텍스트를 위해 학습되었으며, 최대 32 k 토큰까지 처리합니다.
• 특히 수학, 코딩, 다국어 작업에서 벤치마크 상 더 큰 모델과 동등하거나 능가합니다.
• 지시‑튜닝된 버전은 인간 평가에서 여러 인기 챗 모델을 능가합니다.

베이스 버전과 지시‑튜닝 버전 모두 Apache 2.0 라이선스로 공개되어 커뮤니티가 자유롭게 실험할 수 있습니다.

Further Reading

Mixtral of Experts – Paperium.net의 종합 리뷰.

이 분석 및 리뷰는 주로 AI에 의해 생성·구성되었습니다. 내용은 정보 제공 및 빠른 검토를 위한 목적이며, 정확성을 보장하지 않을 수 있습니다.