NVIDIA 与 Mistral AI 合作，加速新一代开放模型系列

Source: NVIDIA AI Blog

Announcement

今天，Mistral AI 宣布推出 Mistral 3 系列开源多语言、多模态模型，这些模型已在 NVIDIA 超算和边缘平台上完成优化。模型将在 12 月 2 日星期二起在云端、数据中心以及边缘等所有环境中提供。

Model Overview

• Mistral Large 3 是一种 mixture‑of‑experts（MoE）模型。它不会为每个 token 激活所有神经元，而是只调用对结果影响最大的部分，从而在不牺牲准确性的前提下实现高效。
• 该模型拥有 41 B 有效参数、675 B 总参数，以及 256 K 上下文窗口，为企业 AI 工作负载提供可扩展性和适应性。
• Mistral AI 还发布了 Mistral 3 套件 中的九个更小的语言模型，专为在边缘设备上运行 AI 进行优化。

Hardware Integration

• 通过将 NVIDIA GB200 NVL72 系统与 Mistral AI 的 MoE 架构相结合，企业可以高效部署和扩展大规模 AI 模型，受益于先进的并行化和硬件优化。
• 细粒度的 MoE 设计利用 NVIDIA NVLink 的一致性内存域 和宽专家并行优化。
• 保持精度的低精度 NVFP4 与 NVIDIA Dynamo 解耦推理优化进一步提升了训练和推理的性能。
• 在 GB200 NVL72 上，Mistral Large 3 相较前代 NVIDIA H200 实现了性能提升，转化为更低的每 token 成本、更高的能效以及更好的用户体验。

Edge Deployment

• 紧凑的 Mistral 3 套件 可在 NVIDIA 的边缘平台上运行，包括 NVIDIA Spark、RTX PC 与笔记本以及 NVIDIA Jetson 设备。
• NVIDIA 与主流 AI 框架如 Llama.cpp 与 Ollama 合作，提供在边缘 GPU 上的峰值性能。
• 开发者可通过 Llama.cpp 和 Ollama 试用 Mistral 3 套件，实现快速、高效的边缘 AI。

Open‑Source Ecosystem

• Mistral 3 模型公开可用，帮助研究人员和开发者进行实验、定制和加速 AI 创新。
• 与 NVIDIA NeMo 工具（Data Designer、Customizer、Guardrails 和 NeMo Agent Toolkit）的集成，使企业能够针对特定用例定制模型，加快从原型到生产的进程。
• NVIDIA 已为 Mistral 3 系列优化了推理框架，包括 TensorRT‑LLM、SGLang 和 vLLM。

Availability

• Mistral 3 今日已在主要的 开源平台和云服务提供商 上可用。
• 预计这些模型很快即可作为 NVIDIA NIM 微服务进行部署。

请参阅 声明 了解软件产品信息。