了解 Microsoft Foundry 中的 Model Router

Source: Dev.to

介绍

随着生成式 AI 应用从原型阶段迈向生产系统，开发者日益面临一个新的架构挑战：为每个任务选择合适的模型。现代 AI 平台现在提供数十——甚至数百——种模型，各自拥有不同的优势（有的针对推理进行优化，有的侧重速度、成本或领域专精）。动态选择最佳模型对于性能和成本效率都至关重要。

微软通过 Model Router，这一 Microsoft Foundry 中的功能，来应对这一挑战。Microsoft Foundry 是其用于构建和运营 AI 应用的企业平台。

在探讨 Model Router 的工作原理之前，了解它所属的平台会更有帮助。

类比

将 Microsoft Foundry 中的 Model Router 想象成 找公寓的工具。

在寻找公寓时，你通常会考虑：

• 预算
• 到工作的距离
• 配套设施（健身房、停车位、泳池）

你不会手动评估每一个公寓。平台会分析你的偏好并推荐最匹配的房源。

Model Router 对 AI 模型的工作方式也是如此。当应用程序发送一个 prompt 时，路由器会评估成本、延迟和模型能力等因素，然后自动选择最合适的模型。

就像找公寓的工具帮助你挑选最合适的居住地点，Model Router 也帮助你的应用程序选择最合适的模型来回答 prompt。

什么是 Microsoft Foundry？

Microsoft Foundry 是 Microsoft 在 Azure 上构建、部署和运营 AI 应用和智能代理的统一平台。它提供了一个集中环境，开发者可以：

• 发现模型
• 构建 AI 驱动的应用
• 集成企业数据
• 部署具备内置治理和可观测性的系统

核心能力

在实际使用中，Microsoft Foundry 充当企业 AI 应用的开发和运营层，帮助团队构建集成模型、工具和数据的系统，同时保持企业级的可靠性和安全性。

路由的必要性

一旦平台上出现多个模型，就会出现一个关键问题：

哪个模型应该处理每个请求？

如果没有路由器，开发者就需要实现自定义逻辑，例如：

if simple_prompt:
    use_small_model()
elif coding_task:
    use_reasoning_model()
else:
    use_general_model()

维护这样的逻辑很快就会变得复杂。

问题：多模型系统中的模型选择

在许多 AI 应用中，开发者往往先选定单一模型（例如大型推理模型 GPT‑4）。虽然这样可行，但常常导致低效：

• 简单查询并不需要大型推理模型。
• 高质量模型可能带来不必要的延迟。
• 大模型会显著提升运营成本。

随着组织采用多模型架构，手动挑选合适模型的难度日益增加。开发者需要实现的逻辑可能包括：

• 将简单查询路由到小模型。
• 将复杂推理任务路由到大模型。
• 将编码任务路由到专用模型。

手动维护这些路由逻辑很快就会变得难以扩展。

介绍模型路由器

模型路由器 在 Microsoft Foundry 中通过充当 智能路由层 来解决此问题，跨多个模型进行调度。开发者无需显式选择模型，路由器会评估每个请求并自动将其转发到配置池中最合适的模型。

工作原理（高级流程）

1. 客户端请求 – 应用向路由器端点发送提示。
2. 提示分析 – 路由器检查提示的复杂度、推理需求、期望的响应质量、延迟和成本因素。
3. 模型选择 – 路由器从池中挑选最合适的模型。
4. 请求转发 – 将提示发送给选中的模型。
5. 响应返回 – 路由器将模型的答案返回给客户端。

从应用的角度来看，交互表现为 单一模型调用，即使不同的请求可能由不同的模型处理。

示例路由决策

• 简单信息查询 → 较小、速度更快的模型。
• 复杂推理任务 → 更大的推理模型。
• 编码提示 → 专门的编码模型。

这种架构使组织能够 同时优化成本、性能和响应质量。

在 Microsoft Foundry 中部署模型路由器

部署模型路由器非常简单：

1. 在 Azure 中创建一个 Foundry 项目。
2. 从 Foundry 模型目录中选择模型。
3. 创建模型路由器部署。
4. 配置路由模型集合（路由器可以选择的模型池）。
5. 使用不同的提示词测试模型路由器。
6. 将路由器公开为单一 API 端点。

随后，应用程序将提示发送到路由器端点，而不是直接调用各个模型。这简化了多模型系统，同时让平台能够自动优化路由决策。

为什么模型路由器很重要

随着 AI 平台不断扩展其模型目录，多模型架构将成为常态。模型路由器是一种重要的架构模式，能够实现：

• 成本效率 – 在可能的情况下使用更小、更便宜的模型。
• 性能 – 通过将简单任务路由到更快的模型来降低延迟。
• 质量 – 确保复杂或特定领域的请求使用最强大的模型。
• 可扩展性 – 消除随时间变得脆弱的自定义路由代码的需求。

通过在单一端点后抽象模型选择，模型路由器使开发者能够专注于构建智能应用，而不是管理错综复杂的模型特定逻辑。

AI 应用架构的转变

与其围绕单一模型构建应用，系统将围绕 动态模型编排 进行设计。

关键优势

• 成本优化 – 避免不必要的大模型使用。
• 性能提升 – 为更简单的任务使用更快的模型。
• 更高质量的响应 – 为每个请求选择专门的模型。
• 更简洁的应用架构 – 只暴露单一 API 接口。

Model Router 的角色

Model Router 充当多模型 AI 系统的 控制层，让开发者专注于应用逻辑，而平台负责模型选择。

• 随着 AI 系统的发展，应用不再围绕单一模型构建。
• 现代平台（例如 Microsoft Foundry）支持使用多个大语言模型（LLM），每个模型针对不同能力（如推理、速度、成本效率或专门任务）进行优化。
• 开发者不再需要手动决定哪个模型处理每个请求，路由器会 评估提示词 并根据 成本、延迟和模型能力 等因素动态选择最合适的模型。

正如租房平台通过平衡预算、距离和设施帮助你找到最合适的居所，Model Router 也帮助 AI 应用为每个提示词找到最佳模型。

成果

• 更简洁的架构。
• 更佳的性能。
• 成本优化。

开发者可以专注于构建智能应用，而平台在幕后处理模型选择。

在许多方面，Model Router 代表了 多模型 AI 系统 的未来，其中智能路由与模型本身同等重要。

谢谢