Red Hat OpenShift AI 3.3 UI 有哪些新功能：从试点到生产

Source: Red Hat Blog

（请提供您希望翻译的具体文本内容，我将为您翻译成简体中文。）

OpenShift AI 3.3 – 平衡治理与开发者速度

随着 Red Hat OpenShift AI 的发布，我们为强大的企业 AI 基础设施奠定了基础。

现在，OpenShift AI 3.3 发行版 解决了一个常见的两难局面：

• 严格的治理 – 确保合规性、安全性和可复现性。
• 快速的开发者访问 – 让数据科学家和工程师能够快速实验并交付模型。

OpenShift AI 3.3 有哪些新特性？

• 集中式 AI 资产中心 – 为模型、数据集、流水线和提示提供唯一的真相来源。
• 多模型、多代理支持 – 原生工具用于编排多种模型族和自主代理。
• 基于策略的治理 – 对模型来源、许可证和运行时安全进行细粒度控制。
• 自助式开发者门户 – 精简的 UI/CLI，实现快速入门、实验追踪和模型部署。
• 增强的可观测性 – 在整个 AI 堆栈中统一指标、日志和追踪。

这些工具使企业能够 在规模上治理 AI，同时 保持开发者所需的敏捷性，将创新解决方案快速推向生产环境。

Source: …

集中式资产：AI Hub

随着企业超越单一模型的使用场景，可发现性成为瓶颈。平台团队需要一个 AI 资产的单一真实来源，以便：

• 在模型配置部署之前注册并进行版本管理。
• 查看组织内已部署的模型。
• 获取关于最佳部署配置、硬件需求、延迟和吞吐量预期的指导。

AI Hub 满足这些需求。它作为组织 AI 资产的中心仓库，首先支持 OpenShift AI 3.3 中的大型语言模型（LLM），并将在后续版本中扩展到 模型上下文协议 (MCP) 服务器。

AI Hub 在 OpenShift AI 3.3 中提供的功能

• 来自 Red Hat AI 模型验证计划的性能洞察。
• 在性能、成本和硬件需求之间的权衡指导。
• 帮助平台团队在部署开始前将开发者引导至最有效配置的推荐。

通过整合资产并提供可操作的部署建议，AI Hub 消除可发现性摩擦，加速模型注册到生产的路径。

大规模治理：模型即服务（MaaS）

如果您需要自行配置和管理 GPU 并在其上部署 AI 模型，构建 AI 应用会相当困难。大多数开发者、AI 工程师和数据科学家更倾向于直接使用已经就绪的模型端点。让他们自行处理 GPU 供应、模型服务和扩展会拖慢进度，降低价值实现速度，且从治理角度来看既不具成本效益也难以扩展。

让平台团队能够向所有人提供这些模型——使数据科学家和业务团队能够使用所需模型——延续了传统应用平台使用的相同范式。在此模型中：

• 平台团队负责模型服务和优化。
• 他们提供 集中目录 的 AI 模型，可通过基于角色的访问策略、使用限制和版本管理进行治理。
• 最终用户获得一个简单的 API 端点，即可立即开始构建。

OpenShift AI 3.3 引入了 MaaS 技术预览，旨在帮助组织成为内部 AI 模型提供者。

对管理员有什么好处？

• 细粒度速率限制策略 – 在 UI 中定义限制，例如为小型、频繁使用的模型授予高配额访问，同时对资源密集型前沿模型施加更严格的上限。
• 使用 llm‑d 的优化路由 – 与 Kubernetes 原生分布式推理框架 llm‑d 配合工作。当您设置策略后，llm‑d 会自动将请求路由到最佳硬件，以在不违反服务水平协议（SLA）的前提下实现最佳利用。

准备好让您的平台团队大规模提供 AI 模型了吗？

开发者效率：Gen AI Studio

平台团队部署的模型或资产需要 注册 并 集中展示，以便 AI 工程师和开发者能够直接使用它们进行构建。

开发者还需要一个 集中实验的场所——一个即插即用的环境，让他们能够快速发现哪种模型、提示词或工具最适合自己的使用场景，同时底层基础设施的复杂性被抽象掉。

我们的 Gen AI Studio 技术预览版提供了这样一个实验场以及开发者从提示词到试点所需的工具。

功能

• AI Playground

  • 实验提示词、模型参数和 MCP 工具。
  • 在 OpenShift AI 3.3 中，你可以：
    • 导入自己的 MCP 服务器。
    • 开关特定工具，以获得可靠的代理行为所需的确定性。
  • 查看代码：从 OpenShift AI UI 切换到本地环境，使用 “View Code” 功能查看并复制 Playground 配置。
  • 路线图（即将推出）：
    • 直接从 Playground 导出代码。
    • 集成提示词管理。
    • 检索增强生成（RAG）能力。
    • 精细化 MCP 工具选择。

• AI 资产端点

  • 即时获取 API 密钥和端点。
  • 在本地 IDE 中直接开始测试资产，无需额外设置。

Gen AI Studio 旨在加速开发者工作流——从发现与实验到可投产的试点——同时保持体验的简洁和确定性。

生产差距：持续评估与优化

部署模型到生产环境的最大障碍之一不是构建模型，而是 管理成本 和 防止质量漂移。

1. 通过模型压缩进行成本优化

OpenShift AI 3.3 引入了针对两款 Red Hat 用于基准测试和压缩模型的开源工具的引导 工作台，作为其模型验证计划的一部分：

结果： 您可以在环境中直接 对模型进行基准测试、压缩模型（例如通过量化），并 比较性能提升。

2. 使用 MLflow 进行实验追踪

我们正在发布 MLflow 集成的 开发者预览。虽然压缩和基准测试解决了即时的性能问题，MLflow 为您的 AI 生命周期提供 历史记忆：

• 记录 guidellm 结果和应用响应。
• 随时间跟踪回归和质量趋势。
• 确保优化不会影响准确性。

3. 可视化反馈循环

MLflow 仪表板现在显示压缩实验与推理延迟之间的 直接关联，将性能故障排除转变为 数据驱动 的过程，而非凭经验的方式。

要点： 通过结合 模型压缩、基准测试 和基于 MLflow 的实验追踪，您可以获得一个持续、可观测的循环，在保持低成本的同时保障生产环境中模型的质量。

尝试 Red Hat OpenShift AI

OpenShift AI 3.3 的功能旨在改变您在平台上对 AI 能力的访问治理方式。安装 OpenShift AI 3.3 后，您可以：

• 体验 AI Hub
• 预览 Gen AI Studio
• 探索全新的 Optimization Workbenches

更多详情，请参阅官方 新闻稿。

您还可以通过 Red Hat 产品试用中心 试用 OpenShift AI。该试用提供 60 天免费、无费用 的全托管环境，让您测试这些面向生产的工具。

• 在此开始您的试用：