AI 与负载均衡：为 AI 时代重新思考网络基础设施

Source: VMware Blog

负载均衡

Source: …

AI 与负载均衡：为 AI 时代重新思考网络基础设施

Umesh Mahajan – 2025年12月17日

分享至

• Twitter
• LinkedIn
• Facebook
• Email

本文最初发表于

AI 时代如何重新构想企业负载均衡以实现应用交付、弹性和安全

AI 革命正推动企业从 硬件定义 的负载均衡转向 软件和 AI 定义 的架构，这些架构能够提供：

• 增强的应用弹性
• 智能自动扩缩
• 自我修复能力
• 预测性 AI、生成式 AI 和大语言模型（LLM）驱动的智能

正如云计算催生了软件定义（SD）负载均衡，AI 浪潮正在将 SD 演进为 AI 定义 的负载均衡。这一转变改变了组织设计基础设施以支持现代 AI 工作负载 以及 将 AI 的收益扩展到现有应用的方式。

为什么 AI 工作负载会给传统负载均衡器带来压力

“当你为企业构建现代 AI 应用时，必须具备极高的性能、低延迟、弹性、安全性和弹性伸缩能力。”
— Chris Wolf，Broadcom VCF 部门全球 AI 与高级服务负责人

“AI 时代的负载均衡器必须能够管理服务，并在多个私有 AI 环境中满足企业需求。”

AI 时代负载均衡器的核心需求

1. 海量吞吐 & 低延迟

   • 支持 Tbps 级别的流量速率。
   • 为实时推理提供确定性的延迟。

2. 弹性自动扩缩 & 自我修复

   • 根据需求峰值水平横向自动扩缩。
   • 检测并修复不健康节点，无需人工干预。

3. 基础设施即代码（IaC）兼容性

   • 声明式配置（YAML、Terraform、Helm）。
   • 与 CI/CD 流水线无缝集成。

4. 内置全局服务器负载均衡（GSLB）

   • 在多区域 AI 集群之间分发流量。
   • 全球范围内优化延迟和故障转移。

5. 集成安全栈

   • 内置 Web 应用防火墙（WAF） 与 API 安全。
   • 实时异常检测、流量模式识别和阈值限流。
   • 对敏感 AI 数据实现端到端加密和数据泄露防护。

6. Kubernetes 原生操作

   • 原生支持 K8s 服务网格（如 Istio、Linkerd）。
   • 能够通过 Ingress/Egress 控制器暴露 AI 微服务。

AI 驱动 API 的安全考虑

• API 为中心的威胁格局——AI 应用通过 API 交换海量敏感数据，成为注入、凭证填充和数据外泄攻击的主要目标。
• 全方位防护——部署统一的 WAF/API 安全平台，能够：
  1. 检查请求/响应负载中的恶意模式。
  2. 强制执行速率限制和配额控制。
  3. 应用 行为分析 来标记异常流量。
• 动态阈值——利用 AI 驱动的异常检测，根据实时流量基线自动调整安全策略，确保在不牺牲防护的前提下实现资源的最佳分配。

结论

要在 AI 时代蓬勃发展，企业必须采用 AI 定义的负载均衡，将 超高吞吐、弹性自动扩缩、自我修复 与 AI 增强的安全 相结合。通过将这些能力直接嵌入负载均衡层——尤其是在基于 Kubernetes 的微服务环境中——组织能够大规模交付弹性、可靠且安全的 AI 应用。

Source: …

AI‑定义的负载均衡

在 AI 时代，负载均衡本身应当由 AI 驱动，并在以下三个关键维度上实现。

1. 预测性智能 – 弹性与实时扩展

• 健康评分监控，使用能够实时适应流量突发的动态阈值。
• 静态阈值不切实际；为峰值负载进行过度配置成本高昂。
• 主动‑主动 HA 确保持续运行。
• 自动扩展 + 自动修复 能检测流量模式并自动处理问题，通常无需管理员介入。

2. 生成式 AI – 运营效率

• AI 副驾驶让管理员可以用自然语言提问，并获得答案、分析以及从以下来源提取的上下文洞察：
  • 应用健康评分
  • 延迟测量
  • 设计指南
  • 知识库文档
• 提供关联分析、多因素推断和工作流特定洞察。
• 基础设施即代码 使配置更改可编程化，减少人工工作量。
• AI 辅助的容量管理和性能故障排查能够在问题影响用户之前就标记出潜在风险，提高生产力。

3. AI 驱动的自助服务 – 零培训界面

• 工程师获得直观的、AI 引导的部署与配置帮助。
• 结果： 更快的上线速度，同时不牺牲质量或安全性。

实际案例

Broadcom 的 VMware Avi Load Balancer 满足所有 AI 时代的需求。严格的研究表明，使用该方案的企业可实现：

虽然核心的软件定义负载均衡原则——横向扩展性能、动态可用性和应用层安全——仍然保持不变，AI 进一步放大这些能力，并将智能直接嵌入基础设施。

要点： 采用 AI 定义的负载均衡的组织将更有效地支持 AI 与非 AI 工作负载，并从内置的基础设施智能中获益。

了解更多：
VMware Avi Load Balancer – Broadcom

---

作者

Umesh Mahajan – Broadcom 应用网络与安全事业部总经理。
拥有创业和综合管理经验的高级业务执行官，负责 Lateral Security 与 Avi Load Balancer 产品。