在 VMware vSAN 中选择网络交换机时的关注点

Source: VMware Blog

在 VMware vSAN 环境中选择网络交换机的关键要点

自从今年早些时候发布的关于 VMware vSAN 网络的一系列博客文章后，最常被问到的问题之一是：“在我的 vSAN 环境中，我应该使用哪款 Top of Rack（ToR）网络交换机？”。我们的 Broadcom 兼容性指南 (BCG) for vSAN 列出了构成 vSAN 集群的主机的兼容性和要求，但并未涉及网络交换机。

几乎所有网络交换机都能与 vSAN 配合使用，但这并不意味着它们都能满足你的数据中心需求。在进行最新硬件刷新或新集群构建时，需要考虑现代网络交换机的若干特性。下面我们来看看哪些因素值得关注，以及这些规格为何如此重要。

为什么网络交换机对 vSAN 如此关键

vSAN 是一种分布式存储解决方案。它在集群中的主机之间存储数据，以确保数据的弹性和可用性。构成 vSAN 集群的主机依赖高速、可靠的网络来提供一致、低延迟的存储。

图 1. vSAN 的分布式存储模型及其对网络的依赖。

过去二十年间，服务器硬件能力的飞速提升令人惊叹。CPU 核心数提升了 32‑128 倍，内存也同步增长，现代 NVMe 存储性能提升超过 2,500 倍。这些改进被不断增长的应用需求所吸收。管理员为虚拟机分配了更多的虚拟资源，以利用新硬件的强大性能并满足业务需求。

网络同样取得了巨大的进步，但对更快网络需求的认知已经严重落后。例如，10 GbE 铜缆标准在 2000 年代中期制定，并在几年后开始普及。虽然服务器硬件已经显著提升，许多客户仍坚持认为 10 Gb 已足够，尽管其在数据中心的实际使用已经接近二十年。对升级到 25 Gb 或 100 Gb 的犹豫，往往源于毫无依据的说法——认为网络 4‑10 倍的性能提升并非必要，而同一时期其他硬件已提升了 20‑100 倍。

现代 25/100 Gb 交换机的成本相当低，尤其是非主流品牌的替代方案。这些交换机通常只占每个机架中主机总成本的极小比例（个位数百分比），但这些主机高度依赖交换机的能力。换句话说，ToR 交换机绝不是削减成本的地方。

一个自满的网络设计（参考链接）会使网络成为瓶颈。这对任何环境都是问题，但在使用像 vSAN 这样的分布式存储系统时尤为突出。当网络成为瓶颈时，流量必须依赖原始的 TCP 拥塞控制机制，而不是 vSphere 和 vSAN 中的高级调度器。

图 2. 对比不足和过剩的网络规模。

这有多糟糕？当网络链路饱和时，数据包会丢失并需要重传。

图 3. 网络丢包对存储性能的影响。

结果是虚拟机存储性能差或不稳定，CPU 与内存利用率低，故障期间修复时间延长，排障难度增加。

用于 vSAN 的 ToR 交换机推荐

为 vSAN 选择合适的 ToR 交换机，可为一致的高性能、低延迟存储提供通道。大多数厂商会按单个下行端口的理论带宽来称呼交换机（例如 “10 Gb 交换机”“25 Gb 交换机”“100 Gb 交换机”），这会掩盖其他对性能有实质影响的重要因素。

以下列出了真正关键的特性。信息并未规定严格的最低要求，而是帮助你在硬件规格演进时进行比较。

下行端口数量与速率

下行端口数量与速率指的是机架内服务器的端口数及其原生线速，通常以 端口数 × 线速 表示（例如 “32 × 25 Gb”）。现代 25 Gb 与 100 Gb 交换机通常使用 SFP28 或 QSFP28 模块。

• 更高的端口速率有利于在 ToR 交换机内部的集群流量，如 vSAN 与 vMotion。
• 更多的端口数量为服务器提供更大的灵活性和效率。例如，一对 32 端口的 ToR 交换机可支持每机架 16 台主机，每台主机最多 4 个端口；而一对 48 端口的交换机则可在相同的 16 台主机下提供每台主机最多 6 个端口。

在增加端口数量时，需要注意交换机向 spine 层提供的总带宽，以保持合适的过度订阅比例。更多信息请参阅 “vSAN Networking – Network Oversubscription”。

虽然最小的 ReadyNode 配置支持 10 Gb 网络，但我们强烈推荐使用 25 Gb。