Show HN：Utilyze——一款比 nvtop 更精准的开源 GPU 监控工具

Source: Hacker News

描述

nvidia-smi、nvtop、Weights & Biases、Amazon CloudWatch、Google Cloud Monitoring 和 Azure Monitor 所报告的标准 GPU 利用率指标极具误导性。它只报告 GPU 上有内核在运行的时间比例，这意味着即使 GPU 实际只使用了很小一部分计算能力，也可能显示 100 % 利用率。实际情况下，工作负载的真实计算吞吐量可能只有约 1–10 %，而仪表盘却显示 100 %。

当团队依赖该指标进行容量规划或优化决策时，这会导致本应空闲的系统看起来已被饱和，从而产生问题。

我们正在发布一个开源（Apache 2.0）工具 Utilyze，用于以不同方式衡量 GPU 利用率。它采样硬件性能计数器，并相对于硬件的理论极限报告计算和内存吞吐量。同时，它还能估算给定工作负载可达到的利用率上限。

GitHub:

讨论

评论：