为什么基准在机器学习中会误导

Source: Dev.to

基准测试衡量模型，而非系统

model.fit(X, y)

计时在 .fit() 之前开始，结束于之后。
缺少了什么？

• 数据加载
• 数据清洗
• 特征工程
• 格式转换
• 内存分配
• 环境初始化

在真实的流水线中，.fit() 可能只占总运行时间的一小部分。一个单独看起来快 2 倍的模型，整体上可能并没有显著影响。

基准测试假设理想条件

典型的基准测试使用：

• 干净、预先加载好的数据
• 已热缓存的内存
• 优化过的格式
• 没有竞争工作负载

真实系统很少在这些条件下运行，因为：

• 磁盘速度不稳定
• 内存可用性受限
• 背景进程
• 环境配置差异

因此基准测试衡量的是最佳情况性能，而非典型性能。

基准测试忽略数据移动

Load data from disk
→ Convert format
→ Copy data
→ Train model
→ Export results

训练本身可能只需几秒，但围绕的 数据移动 步骤往往主导整体运行时间。

基准测试隐藏内存行为

• 多次复制数据
• 使用超出必要的内存
• 触发频繁的垃圾回收

这些影响在短时间的基准运行中可能不出现，却会导致慢速、崩溃或不稳定。性能不仅仅是速度，还涉及资源随时间的表现。

基准测试只优化单一指标

常见关注点：

• 训练时间
• 推理速度
• 准确率

真实系统必须在以下之间取得平衡：

• 速度
• 内存使用
• 稳定性
• 可复现性
• 工程复杂度

一个更快但更难维护的模型未必是更好的选择。

基准测试忽视开发时间

一个训练速度提升 20 % 的模型，但需要：

• 复杂的设置
• 特定硬件依赖
• 难以调试

可能会整体拖慢团队效率。

基准测试鼓励错误的优化思维

基准测试常引发类似的问题：

“哪个模型最快？”

更有用的问题是：

“我的实际流水线中哪里慢？”

常见瓶颈包括：

• 数据加载
• 特征生成
• 模型评估
• 实验编排

仅优化模型本身无法解决这些问题。

基准测试在有上下文时仍有价值

基准测试并非毫无用处。它们在以下方面有价值：

• 在受控条件下比较算法
• 理解理论极限
• 发现潜在的性能提升

但它们只代表整体图景中的一块拼图。

唯一真正重要的基准

最有意义的基准是你自己的流水线，衡量：

• 端到端运行时间
• 内存使用情况
• 多次运行的稳定性
• 在真实规模下的性能

真实工作负载揭示的真相是合成基准无法提供的。

结束语

基准测试制造出确定性的幻象，为混乱的系统提供干净的数字。机器学习的性能体现在流水线中，而不是孤立的函数。模型只是系统的一部分，优化错误的部分——即使做到完美——也解决不了问题。