深度学习中的剪枝：结构化 vs 非结构化

Source: Dev.to

介绍

深度学习模型每年都在变得更大、更强大。从移动视觉系统到大型语言模型，参数数量呈指数增长。但我们真的需要所有这些参数吗？
剪枝是一种模型压缩技术，它在保持性能的前提下移除神经网络中不必要的参数。它有助于减小模型体积、提升推理速度并降低计算成本。

本文将探讨：

• 什么是剪枝？
• 为什么需要剪枝
• 结构化剪枝 vs. 非结构化剪枝
• 实际权衡

🚀 为什么需要剪枝？

现代神经网络：

• 需要大量内存
• 消耗更多电量
• 在边缘设备上推理速度较慢
• 部署成本高

典型场景：

• 移动应用需要轻量模型
• 嵌入式系统内存受限
• 边缘 AI 需要快速推理

剪枝通过去除冗余权重来解决这些问题。

🌳 什么是模型剪枝？

模型剪枝是指从已训练好的神经网络中移除参数（权重、神经元、滤波器，甚至层），使模型更小、更快。

核心思想： 训练好的网络中有许多权重对最终预测贡献极小，可以被删除。

典型工作流

1. 训练完整模型
2. 移除不重要的权重
3. 对剪枝后的模型进行微调

🔹 1. 非结构化剪枝

📌 什么是非结构化剪枝？

非结构化剪枝根据重要性标准（通常是小幅度权重）删除网络中的单个权重。结果是一个稀疏矩阵，许多元素为零。

工作原理

1. 计算每个权重的幅度。
2. 将幅度最小的权重置零。

优点

• 能实现非常高的压缩率。

缺点

• 稀疏矩阵并不总是硬件友好的，可能限制在某些设备上的速度提升。

示例

如果某层有 1,000 个权重，剪掉 70 % 后，只剩下 300 个非零权重。

🔹 2. 结构化剪枝

什么是结构化剪枝？

结构化剪枝删除整个神经元、通道、滤波器或层，而不是单个权重。它不产生稀疏性，而是改变网络结构。

工作原理

1. 评估滤波器、神经元或通道的重要性。
2. 完全移除最不重要的部分。

优点

• 硬件友好；能够真正降低计算量和内存占用。

缺点

• 如果剪枝力度过大，可能导致稍高的精度下降。

示例

如果一个 CNN 层有 64 个滤波器，移除其中 20 个后，层现在只有 44 个滤波器，参数量和 FLOPs 都会相应减少。

何时使用哪种方式？

结构化剪枝适用于

• 在实际应用中部署，且对延迟或内存有严格限制（例如 MobileNet 优化）。
• 需要硬件友好的加速。

非结构化剪枝适用于

• 最高压缩率是主要目标，且目标硬件能够利用稀疏性。

结语

剪枝不仅仅是为了减小体积——它是让人工智能变得实用的关键。随着模型规模不断扩大，像剪枝这样的效率技术变得尤为重要。结构化剪枝通常更适合部署，而非结构化剪枝则能提供最高的压缩率。AI 的未来在于更聪明、更精简的模型，而不是一味追求更大的模型。