贝叶斯卷积神经网络与伯努利近似变分推断

Source: Dev.to

Summary

大型图像模型通常需要大量带标签的照片，但标签往往难以获取。当只有少量样本时，模型会记忆噪声，导致在新图像上的表现不佳。

本工作展示了一种在 小数据 场景下使卷积网络更稳健的方法，即让网络的部分参数表现出可能出错的状态。它不再强制使用固定的设置，而是把滤波器视为一种猜测，在训练过程中对其进行开关切换，使网络学会对 过拟合 持谨慎态度。

该思路借鉴了常用的训练技巧 dropout，并将其解释为一种 贝叶斯 思考方式——模型会记录自身的不确定性。这样可以在不增加额外模块或降低速度的前提下提升效果，团队可以直接在已有工具链中尝试。

实验表明，在标准图像任务上，尤其是样本稀缺的情况下，这种方法能够提供 更高的准确率。它是朝着在数据受限时仍能良好学习的模型迈出的重要一步，并且可以快速实现。

在 Paperium.net 上阅读完整评述：
Bayesian Convolutional Neural Networks with Bernoulli Approximate Variational Inference